Getestet wurden handelsübliche KI-Agenten, Hinweise von Menschen bekamen sie nicht. Am besten schnitt GPT-6-Astra in OpenAIs Programmierumgebung Codex ab: Der Agent fand die richtige Antwort bei 49 von 50 Aufgaben, also 98 Prozent, bei durchschnittlichen Kosten von unter drei US-Dollar pro Aufgabe, oder knapp 116 US-Dollar für den gesamten Benchmark.
Fleißarbeit statt Jahrhundertproblem
Wichtige offene Fragen enthält die Sammlung bewusst nicht. Die Autoren sprechen von "turn-the-crank"-Problemen, bei denen man gewissermaßen nur die Kurbel drehen muss: Bekannte Methoden werden auf eine leicht veränderte Fragestellung übertragen. Häufig änderten die Beitragenden dafür einige Werte in einer Rechnung aus einem eigenen jüngeren Paper, sodass sich das neue Ergebnis nicht aus dem alten erraten lässt. Solche Übungen bekämen oft Doktoranden zum Einstieg in die Forschung, schreiben die Forscher.
Wie anspruchsvoll das dennoch ist, zeigt eine Beispielaufgabe aus der Forschung zu schwarzen Löchern. Um sie zu lösen, muss man eine ältere Fachveröffentlichung finden, deren Gleichungen von einer fünfdimensionalen auf eine vierdimensionale Raumzeit übertragen und das Ergebnis anschließend mit einem selbst geschriebenen Programm berechnen. Koordinator Suvrat Raju, Mitautor der älteren Arbeit, habe dafür etwa einen Tag gebraucht. Vor dem Aufkommen moderner Agenten hätten nach Schätzung der Autoren nur wenige Experten sowohl das physikalische Wissen als auch die nötige Erfahrung mit solchen Rechenverfahren gehabt, und auch sie hätten mehrere Tage benötigt.
Die Aufgaben stammen aus elf Teilgebieten der theoretischen Physik, von Strömungen und biologischen Prozessen über Teilchenphysik bis zur Kosmologie. Jeder Agent durchlief den Test zweimal: einmal unter realistischen Bedingungen mit Websuche, einmal abgeschottet ohne Internetzugang.
Hinter Astra folgte Anthropics Opus 5.5 in der Programmierumgebung Claude Code mit 92 Prozent. Googles Gemini 3.8 Flash kam auf 68 Prozent, die frei herunterladbaren Modelle DeepSeek-V4.1-Flash und GLM 5.3 auf 54 und 42 Prozent. Die schwächeren Modelle machten teils Fehler, die für Fachleute offensichtlich gewesen wären: Bei der Aufgabe zu schwarzen Löchern übernahmen Gemini und GLM im Durchgang mit Websuche die Formeln aus der älteren Arbeit unverändert, obwohl diese für fünf statt der geforderten vier Dimensionen gelten.
Bemerkenswert ist, wie wenig der Internetzugang ausmacht: Ohne Websuche erreichten Astra und Opus jeweils 92 Prozent. Viele Aufgaben setzen Formeln aus Fachartikeln voraus, die den Modellen meist nicht mitgegeben wurden. Die Autoren werten das als Hinweis, dass führende Sprachmodelle große Teile der Fachliteratur zur theoretischen Physik effektiv auswendig gelernt haben.
Mit Websuche löste Astra alles bis auf eine Aufgabe, an der jedes Modell scheiterte: Gesucht war eine Gleichung, die eine vorgegebene Kurve erzeugt. Die Lösung der Experten greift dabei auf mathematische Sonderformen zurück, die nur im weiteren Sinne als die verlangte Differentialgleichung gelten. Die Autoren räumen ein, dass die Aufgabe "unfair" wirken könne, halten sie aber für realistisch, weil Forschende oft aus ungenauen Daten auf die zugrunde liegende Physik schließen müssten.
Vermeintliche KI-Schwächen waren Benchmark-Fehler
Bei mehreren Aufgaben stellte sich nach Rücksprache mit den Experten zudem heraus, dass deren Musterlösungen kleine, schwer erkennbare Fehler enthielten. Nach der Korrektur war Astras Antwort jeweils richtig.
Das Muster könnte auch einen scheinbaren Widerspruch auflösen: Die Agenten schneiden im TheoPhysEval besser ab als bei einigen anderen Physik-Benchmarks, obwohl die eigenen Aufgaben nach Ansicht der Autoren im Schnitt schwieriger sind, etwa als die des Benchmarks CritPt. Eine jüngere Studie zeigte jedoch kürzlich, dass manche Benchmarks zur theoretischen Physik fehlerhaft bewertet sind und die Fähigkeiten der Modelle teilweise stark unterschätzen.
Wer die Ergebnisse selbst überprüfen will, kann Aufgaben und Testaufbau als Datensatz auf Hugging Face herunterladen.
Rechnen ist nicht forschen
Einige der leistungsstärksten aktuellen Modelle könnten die besten menschlichen Forscher bei konkreten Rechnungen also bereits übertroffen haben, auch in Spezialgebieten, schreiben die Autoren, und sprechen von einem bedeutenden Meilenstein.
In der Mathematik sei der Einfluss noch sichtbarer: Dort hätten KI-Agenten bereits wichtige offene Probleme gelöst, darunter laut OpenAI das Navier-Stokes-Problem zu den Gleichungen, die Strömungen beschreiben, eines der berühmten Millennium-Probleme. In der theoretischen Physik fehle ein vergleichbarer Durchbruch bislang.
Die Erklärung der Autoren: Eine konkrete Rechnung mit überprüfbarem Ergebnis stehe erst am Ende der Forschung. Zuvor müsse man eine Theorie aufstellen und die "richtigen" Fragen an sie stellen. Erweise sich ein Problem als zu schwer, wechsle ein guter Forscher zu einem verwandten, einfacheren und ebenso interessanten Problem. Darin seien aktuelle Agenten nicht geschickt.
Unter Physikern gebe es zudem ein gemeinsames, wenn auch keineswegs einhelliges Verständnis davon, was ein interessantes Problem ausmacht. Diesen "Geschmack" scheinen Agenten bislang nicht zu haben: Gebeten, neue Probleme zu entwerfen, verlieren sie sich in Details, die ein Mensch uninteressant fände.
Diese Beobachtungen ließen sich nicht quantifizieren und seien keine Prognose für die weitere KI-Entwicklung, betonen die Forscher, und halten es für möglich, dass KI-Agenten schon in naher Zukunft eigenständig auf Spitzenniveau forschen. Dafür brauche es allerdings mehr als die Fähigkeit, Aufgaben zu lösen.
Folgen für Ausbildung und Praxis
Für die Ausbildung sehen sie aber bereits Folgen: Manche Aufgaben aus dem Benchmark hätten sich bis vor kurzem als erste Forschungsprojekte für Nachwuchsforscher geeignet. Das sei nicht mehr angemessen, es sei denn, es gehe ausdrücklich nur ums Durcharbeiten.
Die Autoren sehen noch ein weiteres strukturelles Problem. Theoretische Physik sei bislang mit deutlich weniger Mitteln ausgekommen als experimentelle Forschung, was für vergleichsweise gleiche Chancen im Fach gesorgt habe. Mit leistungsfähigen KI-Agenten könnte sich das ändern. Die Aufgaben im Benchmark ließen sich noch günstig lösen, Astras gesamter Durchlauf kostete rund 116 US-Dollar. Für anspruchsvollere Probleme erwarten die Autoren jedoch einen deutlich höheren Ressourcenbedarf. Dann könnte auch in der theoretischen Physik stärker vom Budget einer Forschungsgruppe abhängen, was sie leisten kann. Die Autoren sehen darin Fragen nach Zugang und Chancengleichheit in der Physik.
In der Mathematik laufen solche Debatten bereits, etwa rund um die Leiden Declaration. Die theoretische Physik solle sie führen, bevor KI das Fach grundlegend umwälzt, so die Autoren. Zumindest eine Denkrichtung im Fach habe Forschende bislang zu "shut up and calculate" angehalten, sinngemäß: nicht grübeln, sondern rechnen. Wenn Faktoren wie Geschmack und Vision an Gewicht gewinnen, müssten Physiker künftig vielleicht eher "stop and think", also innehalten und nachdenken.
