OpenAI boykottieren: Mathematik-Community wehrt sich gegen massenhafte KI-Beweise

Fields-Medaillist Terence Tao, Vorsitzender der Gruppe, verbreitet die Stellungnahme als Gastbeitrag auf seinem Blog und skizziert parallel auf Mastodon eine "Math 2.0"-Ära, in der reines Problemlösen nicht mehr im Zentrum stehen dürfe. Komplexitätstheoretiker Scott Aaronson beschreibt die Lage in seinem Blog als "Mathocalypse".

Die Stellungnahme der AHM markiert die Eskalation einer monatelangen Debatte. Zuvor hatte OpenAI Aufsehen erregt mit der Behauptung, ein internes Modell habe mehr als 100 offene Mathematikprobleme in einem Monat gelöst, darunter einen Zugang zum Navier-Stokes-Millenniumproblem. Als Reaktion auf die wachsende Kritik richtete OpenAI am Institute for Advanced Study die Beratungsgruppe AGMAI ein. Beim internen Forschungstempo hat sie allerdings ausdrücklich kein Mitspracherecht.

Machtdemonstration statt Wissenschaft

Die AHM erklärt, OpenAI habe die zentrale Prämisse der AGMAI-Beratung bereits ignoriert, wonach fortgeschrittene mathematische Probleme nicht an internen Modellen getestet werden sollten. "Mathematiker haben diese Arbeit nicht angefordert", heißt es weiter. Die Veröffentlichung von mehr als 700 Dateien auf einmal sei eine Machtdemonstration.

Gleich im ersten Absatz der Stellungnahme erwähnt die AHM zudem die zahlreichen Copyright-Rechtsstreitigkeiten, die OpenAI derzeit weltweit vor Gericht führt. Ausdrücklich sagt sie es nicht, deutet damit aber an, dass OpenAI die Ergebnisse nur erzielen konnte, weil das Unternehmen auf den Arbeiten von Mathematikern trainiert hat, ob legal oder nicht.

Genau dieser Streitpunkt kam auf, als OpenAI kürzlich eine Lösung für das Navier-Stokes-Problem bekanntgab, kurz bevor zwei Mathematiker eine eigene KI-gestützte Lösung vorstellen konnten. Die beiden hatten bei ihrer Arbeit auch ChatGPT eingesetzt. OpenAI bestritt den Verdacht, die dabei entstandenen Daten genutzt zu haben, um das eigene System zu trainieren und so schneller zu einer Lösung zu gelangen.

Aaronson stellt dem ein alternatives Vorgehen gegenüber, das er als "Anthropic-Modell" bezeichnet. OpenAI kippt rohe KI-Beweisentwürfe auf einmal in die Öffentlichkeit und löst damit ein Wettrennen aus, sie aufzuarbeiten. Anthropic dagegen kooperierte mit zwei Forschenden aus der Algorithmik. Das KI-Modell lieferte die zentrale Idee zur Widerlegung zweier jahrzehntealter Vermutungen. Die Forschenden erhielten eine Kompensation und schrieben eine menschlich verständliche Fassung des Beweises.

Beide Ansätze haben Nachteile. Das OpenAI-Vorgehen überträgt die undankbare Aufbereitungsarbeit kostenlos auf die Community. Das Anthropic-Vorgehen überlässt einem privaten Unternehmen die Auswahl, welche Mathematikerinnen als Botschafter eines Resultats fungieren dürfen.

Von "Math 1.0" zu "Math 2.0"

Schon zuvor hatte Tao gemeinsam mit 24 weiteren Trägern der Fields-Medaille, darunter Peter Scholze, Maryna Viazovska und Martin Hairer, eine Erklärung unterzeichnet, die vor einer "schwerwiegenden Fehlausrichtung" zwischen den Zielen der KI-Industrie und denen der Mathematik warnt. Problemlösen sei nur ein Werkzeug für das eigentliche Ziel der Disziplin, nämlich konzeptuelles Verständnis. Die Massenproduktion gelöster Probleme in immer schnellerem Tempo könne "fruchtbaren Boden zerstören, statt neue Ideen zum Leben zu erwecken". Zudem kritisieren die Unterzeichnenden, dass KI-generierte Lösungen überstürzt angekündigt würden, ohne ordentliche Ausarbeitung und ohne relevante frühere Arbeiten zu zitieren. Das werfe "schwere Fragen zu Zuschreibung und Plagiarismus" auf.

Auf Mastodon wird Tao noch deutlicher. In der traditionellen Mathematik hätten Beweise langjähriger offener Probleme Folgeaktivitäten wie Vorträge, Workshops, neue Kooperationen und die Aufnahme in Lehrbücher ausgelöst. Nachwuchskräfte seien angezogen, die Beweise verstanden und eingeordnet worden.

Derzeit beobachte er das Gegenteil. Probleme würden autonom von KI-Nutzern gelöst, die weder Interesse am Feld hätten noch die Ergebnisse gut genug verstünden, um Fragen zu beantworten oder Vorträge zu halten. Dadurch entstünden deutlich weniger Seminare und Kooperationen als nach traditionellen Durchbrüchen. Zudem würden vielversprechende Forschungsrichtungen zurückgehalten, aus Angst, Konkurrenten könnten die Lösung vorwegnehmen.

Entscheidend ist für Tao das Argument der Irreversibilität. Ein als gelöst geltendes Problem lasse sich nicht in den ungelösten Zustand zurückversetzen. Schon das Wissen um eine Lösung "kontaminiere", so seine Metapher, die Suche nach alternativen Zugängen, die zusätzliche Einsichten liefern könnten. Lösungen würden derzeit im großen Stil "abgeerntet", was ganze Teilgebiete der Mathematik unfruchtbarer zurücklasse als zuvor.

Daraus leitet Tao ab, die "Math 2.0"-Ära müsse das reine Problemlösen dezentrieren und Fortschritt breiter bewerten, etwa durch die Aufwertung von Vermittlung, Community-Aufbau und dem Öffnen neuer Forschungsrichtungen. Kriterien für Ausbildung, Publikation und Karrierewege müssten entsprechend angepasst werden.

Damit knüpft Tao an seine frühere Vision einer "industriellen Mathematik" an, in der allerdings der Mensch den Takt vorgab. KI sollte Mathematikern als Assistent dienen, ähnlich wie Engines im Schach, und eine breite, eher oberflächliche Forschung ermöglichen, die die tiefe Arbeit menschlicher Experten ergänzt. Heute sieht Tao diese Rollenverteilung umgekehrt. Ausgerechnet die tiefen Probleme löst nun die KI, während Menschen die Ergebnisse nachträglich aufarbeiten. Wie viele andere Fachleute hat Tao das Tempo der KI-Entwicklung 2024 offenbar massiv unterschätzt.

Galgenhumor unter Forschenden. Timothy Gowers, selbst Mitglied der AGMAI, teilt auf X einen Post von Nicolò Cesa-Bianchi, der an der Universität Mailand zu Machine-Learning-Algorithmen forscht. Er habe immer davon geträumt, schöne Theoreme zu beweisen, während KI-Agenten seine Spülmaschine ausräumen. "Nun, es kam andersherum." | Bild: Screenshot X

Lebenswerk in drei Stunden Rechenzeit

Was das für einzelne Forscherinnen bedeutet, zeigt Aaronson am Fall seiner Frau Dana Moshkovitz. Unter den Resultaten findet sich ein beanspruchter Beweis der Unique Games Conjecture, einer offenen Vermutung der theoretischen Informatik, der Moshkovitz ihre gesamte Karriere gewidmet hat.

In Textnachrichten an Aaronson beschrieb sie das Dokument in der Nacht der Veröffentlichung als "geschrieben von jemandem auf Psychedelika". Vieles sei unklar. Das Paper zitiere zahlreiche Arbeiten, ohne zu erklären, warum sie hier anwendbar seien, obwohl frühere Resultate das eigentlich ausgeschlossen hätten. "Das Paper ist so schrecklich geschrieben, dass es ohne KI-Hilfe unmöglich zu lesen ist", so Moshkovitz. Der Beweis stütze sich auf eine gänzlich neuartige, bizarre Konstruktion, "irgendein außerirdischer Wahnsinn".

Aaronson listet weitere Treffer aus Komplexitätstheorie, Zahlentheorie und Algorithmik auf, darunter Teilfortschritte zu mehreren der verbliebenen Clay-Millenniumsprobleme. Jedes davon wäre nach seiner Einschätzung für sich ein Ergebnis des Jahres gewesen.

Auffällig ist, dass der Bereich Kryptografie fehlt. Aaronson berichtet unter Berufung auf nicht näher benannte Quellen, dass KI-Firmen inzwischen diskret nach Schwachstellen in kryptografischen Protokollen und Primitiven suchten. Insgesamt wurden nach seiner Darstellung rund 8.000 Probleme getestet. Die Erfolgsquote liege bei etwa fünf Prozent, mit durchschnittlich drei Stunden Rechenzeit auf GPT-Pro-Niveau pro Problem. Verwendet worden sei das aktuelle interne Modell, das Aaronson zufolge in den kommenden Monaten regulär an zahlende ChatGPT-Kunden ausgeliefert werden könnte.

Gespaltene Reaktionen in der Community

Die Kommentare unter Taos Blogpost zeigen, wie polarisiert das Feld ist. Mehrere Stimmen unterstützen den Boykott-Aufruf. Sie schlagen vor, keine OpenAI-Produkte mehr für die eigene Forschung zu nutzen und Preprint-Server wie arXiv besser gegen das massenhafte Einsammeln von Trainingsdaten zu schützen.

Andere halten die AHM-Position für realitätsfremd. OpenAI werde nicht aufhören, an Mathematik zu arbeiten, und öffentlich verfügbare Resultate seien besser als privat gehaltene. Ein weiterer Kommentator fragt, ob ein Problem als gelöst gelten könne, wenn weder die Autoren noch sonst jemand den Beweis vollständig verstehe. Am Beispiel von Navier-Stokes sei unklar, ob man Flüssigkeitsdynamik dadurch wirklich besser verstehe.

Die AGMAI selbst wählt eine diplomatischere Linie als die AHM. Sie sieht in der Veröffentlichung einen ersten Schritt, mit dem das mathematische Verständnis der Ergebnisse erst beginne. Zugleich mahnt sie, die Zukunft mathematischer Forschung dürfe nicht darin bestehen, nur noch von KI-Laboren produzierte Ergebnisse aufzuarbeiten. Mathematikerinnen müssten weiterhin eigene Fragen formulieren und Forschungsrichtungen entwickeln können.