OpenAI arbeitet unter Hochdruck an seinem nächsten Flaggschiff-Modell, nachdem es bereits ein schwächeres Modell aus Sicherheitsgründen gestoppt hat. Microsoft enthüllte unterdessen versehentlich Details zur umstrittenen Looped-Transformer-Technik, die OpenAI bereits in Astra einsetzt.
OpenAI wird laut Mitarbeitern wahrscheinlich bis Ende des Jahres ein oder zwei neue Modelle veröffentlichen, auch wenn nicht sicher ist, ob es "das große Upgrade-Modell" sein wird, an dem das Unternehmen derzeit arbeitet. Das berichtet The Information unter Berufung auf mit den Projekten vertraute Personen.
Die Vorbereitung des neuen Flaggschiffs könnte laut Angestellten noch dauern. Das Modell müsse zunächst so ausgerichtet werden, dass seine Ziele mit den Erwartungen von OpenAIs Forschern und Kunden übereinstimmen, sogenanntes Alignment. Zudem muss die Software abgesichert werden, mit der die Fähigkeiten des Modells getestet werden.
Wenn sich die Führungsebene mit den Ergebnissen der Sicherheitsevaluierungen zufriedengibt, muss OpenAI das Modell der US-Regierung bis zu 30 Tage vor der Weitergabe an vertrauenswürdige Partner zum Testen bereitstellen, bevor es schließlich breit veröffentlicht werden kann. OpenAI hat sich zu diesem Prozess im Rahmen einer Executive Order von Präsident Trump verpflichtet, die Evaluierungen fortgeschrittener KI-Systeme regelt.
Das nächste Modell setzt wie Astra auf Looped Transformers
Laut einer mit der Situation vertrauten Person nutzt auch das neue Hauptmodell sogenannte Looped Transformers. Die Technik ist bei OpenAI bereits im Einsatz: Unter dem Namen "Recurrent Depth" bildet sie einen Kernbaustein des aktuellen Flaggschiffs Astra. Dabei werden die internen Repräsentationen eines Tokens mehrfach durch dieselben Transformer-Schichten geschleift, bevor das Modell das nächste Wort ausgibt. Das steigert die Leistung etwa bei Mathematik und Coding erheblich und senkt die Kosten, weil ein kleineres Modell wie ein größeres arbeiten kann.
Der Preis dafür ist, dass ein Teil des "Denkens" nicht mehr in lesbarem Text stattfindet, sondern in den internen Zahlenrepräsentationen des Modells, unsichtbar für menschliche Prüfer. Das steht im direkten Konflikt mit dem sogenannten Chain-of-Thought-Monitoring, bei dem Sicherheitsforscher die ausgegebenen Denkschritte eines Modells nachlesen, um dessen Verhalten zu kontrollieren. OpenAI hat den Einsatz der Loops bei Astra laut The Information deshalb bewusst begrenzt, damit das Modell weiterhin eine lesbare Gedankenkette produziert.
Nach dem Hugging-Face-Vorfall hat OpenAI laut einer Person mit Kenntnis der Zahlen rund zehn Prozent seiner gesamten Rechenressourcen in Richtung Alignment- und Sicherheitsarbeit umgeschichtet. Das entspricht Hunderten Megawatt an Rechenzentrumskapazität. Wie viele Server zuvor für solche Arbeit bereitstanden oder aktuell bereitstehen, ist laut The Information unklar. Die Anmietung der umgeschichteten Kapazität würde zu aktuellen Marktpreisen mindestens Milliarden Dollar pro Jahr kosten. KI-Forscher Noam Brown sagte Mitte September in einem Podcast, dass auch zehn Prozent seines Teams an Security und Safety arbeiten.
Microsoft enthüllt versehentlich Details zur Looped-Transformer-Inferenz
Wie genau OpenAI die Technik in der Praxis einsetzt, kam durch eine Panne bei Microsoft ans Licht. Der OpenAI-Großinvestor, der Zugang zu OpenAIs geistigem Eigentum hat, veröffentlichte eine technische Beschreibung von GPT-6.1 Sol, das OpenAI Anfang des Monats als günstigere Alternative zu Astra auf den Markt gebracht hatte.
In dem mittlerweile gelöschten Abschnitt erklärte Microsoft, dass GPT-6.1 Sol auf "looping inference" basiert, einer Form des Schlussfolgerns, bei der das Modell dasselbe Problem in mehreren "Passes" durchdenkt, bevor es eine Antwort generiert. GPT-6.1 Sol "nutzt dieselben Basismodellgewichte wie GPT-6 Sol mit zwei Inferenz-Passes statt drei", zitiert The Information aus einer Kopie der Webseite.
Die Beschreibung war laut einer Person mit direkter Kenntnis der Situation eine korrekte Zusammenfassung dessen, was OpenAI privat an Microsoft weitergegeben hatte. Microsoft entfernte die Passage, nachdem klar wurde, dass sie geheim bleiben sollte. Die Verwendung von Looped Transformers ist laut The Information ein sensibler Aspekt von OpenAIs Modellentwicklung, sowohl beim Training als auch bei der Inferenz.
OpenAI-Chefwissenschaftler Jakub Pachocki hatte bereits eingeräumt, das Monitoring von Gedankenketten sei zunehmend "fragil" und entwickle sich "leider in eine negative Richtung". Zugleich warnte er vor einem branchenweiten Rennen zu Modellen ohne lesbares Reasoning.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den "KI Radar"‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
