Über 1.200 Beschäftigte von OpenAI, Anthropic, Google und Meta fordern Werkzeuge zum Ausbremsen der KI-Entwicklung

3 weeks ago 11

In einer gemeinsamen Erklärung bitten Mitarbeitende der führenden KI-Labore die US-Regierung um internationale Koordination. Der Grund: Kein Unternehmen und kein Land könne allein langsamer machen.

Unter dem Titel "Pacing the Frontier" haben über 1.200 Beschäftigte von Frontier-KI-Unternehmen eine Erklärung unterzeichnet, die die US-Regierung auffordert, eine internationale Initiative zu unterstützen. Ziel sind "die technischen und Governance-Werkzeuge, die nötig sind, um das Tempo an der Grenze der automatisierten KI-Entwicklung bewusst zu steuern".

Der Text ist knapp gehalten: Er fordert keinen Stopp und keine Pause, sondern die Voraussetzungen dafür, überhaupt bremsen zu können. Die führenden Unternehmen glaubten, "kurz davor zu sein, KI-Forschung zu automatisieren", heißt es darin. Es bestehe ein "reales Risiko", dass die Entwicklung von Fähigkeiten schneller voranschreite als die Fähigkeit, die entstehenden Systeme zu verstehen oder zu kontrollieren. Der entscheidende Satz betrifft die Wettbewerbslogik: Jedes Unternehmen und jedes Land stehe unter Druck, die Beschleunigung nicht einseitig zu verlangsamen. Werkzeuge, um frontier-weit zu steuern, existierten nicht.

Die Unterzeichner sind sich untereinander uneinig

Die Liste reicht bis in die Führungsetagen: Anthropic-CEO Dario Amodei und Mitgründer Jared Kaplan, Jack Clark, Benjamin Mann und Chris Olah, OpenAIs Chief Scientist Jakub Pachocki und Chief Research Officer Mark Chen, Meta-AI-Chefwissenschaftler Shengjia Zhao, Googles Chief Strategy Officer bei Deepmind Jasjeet Sekhon und Anca Dragan, dort verantwortlich für AI Safety und Alignment. Auch John Schulman, Chief Scientist bei Thinking Machines, hat unterschrieben. Organisatorisch unterstützt wurde die Erklärung von den Non-Profits Guidelight AI Standards und Encode AI.

Die auf der Website veröffentlichten persönlichen Kommentare zeigen allerdings, dass die Unterschrift keine geschlossene Position bedeutet. OpenAI-Forscher Joshua Achiam schreibt beispielsweise, er wisse nicht, welche Form solche Werkzeuge haben sollten, und hoffe, dass die Governance-Instrumente "nicht ausufernd oder exzessiv" würden.

Danny Sawyer von Google hält bewusstes Pacing für "extrem schwierig" und potenziell schädlicher als nützlich, unterschreibe aber, weil ein methodisch geplanter Ansatz besser sei als eine Hauruck-Reaktion auf eine Krise.

Schulman sieht den Wert vor allem darin, gemeinsames Wissen über den Koordinationsbedarf zu schaffen, und würde es begrüßen, wenn die Labore entsprechende Mechanismen freiwillig entwerfen, bevor die US-Regierung eingreift.

Cybersicherheit als Frühwarnsignal

Prominent vertreten ist die Sicherheitsforschung. Dawn Song, in der Liste als VP AI Research bei Meta geführt, ist Professorin an der University of California, Berkeley, und arbeitet seit Jahren an der Schnittstelle von Computersicherheit und maschinellem Lernen, unter anderem zu adversariellen Angriffen und automatisierter Schwachstellensuche.

Sie argumentiert entsprechend empirisch: Die Evaluationsprojekte CyberGym und ExploitGym zeigten, dass Frontier-Agenten reale Software-Schwachstellen entdecken und ausnutzen können, was ohne passende Schutzmaßnahmen Cyberangriffe im großen Maßstab ermöglichen würde. Das Tempo des Fortschritts beschleunige sich selbst, viele Forschende hielten rekursive Selbstverbesserung für einen relevanten Faktor.

Wie eng die Debatte mit konkreten Vorfällen verzahnt ist, zeigt der von Song genannte Benchmark. Laut OpenAI  entstand der Einbruch bei Hugging Face während einer internen Evaluation, bei der GPT-5.6 Sol und ein leistungsfähigeres Pre-Release-Modell mit reduzierten Ablehnungen gegen genau diesen Cyber-Benchmark getestet wurden. Alle Hinweise deuteten darauf hin, dass die Modelle "extrem darauf fokussiert waren, eine Lösung für ExploitGym zu finden", schreibt OpenAI. Sie nutzten eine Zero-Day-Lücke in einem Cache-Proxy, arbeiteten sich über Privilege Escalation bis zu einer Node mit Internetzugang vor und schlossen dort, dass Hugging Face Lösungen zum Benchmark hosten könnte.

KI-News ohne Hype – von Menschen kuratiert

Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den "KI Radar"‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.

Jetzt abonnieren

Read Entire Article