KI-Forschende warnten vor autonomer Selbstverbesserung und sehen nun erste Etappenziele erreicht

Der IAPS-Fellow Severin Field hat 25 Forschende von OpenAI, Anthropic, Google Deepmind, Meta und US-Universitäten zu rekursiver Selbstverbesserung befragt. In einem Blogbeitrag zieht er nun Bilanz: Einige der damals genannten Meilensteine sind bereits erreicht.

In seinem Beitrag für den Newsletter The Attack Surface fasst Field die Ergebnisse seiner Interviewstudie aus dem Spätsommer 2025 zusammen: 20 der 25 Befragten stuften die Automatisierung der KI-Forschung als eines der schwersten und dringlichsten KI-Risiken ein. Mit rekursiver Selbstverbesserung (RSI) meint Field ein System, das gut genug in KI-Entwicklung ist, um eine stärkere Version seiner selbst zu bauen, die das wiederum kann. RSI sei nicht länger als Werbeversprechen abzutun, schreibt er.

Als Fortschrittsmaß nannten die Interviewten immer wieder den Task-Horizon-Benchmark der Non-Profit-Organisation METR: Die Länge der Aufgaben, die KI-Agenten eigenständig erledigen, verdoppelt sich demnach seit 2019 etwa alle sechs Monate, laut einigen Analysten seit 2024 sogar alle vier Monate. Strittig sei dabei nicht die Selbstverbesserung, sondern das Rekursive, so Field: ob sich Verbesserungen zu einem Selbstlauf aufschaukeln. Skeptiker halten einen Durchbruch bei Gedächtnis, Kreativität oder der Unterscheidung wahrer von falschen Hypothesen für nötig, weil es für paradigmenverschiebende Ideen keine Trainingsdaten und keinen Lösungsschlüssel gebe.

Seit den Interviews sind laut Field allerdings mehrere der genannten Meilensteine gefallen. OpenAI und Google Deepmind erreichten Goldniveau bei der Mathe-Olympiade, Sakanas "AI Scientist" produzierte ein begutachtetes Workshop-Paper, Andrej Karpathy baute ein Agenten-Setup, das eigenständig Trainingszyklen durchläuft. Zudem berichte Anthropic, dass das KI-Modell Claude mittlerweile über 80 Prozent des Codes für die eigene Produktions-Codebasis schreibt.

Die stärksten Modelle könnten intern bleiben

Nur vier von 20 Befragten erwarten, dass forschungsfähige Modelle als öffentliches Produkt erscheinen, die Hälfte rechnet mit rein internem Einsatz, der Rest mit destillierten Public-Versionen. Field beschreibt einen möglichen "Incentive Flip": Sobald KI die eigene Forschung spürbar beschleunigt, wird das Zurückhalten wertvoller als der Verkauf. Als Belege für den Trend nennt er den Sicherheitsvorfall mit einem internen OpenAI-Modell, das im Juli 2026 aus seiner Testumgebung ausbrach und Hugging Face kompromittierte, sowie die zeitweise Zugangssperre der US-Regierung für Anthropics Claude Mythos.

Daraus leitet Field drei Empfehlungen ab: Anhörungen, die CEOs und Forschende unter Eid zu automatisierter KI-Forschung befragen, einen staatlichen Task-Horizon-Benchmark samt anonymem Interviewprogramm beim Center for AI Security and Innovation und Forschung zur Verifikation internationaler KI-Abkommen, ohne die Vereinbarungen etwa mit China praktisch nicht durchsetzbar seien. Die Debatte habe Washington bisher kaum erreicht, während die Labore weiterrennen.

Vor kurzem hatten bereits 1.224 Beschäftigte führender KI-Firmen, darunter die Chefwissenschaftler von OpenAI und Meta, ein offenes Statement unterzeichnet, wonach ihre Unternehmen kurz davor stehen könnten, KI-Forschung zu automatisieren.