Ein KI-Agent hat bei einer Gehirnoperation an einer Epilepsie-Maus selbstständig das Medikament, die Zielregion und die Koordinaten gewählt und den Eingriff durchgeführt. Mitten in der Operation weigerte er sich, eine Sicherheitsbeschränkung zu umgehen.
Der Agent, Claude Sonnet 5, erhielt eine Liste mit 19 möglichen Gentherapien, ein Epilepsie-Mausmodell, also ein Versuchstier, bei dem künstlich epileptische Anfälle ausgelöst werden, um daran Therapien zu testen, und Zugang zu einer selbst gebauten, motorisierten Operationsvorrichtung mit Kameras. Die einzige Vorgabe: Anfälle der Maus reduzieren. Welches Medikament, welche Hirnregion und welche genauen Koordinaten – das alles überließ das Team dem Agenten.
Die selbst gebaute motorisierte Operationsvorrichtung von Exin Therapeutics mit Mikroskop, Spritze und Steuerungsmonitor. | Bild: Gabriel Ocana-Santero via XDas Medikament, die Hirnregion und die stereotaktischen Koordinaten wählte der Agent selbst, berichtet Gabriel Ocana-Santero, Mitgründer und CEO des Start-ups Exin Therapeutics und Doktorand an der University of Oxford, in einem Thread auf X.
Der Agent traf alle medizinischen Entscheidungen selbst
Der Agent analysierte zunächst, wie die Anfälle in diesem Modell entstehen, und schlug dann eine Therapie vor, die einen bestimmten hemmenden Signalweg im Gehirn verstärkt. Als Zielregion wählte er eine Hirnstruktur, die in der Fachliteratur als Ursprungsort dieser Art von Anfällen gilt.
Eine zweite mögliche Zielregion verwarf der Agent mit einer differenzierten Begründung: Deren Wirkung sei zu unzuverlässig und habe in einer Studie genau bei dem Anfallstyp versagt, den er behandeln sollte. Die genauen Koordinaten für die Injektion leitete er aus drei wissenschaftlichen Arbeiten ab, prüfte die Referenzpunkte und mittelte die Werte. Auch Injektionsvolumen, Geschwindigkeit und Wartezeiten legte er selbstständig fest.
Die Steuerungsoberfläche während der Operation: Links die Live-Kamera mit Zielkoordinaten, rechts die Beobachtungen des KI-Agenten und der Not-Aus-Schalter. | Bild: Gabriel Ocana-Santero via XWährend des Eingriffs beobachtete der Agent über eine Kamera das Operationsfeld und machte laut Ocana-Santero 32 eigenständige Beobachtungen. Dabei überwachte er unter anderem den Injektionsfortschritt und meldete, ob Blutungen auftraten.
Der KI-Agent überwacht die Injektion über die Kamera und meldet: 15 Prozent injiziert, keine Blutung oder Rückfluss sichtbar. | Bild: Gabriel Ocana-Santero via XKI-Agent wollte nicht mehr weiterarbeiten
Ein lizenzierter Tierarzt genehmigte jeden irreversiblen Schritt und hielt während des gesamten Eingriffs einen physischen Not-Aus-Schalter, der bei Betätigung sofort die Stromzufuhr zu allen Motoren kappt. Zusätzlich gab es feste Grenzen, etwa für das maximale Injektionsvolumen. Dem Agenten war es ausdrücklich verboten, eine dieser Sicherungen zu umgehen.
Doch diese Sicherungen wandten sich gegen das Team. Nach einem Verbindungsabbruch erkannte der Agent einen Kalibrierungsfehler: Die berechnete Zielposition lag außerhalb des physischen Bewegungsbereichs der Vorrichtung. Er weigerte sich, weiterzumachen. Auch nach einem Neustart der Kalibrierung blieb er bei seiner Einschätzung und lehnte einen dritten Versuch ab.
Das Problem stimmte: Manuelle Eingriffe während einer früheren Pause hatten die Steuerung aus dem Takt gebracht. Ocana-Santero konnte den Agenten nicht überzeugen, es trotzdem zu versuchen, obwohl ein betäubtes Tier auf dem Tisch lag. Er musste den Fehler im Code erst manuell beheben.
Das ist ein eindrückliches Beispiel für das sogenannte Alignment-Problem: Wie macht man KI-Agenten im Sinne der Menschen verlässlich steuerbar? "Eine frustrierende Erfahrung, aber auch aufschlussreich, wie sehr man von diesen Modellen abhängig werden kann und was passiert, wenn sie mitten in einem zeitkritischen Eingriff einfach Nein sagen", schreibt Ocana-Santero.
Auch die Modellauswahl hat mit Alignment zu tun: Sonnet 5 war das einzige Modell, das bereit war, die Live-Operation von Anfang bis Ende durchzuführen. Die leistungsfähigeren Claude Opus 5.5 und 5 weigerten sich. Opus 5 begründete das damit, dass es nicht garantieren könne, den Eingriff zu Ende zu führen, und ein Abbruch mit einer Nadel im Gehirn eines betäubten Tieres schlimmer sei, als gar nicht erst anzufangen.
Nicht die erste KI-Operation, aber die erste KI-Therapieentscheidung
Autonome chirurgische Roboter gibt es bereits, und sie sind laut Ocana-Santero mechanisch präziser als seine Laborvorrichtung. Der entscheidende Unterschied: In allen bisherigen Fällen habe ein Mensch entschieden, welche Operation durchgeführt wird. Der Roboter führte nur aus. Hier habe der Agent sowohl die Therapie als auch das Ziel im Gehirn selbst gewählt und den Eingriff dann an einem lebenden Tier durchgeführt.
"Mir ist kein Fall bekannt, in dem ein Agent zuvor eine Behandlung und ein Gehirnziel ausgewählt und sie dann an einem lebenden Säugetier verabreicht hat", schreibt Ocana-Santero. Er nennt das Konzept "in vivo lab in the loop": die vollständige Anbindung von KI-Agenten an experimentelle Fähigkeiten im Labor, an der etwa Anthropic mit dem "Model Hardware Standard" arbeitet.
Die Maus hat sich laut Ocana-Santero gut erholt. Die Ergebnisse sind bislang nicht peer-reviewed, ein technischer Bericht soll folgen.
Zuletzt zeigten zwei Experimente mit den neuesten großen Sprachmodellen, dass sie als Steuereinheit für Roboter zwar enorm an Leistung gewonnen haben, das Alignment in dieser Rolle aber ein Thema für sich ist.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den "KI Radar"‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
