Die sogenannte mechanistische Interpretierbarkeit will nicht nur beobachten, was ein KI-Modell ausgibt, sondern nachvollziehen, wie es intern zu seinen Antworten kommt. Im Idealfall stünde jedes der Millionen künstlichen Neuronen für einen erkennbaren Begriff. In der Praxis schienen viele Neuronen jedoch auf völlig Unverwandtes anzuspringen, was Forschende als Polysemantik bezeichnen. Ein frühes und berühmtes Beispiel ist ein Neuron im Bildmodell InceptionV1, das sowohl auf Katzengesichter als auch auf Autofronten reagierte. Cammarata selbst nahm das als Beispiel in seiner frühen Forschung.
Drei künstlich erzeugte Visualisierungen desselben Neurons in InceptionV1 zeigen Katzengesichter, Autofronten und Katzenbeine. In „Zoom In“ galt diese Mischung als Beispiel für Polysemantik. Cammarata deutet das Neuron heute als Detektor für V-Formen. | Bild: Olah et al. / Distill, „Zoom In“ (2020)Die gängige Erklärung dafür hieß Superposition: Gehen einem Netz die Neuronen aus, packe es unverwandte Konzepte in dieselben Neuronen, weil sie sich selten in die Quere kommen. Das Ergebnis gleicht einem Knoten. Viele Labore trainieren deshalb ein zweites Modell, etwa einen Sparse Autoencoder, der die Begriffe herauslösen soll, und untersuchen dann dieses statt des Originals.
Cammarata war an dieser Sichtweise maßgeblich beteiligt. Gemeinsam mit Chris Olah verfasste er das Paper "Zoom In", das den ersten Superpositions-Schaltkreis vorstellte. 2023 startete er bei OpenAI ein Projekt zur automatisierten Interpretierbarkeit. Damals galten selbst nach großzügigstem Maßstab nur etwa 1,7 Prozent der Neuronen als verständlich.
Aus Katze und Auto wird ein V
Heute hält Cammarata die bekanntesten Belege für fehlgedeutet. Das oben erwähnte Katze-Auto-Neuron sei in Wahrheit ein Detektor für V-Formen: Spitze Formen wie Fuchsschnauzen oder Flammen aktivierten es, runde Formen wie ein O drückten es ins Negative. Es repräsentiert also nicht zwei gänzlich unzusammenhängende Konzepte (Katzengesichter und Autos) und ist damit kein Beispiel für Superposition.
Spitze Formen aktivieren das untersuchte Neuron, runde Formen treiben seine Aktivierung ins Negative. Cammarata deutet das vermeintliche Katze-Auto-Neuron heute deshalb als Detektor für eine gemeinsame Form.Auch den Superpositions-Schaltkreis aus "Zoom In", in dem sich ein Auto scheinbar zwischen Hundeneuronen versteckte, deutet er heute als gewöhnliche Generalisierung. Autos und Hunde würden dort schlicht nach ihrer Ausrichtung zur Kamera gruppiert. Das Durcheinander in den späten Schichten von InceptionV1 führt er auf eine veraltete Architektur und schwache Analysewerkzeuge zurück.
Dieselben zwei Neuronen, unterschiedlich visualisiert: Mit verbesserten Analyseverfahren werden ihre Reaktionsmuster und verknüpfte Fotos deutlicher erkennbar. Cammarata sieht darin einen Grund, ältere Befunde zur Unverständlichkeit neuronaler Netze neu zu bewerten.Was an Mehrdeutigkeit übrig bleibt, erklärt Cammarata mit einem Muster, das er "rekursive Generalisierung" nennt. Ein Neuron wachse wie ein Ast, der Seitenzweige treibt: Eines, das die Buchstabenfolge "iy" erkannte, reagierte später auf "diy" und schließlich auf "do it yourself", das gar kein "iy" mehr enthält. Anders als bei Superposition lasse sich aus solchen Gruppierungen etwas über das Netz lernen.
Schematische Darstellung der „rekursiven Generalisierung“: Ein Neuron für „iy“ erweitert seine Reaktionen über „diy“ bis zu „do it yourself“. Die Verbindung entsteht hier über verwandte Bedeutungen.Für Sprachmodelle nennt er vorläufige Zahlen: Im Modell Qwen3-32B hätten rund 90 Prozent der Neuronenpole eine Hauptaufgabe, etwa 7 Prozent zwei verwandte, und nur 2 bis 4 Prozent seien noch unverstanden. Ähnliches beobachte Goodfire bis hin zu Modellen mit Billionen Parametern. Die Untersuchungen haben vor allem KI-Agenten erledigt, die Neuronen in großer Zahl analysieren. In Anlehnung an Rich Suttons "Bitter Lesson" folgert Cammarata, auch bei der Interpretierbarkeit schlage einfache Untersuchung in großem Maßstab clevere Zerlegungsmethoden.
Eine grundlegend neue Methode stellt Cammarata dabei nicht vor. Er kehrt vielmehr zum ursprünglichen Ansatz des Feldes zurück, die Neuronen direkt zu untersuchen, nur mit besseren Werkzeugen, größeren Modellen und automatisierten Agenten.
Ein lesbares Netz wäre ein Sicherheitsgewinn
Träfe Cammaratas Lesart zu, wäre das vor allem für die KI-Sicherheit eine gute Nachricht. Bislang lässt sich abseits der Überwachung der immer umzuverlässiger werdenden Gedankenketten nur eingeschränkt nachvollziehen, ob ein Modell täuscht oder sich gefährlich verhält. Cammarata hält Alignment, also die Ausrichtung von KI an menschlichen Zielen, ohne Interpretierbarkeit kaum für lösbar, weil man sonst nicht wisse, was man baut. Täuschung habe keinen Grund, sich vor den eigenen Schaltkreisen des Modells zu verstecken, schreibt er. Werde man selbst zu einem weiteren "Leser" des Netzes, sei sie auch für Menschen sichtbar, und Fehler ließen sich womöglich gezielt korrigieren.
Entsprechend euphorisch reagierte Roon, ein OpenAI-Mitarbeiter, der unter diesem Pseudonym auf X als einflussreiche Stimme der KI-Szene gilt. Nach eigener Aussage ist er eng mit Cammarata befreundet, ohne ihn wäre er nie bei OpenAI gelandet. Das könne als "großer Moment der Wissenschaftsgeschichte" in Erinnerung bleiben, schrieb Roon. Die Nachricht sei so gut, dass selbst Eliezer Yudkowsky, einer der prominentesten Warner vor einer KI-Katastrophe, seine geschätzte Untergangswahrscheinlichkeit senken müsse. Alignment könne zu einer "normalen Wissenschaft" werden.
Ganz ohne Vorbehalt bleibt aber auch Roon nicht. Andere im Feld müssten die Ergebnisse erst bestätigen. Zudem vermutet er, dass Durchbrüche bei der Interpretierbarkeit auch die Fähigkeiten von KI voranbringen. Dass sie von außen kämen, verheiße für die großen Labore, OpenAI eingeschlossen, nichts Gutes.
Nanda sieht ein Werkzeug, keinen Durchbruch
Deutlich nüchterner urteilt Neel Nanda. Er gilt als eine der Gründerfiguren der mechanistischen Interpretierbarkeit, leitet das entsprechende Team bei Google Deepmind und arbeitete zuvor bei Anthropic und als unabhängiger Forscher. Auch seine eigene Haltung hat sich gewandelt: Seit Mitte 2024 ist er pessimistischer gegenüber ambitionierter Interpretierbarkeit und setzt stärker auf pragmatische Ansätze. Sein Team stellte die Forschung an Sparse Autoencodern zurück, nicht weil es die Technik für nutzlos hielt, sondern weil sie den Aufwand des Feldes nicht zu rechtfertigen schien.
Cammaratas Arbeit sei interessant, verändere das Gesamtbild aber nicht wesentlich, schreibt Nanda. Neuronenbasierte Analysen könnten für praktische Fragen taugen, etwa warum ein Modell etwas Fragwürdiges getan hat, und ließen sich auf Frontier-Modellen viel leichter umsetzen. Die Folgerung, die Interpretierbarkeit stehe damit kurz vor der vollständigen Entschlüsselung, teilt er nicht. Er erwartet, dass auch neuronenbasierte Analysen erhebliche Fehler haben und vieles übersehen.
Superposition hält Nanda weiterhin für real: Sprachmodelle speicherten weit mehr Fakten, als sie Neuronen haben, und gerade schwache Aktivierungen dürften viel davon enthalten. Ob sich Befunde aus kleinen Bildmodellen übertragen lassen, bezweifelt er. Zudem definiere der Essay Monosemantik zu großzügig. Lob gibt es dafür, dass Cammarata seine alten Arbeiten mit modernen Werkzeugen überprüft hat.
Teilweise geht es in dem Streit allerdings um Begriffe. Dass Modelle mehr Konzepte darstellen, als sie Dimensionen haben, hält auch Cammarata für unproblematisch, und Nanda sieht ihn in diesem Punkt auf seiner Seite. Cammarata bestreitet nur, dass Netze völlig Unverwandtes willkürlich zusammenpacken.
Das technische Begleitpaper steht noch aus, und Goodfire hat als Interpretability-Unternehmen ein naheliegendes Interesse an der These. Sollte Cammaratas Lesart halten, könnten automatisierte Forscher nach seiner Einschätzung in Monaten leisten, wofür Menschen bei Bildmodellen fast ein Jahrzehnt brauchten. Viel Zeit bleibe dafür womöglich nicht, schreibt er selbst.
