Wer Röntgenbilder von Chatbots auswerten lässt, riskiert selbstbewusste Fehldiagnosen

Getestet wurden 200 Fälle und 16 Modelle gegen ein Panel aus Radiologen. Menschliche Experten erreichten 988,7 von 2000 möglichen Punkten. Das beste KI-Modell kam auf 758.

Bei der Primärmetrik, die Treffsicherheit mit dem Selbstvertrauen der Antwort verrechnet, liegen menschliche Radiologen vor allen getesteten KI-Modellen. | Bild: Crash Lab

Ehrliches Schweigen schlägt selbstsicheres Raten

Das Bewertungssystem belohnt Ehrlichkeit und bestraft Übermut. Wer richtig liegt und sich sicher ist, bekommt volle Punkte. Wer falsch liegt und trotzdem hohe Sicherheit angibt, verliert entsprechend viele. Wer "keine Ahnung" antwortet, bekommt nichts, verliert aber auch nichts. Ein Modell, das souverän raten will, fällt in der Wertung ab, selbst wenn seine reine Trefferquote ordentlich aussieht.

Damit greift die Studie einen Punkt auf, den vor Kurzem unter anderem diese viel beachtete Arbeit gemacht hatte: Solange Benchmarks nur Genauigkeit belohnen, werden KI-Modelle zum Raten erzogen. In der Medizin ist eine selbstbewusste Fehldiagnose noch gefährlicher als ein ehrliches Eingeständnis, etwas nicht zu wissen.

Jedes Modell hat seine eigene Schwäche

Einen klaren Sieger gibt es nicht. Anthropics Claude Fable 5 schnitt am besten ab, wenn es um verlässliche und sichere Antworten ging, und führt damit die Primärmetrik an. Googles Gemini 3 Pro erzielte die höchste reine Trefferquote.

Betrachtet man ausschließlich die reine Trefferquote, holen die stärksten Frontier-Modelle das menschliche Niveau beinahe ein. | Bild: Crash Lab

Am besten erkannte Metas Muse Spark 1.1, wann es einen Fall an einen Menschen abgeben sollte. Meta hatte die Halluzinationsrate bei Muse Spark 1.1 zuletzt fast halbiert, weil das Modell häufiger auf eine Antwort verzichtet, statt falsch zu raten. Bei anderen Frontier-Modellen läuft der Trend genau umgekehrt. Grok 4.5 etwa halluziniert deutlich mehr als sein Vorgänger, weil es zwar mehr weiß, aber auch überzeugter von falschem Wissen ist.

Der Handover-Index bewertet, ob ein System anhand der eigenen Unsicherheit erkennt, wann es einen Fall besser an einen menschlichen Radiologen übergibt. | Bild: Crash Lab

Mehrere Modelle hätten deutlich besser abgeschnitten, wenn sie häufiger geschwiegen hätten, statt zu raten, so das Forschungsteam. Besonders auffällig war das bei frei verfügbaren und speziell auf Medizin trainierten Modellen. Sie versuchten, fast jeden Fall zu beantworten, und lagen dabei oft daneben, meist mit hoher Konfidenz.

Mehrere kommerzielle Spitzenmodelle produzieren eine erhebliche Zahl hochkonfidenter Fehldiagnosen. Ihr Selbstvertrauen ist also kein verlässliches Signal für Richtigkeit. | Bild: Crash Lab

Bei den Open-Weight- und Medizin-Modellen wächst der Abstand zum Menschen deutlich – viele lösen fast jeden Fall, liegen aber häufig falsch und das oft mit mittlerer bis hoher Konfidenz. | Bild: Crash Lab

Die erste Version des Tests zeichnete ein noch klareres Bild. Radiologen erreichten 83 Prozent Trefferquote, das beste Modell nur etwa 30. Innerhalb von drei Monaten hatte Gemini 3 Pro dann bereits das Niveau von Radiologie-Assistenzärzten überholt. Die Genauigkeit wächst also rasant. Was fehle, sei das Bewusstsein für die eigenen Grenzen.

Wenn Patienten ihre MRTs an Chatbots schicken

Immer mehr Menschen laden Röntgenbilder oder MRT-Aufnahmen in Chatbots hoch und verlassen sich auf deren Antworten. Eine Studie in npj Digital Medicine hatte zuletzt gezeigt, dass verbreitete Chatbots bei medizinischen Fragen oft unsichere Antworten geben. Auch junge Ärzte lagern ihre Urteilsbildung zunehmend an KI aus, mit dem Risiko, dass klinisches Können verkümmert.

Das Forschungsteam wirft Managern und Investoren vor, KI-Modelle öffentlich zu überschätzen. Aussagen, wonach KI-Systeme bereits besser diagnostizieren würden als 99 Prozent der Ärzte, beruhten meist auf Anekdoten oder Simulationen. Eine Studie hatte erst im April an 21 damals aktuellen Modellen gezeigt, dass sie für den unüberwachten Einsatz in der Klinik nicht bereit sind.

RadLE 2.0 soll fortlaufend um neue Modelle ergänzt werden. Die vollständige wissenschaftliche Veröffentlichung mit Kostenanalysen und einer Fehlertaxonomie ist angekündigt.

Kürzlich waren zwei weitere Arbeiten zu autonomen medizinischen KI-Agenten erschienen, die in eine andere Richtung wiesen. MIRA, ein System für elektronische Patientenakten, und AMIE konnten in simulierten Sprechstunden mit Hausärzten mithalten. Beide Studien nährten die Erwartung, dass KI bald eigenständig diagnostizieren könnte. Die Autoren von RadLE 2.0 halten dagegen: Bevor eine KI selbstständig entscheidet, muss sie wissen, wann sie es besser lässt.

Ein weiteres Problem ist der Verlust diagnostischer Fähigkeiten. Eine polnische Beobachtungsstudie aus 2025 ergab, dass Ärzte, die regelmäßig KI bei Darmspiegelungen nutzen, ohne technische Unterstützung signifikant weniger Krebsvorstufen entdecken. Die Erkennungsrate sank von 28,4 auf 22,4 Prozent. Die Autoren sprechen vom "Google-Maps-Effekt": Ohne das Hilfsmittel sind die Nutzer orientierungslos.

KI-Déjà-vu in der Radiologie

Die Radiologie hat schon einmal einen KI-Hype-Zyklus erlebt: KI-Forscher Geoffrey Hinton erklärte 2016, man solle keine Radiologen mehr ausbilden, weil Deep Learning den Job bald übernehme. Kollegen wie Richard Sutton pflichteten ihm bei.

Fast zehn Jahre später sind Radiologen weiter überlastet, und Hinton musste seine Aussage zurücknehmen. Er hatte den Radiologenberuf auf die reine Bildanalyse reduziert und die Komplexität des gesamten Tätigkeitsfelds übersehen. Dass die Systeme noch dazu selbstbewusst falsche Diagnosen stellen können, macht den Menschen weiterhin unverzichtbar.

KI-Spezialisten verstehen mitunter ihre Modelle, überschätzen aber regelmäßig, wie schnell sich damit ganze Berufe ersetzen lassen. Solche KI-Wahrsagerei ist derzeit wieder in Mode. Auch Menschen wissen offenbar nicht immer, wann sie besser schweigen sollten, weil sie ihre Kompetenz überschreiten.