Medizinische KI wird zunehmend für Patientinnen und Patienten entwickelt, getestet und in Kliniken erprobt. Wie Patienten solche Systeme verstehen, ihnen vertrauen oder mögliche Risiken wahrnehmen, spielt in der Forschung aktuell aber nur eine Nebenrolle.
Eine wissenschaftliche Arbeit zur systematischen Auswertung von Studien über medizinische KI mit 330 analysierten Arbeiten wurde im Fachjournal Nature Health veröffentlicht. Die Auswertung zeigt, dass grundlegendere Fragen und Anliegen von Patient:innen nur selten erhoben werden. Das Vertrauen von Patient:innen in KI-Systeme wurde etwa nur in 16,7 Prozent der Studien untersucht und Sicherheit aus Patientenperspektive nur in 10,9 Prozent.
Die Auswertung zeigt eine Lücke auf, die für den praktischen Einsatz von KI in der Medizin bedeutend ist. Viele KI-Systeme werden technisch geprüft, aber nur selten gemeinsam mit den Menschen entwickelt, die später von ihren Empfehlungen, Einschätzungen oder Abläufen betroffen sind.
In der in der Fachzeitschrift Nature Health veröffentlichten Studie wurden wissenschaftliche Studien aus verschiedenen Forschungsdatenbanken (PubMed, Web of Science und Embase) ausgewertet. Ziel der Untersuchung war es, den Zustand des ganzen Forschungsfelds zu Medizin-KI zu untersuchen.
Patient:innen werden oft erst spät einbezogen
In der Auswertung betrachteten die Forscher verschiedene Phasen im Lebenszyklus medizinischer KI: Design, Entwicklung, Validierung und Einsatz. Interessant war, in welcher Phase der Studien Patientenfaktoren untersucht wurden. In 295 der 330 Studien zu medizinischer KI (89,4 Prozent) wurden Patientenfaktoren erst während der Validierung untersucht. In frühen Design- und Entwicklungsphasen waren es nur 3,9 Prozent.
Das bedeutet, dass Aspekte, die für Patient:innen von Bedeutung sind, in vielen Projekten erst dann beachtet werden, wenn ein KI-System schon größtenteils entwickelt ist. Dann wird geprüft, ob sie mit dem System zurechtkommen oder ob sie es als nützlich empfinden.
Zufriedenheit ist nicht dasselbe wie Vertrauen
Am häufigsten untersuchten die ausgewerteten Studien Patientenzufriedenheit (70,6 Prozent der Studien) und wahrgenommene Vorteile (69,4 Prozent).
Um ein KI-gestütztes System in der Medizin einzusetzen, ist es natürlich sehr wichtig zu wissen, ob Patientinnen und Patienten es annehmen und ob sie darin einen Nutzen sehen. Die Übersichtsarbeit zeigt, dass diese einfachen Messgrößen andere zentrale Fragen verdrängen können.
„Vertrauen in KI“ ist komplexer als Zufriedenheit nach einer Anwendung. Ein Patient kann mit einer KI-Antwort zufrieden sein, ihr aber trotzdem nicht unbedingt trauen. Umgekehrt kann ein System medizinisch nützlich sein, aber Ängste auslösen, wenn unklar ist, wie eine Empfehlung zustande kommt oder wer im Falle eines Fehlers Verantwortung trägt.
Sicherheit wird selten aus Patientensicht geprüft
Der geringe Anteil von Studien, die Sicherheit als Patientenfaktor untersuchten, ist bemerkenswert. In der medizinischen KI-Forschung wird Sicherheit häufig aus technischer oder klinischer Sicht verstanden und dreht sich um Fragen wie „Liefert das System die richtige Diagnose?“, „Erkennt es Risiken?“ oder „Macht es weniger Fehler als ein Vergleichsverfahren?“.
Für Patient:innen zählt aber auch, ob ein System verständlich kommuniziert ist, ob es falsche Sicherheit vermittelt, ob es zu unnötiger Sorge führt oder ob es dazu beiträgt, dass Menschen ärztlichen Rat anders bewerten. Solche Fragen lassen sich nicht allein mit klassischen Leistungskennzahlen beantworten.
Gerade bei KI-Systemen, die direkt von Patient:innen eingesetzt werden oder ärztliche Entscheidungen beeinflussen, kann es problematisch werden, wenn die Patientensicht nicht hinreichend berücksichtigt wurde. Ein KI-System kann in einem Benchmark gut abschneiden und trotzdem im Alltag scheitern, wenn Patient:innen ihm nicht vertrauen oder es falsch verstehen.
Bedeutung für medizinische KI
Die Ergebnisse passen zu einer breiteren Debatte über KI im Gesundheitswesen. Viele KI-Anwendungen werden vor allem hinsichtlich technischer Leistungsdaten beurteilt (wie Genauigkeit, Sensitivität, Spezifität oder Vergleichswerte gegenüber Ärzten). Diese technischen Daten sind natürlich wichtig, aber nicht hinreichend.
Wenn medizinische KI in echte Versorgungssituationen gelangt, trifft sie auf Menschen mit unterschiedlichen Erfahrungen, Ängsten und Erwartungen. Ob ein Patient einer KI-Empfehlung folgt, sie ignoriert oder durch sie verunsichert wird, entscheidet mit darüber, ob das System tatsächlich von Nutzen ist.
Die Untersuchung legt deshalb nahe, dass Patient:innen nicht erst am Ende der Entwicklung einbezogen werden sollten. Um sinnvolle medizinische KI für Patient:innen zu entwickeln, sollte früh geprüft werden, welche Informationen Patienten brauchen, welche Risiken sie sehen und welche Erklärungen oder Kontrollen nötig sind. Die Studie bietet hierzu wichtige Ansätze.
(mack)
