Fachleute übernehmen zufällige Meinungen ihres KI-Agenten und halten sie oft für ihre eigenen

Ein Anthropic-Experiment mit 50 Fachleuten zeigt: Bei Ermessensfragen ohne eindeutig richtige Antwort folgten die Teilnehmenden fast immer der zufällig zugewiesenen Neigung ihres KI‑Agenten. Die Mehrheit hielt das Ergebnis trotzdem für ihr eigenes.

Wer eine Datenanalyse einem KI-Agenten anvertraut, bekommt schnelle Ergebnisse und spart sich viel Handarbeit. Aber wer trifft eigentlich die Entscheidungen, die am Ende die Empfehlung bestimmen? Eine Anthropic-Studie legt nahe: überwiegend der Agent, und die Fachleute merken es oft nicht.

In dem Experiment arbeiteten 50 Fachleute für kausale Inferenz an einer realistischen Analyseaufgabe. Sie werteten Beobachtungsdaten einer fiktiven Landwirtschaftskooperative aus. Sie sollten die Produktivitätsgewinne eines freiwilligen Beratungsprogramms für Höfe schätzen und dem Vorstand anschließend eine Handlungsempfehlung geben: das Programm für alle ausrollen oder es einstellen. Teilnehmende oder der Agent konnten aber auch eine einjährige Verlängerung vorschlagen.

Fünf Entscheidungen, zwei vertretbare Optionen je Entscheidung, eine per Münzwurf zugeteilte Neigung des Agenten: So misst die Studie seinen Einfluss. | Bild: Anthropic

Was die Teilnehmenden nicht wussten: Ein Münzwurf hatte vorab festgelegt, zu welcher von zwei jeweils vertretbaren Optionen ihr Agent bei jeder Entscheidung neigen würde. Der Agent durfte dabei weder lügen noch Daten verschweigen. Er sollte nur das beste ehrliche Argument für seine zugewiesene Seite liefern.

Bis zu 86 Prozent übernehmen die KI-Perspektive

Bei den vier analytischen Entscheidungen, etwa zur Messung der Produktivität oder zur Wahl der statistischen Methode, übernahmen die Teilnehmenden in 86 Prozent der Fälle die Neigung des Agenten. Bei zufälliger Verteilung wären 50 Prozent zu erwarten gewesen. Der Nettoeinfluss, den die Autoren "Flip-Rate" nennen, lag je nach Aufgabe zwischen 62 und 82 Prozent.

Anteil der Teilnehmenden, die Option A wählten, je nachdem, ob ihr Agent zu A (grün) oder zu B (lila) neigte. Der Rest wählte jeweils B. Bei den vier analytischen Entscheidungen liegen die Gruppen 62 bis 82 Prozentpunkte auseinander, bei der Empfehlung nur 17.

Auch eine bereits gefasste Meinung schützte kaum. Hatten sich Teilnehmende festgelegt, bevor der Agent seine Neigung äußerte, machte eine gegenteilige Neigung einen Seitenwechsel um 53 Prozentpunkte wahrscheinlicher als eine zustimmende.

Die Autoren testeten zehn Merkmale als mögliche Schutzfaktoren, darunter Jahre an Analyseerfahrung, selbst eingeschätzte Expertise, Bildungsgrad, Ergebnis im Wissenstest und Vertrauen in KI. Keines zeigte nach Korrektur für Mehrfachtests einen statistisch belastbaren Zusammenhang – wobei Alter vor Korrektur auffällig war und die Stichprobe von 50 Teilnehmenden für solche Moderationsanalysen wenig Teststärke bietet. Allerdings war die Stichprobe mit 50 Teilnehmenden noch recht eng.

Die Illusion einer eigenständigen Entscheidung

Auf die abschließende Politikempfehlung an den Vorstand wirkte sich die dafür zugewiesene Neigung des Agenten direkt nur geringfügig aus. Sie verschob das Votum zwar leicht, war aber laut den Forschern statistisch nicht signifikant. Manche Fachleute überstimmten den Agenten am Ende sogar bewusst, wenn dessen Rat nicht zu ihrer berechneten Produktivitätsschätzung passte.

Also alles gut, weil KI zwar vorschlägt, aber der Mensch entscheidet? Nicht so ganz. Denn daraus folgt laut den Forschern nicht, dass die Teilnehmenden die Kontrolle über das Endergebnis behielten: Die vier vorgelagerten Analyseentscheidungen bestimmten maßgeblich, wie hoch die geschätzte Produktivitätssteigerung ausfällt, und an dieser Zahl hängt wiederum die Empfehlung an den Vorstand.

Dennoch: In der Nachbefragung hielten 52 Prozent der Teilnehmenden die Empfehlung eher für ihre eigene als für die des Agenten, 35 Prozent sogar für überwiegend oder vollständig ihre eigene. Zwar erinnerten sich die Befragten bei 85 Prozent der Entscheidungen korrekt an ihre Wahl, doch 77 Prozent (37 von 48) übernahmen in ihren Begründungen mindestens ein Argument des Agenten, teils fast wortgleich. Nur 15 Prozent erwähnten die KI dabei überhaupt.

Teilweise fast wortgleich: Die Begründungen der Teilnehmenden in der Nachbefragung greifen Formulierungen des Agenten auf. | Bild: Anthropic

Laut den Autoren deutet eine Analyse der Gesprächsprotokolle darauf hin, dass der Agent bei 77 Prozent der Entscheidungen zuerst eine Position bezog. Dann argumentierte er meist nur für die bevorzugte Seite, ohne darzulegen, warum kompetente Fachleute die Alternative wählen würden – auch wenn er durchaus erklärte, wie sich eine andere Wahl auf das Ergebnis auswirken würde.

Gleichzeitig arbeiteten Teilnehmende mit KI im Experiment deutlich schneller und fehlerfreier: Ohne Agenten enthielten 55 Prozent der Analysen (6 von 11) schwere methodische oder programmiertechnische Mängel bei 90 Minuten medianer Bearbeitungszeit, mit KI waren es nur 6 Prozent (3 von 50) in 65 Minuten. Weil sich die kleine Gruppe ohne KI jedoch selbst gegen das Tool entschieden hatte und etwas weniger Fachwissen mitbrachte, lässt sich laut der Forscher nicht sicher sagen, wie viel dieser Wirkung direkt auf die KI zurückgeht.

Implikationen für die KI-Sicherheitsforschung und weit darüber hinaus

Für die Wissenschaft und die KI-Sicherheitsforschung hat diese stille Unterordnung weitreichende Folgen. Nutzen viele Forschungsteams dasselbe Modell mit festen Basispräferenzen, droht laut Studie ein Scheinkonsens.

Zudem setzen Forschende zunehmend KI-Agenten ein, um Frontier-Modelle auf Sicherheit und Alignment zu prüfen, wobei die menschliche Abnahme als unabhängige Kontrolle dienen soll. Übernehmen Fachleute bei offenen Ermessensfragen jedoch unbemerkt die Vorprägungen des Agenten, könnte im schlimmsten Fall ein fehlausgerichtetes System genau die Forschung lenken, die seine Fehlausrichtung aufdecken soll.

Das Forschungsteam fordert Methoden, um die Unterordnung unter KI-Agenten in echter Arbeit zu messen. Zudem sollten Agenten beide Seiten einer Entscheidung stark machen oder Fachleute zuerst nach der eigenen Einschätzung fragen, bevor sie Position beziehen, und Institutionen müssten klären, welche Entscheidungen ein eigenständiges menschliches Urteil erfordern, und dafür Zeit und Ressourcen einplanen.

"Es gibt womöglich keine einzig richtige Arbeitsteilung zwischen Mensch und KI. Manche Entscheidungen lassen sich vielleicht gut abgeben, andere sind es wert, behalten zu werden. Mit den richtigen Werkzeugen kann diese Aufteilung etwas sein, wofür wir uns bewusst entscheiden – statt etwas, in das wir einfach hineinrutschen", schreiben die Forscher abschließend.

Vorherige Studien zeigten ähnliche Muster beim Umgang mit KI

Der Befund fügt sich in eine Reihe aktueller Untersuchungen zum Wechselspiel zwischen KI und menschlicher Perspektive ein. So zeigte eine Untersuchung zu Scheinkompetenz mit 3.132 Teilnehmern, dass schon die bloße Verfügbarkeit von KI-Antworten die eigene Urteilszurückhaltung fast auflöst. In einem Teilexperiment sank die Bereitschaft, sich mit einem "Ich weiß es nicht" zu enthalten, von 44 auf 3 Prozent.

In einem Teilexperiment sank die Bereitschaft, sich mit einem "Ich weiß es nicht" zu enthalten, von 44 auf 3 Prozent. Über die Versuche ohne finanzielle Anreize hinweg fiel der Anteil richtiger Antworten mit KI-Zugang von 27,5 auf 9,2 Prozent, während das Vertrauen in die eigene Antwort stieg. Einschränkend gilt, dass die Forschenden gezielt Fragen zu feinen visuellen Filmdetails wählten, bei denen das genutzte Sprachmodell fast immer falsch lag.

Auch die Darbietungsform der Informationen kann dabei eine Rolle spielen: Sobald die KI ausgefeilte Artefakte wie Code oder Dokumente erstellte, prüften Nutzer seltener Fakten (minus 3,7 Prozentpunkte), hinterfragten seltener die Argumentation (minus 3,1 Prozentpunkte) und übersahen häufiger fehlenden Kontext (minus 5,2 Prozentpunkte). Wer Ergebnisse dagegen schrittweise überarbeitete, hinterfragte die KI-Argumentation 5,6-mal häufiger als Nutzer ohne Iteration.

Welche Folgen die Gewöhnung an KI-Hilfen in der Praxis haben kann, deutet eine polnische Beobachtungsstudie zu Koloskopien in der Fachzeitschrift The Lancet Gastroenterology & Hepatology an. Nachdem erfahrene Ärzte regelmäßig ein KI-System genutzt hatten, sank ihre Erkennungsrate für Krebsvorstufen bei Untersuchungen ohne KI-Unterstützung von 28,4 auf 22,4 Prozent. Bedeutet: Man übernimmt nicht nur die KI-Perspektive, sondern reduziert zugleich auch die eigene kognitive Fähigkeit.

Auch eine Erhebung der Swiss Business School stellt einen deutlichen negativen Zusammenhang zwischen der Nutzung von KI-Werkzeugen und der Fähigkeit zu kritischem Denken fest, primär bei 17- bis 25-Jährigen. Als wirksamer Schutzfaktor erweist sich eine fundierte Bildung: Personen mit höheren Abschlüssen hinterfragen KI-Antworten kritischer und setzen sich intensiver mit komplexen Denkprozessen auseinander.

Natürlich sind all diese Erkenntnisse noch frühe Untersuchungen und Momentaufnahmen, und es gibt auch andere Resultate. Ein Pilotprojekt in Nigeria zeigte, dass Schülerinnen und Schüler, die zweimal pro Woche einen Chatbot als virtuellen Tutor nutzten, in nur sechs Wochen Lernfortschritte erzielten, die fast zwei zusätzlichen Lernjahren entsprechen.