Forscher der ETH Zürich, der New Economic School und des Imperial College London führten deshalb gemeinsam mit Pakistans Justiz ein großes Feldexperiment zur Integration generativer KI in ein nationales Justizsystem durch. An dem randomisierten Experiment nahmen 1559 Richter an 118 Gerichten teil, etwa die Hälfte aller pakistanischen Erstinstanzrichter.
Als Tool diente JudgeGPT, ein auf OpenAIs GPT-4 basierender KI-Assistent, der speziell für pakistanische Erstinstanzgerichte entwickelt wurde. Das System greift über Retrieval-Augmented Generation auf eine Datenbank von 129.235 Dokumenten zu, darunter 128.292 Gerichtsurteile und 943 pakistanische Gesetze. Bei einer Anfrage durchsucht es den Korpus, wählt die zehn relevantesten Passagen aus und generiert darauf basierend eine Antwort mit Quellenangaben.
1848 zusätzliche Fälle pro Jahr und Distrikt
Die Forscher teilten die Teilnehmer in drei Gruppen ein. Eine Gruppe erhielt Zugang zu JudgeGPT sowie gezieltes Training zur Nutzung des Tools. Das Training umfasste sechs 90-minütige Vorlesungen über drei Wochen, gehalten von ETH-Professor Elliott Ash jeweils nach Gerichtsschluss. Die Richter lernten, wofür das Tool geeignet ist, wo es versagt und wie man Ergebnisse überprüft. Eine zweite Gruppe erhielt den gleichen KI-Zugang, aber nur ein allgemeines Seminar zu Technologie und Recht. Die Kontrollgruppe bekam lediglich das allgemeine Seminar ohne KI-Zugang.
Das zentrale Ergebnis: Der bloße Zugang zur KI bringt ohne Training wenig. Richter mit gezieltem Training nutzten JudgeGPT viermal intensiver als jene mit allgemeinem Training. Nach 40 Wochen hatten sie durchschnittlich fast 60 Logins und mehr als 200 Prompts angesammelt, verglichen mit etwa 20 Logins und weniger als 50 Prompts in der Vergleichsgruppe.
Distrikte mit höherem Anteil an gezielt trainierten Richtern lösten mehr Fälle. Bei mittlerer Exposition entspricht das laut den Forschern etwa 1848 zusätzlich gelösten Fällen pro Jahr und Distrikt, ein Anstieg von 6,3 Prozent. Selbst Bezirke im unteren Viertel der Exposition kamen noch auf etwa 616 zusätzlich erledigte Fälle.
Die Urteilsqualität blieb laut den Forschenden mindestens stabil. Die Berufungsrate pro 1000 erledigte Fälle sank sogar leicht. Die Richter arbeiteten dabei gleich viele Stunden und berichteten über eine unveränderte Arbeitsbelastung und Work-Life-Balance.
Die Einsparungen beziffern die Forscher auf etwa 38,50 Dollar pro investiertem Dollar, gemessen an den Gehaltskosten, die für zusätzliche Richter zur Erreichung derselben Fallerledigungsrate nötig wären. Selbst bei konservativen Annahmen liege die Rendite bei mindestens 10 Dollar pro investiertem Dollar.
KI verbessert Urteilsqualität leicht, ohne Bias zu verstärken
Anhand von rund 4000 gesammelten Gerichtsurteilen untersuchten die Forschenden auch die Auswirkungen auf die Schreibqualität. Wie erwartet enthielten die Urteile mehr als KI-generiert klassifizierten Text. Verschlechterungen bei Lesbarkeit, Urteilslänge oder der Zahl rechtlicher Argumente fanden die Forscher jedoch nicht.
Eine LLM-basierte Qualitätsbewertung, validiert durch zwei pakistanische Anwälte, deutete sogar auf eine leichte Verbesserung hin. In der Behandlungsgruppe wurden die Urteile nach der Intervention in 59 Prozent der paarweisen Vergleiche als besser eingestuft, gegenüber 42 Prozent in der Kontrollgruppe.
Die Studie fand zudem keine Hinweise darauf, dass der KI-Einsatz geschlechtsbezogene oder religiöse Voreingenommenheit in der richterlichen Sprache verstärkte.
Gezieltes Training steuert die KI-Nutzung in die richtige Richtung
Die Forschenden hatten Zugang zu anonymisierten Chat-Logs von rund 1500 Richtern. Die häufigsten Aufgaben waren Rechtsrecherche, Textverbesserung und Texterstellung. Rund 60 Prozent der Anfragen waren informationssuchend, etwa zu Gesetzen, Verfahren oder rechtlichen Konzepten.
Das gezielte Training verschob die Nutzung. Richter mit spezifischer Schulung setzten das Tool häufiger für Textverbesserung und Zusammenfassung ein, also für Aufgaben, bei denen Sprachmodelle besonders zuverlässig arbeiten. Gleichzeitig stellten sie weniger offene Rechtsfragen, bei denen das Halluzinationsrisiko größer ist. Die Forscher sehen darin einen Beleg dafür, dass das Training die Richter anleitete, die KI gezielt für begrenzte Unterstützungsaufgaben einzusetzen und die Kontrolle über Entscheidungen zu behalten.
Oben: Offene Rechtsrecherche war die häufigste Aufgabe, gefolgt von Textverbesserung und Textgenerierung. Unten: Gezieltes Training verschob die Nutzung hin zu Textverbesserung und Zusammenfassung und weg von offenen Rechtsfragen, bei denen das Halluzinationsrisiko höher ist. | Bild: Mehmood, Goessmann, Ash (2026)Nur etwa ein Fünftel der Anfragen fiel in die Kategorie substanzieller KI-Delegation, bei der Richter das Modell baten, eigenständig Entscheidungen zu bewerten oder Begründungen zu verfassen. Das gezielte Training stärkte laut der Studie die Tendenz, die eigene Entscheidung zu treffen und die KI lediglich mit der Umsetzung zu beauftragen.
Die Forscher betonen, dass die Ergebnisse kein Argument für KI als Ersatz für Richter seien. Das Experiment zeige vielmehr, dass generative KI die Produktivität im öffentlichen Sektor steigern könne, wenn der Zugang mit gezieltem Training verbunden werde, das die Nutzung auf geeignete Aufgaben lenke. Ohne solches Training verpuffe der Effekt weitgehend.
Das Experiment basierte auf der GPT-4-Modellfamilie, die zum Zeitpunkt der Entwicklung den Stand der Technik darstellte. Seitdem hat sich die Qualität großer Sprachmodelle erheblich weiterentwickelt: Aktuelle Modelle liefern sprachlich hochwertigere Antworten, halluzinieren deutlich seltener und können komplexere Zusammenhänge verarbeiten. Die im Experiment gemessenen Produktivitätsgewinne dürften damit eher eine Untergrenze dessen darstellen, was mit heutigen Systemen erreichbar wäre.
