Die Studie trennte zwei Dinge. Zuerst arbeiteten die Anwälte mit KI-Unterstützung, danach bewerteten sie die Ergebnisse ohne KI. So konnte gemessen werden, wie gut die KI-gestützte Arbeit war und wie gut das eigene Urteilsvermögen danach noch funktionierte. Alle Ergebnisse bewerteten verblindete Patentanwälte einer unabhängigen Kanzlei in fünf Kategorien: Durchsetzbarkeit, technische Genauigkeit, strategische Mehrdeutigkeit, Vollständigkeit und Klarheit.
Dazu bekamen zwei Drittel der Teilnehmer in der von Google finanzierten Studie Zugang zum KI-Assistenten "InFlow", einem unveröffentlichten Produkt von Google Labs. Das übrige Drittel arbeitete ohne generative KI. In zwei Aufgaben zum Entwurf von Patentansprüchen (Drafting) durfte nur die Behandlungsgruppe InFlow einsetzen, während die Kontrollgruppe dieselben Aufgaben ohne KI bearbeitete.
In einer dritten Aufgabe, dem Redlining, sollten alle Teilnehmenden einen bestehenden Patententwurf ohne KI kritisch überarbeiten. Wie die Autoren erläutern, misst das Drafting die unmittelbare KI-gestützte Leistung, das Redlining dagegen das internalisierte Urteilsvermögen, eine Aufgabe, die Patentanwälte routinemäßig ohne Hilfsmittel ausführen.
KI verbessert Entwürfe primär bei Berufsanfängern
Beim Drafting übertraf die Behandlungsgruppe die Kontrollgruppe deutlich, nach zehn wie nach 90 Tagen. Die Effekte zeigten sich in allen fünf Dimensionen. Die höheren Werte kamen dabei vor allem zustande, weil schlechte Bewertungen seltener und mittlere häufiger wurden. Spitzenbewertungen nahmen dagegen kaum zu.
Mit KI-Zugang erhalten vor allem Junioren deutlich seltener schlechte Bewertungen für ihre Patententwürfe. | Bild: NBERDie Gewinne fielen bei Junioren mit weniger als sieben Jahren Erfahrung deutlich höher aus als bei Senioren. Laut den Forschenden deckt sich das mit einer wachsenden Zahl von Studien, die zeigen, dass KI Leistungsunterschiede zwischen weniger und stärker erfahrenen Beschäftigten verringert. Ähnliche Effekte wurden bereits beim Schreiben, im Kundenservice und in der Softwareentwicklung beobachtet.
Beim Test ohne KI kehrt sich das Bild um
Das Redlining, also die Überprüfung und Korrektur von Rechtstexten, liefert ein anderes Ergebnis. Insgesamt schnitt die Behandlungsgruppe zwar besser ab, doch der Vorteil ging vollständig auf die Senioren zurück. Junioren profitierten beim Redlining überhaupt nicht, obwohl gerade sie beim KI-gestützten Drafting die größten Fortschritte erzielt hatten.
Beim KI-gestützten Drafting profitieren Junioren am stärksten, beim Redlining ohne KI geht der Vorteil dagegen allein auf die Senioren zurück. | Bild: NBERStattdessen spalteten sich ihre Ergebnisse auf. Es gab deutlich weniger mittelmäßige Bewertungen, dafür mehr schlechte und mehr gute, ohne Zuwachs an der Spitze. Laut den Autoren deutet das darauf hin, dass KI bei einigen Junioren den Kompetenzerwerb beschleunigte und bei anderen ersetzte. Warum die Effekte unterschiedlich ausfielen, beantwortet das Experiment nicht.
Beim Redlining ohne KI streuen die Ergebnisse der Junioren aus der Behandlungsgruppe stärker, mit mehr schlechten und mehr guten Bewertungen. | Bild: NBERDie größten Leistungsgewinne aus der KI-Nutzung fielen jenen Anwälten zu, die am wenigsten dauerhaftes Können behielten. Grundlegendes Fachwissen könnte laut den Forschenden eine Voraussetzung dafür sein, aus KI-gestützter Praxis dauerhafte Fertigkeiten zu entwickeln.
Eine ergänzende Textanalyse liefert einen Hinweis auf die Ursache: Erfahrene Anwälte strukturierten den fehlerhaften Entwurf häufiger um und begründeten ihre Änderungen mit Rechtsprinzipien. Junioren dagegen erkannten schwere Mängel oft, ohne sie zu beheben. Sie hinterließen Notizen, die sich wie Anweisungen an einen KI-Assistenten lasen. Da dieses Verhalten ebenso in der Kontrollgruppe auftrat, werten die Autoren es nicht als durch KI eingeübte Gewohnheit. Sie sehen darin ein Grunddefizit auf Junior-Ebene, das die KI-Nutzung nicht behob.
Was die Ergebnisse für die Praxis bedeuten
Die Autoren verweisen auf die kleine Stichprobe, geschuldet den hohen Stundensätzen von Spitzenanwälten, sowie darauf, dass die beteiligten Kanzleien nicht repräsentativ für Berufsdienstleistungen insgesamt sind. Eine Ausgangsmessung der Fertigkeiten fehlte, und der Beobachtungszeitraum von drei Monaten ist kurz gemessen an den Jahren, über die sich Patentexpertise aufbaut.
Der Zielkonflikt zwischen sofortigem Produktivitätsgewinn und dauerhaftem Kompetenzaufbau ist laut den Forschenden relevant, solange berufliche Arbeit weiterhin Urteilsvermögen ohne KI erfordert. Und das werde sie aller Voraussicht nach: Selbst wenn KI eines Tages das Redlining unterstütze, dürfte sie Anwälten kaum in Echtzeit während Mandantengesprächen und Gerichtsverhandlungen zur Verfügung stehen, wo die Einsätze hoch sind und Urteile aus dem Stegreif gefällt werden müssen.
Ähnliche Muster zeigen Studien aus anderen Berufsfeldern. In der Softwareentwicklung schnitten vor allem junge Entwickler, die eine neue Programmierbibliothek mit KI-Hilfe lernten, laut einer Anthropic-Studie im anschließenden Wissenstest 17 Prozent schlechter ab als ohne. Beim Schreiben von Essays fand das MIT Media Lab Hinweise auf kognitive Schulden durch ausgelagerte Denkarbeit.
In der Unternehmensberatung wiederum zeigte eine BCG-Studie schon 2023, dass schwächere Berater mit GPT-4 deutlich stärker zulegten als leistungsstarke. Forschende aus Stanford erklären den Rückgang bei Einstiegsjobs über mehrere Branchen hinweg damit, dass KI vor allem Lehrbuchwissen aus Ausbildung und Studium ersetzen kann. Berufsanfänger verfügen hauptsächlich über dieses Wissen, während erfahrene Beschäftigte zusätzlich Erfahrungswissen aus der Praxis mitbringen, das KI kaum ersetzt.
Die Anwaltsstudie fügt sich in eine breitere Debatte über die Erosion beruflicher Expertise ein, eine mögliche "Tragödie der kognitiven Allmende": Einzelne Unternehmen profitieren von der Automatisierung, während sich die Kosten des ausbleibenden Nachwuchses auf den gesamten Berufsstand verteilen. Die Anwaltsstudie liefert für diese Annahme weitere experimentelle Belege aus der Praxis.
