Selbst Top-Experten haben den KI-Fortschritt der letzten Jahre teils massiv unterschätzt

Seit Mitte 2022 hat das FRI in mehreren Studien und Projekten Prognosen zum KI-Fortschritt gesammelt. Die Stichproben umfassen hochrangige Fachleute: 339 Experten in der ersten LEAP-Runde (Longitudinal Expert AI Panel), darunter 76 Informatiker, 76 Industrieexperten, 68 Ökonomen und 119 KI-Policy-Fachleute. Unter den Informatikern waren 30 Professoren an Top-20-Institutionen und 10 der 200 meistzitierten KI‑Autoren. Ergänzt wurden die Panels durch sogenannte Superforecaster, also Generalisten mit nachweislich guter Prognosebilanz.

KI-Meilensteine kamen Jahre früher als erwartet

Besonders abweichend ist der Fall der Internationalen Mathematik-Olympiade: KI erreichte Gold-Niveau im Juli 2025, fünf Jahre früher als der Median der Expertenvorhersagen und zehn Jahre früher als der Median der Superforecaster. Diese Prognosen wurden 2022 noch vor der Veröffentlichung von ChatGPT gesammelt. Doch auch danach setzte sich das Muster fort.

Die aus den Prognosen abgeleiteten Wahrscheinlichkeiten für die später beobachteten Benchmark-Ergebnisse lagen bei Fachleuten im Schnitt bei 24,6 Prozent, bei Superforecastern bei 9,7 Prozent. Für das erreichte Goldmedaillenniveau bei der Mathematik-Olympiade waren es lediglich 8,6 beziehungsweise 2,3 Prozent. | Bild: Forecasting Research Institute

Ein weiterer möglicher Fall betrifft die Lösung eines Millennium-Preisproblems durch KI. Bei der Befragung im August und September 2025 lag die Medianprognose der Experten für eine solche Lösung bis Ende 2027 bei zehn Prozent, die der Superforecaster bei 5,4 Prozent, doch OpenAI soll das Navier-Stokes-Problem möglicherweise bereits mithilfe eines internen Modells gelöst haben. Ob diese Lösung die Auswertungskriterien erfüllt, ist noch unklar.

In einer Studie zu KI-Fähigkeiten in der Virologie sagten Experten voraus, dass KI-Modelle erst 2030 mit einem Top-Virologenteam bei einem Troubleshooting-Benchmark gleichziehen würden. Superforecaster rechneten erst mit 2034. Laut FRI war es wahrscheinlich bereits im April 2025 so weit. Ähnliche Unterschätzungen zeigten sich bei einem Cybersecurity-Benchmark.

Fachleute erwarteten im Median erst 2030, Superforecaster 2034, dass KI im Virology-Capabilities-Test ein Spitzenteam erreicht. Laut FRI war dies wahrscheinlich bereits im April 2025 der Fall. Die Befragten verbanden diesen Meilenstein mit höheren erwarteten Biorisiken, nicht mit einem bereits nachgewiesenen Anstieg tatsächlicher Schäden. | Bild: Forecasting Research Institute

Auch bei ökonomischen Kennzahlen zeigen sich die zu skeptischen Einschätzungen: Den höchsten jährlich wiederkehrenden Umsatz (ARR) eines KI-Unternehmens für Ende 2026 schätzten Experten im Median auf 20 Milliarden Dollar, Ökonomen auf 16 Milliarden und Superforecaster auf 25 Milliarden. Als wahrscheinlich bereits erreichten Vergleichswert nennt das FRI für September 2026 rund 100 Milliarden Dollar bei Anthropic.

Die annualisierten Umsätze von Anthropic und OpenAI (links) überholten die Medianprognosen aller befragten Gruppen (rechts) deutlich. Selbst die höchste Gruppenschätzung von 25 Milliarden Dollar lag weit unter dem im Juli 2026 berichteten Wert von 65 Milliarden. | Bild: Forecasting Research Institute

Bei praktischen Anwendungen fällt die Bilanz gemischt aus

Es gibt allerdings Gegenbeispiele. Biosicherheitsexperten schätzten im Median, dass 22,5 Prozent der Teilnehmenden mit Sprachmodell-Unterstützung  biologische Laboraufgaben bewältigen würden. Virologen erwarteten 40 Prozent, Superforecaster 16,2 Prozent. Im kontrollierten Versuch schafften es jedoch nur 5,2 Prozent mit Sprachmodell und Internetzugang, gegenüber 6,6 Prozent mit Internetzugang allein. Ein Leistungsvorteil durch das Sprachmodell war damit nicht zu beobachten, das Experiment war allerdings klein.

Auch die Verbreitung selbstfahrender Autos könnten Experten überschätzt haben. Ihr Median für den Anteil autonomer Fahrten an US-Fahrdienstfahrten 2027 lag bei 7,3 Prozent, verglichen mit einer LLM-Projektion von 2,5 Prozent. Ob die Prognosen zu Wirtschaftswachstum, Beschäftigung oder großen KI-Schäden zutreffen, lässt sich laut FRI bisher nicht belastbar beurteilen.

Die Befragten korrigieren ihre Wirkungserwartungen unterdessen nach oben. Bei Personen, die an beiden Erhebungen teilnahmen, stieg binnen neun Monaten die mittlere zugewiesene Wahrscheinlichkeit für KI als "Technologie des Jahrhunderts" bei Experten von 31 auf 36 Prozent und bei Superforecastern von 28 auf 35 Prozent.

Fachleute und Superforecaster erwarten größere gesellschaftliche KI-Effekte als neun Monate zuvor. Die höchste mittlere Wahrscheinlichkeit entfällt inzwischen bei beiden Gruppen auf eine "Technologie des Jahrhunderts", vergleichbar mit Elektrizität. | Bild: Forecasting Research Institute

FRI will Prognosen mit schnelleren Methoden ergänzen

Das FRI plant mehrere methodische Anpassungen. Künftig soll eine Teilstichprobe hervorgehoben werden, die bis 2040 sehr schnellen KI-Fortschritt erwartet. Außerdem sollen kontinuierlich aktualisierte LLM-Prognosen parallel veröffentlicht werden. Laut ForecastBench erreichen einige Modelle bei bestimmten Fragetypen inzwischen das Niveau von Superforecastern. Das Institut will zudem besonders treffsichere Teilnehmende im LEAP-Panel identifizieren und deren Prognosen hervorheben, sobald ausreichend Daten vorliegen.

Das FRI weist allerdings auf eine wichtige methodische Einschränkung hin: Unterschätzungen werden sichtbar, sobald ein beobachteter Wert eine Prognose überholt. Überschätzungen lassen sich dagegen erst nach Ablauf der jeweiligen Frist bestätigen. Die Zwischenbilanz begünstigt deshalb strukturell den Nachweis von Unterschätzungen. Zudem basieren einige vorläufige Bewertungen auf LLM-Projektionen, die ihrerseits spekulativ sind und auf später verfügbaren Informationen beruhen.