Ein Forschungsteam um Google stellt mit StreamVibe einen Video-Agenten vor, der selbst entscheiden soll, wann er eingreift. Die Tests zeigen vor allem, wie schwer das für heutige KI-Modelle noch ist.
Ein Assistent, der beim Kochen oder Möbelaufbau mitschaut und sich nur meldet, wenn es nötig ist: Daran arbeiten Forschende von Google, Stanford, Oxford und mehreren US-Universitäten. Mit StreamVibe haben sie einen Video-Agenten entwickelt, der auch vage Bitten wie "Hilf mir, wenn ich hängenbleibe" verstehen soll.
Bisherige Video-Assistenten sind laut dem Paper auf eindeutige Befehle wie "Sag mir, wenn das Wasser kocht" ausgelegt. Unausgesprochene Absichten erkennen sie kaum. Sie behalten schlecht im Blick, was bereits erledigt ist, und wiederholen deshalb Ratschläge oder melden sich zu spät. Wenn der Nutzer mittendrin seinen Wunsch ändert, halten sie oft an der ursprünglichen Anfrage fest.
StreamVibe unterscheidet zwischen ausdrücklich formulierten, unausgesprochenen und sich während der Aufgabe ändernden Nutzerabsichten. | Bild: Google DeepmindDrei Bausteine für einen aufmerksameren Assistenten
Um das Problem messbar zu machen, hat das Team einen Benchmark mit rund 4.100 Beispielen zusammengestellt. Das Material umfasst gut 183 Stunden Aufnahmen aus dem Alltag und der Software-Bedienung. Gemini 2.5 Flash schlug passende Hilfe-Zeitpunkte und Antworten vor, vier menschliche Prüfer mussten jedes Beispiel einstimmig freigeben. Der Test umfasst drei Stufen: klare Anweisungen, vage Ziele und Wünsche, die sich im Verlauf ändern. In einem Beispiel bittet ein Nutzer beim Zerlegen eines Spielzeugbaggers zunächst um Fortschrittsmeldungen. Nach drei Minuten verlangt er stattdessen eine Qualitätskontrolle.
Darauf aufbauend trainierten die Forscher das Modell StreamVibe-VL, mutmaßlich mit Alibabas Qwen3.5-9B als Basis. Es entscheidet jede Sekunde, ob es schweigt oder spricht. Ein zweiter Trainingsschritt mit Reinforcement Learning soll es zurückhaltender machen, damit es nicht ständig dazwischenredet. Ein separates Gedächtnissystem führt Buch darüber, welche Wünsche noch gelten und welche Schritte erledigt sind. Ob und was der Assistent sagt, entscheidet weiterhin allein das Modell.
Ein separates Harness verfolgt Anfragen und Aufgabenstand, während das Modell selbst entscheidet, wann und was es sagt. | Bild: Google DeepmindIm Dauerbetrieb verlieren alle Modelle den Faden
Laut den Forschern verbessert StreamVibe-VL Timing und Qualität der Antworten gegenüber anderen Modellen um 10,7 Prozent. Das Gedächtnissystem soll die proaktive Interaktion um weitere 12,3 Prozent verbessern und unter anderem überflüssige Wortmeldungen reduzieren. Sein Basismodell und andere offene Modelle übertrifft StreamVibe-VL meist deutlich. Googles proprietäres Gemini 3.8 Flash schneidet in mehreren Tests jedoch besser ab. Das allgemeine Videoverständnis leidet laut Paper nicht unter dem Spezialtraining.
Mit wachsender Videolänge treffen die Modelle den richtigen Zeitpunkt deutlich seltener, das Harness senkt vor allem überflüssige Einwürfe.Sollen die Modelle nur an einzelnen Zeitpunkten entscheiden, ob ein Hinweis angebracht ist, liegen sie oft richtig. Laufen sie dagegen durch ein komplettes Video und müssen mit ihren eigenen früheren Antworten weiterarbeiten, brechen die Werte bei allen getesteten Systemen ein. Fehler schaukeln sich auf, eine zentrale Inhaltsmetrik für die Antworten sinkt unter selbst erzeugter Historie um bis zu 61,5 Prozent. Bei Videos über fünf Minuten treffen die Modelle den richtigen Zeitpunkt kaum noch. Besonders schwer fällt es ihnen, eine geänderte Anweisung über längere Zeit im Blick zu behalten.
Fallbeispiele im Paper und auf der Projektseite zeigen den Unterschied. Soll der Assistent erklären, wie man ein Foto in GIMP in Schwarz-Weiß umwandelt, meldet das Vergleichsmodell JoyAI bereits, das fertige Bild sei gespeichert, obwohl der Nutzer es noch gar nicht geöffnet hat. StreamVibe-VL nennt jeweils im passenden Moment den nächsten Schritt, etwa "Farben" und dann "Entsättigen". Bei einer Schritt-für-Schritt-Anleitung für gerollte Toastbrote mit Marmelade beschreiben andere Modelle nur, was im Bild passiert, etwa dass das Brot plattgedrückt wird. StreamVibe-VL rät dagegen, zuerst die Kruste abzuschneiden.
Während Vergleichsmodelle oft nur beschreiben, was im Video passiert, gibt StreamVibe konkrete nächste Handlungsschritte. | Bild: Google DeepmindDie Forscher räumen ein, dass echte Situationen komplexer sein dürften als ihr Testaufbau. Wie sich Nutzerwünsche und Umgebung über längere Zeit gegenseitig beeinflussen, soll künftige Forschung klären.
Google arbeitet bereits seit Längerem an KI-Systemen, die Videos aktiv auswerten. Im September stellte der Konzern eine agentische Videoanalyse für Gemini vor, bei der das Modell selbst entscheidet, welche Szenen es genauer untersucht. Mit Gemini 4 Argon zeigte Google kürzlich zudem, wie KI längere Handlungsabläufe in Robotervideos verfolgen und Fehler erkennen kann. StreamVibe geht einen Schritt weiter: Der Assistent soll verstehen, was gerade passiert, und gleichzeitig erkennen, wann seine Hilfe tatsächlich gebraucht wird.
Wie schwierig das ist, zeigte bereits der Benchmark ProactiveBench: Statt bei fehlenden Bildinformationen gezielt nachzufragen, raten KI-Modelle häufig einfach oder verweigern die Antwort. Auch das Verfolgen längerer Abläufe bleibt ein Problem. Ein Benchmark zum Videoverständnis offenbarte erhebliche Schwächen beim räumlichen und zeitlichen Schlussfolgern. Bei autonomen KI-Agenten wiederum kann sich der eigene Gesprächsverlauf negativ auf die Leistung auswirken, wie Microsoft-Forschende zeigten.
