Mehr Daten allein machen Smartphone-Agenten nicht besser. Bei gleicher Datenmenge kommt es vor allem darauf an, an wie vielen verschiedenen Apps ein Agent trainiert wird.
KI-Agenten, die selbstständig Apps bedienen, lernen primär durch Übung. Die dafür nötigen Daten liegen allerdings meist bei großen Unternehmen. Offene Modelle hinken deshalb hinterher, schreiben Forscher der Nanjing University, vom KI-Konzern SenseTime und weiteren Hochschulen in ihrem Paper.
Mit OpenMobile-2 wollen sie das ändern. Sie veröffentlichen zwei Agenten-Modelle auf Basis von Qwen3.5 mit 9 und Qwen3.6 mit 27 Milliarden Parametern samt kompletter Übungsumgebung, Trainingsdaten und Anleitung zum Nachbauen. Nach eigenen Angaben sehen die Autoren ihr Modell nahe an der Spitze aktueller Smartphone-Agenten.
Digitaler Übungsplatz mit mehr als 110 Apps
Das Training an echten Apps ist mühsam. Logins, echte Bestellungen und fehlende Möglichkeiten zum Zurücksetzen machen es teuer und schwer wiederholbar. Die Forscher haben deshalb 35 vor allem in China verbreitete Apps nachgebaut, darunter Taobao, JD, DiDi, Meituan, aber auch im globalen Westen etablierte Dienste wie Slack und Google Drive. Zusammen mit bereits vorhandenen Simulationen und Apps im Android-Emulator kommt der Übungsplatz auf über 110 Anwendungen.
Im hybriden Modus kombiniert der Agent normale Bildschirmaktionen mit Funktionen, die eine App direkt als Tool anbietet. | Bild: Yan et al.Menschliche Prüfer haben die Nachbauten so lange mit den Originalen verglichen, bis Abläufe und Oberfläche übereinstimmten. Bestellungen, Budgets oder Reisepläne bleiben gespeichert, und Informationen lassen sich etwa per Zwischenablage zwischen Apps übertragen. Jede Simulation lässt sich automatisch in den Ausgangszustand zurücksetzen. Der Agent sieht dabei nur Screenshots und hat keinen Einblick in das Innenleben der Apps, um die menschliche Nutzung möglichst genau zu imitieren.
Auf dieser Grundlage entstanden rund 11.600 Beispielabläufe und über 2.000 Übungsaufgaben mit automatischer Erfolgskontrolle. Die Beispiele erzeugte Googles Gemini 3.1 Pro als Lehrer-Modell. OpenMobile-2 lernt also von einem geschlossenen System.
Die Forschenden legen für jede nachgebaute App vorab fest, welche Aktion welchen Zustand verändert, und prüfen das Ergebnis anschließend automatisch. | Bild: Yan et al.Deutliche Fortschritte, vor allem auf echten Smartphones
In etablierten Tests legen beide Modelle klar zu. Im Benchmark AndroidWorld steigt das größere Modell von 67,1 auf 79,9 Punkte, das kleinere von 54,3 auf 74. Der Vorgänger OpenMobile-1 kam hier auf 64,7 Punkte. Im anspruchsvolleren Test MobileWorld, der längere Aufgaben über mehrere Apps umfasst, verbessert sich das größere Modell von 35,9 auf 50,4 Punkte.
OpenMobile-2-27B erreicht 79,9 Punkte auf AndroidWorld und liegt auf SPA-Bench mit echten Geräten nur hinter Gemini 3.1 Pro. | Bild: Yan et al.Am stärksten fällt der Sprung auf echten Android-Geräten aus. Im SPA-Bench steigt das größere Modell von 31,9 auf 59,6 Punkte. Laut den Forschern ist das der beste Wert unter offenen Modellen.
Entscheidend ist dabei die Vielfalt der Trainingsumgebung. Die Forscher hielten die Datenmenge konstant und erhöhten nur die Zahl der Apps, an denen der Agent übte. Die Erfolgsquote bei unbekannten Apps stieg dadurch von 60,7 auf 67,5 Prozent. Bei gleicher Datenmenge zahlt sich App-Vielfalt also mehr aus als zusätzliche Beispiele aus wenigen Apps.
Mehr App-Vielfalt im Training verbessert die Leistung bei unbekannten Apps, und nach hybridem Training lösen die Modelle Aufgaben mit Tools häufiger und in weniger Schritten. | Bild: Yan et al.Ein zusätzliches Reinforcement Learning brachte dagegen nur begrenzte Verbesserungen, vor allem in Umgebungen, die dem Training ähneln. In AndroidWorld schnitt das größere Modell danach sogar minimal schlechter ab als vorher: 79,9 statt 80,8 Punkte.
Abkürzung statt Klickstrecke
Ein experimenteller Teil der Studie geht über das reine Tippen und Wischen hinaus. Mehr als 50 der simulierten Apps bieten zusätzlich direkte Befehle an, etwa "in den Warenkorb legen", ohne dass der Agent sich durch Menüs klicken muss. Der Agent kann frei zwischen beiden Wegen wechseln.
Allein bringt das wenig: Ohne gezieltes Training ignorieren die Modelle die Abkürzungen oft. Erst entsprechend trainiert nutzen sie sie sinnvoll, lösen bis zu 10,3 Prozentpunkte mehr Aufgaben und brauchen rund fünf Schritte weniger. Das Gelernte überträgt sich laut den Forschern auch auf Werkzeuge, die die Modelle im Training nie gesehen haben.
Im späteren Reinforcement Learning wurde die Werkzeugnutzung zusätzlich belohnt. Enthielt ein Durchlauf mindestens einen solchen Befehl, griff in der Belohnungsberechnung ein Bonusfaktor. Die Belohnung hing aber weiterhin auch davon ab, ob die Aufgabe tatsächlich gelöst wurde. Abzüge gab es etwa, wenn der Agent einen Erfolg meldete, der keiner war. In der Studie bleiben die Schnittstellen auf die simulierten Apps beschränkt. Die Forscher bezeichnen den Ansatz deshalb selbst als experimentell.
Ein Teil der Ergebnisse stammt aus einem selbst entwickelten Benchmark mit 215 Aufgaben, knapp die Hälfte davon über mehrere Apps hinweg. Ob eine Aufgabe gelöst ist, prüft dort kein Sprachmodell, sondern ein Programm, das die gespeicherten Daten der App vor und nach dem Durchlauf vergleicht. Einen Abgleich zwischen Trainings- und Testaufgaben haben die Autoren ebenfalls durchgeführt und dabei nur geringe Überschneidungen festgestellt.
Microsoft Research hatte bereits 2025 in einer Studie API-Agenten als zuverlässiger und GUI-Agenten als flexibler eingestuft und mobile Apps als typischen Fall genannt, in dem externe Schnittstellen fehlen. Oppo umgeht das mit seinem offenen Agenten X-OmniClaw, der auf echten Geräten läuft und einmal vorgeführte Wege in Apps wie Taobao oder Meituan per Deeplink wieder aufruft, statt sich erneut durch die Menüs zu klicken. Bei den geschlossenen Modellen hat Google die Steuerung von Smartphones inzwischen direkt in Gemini 3.5 Flash integriert.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den "KI Radar"‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
