Google Research stellt SensorFM vor, ein Foundation Model, das aus Wearable-Sensordaten von fünf Millionen Menschen eine allgemeine Repräsentation menschlicher Physiologie und menschlichen Verhaltens lernen und für 35 Gesundheits- und Verhaltensaufgaben nutzbar machen soll.
Die meisten Gesundheitsfunktionen von Wearables sind bislang auf einzelne Aufgaben zugeschnitten: Ein Modell erkennt Schlafphasen, ein anderes schätzt Herz-Kreislauf-Risiken oder wertet Stress- und Stoffwechselmerkmale aus.
Google will diese getrennten Ansätze mit einer gemeinsamen KI-Grundlage bündeln. Sie soll kontinuierliche und oft lückenhafte Sensordaten für viele Gesundheitsfragen nutzbar machen, den Bedarf an aufwendig gelabelten Trainingsdaten verringern und später möglicherweise auch persönliche Gesundheitsassistenten mit individuellem Kontext versorgen.
Google Research stellt nun in einem Blogbeitrag und einem begleitenden Paper SensorFM vor. Das Foundation Model soll aus großen Mengen ungelabelter Wearable-Daten eine allgemeine, wiederverwendbare Repräsentation physiologischer und verhaltensbezogener Muster lernen. Für das Vortraining nutzten die Forscher mehr als eine Billion Minuten multimodaler Sensordaten von fünf Millionen Fitbit- und Pixel-Watch-Nutzern.
Die Daten stammen aus mehr als 100 Ländern und wurden mit mehr als 20 verschiedenen Fitbit- und Pixel-Watch-Modellen erhoben. Nach Kenntnis der Autoren handelt es sich um den bislang größten und vielfältigsten Wearable-Datensatz, der zum Training eines solchen Modells verwendet wurde.
Mehr Daten und größere Modelle verbessern SensorFM
SensorFM verarbeitet 34 Merkmale aus fünf Arten von Sensordaten: optischer Pulsmessung (Photoplethysmografie oder PPG), Beschleunigung, Hautleitfähigkeit, Hauttemperatur und barometrischer Höhenmessung. Zu den Merkmalen zählen unter anderem Herzfrequenz, Herzfrequenzvariabilität, Blutsauerstoffsättigung, Schlafphasen und Bewegungsdaten.
Das Modell wird selbstüberwacht trainiert, indem es gezielt ausgeblendete Datenabschnitte rekonstruieren muss. Das dabei eingesetzte "Adaptive and Inherited Masking" (AIM) kennzeichnet sowohl tatsächlich fehlende als auch für das Training künstlich ausgeblendete Messwerte, sodass SensorFM mit beiden Arten von Datenlücken umgehen kann.
Wenn Modellgröße und Umfang der Vortrainingsdaten gemeinsam steigen, verbessert sich die Leistung von SensorFM sowohl beim Vortraining als auch bei den nachgelagerten Vorhersageaufgaben. | Bild: Google ResearchNach Angaben der Forscher steigt die Leistung systematisch, wenn Modellgröße und Datenmenge gemeinsam wachsen. Die vier untersuchten Modellvarianten reichen von rund 100.000 bis 100 Millionen Parametern, die Trainingsdatensätze von 5000 bis fünf Millionen Personen. Auf dem größten Trainingsdatensatz lag der Rekonstruktionsfehler des größten Modells 31 Prozent unter dem des kleinsten. Auch bei den späteren Vorhersageaufgaben (dazu gleich mehr) schnitt die größte Konfiguration überwiegend am besten ab.
SensorFM übertrifft Vergleichsmodelle bei 34 von 35 Aufgaben
Die Forscher testeten SensorFM anschließend mit Daten aus drei separaten Studien mit insgesamt 13.985 Teilnehmern. Diese Daten hatte das Modell beim Vortraining nicht gesehen. Anhand dieser Datensätze prüften sie SensorFM bei 35 Vorhersageaufgaben aus den Bereichen kardiovaskuläre und metabolische Gesundheit, psychische Gesundheit, Schlaf, Demografie und Lebensstil.
Bereits einfache, auf die jeweilige Aufgabe zugeschnittene Zusatzmodelle nutzten die von SensorFM gelernten Muster so effektiv, dass sie laut Paper bei 34 von 35 Aufgaben besser abschnitten als überwachte Vergleichsmodelle mit eigens aufbereiteten Wearable-Merkmalen.
Das skalierte Vortraining machte SensorFM zudem im Vergleich zu den überwachten Vergleichsmodellen label-effizienter: Das Modell ließ sich mit vergleichsweise wenigen gelabelten Beispielen an neue Aufgaben anpassen und war mit zunehmender Größe weniger auf zusätzliche demografische Angaben angewiesen. Nach Ansicht der Autoren könnte das skalierte Vortraining besonders bei schwer zu erfassenden und individuell unterschiedlich ausgeprägten Merkmalen wie Depressions- und Angstsymptomen von Vorteil sein.
Um die von SensorFM gelernten Datenrepräsentationen an neue Aufgaben anzupassen, setzten die Forscher ein "Klassenzimmer" aus konkurrierenden und zusammenarbeitenden LLM-Agenten ein. Diese erzeugten, testeten und verbesserten wiederholt Programmcode für nachgeschaltete Vorhersagemodelle und führten dabei mehr als 30.000 Experimente durch. Die so gefundenen Modelle lieferten bei 28 der 35 Vorhersageaufgaben bessere Ergebnisse als einfache lineare Zusatzmodelle auf Basis derselben SensorFM-Repräsentationen.
SensorFM verbessert die Antworten eines Gesundheitsagenten
Schließlich integrierten die Forscher SensorFM in einen persönlichen Gesundheitsagenten und verglichen drei Varianten. Alle erhielten demografische Angaben sowie aus den Wearable-Daten berechnete Tageswerte, etwa zu Bewegung, Schlaf, Blutsauerstoff und Hauttemperatur. Eine Variante bekam zusätzlich SensorFM-Vorhersagen zu verschiedenen Gesundheitsmerkmalen, eine zweite die tatsächlich bekannten Angaben zu denselben Merkmalen. Die dritte erhielt keine dieser Zusatzinformationen und diente als Basisvergleich.
Im Versuchsaufbau liefert SensorFM aus Wearable-Daten abgeleitete Gesundheitsvorhersagen als zusätzlichen Kontext für Gemini. Die Darstellung zeigt ein illustratives Beispiel. | Bild: Google ResearchVier Kliniker bewerteten 93 Gesundheitszusammenfassungen für 31 reale Teilnehmerprofile und vergaben dabei in mehr als 40 Stunden insgesamt 1860 Einzelbewertungen. Mit zusätzlichen SensorFM-Vorhersagen wurden die Gesundheitszusammenfassungen gegenüber der Basisvariante in allen fünf untersuchten Bereichen signifikant besser bewertet: Kontext, Personalisierung, Begründbarkeit, Relevanz und Sicherheit.
Zwischen den Zusammenfassungen mit SensorFM-Vorhersagen und denen mit tatsächlich bekannten Gesundheitsangaben zeigte sich insgesamt kein statistisch signifikanter Unterschied. Das bedeutet jedoch nicht, dass SensorFM klinische Messungen oder Diagnosen gleichwertig ersetzen kann.
SensorFM ist vorerst ein Forschungsmodell
Die Forscher weisen selbst auf mehrere Einschränkungen hin. SensorFM wurde nur mit Daten von Fitbit- und Pixel-Watch-Geräten trainiert und getestet. Ob sich die Ergebnisse auf andere Wearables übertragen lassen, ist offen. Zudem arbeitet das Modell nicht mit hochaufgelösten Rohsignalen, sondern mit auf Minutenebene zusammengefassten Daten, wodurch sehr kurze oder feine Muster verloren gehen können.
Viele der untersuchten Gesundheitsmerkmale beruhen außerdem auf Selbstauskünften, Medikamentenangaben oder Fragebögen statt auf klinisch bestätigten Befunden. Auch die Studienpopulation bildet die Gesamtbevölkerung nicht vollständig ab. Der Gesundheitsagent wurde zudem nur in einem statischen Versuchsaufbau mit einzelnen Antworten bewertet, nicht in längeren Gesprächen mit Rückfragen.
SensorFM ist zunächst ein reines Forschungsmodell. Google bietet inzwischen den auf Gemini basierenden Google Health Coach an, der personalisierte Hinweise zu Fitness, Schlaf, Erholung und weiteren Gesundheitsthemen liefert. SensorFM könnte langfristig als technische Grundlage für solche Funktionen dienen. Eine konkrete Integration in Fitbit, Pixel Watch oder den KI-Coach nennt Google bislang jedoch nicht.
Weitere Details zu SensorFM finden sich im Blogbeitrag von Google Research und im frei zugänglichen Paper auf arXiv.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den "KI Radar"‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
