Ein neues Modell von Grund auf zu trainieren, war dafür nicht nötig. Als Startpunkt diente das bestehende Gemma-4-26B-A4B, das laut Bericht mit weniger als zehn Prozent des ursprünglichen Training-Token-Budgets in ein Diffusionsmodell umgewandelt wurde.
DiffusionGemma erreicht bei vergleichbarer Genauigkeit ein Vielfaches der Ausgabegeschwindigkeit der Gemma-4-Modelle und der bisherigen Diffusionsmodelle. | Bild: GoogleZwei Trainingsstufen für Qualität und Tempo
Im ersten von zwei Schritten lernt das Modell anhand von Beispieldaten, verrauschte Textblöcke zu rekonstruieren. Danach folgt eine kombinierte Phase aus Reinforcement Learning und sogenannter Sampler Distillation, die Google SD·RL nennt.
Reinforcement Learning steigert normalerweise die Antwortqualität, während Sampler-Distillation dafür sorgt, dass das Modell mit weniger Rechenschritten auskommt. Google verschmilzt beides in einem Prozess.
Google Deepmind trainiert DiffusionGemma nicht von Grund auf neu, sondern wandelt das fertige Gemma-4-Modell in zwei Trainingsstufen um. | Bild: GoogleLaut dem Bericht steigt die Qualität in Reasoning-Benchmarks dadurch im Schnitt um zehn Punkte, während sich die Zahl der Tokens pro Rechenschritt fast vervierfacht. Als Nebeneffekt fallen die Antworten von DiffusionGemma rund 50 Prozent kürzer aus, was die Geschwindigkeit zusätzlich erhöht.
Bidirektionales Denken ermöglicht Selbstkorrektur
Klassische Sprachmodelle müssen sich auf die erste Ziffer einer Antwort festlegen, bevor sie den Rechenweg formulieren. Bei einer Matheaufgabe im Bericht beginnt Gemma 4 seine Antwort zunächst mit "−1", stellt beim Herleiten fest, dass "−25" richtig ist, und schiebt eine Korrektur nach. DiffusionGemma entwickelt Antwort und Begründung parallel und kann sich selbst korrigieren, bevor die Ausgabe fertig ist.
Anders als ein autoregressives Modell kann DiffusionGemma eine früh gesetzte falsche Antwort in späteren Schritten noch korrigieren. | Bild: GoogleÄhnlich funktioniert das Sudoku-Lösen, bei dem jeder Eintrag von späteren Einträgen abhängt. Schon nach einem kleinen Fine-Tuning löst DiffusionGemma knapp 85 Prozent der Rätsel korrekt, während das Basismodell an dieser Aufgabe scheitert. Strukturierte Ausgaben wie JSON oder Code-Reparaturen sind laut Bericht schon nach zwei bis drei Verfeinerungsschritten fertig, weil ein Großteil der Tokens ohnehin durch die Eingabe vorgegeben ist.
DiffusionGemma behält zudem seine ursprüngliche Fähigkeit, Text Wort für Wort zu generieren, sodass Anwender je nach Aufgabe zwischen beiden Modi wechseln können.
In den Qualitätsbereichen bleibt DiffusionGemma hinter dem autoregressiven Gemma 4 zurück. Bei der Ausgabegeschwindigkeit liegt es mit rund 1.500 Tokens pro Sekunde vorn. | Bild: GoogleSchwächen bei Reasoning und im Multi-User-Betrieb
Die absolute Leistung liegt unter dem autoregressiven Ausgangsmodell. Google führt das auf mehrere Faktoren zurück: DiffusionGemma wurde nicht von Anfang an als Diffusionsmodell trainiert, sondern erst nachträglich umgebaut. Die anschließende Trainingsphase war vergleichsweise kurz und der zweite Trainingsschritt SD·RL zielte primär auf hohe Geschwindigkeit statt auf maximale Qualität. Hinzu kommt, dass Architektur, Trainingsdaten und weitere Einstellungen vom ursprünglichen Gemma-4-Modell übernommen wurden und für ein Diffusionsmodell nicht unbedingt ideal sind.
Gelegentlich gerät das Modell in Wiederholungsschleifen und produziert einzelne Wörter mehrfach hintereinander, ein Artefakt der aggressiv reduzierten Rechenschritte. Bei multimodalen Aufgaben vergisst DiffusionGemma manchmal, seinen Reasoning-Abschnitt korrekt zu schließen, was die Benchmarkergebnisse künstlich nach unten drücke.
Anders als ein autoregressives Modell kann DiffusionGemma eine früh gesetzte falsche Antwort in späteren Schritten noch korrigieren. | Bild: GoogleDer Geschwindigkeitsvorteil gilt zudem primär bei Einzelnutzung. Ab etwa 32 gleichzeitigen Anfragen holen klassische Sprachmodelle beim Durchsatz wieder auf.
Google bezeichnet DiffusionGemma ausdrücklich als experimentelles Modell und will mit der Veröffentlichung Forschung an Text-Diffusion beschleunigen sowie eine Grundlage für spezialisierte, ressourcenschonende Anpassungen durch die Community schaffen.
Bereits genutzt wird DiffusionGemma unter anderem vom Start-up Interfaze für multilinguale Spracherkennung und in einem Forschungsprojekt zur interaktiven Erstellung von Radiologiebefunden. Google hatte das Modell zuvor unter Apache-2.0-Lizenz auf Hugging Face zur Verfügung gestellt. Als Vorläufer gilt Gemini Diffusion, das Google im Mai 2025 als Demo gezeigt hatte.
