Soofi S ist eins der ersten großen Sprachmodelle, die komplett auf der Industrial AI Cloud der Deutschen Telekom in München trainiert wurde. Das offene 30B-Modell setzt auf eine sparsame Hybridarchitektur und einen bewusst deutschsprachigen Trainingsmix.
Ein vom KI Bundesverband koordiniertes deutsches Forschungskonsortium hat mit Soofi S 30B-A3B ein offenes Sprachmodell veröffentlicht, das laut dem Pretraining-Report unter den vollständig offenen Modellen die höchsten Werte auf englischen und deutschen Benchmarks erreicht und dabei bisherige Spitzenreiter wie Olmo 3 32B sowie Apertus 70B übertrifft.
Dank der hybriden Mamba-Transformer-Architektur hält Soofi S seinen Durchsatz auch bei sehr langen Kontexten, während dichte Modelle wie Apertus 70B oder Qwen3 32B einbrechen. | Bild: SoofiSparsame Architektur für lange Kontexte
Soofi S ist ein sogenanntes Mixture-of-Experts-Modell: Es enthält insgesamt 31,6 Milliarden Parameter, verwendet pro erzeugtem Token aber nur rund 3,2 Milliarden davon. Die Rechenkosten liegen damit näher an einem 3B-Modell als an einem klassischen 30B-Modell. Das Konsortium übernimmt dabei unverändert die Architektur von Nvidias Nemotron 3 Nano, einer Hybridkonstruktion aus Mamba-2-Layern und klassischen Attention-Layern.
Der entscheidende Unterschied zu üblichen Transformern liegt im Speicherverhalten. In klassischen Modellen wächst der sogenannte KV-Cache, der bisherige Tokens für die Aufmerksamkeitsberechnung zwischenspeichert, linear mit der Kontextlänge. Bei langen Eingaben und vielen parallelen Anfragen wird das Nachladen dieses Caches zum Flaschenhals. Nur 6 der 52 Layer in Soofi S unterhalten überhaupt einen solchen Cache.
Die praktische Folge misst der Report am Durchsatz beim Generieren: Bei einem Kontext von 40.000 Token und 32 parallel bearbeiteten Anfragen erzeugt Soofi S pro GPU rund achtmal mehr Token pro Sekunde als dichte Modelle im Bereich von 14 bis 24 Milliarden Parametern. Während der Durchsatz bei klassischen Modellen mit wachsendem Kontext deutlich abfällt, bleibt er bei Soofi S von 4.000 bis 256.000 Token nahezu konstant. Ein ähnliches Verhalten zeigt in den Messungen nur Alibabas Qwen3.5 35B-A3B, das ebenfalls auf eine Hybridarchitektur setzt.
Deutsch als bewusster Schwerpunkt
Insgesamt hat das Konsortium etwa 27 Billionen Token verarbeitet, aufgeteilt in drei Phasen. Zunächst lernt das Modell auf rund 20 Billionen Token aus einer breiten Mischung von Web-, Code-, Mathematik- und Fachtexten die sprachlichen Grundlagen. In einer zweiten Phase folgen rund 6 Billionen Token aus besonders hochwertigen Quellen, die die zuvor gelernten Muster gezielt schärfen sollen. Eine dritte, kürzere Phase erweitert schließlich das Kontextfenster durch Training auf sehr langen Dokumenten von bis zu einer Million Token.
Über die drei Trainingsphasen verschiebt sich die Datenmischung zu höherwertigen Quellen und deutlich mehr deutschsprachigen Daten. | Bild: SoofiZentral ist der bewusste Fokus auf die deutsche Sprache. In der ersten Phase macht Deutsch 7,2 Prozent des Trainingsmixes aus, in der zweiten Phase steigt der Anteil auf 15,3 Prozent. Im Nemotron-Referenzrezept entfallen insgesamt nur rund 5 Prozent auf alle nicht-englischen Sprachen zusammen.
Als Datenquellen kombiniert das Konsortium deutsche Webtexte aus HPLT, das offen lizenzierte Korpus German Commons, deutsche Anteile aus FinePDFs und FineWiki sowie den kommerziell lizenzierten Genios-Korpus mit 193 Millionen Zeitungsartikeln aus 916 deutschen Publikationen. Ergänzt wird das mit maschinell übersetzten und synthetisch erzeugten deutschen Texten.
Bester offener Wert für Deutsch und Englisch
In der Evaluation gegen 16 andere offene Modelle liegt Soofi S laut Report auf den Aggregat-Werten für Deutsch und Englisch vor allen anderen vollständig offenen Modellen, einschließlich Olmo 3 32B vom Allen Institute for AI und Apertus 70B von ETH und EPFL. Gegen jede europäische souveräne Baseline setzt sich das Modell auf allen deutschen Benchmarks der Suite durch, teils mit zweistelligen Punktabständen.
Unter den vollständig quelloffenen Modellen setzt sich Soofi S in jeder Kategorie an die Spitze, auch gegen deutlich größere Modelle wie Apertus 70B. | Bild: SoofiBei Code-Benchmarks erreicht Soofi S mit 73,8 Prozent auf HumanEval, 70,2 auf MBPP und 84,2 auf der deutschen MBPP-Variante die besten Werte im Open-Source-Vergleich. Auf INCLUDE-DE, einem Test für Deutschland-spezifisches Regionalwissen, teilt sich Soofi S mit 61,2 Punkten den ersten Platz mit dem größeren Qwen3.5 35B-A3B. Gegenüber der Nemotron-Baseline verbessert das deutsche Datenrezept die Sprachkompetenz um 15,1 Punkte und den Wissenschaftstest GPQA-Diamond um 9,6 Punkte, ohne die englische Leistung zu opfern.
Auf allen deutschsprachigen Benchmarks der Vergleichsgruppe erreicht Soofi S den ersten Platz, teils mit zweistelligem Abstand.Nicht so gut schneidet Soofi S bei deutscher Wettbewerbsmathematik ab, wo das Modell mit 56 Punkten auf Minerva MATH-DE deutlich hinter Qwen3.5 35B-A3B (76,5) und Gemma 3 27B (65,6) zurückbleibt, sowie die offene Faktenabfrage in NaturalQuestions. Letzteres dürfte mit den nur 3 Milliarden aktiven Parametern zusammenhängen, in denen sich weniger Weltwissen speichern lässt als in einem dichten 27B-Modell.
Gegen größere Open-Weight-Modelle bleibt Soofi S konkurrenzfähig und übertrifft seine architekturgleiche Referenz Nemotron 3 Nano durchgehend. | Bild: SoofiBeim Long-Context-Test RULER zeigt sich zudem eine Schwäche bei einer speziellen Aufgabe: Das Modell soll häufig vorkommende Wörter aus einem langen Text extrahieren. Jenseits von 32.000 Token Kontext bricht die Trefferrate von Soofi S auf rund 3 Prozent ein, während das vergleichbare Nemotron-Modell noch 60 bis 64 Prozent erreicht. Die Autoren führen das darauf zurück, dass der eigene Long-Context-Trainingsmix zwar viele lange Dokumente enthält, aber keine speziell für solche Extraktionsaufgaben zugeschnittenen synthetischen Daten. Bei den übrigen zwölf RULER-Aufgaben liegen beide Modelle weitgehend gleichauf.
Souveräne Infrastruktur und dokumentierte Offenheit
Der Trainingslauf erfolgte zwischen März und Mai auf bis zu 512 Nvidia-B200-GPUs der Industrial AI Cloud der Deutschen Telekom in München, insgesamt rund 253.000 GPU-Stunden. Die Anlage wird laut Report vollständig mit erneuerbarer Energie betrieben, mit Wasser aus dem Eisbach-Kanal gekühlt und speist Abwärme in das umliegende Tucherpark-Viertel ein. Soofi S war einer der ersten großen Trainingsläufe auf dieser Infrastruktur.
Hinter Soofi steht ein Konsortium aus deutschen Forschungseinrichtungen und Unternehmen, koordiniert vom KI Bundesverband und gefördert vom Bundesministerium für Wirtschaft und Energie im Rahmen des europäischen IPCEI-CIS-Programms. Beteiligt sind unter anderem die Fraunhofer-Institute IAIS und IIS, das Deutsche Forschungszentrum für Künstliche Intelligenz (DFKI), die TU Darmstadt, die Universität Würzburg, das L3S Research Center, die Berliner Hochschule für Technik sowie die KI-Unternehmen ellamind und Merantix Momentum. Ziel des Projekts ist der Aufbau einer offenen europäischen KI-Modellfamilie, die auf souveräner Infrastruktur betrieben und in industriellen Anwendungen erprobt werden kann.
Die Forschenden veröffentlichen neben den Gewichten auch ausgewählte Zwischencheckpoints, den vollständigen Trainings- und Evaluationscode sowie eine detaillierte Datenauflistung, die pro Quelle Rohtokenzahl, Epochenanzahl und effektiven Beitrag ausweist. Auch Quellen, die geprüft, aber ausgeschlossen wurden, sind dokumentiert. Damit erfüllt Soofi S nach eigener Angabe die Open Source AI Definition 1.0 der Open Source Initiative.
Ein strengerer Vorschlag für eine europäische Open-Data-Definition, der verlangt, dass jedes einzelne Trainingstoken frei weitergegeben werden darf, wird wegen des kommerziell lizenzierten Genios-Anteils von 1,3 Prozent nicht erreicht. Rund 99 Prozent des Trainingsmixes lassen sich laut Report unabhängig rekonstruieren. Unter welcher Lizenz das Modell erscheint, ist bis jetzt nicht ganz klar.
Wie Hauptautor Michael Fromm auf X schreibt, positioniert sich Soofi S damit zwischen breit multilingualen europäischen Souveränitätsprojekten wie EuroLLM oder Teuken, die viele Sprachen abdecken, und den leistungsstärksten internationalen Open-Weight-Modellen. Für die nächste Phase sucht das Konsortium laut Projektseite Industriepartner, die das Modell in Anwendungen rund um technische Dokumente, Code-Generierung und agentische Systeme erproben.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den "KI Radar"‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
