Nvidia veröffentlicht ein offenes Spracherkennungsmodell, das sich per Textanweisung steuern lässt und laut Unternehmen mehrere Benchmarks anführt. Dazu gibt es einen großen Trainingsdatensatz und Werkzeuge, um das Modell an eigene Fachgebiete anzupassen.
Ein reines Transkript verrät nicht, wer was gesagt hat, und liefert weder Übersetzung noch korrekt geschriebene Fachbegriffe. Nemotron 3.5 Transcribe soll das in einem einzigen Modell erledigen und zusätzlich Fragen zum Inhalt einer Aufnahme beantworten. Laut Nvidia transkribiert das Modell 40 Sprachen, übersetzt 31 davon ins oder aus dem Englischen und ordnet in 13 Sprachen Sprecher zu. Es verarbeitet Aufnahmen von bis zu einer Stunde Länge mit bis zu acht Sprechern.
Gesteuert wird das Modell mit einfachen Anweisungen. Aus derselben Besprechungsaufnahme kann je nach Prompt ein Protokoll mit Sprecherzuordnung, eine englische Übersetzung oder eine Zusammenfassung der getroffenen Entscheidungen werden. Fachbegriffe wie Medikamentennamen lassen sich als Hinweis mitgeben. Das Modell soll sie aber nur verwenden, wenn sie in der Aufnahme tatsächlich vorkommen.
Nemotron 3.5 Transcribe macht im Vergleich von Artificial Analysis kaum mehr Fehler als Mistrals deutlich größeres Voxtral Small und läuft dabei mit einem Bruchteil der Rechenleistung.Hohe Genauigkeit bei vergleichsweise geringem Rechenaufwand
Das Modell hat 30 Milliarden Parameter, von denen pro Verarbeitungsschritt aber nur etwa 4 Milliarden aktiv sind. Es läuft deshalb auf einer einzelnen Nvidia-GPU, vom kompakten DGX Spark bis zum Rechenzentrum. Auf einer RTX PRO 6000 Blackwell Server Edition verarbeitet es laut Nvidia mit NVFP4-Präzision 100 Stunden Audio in unter drei Minuten.
Auf dem englischen Open ASR Leaderboard von Hugging Face liegt Transcribe unter den Modellen mit offenen Gewichten auf Platz eins, mit einer durchschnittlichen Wortfehlerrate von 5,33 Prozent. Beim Vergleich von Artificial Analysis erreicht es mit 2,81 Prozent fast den Bestwert offener Modelle (2,77 Prozent, Voxtral Small), benötigt dafür aber nur etwa ein Sechstel der aktiven Parameter. Mehrere verbreitete kommerzielle Sprachdienste liegen laut Nvidia dahinter.
Auf dem Open ASR Leaderboard von Hugging Face liegt Nemotron 3.5 Transcribe knapp vor den offenen Modellen von Alibaba und IBM.Am deutlichsten fällt der Vorsprung bei der Sprechererkennung aus. Im Vergleich von VoiceArena mit 14 Systemen und Gesprächen, in denen sich Sprecher teils überlappen, belegt Transcribe Platz eins. Es lässt außerdem die wenigsten Wörter aus, nämlich 8,32 Prozent statt eines Medians von rund 31 Prozent. Auf dem Benchmark von David AI, der die Sprecherzuordnung in 21 Sprachen misst, erzielt es die niedrigste Fehlerrate und liegt knapp vor Nvidias eigenem Spezialmodell für diese Aufgabe.
Auch in englischen Gesprächen, in denen sich Sprecher ins Wort fallen, erkennt Nemotron 3.5 Transcribe im Vergleich von VoiceArena am besten, wer was gesagt hat. Niedrigere Werte sind besser.
Im Benchmark von David AI ordnet Nemotron 3.5 Transcribe in 21 Sprachen am zuverlässigsten zu, wer gerade spricht. Niedrigere Werte sind besser.Offener Datensatz für das eigene Training
Zusammen mit dem Modell veröffentlicht Nvidia den Datensatz Granary v2. Er umfasst rund 844.000 Stunden Sprachaufnahmen in 48 Sprachen, der Vorgänger kam auf etwa 643.000 Stunden in 25 Sprachen. Jede Aufnahme liegt in mehreren Schreibvarianten vor, etwa wörtlich mit Füllwörtern wie "äh" und ausgeschriebenen Zahlen oder bereinigt ohne Füllwörter und mit Ziffern. Auch die Werkzeuge, mit denen der Datensatz erstellt wurde, stellt Nvidia bereit, sodass Entwickler sie auf eigene Aufnahmen anwenden können. Laut Nvidia entspricht der Datensatz aber nicht vollständig den Trainingsdaten des Modells.
Was gezieltes Nachtrainieren bringt, zeigt Nvidia an Aufnahmen indischer Ärzte und Medizinstudierender. Auf dem vollständigen Benchmark senkte ein präziserer Prompt die Fehlerrate von 30,8 auf 23,8 Prozent. Nach dem Nachtraining mit überwiegend künstlich erzeugter Sprache lag sie bei 11,8 Prozent. Für Sprecher, die das Modell zuvor nicht gehört hatte, weist Nvidia separat eine Senkung von 22,44 auf 12,17 Prozent aus, eine relative Verbesserung um 45,8 Prozent. Damit übertraf das angepasste Modell ein offenes medizinisches Spezialmodell (13,79 Prozent). Der gesamte Anpassungsprozess dauerte laut Nvidia rund 14 GPU-Stunden auf einer einzelnen Nvidia GB300.
Die Spezialisierung hat allerdings ihren Preis: Bei allgemeiner englischer Sprache stieg die Fehlerrate leicht an, bei Markennamen von Medikamenten blieb das Spezialmodell genauer. Für eigene Anpassungen empfiehlt Nvidia, mindestens 100 echte, geprüfte Aufnahmen zur Kontrolle bereitzuhalten.
Auch das Grundmodell hat Grenzen. Der Funktionsumfang variiert je nach Sprache, Fragen zum Audioinhalt sind laut Nvidia auf Englisch trainiert, und das Modell ist ausschließlich für aufgezeichnetes Audio ausgelegt. Namen, Sprecherwechsel und Antworten sollten Nutzer laut Nvidia stichprobenartig überprüfen.
Modell und Datensatz stehen auf Hugging Face bereit, dort gibt es auch eine Demo zum Ausprobieren. Für die Anpassung bietet Nvidia Anleitungen sowie eine Erweiterung, mit der ein KI-Programmierassistent den Workflow für das Nachtraining ausführen kann.
Erst im September stellte Nvidia mit Nemotron 3 Diarization ein spezialisiertes Modell zur Sprechererkennung vor, das bis zu acht Sprecher auch in laufenden Gesprächen unterscheiden kann. Für die eigentliche Transkription musste es mit einem separaten Modell wie Nvidias Parakeet kombiniert werden. Nemotron 3.5 Transcribe vereint beide Aufgaben mit Übersetzung und Audioverständnis, unterstützt allerdings keine Echtzeitverarbeitung. Den Granary-Datensatz hatte Nvidia bereits für sein multimodales Nemotron 3 Nano Omni verwendet.
Andere Anbieter setzen bei Sprachmodellen inzwischen andere Schwerpunkte: Mistral kombiniert mit seiner Voxtral-Familie ebenfalls Transkription und Audioverständnis und konzentriert sich mit dem kürzlich vorgestellten Voxtral 3 auf Echtzeit-Sprachagenten.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den "KI Radar"‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
