Nvidia veröffentlicht mit Nemotron 3.5 Super VL ein offenes multimodales Modell mit 120 Milliarden Parametern für Unternehmensagenten. Dazu kommen zwei kompakte Bolt-Modelle, die Agenten auf lokale Rechner und Edge-Geräte bringen sollen.
Nemotron 3.5 Super VL ist laut Nvidia für spezialisierte Agenten gedacht, die dauerhaft im Hintergrund laufen. Das Modell verarbeitet Text, Bilder, Dokumente und Videos.
Wie Nvidia im technischen Blog erklärt, ist es als Mixture-of-Experts-Modell aufgebaut, bei dem pro Token nur 12 der 120 Milliarden Parameter aktiv sind. Entwickelt hat Nvidia es gemeinsam mit der Nemotron Coalition, einem Verbund mit anderen KI-Firmen wie Mistral AI, Thinking Machines Lab, Perplexity und Black Forest Labs.
Zeitgleich erscheinen zwei kleinere Modelle für lokale Hardware: Nemotron 3.5 Bolt 74B-A9B 24GB soll Agentenaufgaben direkt auf dem eigenen Rechner ausführen. Das noch kleinere Bolt E4B 4GB für schnelle Sprachassistenten folgt später im Monat. Nvidia zufolge bieten beide Modelle die "höchste Intelligenz pro Gigabyte Speicher".
Super VL und Bolt ergänzen die bestehenden Nemotron-Modelle. Das im August erschienene Lightning ist auf hohen Durchsatz ausgelegt, Ultra auf besonders schwierige Reasoning-Aufgaben. Alle Varianten sind für Nvidia-Hardware optimiert.
Im Gesamtranking von Artificial Analysis liegt Super VL deutlich hinter den geschlossenen Spitzenmodellen, aber vor Nvidias eigenem Nemotron 3 Ultra. | Bild: NvidiaNvidia verspricht die Genauigkeit des größten Modells bei einem Fünftel der Größe
Nvidia hat Super VL aus Nemotron 3 Ultra destilliert, seinem größten Reasoning-Modell. Bei Aufgaben, bei denen ein Agent Anweisungen befolgt, Werkzeuge aufruft, mehrstufige Geschäftsabläufe abarbeitet oder Bilder auswertet, soll es ähnlich genau arbeiten, obwohl es nur etwa ein Fünftel der Parameter hat. In den Agententests von Hermes und LangChain schneidet es laut Nvidia sogar besser ab als Ultra, bei den Programmier-Benchmarks SWE-bench und Terminal-Bench besser als der Vorgänger Nemotron 3 Super.
Super VL ist im Programmier-Benchmark etwas ungenauer als die Konkurrenz, erledigt die Aufgaben laut Nvidia aber viermal so schnell. | Bild: NvidiaAuf einer einzelnen GPU soll Super VL bei Agentenaufgaben bis zu fünfmal mehr Durchsatz erreichen als andere offene Modelle ähnlicher Größe. Nvidia beruft sich dabei auf die Rangliste von Artificial Analysis. In einer unabhängigen Auswertung von EXO Labs auf dem DGX Spark war kein anderes getestetes Modell zugleich genauer und schneller. Das Tempo soll vor allem dort helfen, wo Agenten über Tage oder Wochen große Mengen an Aufgaben abarbeiten.
Bei vergleichbarem Intelligence Index erzeugt Super VL laut Nvidia bis zu fünfmal mehr Token pro Sekunde als andere offene Modelle seiner Klasse. | Bild: NvidiaGegenüber geschlossenen Frontier-Modellen will Nvidia Unternehmen damit locken, Super VL mit eigenen Daten nachzutrainieren und auf eigenen Servern zu betreiben. Sie können das Modell dort einsetzen, wo es ihre Sicherheits- und Datenschutzvorgaben erfordern, und sind nicht an die Nutzungsregeln eines Anbieters gebunden.
Das könnte laut Nvidia etwa für einen Versicherer interessant sein, der Schadensmeldungen laufend auf Hinweise auf Betrug prüft, oder einen Finanzdienstleister, der Kreditwürdigkeit nach eigenen Kriterien bewertet. Zum Anpassen stellt Nvidia sein Framework NeMo, Python-Pipelines und offene Datensätze bereit.
Auf dem DGX Spark war kein anderes getestetes Modell zugleich genauer und schneller als Super VL. | Bild: NvidiaKompression und Zwischenspeicher sollen Rechenarbeit sparen
Nvidia komprimiert Super VL mit seinem 4-Bit-Format NVFP4. Auf GPUs mit Blackwell-Architektur rechnet das Modell durchgehend mit 4 Bit, auf älteren Karten speichert es nur die Gewichte so und rechnet mit 16 Bit. Besonders empfindliche Teile des Modells behalten eine höhere Genauigkeit. Damit die Qualität nicht leidet, hat Nvidia die komprimierte Version im Training darauf abgestimmt, die Ausgaben des unkomprimierten Originals zu treffen.
Mit Nvidias Inferenz-Software Dynamo bedient Super VL laut Nvidia achtmal so viele Nutzer bei 85 Prozent kürzerer Wartezeit auf die erste Antwort. | Bild: NvidiaZudem schlägt ein eingebauter Entwurfsteil mehrere Token im Voraus vor, die das Hauptmodell in einem einzigen Rechendurchgang prüft. Auf dem DGX Spark empfiehlt Nvidia stattdessen sein eigenes Verfahren LiLiCorr, das alle Token eines Entwurfs gemeinsam bewertet und so stimmigere Entwürfe liefern soll. Laut Nvidia erzeugt das Modell damit bis zu 2,3-mal so schnell Text wie ohne Vorab-Entwürfe.
Agenten schicken bei jeder Anfrage dieselben Anweisungen, Werkzeugbeschreibungen und den bisherigen Verlauf mit. Super VL speichert die Berechnungen für diese wiederkehrenden Teile zwischen, statt sie jedes Mal neu auszuführen. Nvidias Inferenzsoftware Dynamo leitet die Anfragen einer Sitzung zudem gezielt an die GPU, die deren Zwischenspeicher bereits hält. Auf 16 B200-GPUs bedient Super VL damit laut Nvidia achtmal so viele Nutzer gleichzeitig, die Wartezeit auf das erste Token sinkt um 85 Prozent.
Super VL soll Tabellen, Diagramme und PDFs selbst auswerten
Bei den visuellen Fähigkeiten konzentriert sich Nvidia auf Material, mit dem Agenten im Arbeitsalltag zu tun haben: Texterkennung (OCR), Tabellen, Diagramme, mehrseitige Dokumente und Videos. Super VL soll etwa ein Diagramm deuten, es mit einer Tabelle an anderer Stelle im Dokument verknüpfen und beides zusammenfassen. Ein separates Bildmodell brauchen Agenten dafür nicht.
Im Diagramm-Benchmark CharXiv erreicht Super VL laut Nvidia 80,8 Prozent, das ältere Nemotron 3 Nano Omni kam auf 63 Prozent. Darf das Modell zusätzlich Python-Code ausführen, steigt der Wert auf 84 Prozent. In der Rangliste von OCRBench v2 zählt es laut Nvidia zu den besten offenen Modellen.
Lokale Agenten brauchen weiterhin viel Speicher
Bolt 74B-A9B 24GB ist eine abgespeckte Version von Super VL. Es handelt sich um ein hybrides Mixture-of-Experts-Modell, bei dem pro Rechenschritt nur 9 seiner 74 Milliarden Parameter aktiv sind. Damit das Modell in 24 GB Speicher passt, komprimiert Nvidia die Gewichte mit einer 2-Bit-Quantisierung sehr stark.
Bolt soll alltägliche Aufgaben lokal erledigen, bei denen ein Agent in mehreren Schritten vorgehen, Werkzeuge aufrufen oder im Netz suchen muss. Nutzer können damit laut Nvidia etwa Code schreiben und debuggen lassen oder herausfinden, welche PC-Komponenten zu ihrem System passen.
Optimiert ist Bolt 74B-A9B für Nvidias RTX Spark, einen neuen Chip für KI-fähige Windows-Laptops, sowie den DGX Spark, einen kompakten KI-Rechner mit bis zu 128 GB gemeinsamem Speicher. Das Modell läuft außerdem auf GeForce-RTX-PCs, DGX-Station und RTX-PRO-Workstations und unterstützt llama.cpp, Ollama, LM Studio und vLLM.
Trotz der starken Kompression bleiben 24 GB eine hohe Hürde. So viel Speicher bietet nur teure Oberklasse-Hardware, und bei den aktuellen Hardwarepreisen und knappem Arbeitsspeicher ist das für die meisten Privatanwender nicht realistisch. Vorerst richtet sich der lokale Agent daher vor allem an Entwickler und Besitzer leistungsstarker Workstations.
Für schwächere Geräte ist Bolt E4B 4GB vorgesehen, das allerdings noch nicht erschienen ist. Es soll auf GeForce-RTX-Karten, Jetson-Modulen und RTX/DGX Spark laufen und Sprachassistenten, interaktive Charaktere oder Bedienoberflächen in Geräten antreiben. Das Modell soll sich natürlich unterhalten, dabei Werkzeuge über mehrere Gesprächsrunden hinweg nutzen und berücksichtigen, was gerade in der jeweiligen Anwendung passiert.
Erste Beispiele reichen von Finanzwesen bis IT-Sicherheit
Laut Nvidia trainieren bereits Dutzende Organisationen Super VL für eigene Zwecke nach, primär in Branchen mit vielen Dokumenten und sensiblen Daten. Scale AI hat das Modell für einen Agenten angepasst, der beim Medienkonzern Skydance Lieferantenkredite bearbeitet. Die Kosten dafür sollen auf ein Vierzigstel sinken, die Antwortzeit auf ein Fünftel. Ramp wandelt mit dem Modell Fotos von Belegen in strukturierte Daten um und erwartet zehnmal kürzere Antwortzeiten. EY nutzt es für die Prüfung von Firmenübernahmen, Hebbia für die Analyse von Kreditverträgen.
Unter den Modellen bis 24 GB verbindet Nemotron Bolt laut Nvidia die beste Kombination aus Tempo und Aufgabenqualität. | Bild: NvidiaEine zweite Gruppe stammt aus der IT‑Sicherheit. AI21 hat Super VL für die Sicherheitsfirma Alice nachtrainiert, die damit Bedrohungen und Schwachstellen analysiert. Die Genauigkeit stieg dabei laut Nvidia um 40 Prozent. Dream sucht mit dem Modell nach Schwachstellen, CrowdStrike baut Agenten, die Unternehmensnetzwerke verteidigen sollen. Salesforce will damit Verwaltungsabläufe von Behörden automatisieren, R1 medizinische Abrechnungen prüfen. Daneben setzen unter anderem Perplexity, Dassault Systèmes und Mercor auf das Modell.
Nvidia legt Datensätze und Methoden offen
Nvidia veröffentlicht die Gewichte in einer Basisversion, einer nachtrainierten und einer auf 4 Bit komprimierten Fassung. Dazu kommen die Datensätze und Trainingsrezepte sowie die Umgebungen für das Reinforcement Learning. Damit ist Super VL offener als viele Open-Weight-Modelle, bei denen nur die Gewichte freigegeben werden.
Laut Nvidia wurde das Modell im Pre-Training und im fortgesetzten Pre-Training mit über 25 Billionen Token trainiert. Hinzu kommen rund vier Millionen Beispiele im Post-Training und Reinforcement Learning in etwa 100 offenen Trainingsumgebungen.
Auf Hugging Face veröffentlicht Nvidia außerdem mehrere Datensätze, mit denen andere Entwickler eigene Modelle trainieren oder anpassen können. Sie decken unter anderem ab, wie Agenten Werkzeuge nutzen, Anweisungen befolgen, mit langen Texten umgehen und Bilder verstehen. Andere Datensätze behandeln Finanzthemen sowie Sicherheit und Fairness.
Einer davon zielt auf Sprachen, die in Indien gesprochen werden. Nvidia hat ihn gemeinsam mit der indischen Technikhochschule IIT Madras und deren KI-Labor AI4Bharat erstellt. Er enthält rund 2,83 Billionen Token Text in 22 indischen Sprachen.
Mit dem indischen Datensatz nachtrainiert, schlägt Super VL in indischen Sprachen größere Spezialmodelle wie Sarvam-105B. | Bild: NvidiaOffene Modelle als Verkaufsargument für Nvidia-Hardware
Super VL läuft laut Nvidia auf Desktop-Systemen wie DGX Spark, DGX Station, RTX PRO und RTX, auf Jetson-Modulen in Edge-Geräten sowie in Rechenzentren und in der Cloud. Über Nvidia NIM erhalten Unternehmen das Modell als fertigen Microservice mit geprüften Konfigurationen und Support. Alle zwei Wochen soll es Updates mit Sicherheitspatches und Leistungsverbesserungen geben. Auf Hugging Face finden sich hier die Gewichte für Nemotron 3.5 Super VL 120B-A12B und hier für Nemotron 3.5 Bolt 74B-A9B 24GB.
Nvidia gibt die Modelle zwar offen heraus, stimmt sie aber gezielt auf die eigenen Produkte ab, vom Server im Rechenzentrum bis zur Workstation. Wer Nemotron optimal nutzen will, landet damit bei Nvidia-Hardware.
Die Strategie hinter Nvidias offenen Modellen ist eigennützig. Je mehr Unternehmen eigene offene Modelle betreiben, desto größer wird die Nachfrage nach der dafür benötigten Rechenhardware. Offene Modelle dürften auf absehbare Zeit auf Nvidia optimiert sein, während Firmen wie Meta, Google, Anthropic und OpenAI eigene Chips entwickeln und ihre Modelle für diese optimieren. Um die Verbreitung offener KI-Modelle weiter voranzutreiben, investierte Nvidia zuletzt 12,9 Milliarden Dollar in Hugging Face, eine der wichtigsten Plattformen für deren Entwicklung und Verbreitung.
