NVIDIA Nemotron 3.5 Lightning: Neues MoE-Modell soll KI-Agenten ordentlich beschleunigen

NVIDIA erweitert die eigene Nemotron-Familie um das neue Modell Nemotron 3.5 Lightning. Dabei handelt es sich um ein quelloffenes Mixture-of-Experts-Modell (MoE) mit 30 Milliarden Parametern, das speziell für den Einsatz in dauerhaft laufenden Agenten-Systemen konzipiert wurde. Der Fokus liegt hier auf Tempo: Wiederkehrende, spezialisierte Aufgaben sollen sich damit entsprechend besonders zügig abarbeiten lassen.

Nach Angaben von Nvidia schafft das Modell eine bis zu vierfach schnellere Token-Generierung, die Ausführungszeit fällt dabei um 30 Prozent kürzer aus als bei vergleichbaren offenen Modellen ähnlicher Größe.

Weil die Modelle frei zugänglich sind, lässt sich Nemotron 3.5 Lightning per Fine-Tuning auf eigene Bedürfnisse zuschneiden. Wer etwa Berichte oder E-Mails automatisiert erstellen lässt, kann dem Modell einen bestimmten Schreibstil oder eine feste Terminologie beibringen.

Auch Nischenwissen aus Bereichen wie 3D-Design, Fotografie oder Gaming ließe sich so integrieren, ebenso wie interne Coding-Richtlinien oder spezifische Frameworks für die Code-Prüfung und das Refactoring. In Verbindung mit Zugriff auf lokale Dateien und Tools eignet sich das Modell dadurch für persönliche Assistenten, Smart-Home-Steuerungen oder Coding-Helfer, die direkt mit vorhandenen Codebases arbeiten – so NVIDIA weiter.

Bei der lokalen Bereitstellung setzt man auf Zusammenarbeit mit bekannten Frameworks wie vLLM, Ollama, llama.cpp und LM Studio. Entwickler haben die Wahl zwischen Quantisierungsformaten wie NVFP4 und GGUF. Über Unsloth beziehungsweise Unsloth Studio gibt es zusätzlich direkten Support für optimierte Modellversionen.

Auf der Hardware-Seite deckt Nemotron 3.5 Lightning eine breite Spanne ab – vom Client-Rechner bis zum Rechenzentrum. Lokal läuft das Modell auf NVIDIA RTX-PCs, DGX Spark, OEM-GB10-Systemen und NVIDIA Jetson-Modulen. Wer größer skalieren möchte, greift zu RTX PRO Workstations, DGX Stations, GB300-Deskside-Systemen oder Blackwell-Lösungen von Herstellern wie Acer, ASUS, Dell Technologies, HP, Lenovo, MSI und Supermicro.

Wenn ihr Nemotron 3.5 Lightning ausprobieren wollt, findet ihr das Modell als NVIDIA NIM-Microservice auf build.nvidia.com, außerdem auf OpenRouter sowie über verschiedene Partnerplattformen und Cloud-Anbieter.

Hinweis: Dieser Artikel enthält Affiliate-Links. Kauft ihr darüber ein, erhalten wir eine kleine Provision - ohne Aufpreis für euch und ohne Einfluss auf unsere redaktionelle Meinung.