N-Gramm-Parameter fassen häufig gemeinsam generierte Token in Hashtabellen zusammen und ersetzen so aufwendige Berechnungen durch sparsamere Look-ups.
(Bild: KI / iX)
06.10.2026, 13:00 Uhr
Lesezeit: 4 Min.
Von
- Dr. Christian Winkler
Die Zahl der Parameter von Open-Weight-Modellen wächst und wächst: Hatte das überzeugende DeepSeek-V4-Flash noch 284 Milliarden Parameter, verfügt der Nachfolger DeepSeek-V4.1-Flash bereits über 748 Milliarden Parameter. Dabei nutzen die Entwickler mit N-Grammen eine zusätzliche Art von Parametern, sodass der Größenzuwachs nicht automatisch heißt, dass sich die Open-Weight-LLMs schlechter lokal betreiben lassen.
Das war die Leseprobe unseres heise-Plus-Artikels "Kurz erklärt: Wie N-Gramme funktionieren". Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.
Immer mehr Wissen. Das digitale Abo für IT und Technik.
Was AGI eigentlich ist – und warum es niemand genau weiß
OpenAI ruft die AGI-Ära aus, Fachleute widersprechen. Der Streit geht weniger um Technik als um die Frage, was AGI überhaupt heißen soll.
Server-Fernsteuerung für unter 100 Euro: Günstige IP-KVM-Lösung im Test
IP-KVM-Systeme zum Fernsteuern des eigenen PCs oder Servers sind oft teuer. Wir haben eine günstige Alternative getestet, die viel verspricht.
KI-Coding-Assistent: Erste Schritte mit Agentic Coding
Beim Vibe-Coding generiert die KI den Code, aber einbauen muss man ihn noch selbst. Das Agentic Coding übernimmt auch das und auch noch das Debugging.
CPU-Wegweiser 2026: 27 PC-Prozessoren von AMD und Intel im Test
Große Caches, viele Kerne oder hoher Takt? Wir haben 27 Desktop-CPUs auf Leistung, Spieletempo, Preis und Effizienz geprüft, damit Sie die richtige finden.
Gehälter 2026: Das verdienen IT-Projektmanager
Langfristige Planung, kurzfristige Problemlösung: Für ihre Vielseitigkeit können IT-Projektmanager ein ordentliches Gehalt erwarten.
Workshop: To-dos besser planen mit Apples Erinnerungen
Apples Erinnerungen-App wirkt auf den ersten Blick wie eine spartanische To-do-Liste, ist tatsächlich aber ein mächtiges Planungswerkzeug.
