9 months ago
9
DeepSeek hat etwas überraschend eine neue Version seines Sprachmodells V3 veröffentlicht. Es handelt sich um Release 0324. Das 641 GB große Modell hat einen entscheidenden Vorteil. Es läuft performant auf Consumer-Hardware wie dem Mac Studio mit M3 Ultra und ist unter MIT-Lizenz frei auch für kommerzielle Einsatzzwecke nutzbar. Ich bezweifle zwar, dass man einen Mac Studio mit M3 Ultra und 512 GB „Consumer-Hardware“ nennen kann, aber es ist relativ wenig Investition zum Betrieb des Modells nötig.
The new Deep Seek V3 0324 in 4-bit runs at > 20 toks/sec on a 512GB M3 Ultra with mlx-lm! pic.twitter.com/wFVrFCxGS6
— Awni Hannun (@awnihannun) March 24, 2025
Technische Spezifikationen:
- 685 Milliarden Parameter
- Mixture-of-Experts Architektur (nur 37 Milliarden aktive Parameter pro Aufgabe)
- Multi-Head Latent Attention für besseren Kontext
- Multi-Token Prediction für 80% schnellere Ausgabe
- 4-Bit Version benötigt „nur“ 352GB Speicher
Die Leistung soll Claude Sonnet 3.5 übertreffen, während der Energieverbrauch mit unter 200 Watt deutlich niedriger liegt als bei anderen Modellen, die hungrige GPUs erfordern. DeepSeeks Open-Source-Strategie steht im Kontrast zu den anderen KI-Unternehmen.
Tested the new DeepSeek V3 on my internal bench and it has a huge jump in all metrics on all tests.
It is now the best non-reasoning model, dethroning Sonnet 3.5.
Congrats @deepseek_ai! pic.twitter.com/efEu2FQSBe
— Xeophon (@TheXeophon) March 24, 2025
Das Modell ist über Hugging Face, OpenRouter API oder DeepSeeks eigene Chat-Schnittstelle zugänglich und soll als Basis für das kommende Reasoning-Modell DeepSeek-R2 dienen.
Transparenz: In diesem Artikel sind Partnerlinks enthalten. Durch einen Klick darauf gelangt ihr direkt zum Anbieter. Solltet ihr euch dort für einen Kauf entscheiden, erhalten wir eine kleine Provision. Für euch ändert sich am Preis nichts. Partnerlinks haben keinerlei Einfluss auf unsere Berichterstattung.
