Deepseek hat sein internes Inference-Framework DeepInfer als Open Source unter der Apache License 2.0 veröffentlicht. Inference ist der Prozess, bei dem ein fertiges KI-Modell Anfragen bearbeitet und Antworten erzeugt. DeepInfer ist also die Betriebssoftware, die dafür sorgt, dass Deepseeks Modell V4.1-Flash schnell und in großer Menge Antworten liefern kann.
Das Framework basiert auf vLLM und enthält laut Deepseek optimierte Rechenbausteine, verteilte Verarbeitung über mehrere Chips und Verfahren, die die Texterzeugung beschleunigen. Künftiger Code für neue Deepseek-Modelle soll ebenfalls als Open Source erscheinen. Zusätzlich veröffentlicht Deepseek deepseek-recipe, eine Komponente, die die Token-Verarbeitung der offiziellen Deepseek-API nachbildet und so einheitliches Verhalten in eigenen Installationen ermöglicht.
Neben den ohnehin günstigen Deepseek-Modellen ist DeepInfer die fehlende Komponente, um KI noch billiger zu betreiben. Ziel sei es, der Community zu helfen, Rechenkosten und Energieverbrauch zu senken, so das Unternehmen auf X. Damit erhöht Deepseek den Preisdruck auf westliche Anbieter wie OpenAI und Anthropic weiter. Vor dem Hintergrund des KI-Wettkampfs mit den USA könnte das auch politisch motiviert sein: Erreichen die westlichen KI-Unternehmen ihre Wachstumsziele nicht, ist das ein Risiko für die gesamte Wirtschaftslage in den USA und darüber hinaus.
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den "KI Radar"‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
