2 weeks ago
4
Ollama läuft auf aktuellen Macs mit Apple-Chips jetzt auf Basis von MLX, dem Machine-Learning-Framework von Apple. Das Ganze ist noch als Vorschau deklariert, zielt aber auf mehr Tempo für KI-Workflows unter macOS ab, vor allem bei lokalen Assistenten und Coding-Agents wie Claude Code, OpenClaw oder ähnlichen Vertretern.
Der große Hebel ist die bessere Nutzung der einheitlichen Speicherarchitektur der M-Chips. Auf M5, M5 Pro und M5 Max greift Ollama zusätzlich auf die neuen GPU Neural Accelerators zu. Das wirkt sich sowohl auf die Zeit bis zum ersten Token als auch auf die Tokens pro Sekunde aus.
Gegenüber Ollama 0.18 legt Version 0.19 beim Prefill und beim Decode deutlich zu, so die Benchmark-Tabelle zumindest. In den internen Tests mit Qwen3.5-35B-A3B kam die neue Version mit NVFP4-Quantisierung klar schneller ins Ziel als die alte Implementierung mit Q4_K_M. Mit int4 schiebt Ollama 0.19 die Werte noch ein Stück nach oben.
Spannend ist die Unterstützung von NVIDIAs NVFP4-Format. Damit sollen Modelle trotz reduzierter Speicher- und Bandbreitenanforderungen ihre Genauigkeit halten. Heißt: Wer lokal mit Ollama arbeitet, kann Ergebnisse bekommen, die näher an dem liegen, was größere Inferenz-Setups mit NVFP4 (quasi die ausgebildete KI) ausspucken. Gleichzeitig öffnet sich Ollama so für Modelle, die mit NVIDIAs Optimizer vorbereitet wurden. Weitere Präzisionen sollen je nach Einsatzzweck und Partnerhardware nachgereicht werden.
Zum Start fokussiert sich die Vorschau von Ollama 0.19 allerdings auf das Modell Qwen3.5-35B-A3B, dessen Sampling-Parameter auf Coding-Aufgaben zugeschnitten sind. Laut Vorgabe sollte ein Mac mit mehr als 32 GB gemeinsamem Speicher am Start sein, sonst wird es mit einem 35B-Modell schnell eng. Wer den gazen Kram mal auf dem heimischen Mac ausprobieren möchte, findet hier alle Infos.
Transparenz: In diesem Artikel sind Partnerlinks enthalten. Durch einen Klick darauf gelangt ihr direkt zum Anbieter. Solltet ihr euch dort für einen Kauf entscheiden, erhalten wir eine kleine Provision. Für euch ändert sich am Preis nichts. Partnerlinks haben keinerlei Einfluss auf unsere Berichterstattung.
