PrismML begründet die Notwendigkeit, leistungsfähige Modelle lokal lauffähig zu machen, mit der veränderten Struktur moderner KI-Anwendungen. Ein Agent löse keinen einzelnen Modellaufruf mehr aus, sondern hunderte hintereinander, jeder mit Kontext, strukturierter Ausgabe und Anschluss an den nächsten Schritt.
In der Cloud summieren sich dabei die Kosten pro Token, jeder Schritt erzeugt Netzwerklatenz, und alle Zwischenergebnisse, Werkzeugaufrufe und private Daten wie Bildschirminhalte oder Dokumente verlassen das Gerät.
Läuft ein Modell direkt auf dem Endgerät, liegen die Grenzkosten einer solchen Schleife bei null, und die Nutzerdaten bleiben lokal. PrismML sieht darin die Grundlage für dauerhaft laufende Agenten auf dem Gerät, Offline-Assistenten und hybride Architekturen, bei denen einfache und datenschutzsensitive Aufgaben lokal abgewickelt werden, während nur die anspruchsvollsten Schritte an Frontier-Modelle in der Cloud gehen.
PrismML spricht einem Bericht von CNBC zufolge bereits mit Apple über die zugrundeliegende Kompressionstechnik. PrismML-CEO Babak Hassibi bestätigte, dass Apple und weitere Unternehmen die Modelle derzeit auf Geschwindigkeit, Energieverbrauch und Leistung testen. Die Gespräche seien "in einem sehr frühen Stadium", entwickelten sich aber "gut".
Zwei Varianten für Laptop und Smartphone
In üblicher Präzision belegt ein Modell dieser Größe rund 54 GB Speicher, mit gängigen Komprimierungsverfahren immer noch etwa 18 GB. PrismML liefert das Modell in zwei deutlich kleineren Ausbaustufen: Die qualitätsorientierte Variante belegt laut PrismML rund 5,9 GB und ist für Laptops gedacht; die aktuell ausgelieferten Pakete können je nach Runtime allerdings größer ausfallen, im Whitepaper werden für die llama.cpp-Version rund 7,2 GB und für die MLX-Version 8,49 GB genannt.
Die kleinere Variante kommt auf rund 3,9 GB und passt damit in das knappe Speicherbudget eines iPhone 17 Pro Max. Ein iPhone mit 12 GB Arbeitsspeicher stellt einer einzelnen App laut PrismML nur rund 6 GB tatsächlich zur Verfügung, geteilt zwischen Modell und Zwischenspeicher.
Statt jedes Gewicht des neuronalen Netzes mit 16 Bit zu speichern, nutzt PrismML nur ein oder knapp zwei Bit. In der aggressivsten Variante kennt jedes Gewicht nur zwei Zustände, in der etwas größeren drei. Das Verfahren ziehe sich durchgängig durch das gesamte Sprachmodell. Als Beispiel für die üblichen Etikettierungsprobleme nennt PrismML das im Whitepaper verglichene Qwen3.6-27B-IQ2_XXS-Build, das trotz "2-Bit"-Label bei durchschnittlich 2,8 Bit pro Gewicht liege.
1-Bit-Bonsai-Variante erreicht mit 0,530 Intelligenzdichte pro GB die höchste Effizienz und übertrifft ternäre sowie FP16-Modelle deutlich. | Bild: PrismQualitätsverlust laut Eigenauswertung überschaubar
In einer von PrismML durchgeführten Evaluation über 15 Benchmarks behält die größere Variante 95 Prozent der Leistung des Originalmodells, die kleinere 90 Prozent. Mathematik und Coding blieben laut PrismML "nahezu unberührt".
Stärkere Einbußen zeigten sich bei der aggressiveren Komprimierung vor allem bei Bildverstehen, Instruction Following und agentischer Werkzeugnutzung. Ein aggressiv komprimiertes Qwen3.6-27B mit herkömmlichen Verfahren kommt bei 9,4 GB nur auf 72,7 Punkte, die kleinere Bonsai-Variante bei 3,9 GB dagegen auf 76,1.
Komprimierte Bonsai-Modelle erzielen bis zu 95 % der Originalleistung von Qwen3.6-27B; die 1-Bit-Variante fällt vor allem in Vision und Instruction Following stärker ab. | Bild: PrismAuf einem iPhone 17 Pro Max generiert die kleinere Variante laut Whitepaper etwa 11 Tokens pro Sekunde. Ein Batterietest ergab rund 672 generierte Tokens pro Prozentpunkt Akkuladung, hochgerechnet etwa 67.000 Tokens pro voller Ladung. Der Chip drosselte nach gut fünf Minuten leicht.
Apples Rettung für lokale KI?
Die Modellgewichte stehen unter Apache-2.0-Lizenz zur Verfügung. Bonsai 27B läuft auf Apple-Geräten über Apples MLX-Framework sowie auf NVIDIA-GPUs. PrismML stellt zusätzlich eine zeitlich begrenzte, kostenlose Developer-Preview-API bereit sowie eine Live-Demo bei HuggingFace.
Nach eigenen Angaben wurde das Unternehmen mit Unterstützung von Khosla Ventures, Cerberus und Google gegründet; Samsung unterstützt es weiterhin. Als Nächstes wollen sie ihre Technik auf Googles Gemma-Modellreihe anwenden, die in kleineren Varianten schon auf Smartphones funktioniert.
Für Apple wäre eine lizenzierte Kompressionstechnik auch deshalb interessant, weil die eigenen Modelle in Benchmarks bislang hinter der Konkurrenz zurückblieben. Zuletzt hatte Apple auf der WWDC 2026 eine überarbeitete Siri-Version vorgestellt, deren Foundation-Modelle in Zusammenarbeit mit Google auf Basis der Gemini-Technologie entstanden sind. Das leistungsfähigste On-Device-Modell setzt dabei bereits ein iPhone mit mindestens 12 GB Arbeitsspeicher voraus, während komplexe Anfragen über Nvidia-GPUs in Apples Cloud laufen.
