Ollama unterstützt jetzt Entscheidungsmodelle

Ollama hat die Unterstützung für sogenannte Entscheidungsmodelle eingebaut. Für diejenigen, die sich nicht mit KI beschäftigen: Ollama ist ein Programm, mit dem sich KI-Modelle auf dem eigenen Rechner betreiben lassen. Die neuen Modelle schreiben keine Texte, sondern beantworten gezielte Fragen zu einem Text, etwa: Zu welchem Team gehört dieses Support-Ticket? Das dürfte vor allem für Entwickler interessant sein, die solche Abläufe automatisieren wollen.

Die Grundlage ist die Jev-API von TypeSafe. Sie ist ab Ollama 0.35 über den neuen Endpunkt `/v1/systemone` erreichbar. Man schickt einen Text als „state“ zusammen mit mehreren benannten Fragen, und das lokal laufende Modell beantwortet alle in einer einzigen Anfrage. Die Antworten sind typisiert, also zum Beispiel eine Auswahl aus vorgegebenen Kategorien, ein Ja/Nein-Wert oder ein Score. Zu jeder Auswahl liefert die Antwort Wahrscheinlichkeiten und einen Confidence-Wert mit.

Als Einsatzgebiete nennt Ollama Ticket-Triage, Model Routing sowie Inhalts- und Sicherheitsmoderation. Zusätzliche Kosten entstehen laut Anbieter nicht.

Drei Modelle stehen ab sofort bereit:

• nimble: quelloffenes Modell mit 9 Milliarden Parametern von Bespoke Labs
• tev1: experimentelles Modell mit 4 Milliarden Parametern von Together AI
• tev1:0.8b: experimentelles Modell mit 0,8 Milliarden Parametern von Together AI

Weitere Modelle sollen folgen, darunter auch welche, die über Ollamas Cloud laufen.

Der Vorteil des lokalen Betriebs ist, dass die Anfragen nicht übers Netz müssen. Ollama gibt an, dass nimble 9B in einem Pac-Man-Beispiel auf einem MacBook Pro mit M5 Max im Schnitt 91 Millisekunden pro Entscheidung gebraucht hat. Das ist eine Herstellerangabe aus einer Demo, kein unabhängiger Test und eben auch auf einem neuen M5 Max. Wie schnell es auf anderer Hardware läuft, muss man sehen.

Zur Genauigkeit gibt es Benchmark-Zahlen von Bespoke Labs. Über 13 öffentliche Datensätze mit von Menschen vergebenen Labels und insgesamt 3.880 Entscheidungen kommt Jev 1.13 von TypeSafe auf 76,0 Prozent. Nimble 9B erreicht 75,7 Prozent, Tev1 4B 73,3 Prozent und Tev1 0.8B 63,5 Prozent. Nimble und Tev1 wurden auf Ollama getestet, der Jev-Wert stammt aus einem veröffentlichten Lauf von Bespoke Labs auf denselben Entscheidungen. Das kleinste Modell fällt also deutlich ab. Ob rund 75 Prozent für den eigenen Anwendungsfall reichen, muss jeder selbst prüfen. Bei Moderation würde ich mir das genauer anschauen.

Wenn man sich das mal zu Gemüte führen will, am besten Ollama aktualisieren und dann zum Beispiel mit `ollama pull nimble` das Modell laden. Anfragen gehen per curl oder über das offizielle Python-SDK von TypeSafe.

Für die Zukunft kündigt Ollama schnellere Verarbeitung auf Apple-Silicon-Rechnern per MLX an, außerdem Modelle für andere Arten von Entscheidungen. Einen Termin dafür nennt das Unternehmen nicht.

Hinweis: Dieser Artikel enthält Affiliate-Links. Kauft ihr darüber ein, erhalten wir eine kleine Provision - ohne Aufpreis für euch und ohne Einfluss auf unsere redaktionelle Meinung.