1 month ago
4
Das Team hinter LM Studio hat Version 0.4.0 veröffentlicht. Wer lokal mit Sprachmodellen experimentiert, dürfte die Software bereits kennen (quasi wie ein privates ChatGPT, das komplett ohne Internetverbindung funktioniert und bei dem die Daten deinen Rechner nie verlassen). Mit dem Update zieht ein neuer Daemon-Modus ein, der es ermöglicht, den Kern der Anwendung – genannt `llmster` – ohne grafische Oberfläche zu betreiben. Das ist praktisch für den Einsatz auf Servern, Linux-Maschinen oder in CI-Umgebungen, da die Core-Funktionalität nun von der GUI entkoppelt wurde. Der Dienst lässt sich unabhängig starten und über das Terminal steuern, was auch den Betrieb auf Google Colabs oder GPU-Rigs vereinfacht. Sprich: Für die Pros unter euch.
Unter der Haube hat sich ebenfalls etwas getan. Die llama.cpp-Engine springt auf Version 2.0.0 und bringt Unterstützung für parallele Anfragen an dasselbe Modell mit. Durch Continuous Batching statt einfachem Queueing können nun mehrere Anfragen gleichzeitig verarbeitet werden. In den Ladeoptionen lassen sich dazu Parameter für maximale gleichzeitige Vorhersagen einstellen. Nutzer der MLX-Engine unter macOS müssen sich für dieses Feature allerdings noch etwas gedulden.
Auch an der Oberfläche wurde geschraubt. Es gibt nun eine Split-View-Ansicht, um mehrere Chats nebeneinander zu legen, sowie Exportfunktionen für Unterhaltungen als PDF, Markdown oder Text. Ein neuer Entwicklermodus schaltet erweiterte Optionen in der gesamten App frei, und die Dokumentation ist jetzt direkt integriert. Für die Kommandozeile steht mit `lms chat` eine neue interaktive Sitzung bereit. Wer tiefer einsteigen will, findet hier das komplette Changelog.
Transparenz: In diesem Artikel sind Partnerlinks enthalten. Durch einen Klick darauf gelangt ihr direkt zum Anbieter. Solltet ihr euch dort für einen Kauf entscheiden, erhalten wir eine kleine Provision. Für euch ändert sich am Preis nichts. Partnerlinks haben keinerlei Einfluss auf unsere Berichterstattung.
