4 months ago
6
Wer KI-Chatbots nutzen möchte, aber Bedenken beim Datenschutz hat, findet mit Jan eine interessante Alternative. Die kostenlose Open-Source-Software ermöglicht es, große Sprachmodelle direkt auf dem eigenen Computer laufen zu lassen, ganz ohne Internetverbindung.
Nach der Installation von Jan für Windows, macOS oder Linux steht zunächst die Auswahl eines Sprachmodells an. Für den Einstieg bietet sich vielleicht eines der Mistral-Modelle an, die sich über den integrierten Modell-Store herunterladen lässt. Die Nutzung gestaltet sich dann ähnlich wie bei ChatGPT oder Google Gemini.
Im rechten Bereich der Benutzeroberfläche lassen sich grundlegende Anweisungen für den Chatbot festlegen. Die Standard-Einstellung „you are a helpful assistant“ kann dabei nach Belieben angepasst werden. Die Qualität der Antworten hängt vom gewählten Modell und der Rechenleistung des Computers ab. Zwar erreichen die lokalen Modelle nicht das Niveau der neuesten Online-Dienste, dafür bleiben die Daten aber auf dem eigenen Rechner.
Ein zusätzlicher Pluspunkt: Jan stellt eine API-Schnittstelle bereit, die u. a. mit der OpenAI-API kompatibel ist. Das ermöglicht die Nutzung von Jan in Anwendungen, die Schnittstellen zu den jeweiligen Diensten unterstützen. Die verschiedenen Sprachmodelle sind für unterschiedliche Anwendungsfälle optimiert. Einige eignen sich für Programmier-Fragen, andere wurden für Computer mit weniger Rechenleistung angepasst.
Transparenz: In diesem Artikel sind Partnerlinks enthalten. Durch einen Klick darauf gelangt ihr direkt zum Anbieter. Solltet ihr euch dort für einen Kauf entscheiden, erhalten wir eine kleine Provision. Für euch ändert sich am Preis nichts. Partnerlinks haben keinerlei Einfluss auf unsere Berichterstattung.
