Strunzdumm sind viele der auf Consumer-Hardware lauffähigen lokalen LLMs – zumindest auf den ersten Blick. Gibt man Qwen 3.8 & Co jedoch Werkzeuge in die Hand, nähert sich die Nützlichkeit teuren Cloud-Modellen wie Claude Fable an.
Transkript des Videos
(Hinweis: Dieses Transkript ist für Menschen gedacht, die das Video oben nicht schauen können oder wollen. Der Text gibt nicht alle Informationen der Bildspur wieder.)
Guckt mal hier, ich lasse hier ein KI-Modell auf 'nem Raspi 4 mit einem Gigabyte RAM laufen und hier auf dem Mac Studio Cluster mit genau 1536-mal so viel schnellen Speicher und hier einmal auf einer Grafikkarte mit 16 GByte Speicher. Ja, und ihr merkt wahrscheinlich schon, ich bastele seit einigen Wochen oder Monaten sogar einigermaßen obsessiv mit lokalen LLMs herum. Und will euch in diesem Video jetzt zeigen, was ich da so alles herausgefunden habe. Werde sehr doll versuchen, nicht zu nerdig in den Kaninchenbau reinzugehen, um euch nicht alle zu verwirren. Ich hoffe, dass ich in diesem Video eure sehr häufig gestellten Fragen beantworten kann.
Wie gut sind lokale KI-Modelle jetzt eigentlich im Vergleich zu den kommerziellen Cloud-Modellen? Wie ermittelt man das überhaupt? Welches Modell ist für meine Hardware am besten geeignet? Was brauche ich denn für Hardware, um Modelle laufen zu lassen, die mit Claude, Codex und Co. mithalten können? Gibt's sowas überhaupt? Und was ist eigentlich mit der Zensur von diesen ganzen chinesischen Modellen? Bleibt dran.
Ja, ach so, ist jetzt gerade rausgekommen? Aber ich habe jetzt drei volle Tage Qwen 3.6 durchgebencht, weil das viel besser ist, okay? Liebe Hackerinnen, liebe Internetsurfer, herzlich willkommen hier in unserer schnelllebigen Welt.
Warum KI lokal betreiben?
So, erstmal ganz kurz jetzt: Ich habe den starken Eindruck, dass das Thema KI gerade stark polarisiert. Was unter anderem daran liegt, dass vor allem in den USA zurzeit unfassbare Summen in unfassbar riesige KI-Rechenzentren gesteckt werden, was nicht nur zu Protesten in den betroffenen Nachbarschaften führt, sondern überall auf der Welt zu teurerer Hardware führt, weil eben die Hardware von diesen ganzen Rechenzentren aufgekauft wird. Und natürlich steht auch die Frage im Raum, was denn eigentlich passiert, wenn die Billionen an Investitionen jetzt gar nicht eingespielt werden über Abos und Token-Verkauf. Ja, und generell haben viele von euch sowieso Probleme damit, Daten an US-Unternehmen zu schicken, die dann womöglich auch noch offen im Netz auftauchen, siehe hier.
Also, vieles spricht auf jeden Fall dafür, KI auf eigener Hardware laufen zu lassen. Oder zumindest auf eigens gemieteter Hardware, das werde ich in diesem Video auch ausprobieren. Aber wie gut die Qualität dann am Ende ist, ja, das ist so 'n bisschen der Elefant im Raum.
Also, zurzeit ganz klar: Auf normalen PCs lauffähige Modelle sind bislang immer schlechter als kommerzielle Cloud-Modelle von Anthropic und Co. Das ist natürlich auch logisch, weil die großen Modelle schließlich auf millionenteurer Hardware laufen. Das finde ich aber in Bezug auf das Erwartungsmanagement wichtig zu sagen.
Fakt ist aber auch, dass die kleinen Modelle, aktuell Qwen 3.8-27B, das so ungefähr ab 24 GB Speicher ordentlich läuft, beeindruckend viel können. Und dass da wirklich gerade die KI-Welt so 'n bisschen auf den Kopf gestellt wird durch diese kleinen Modelle. Deshalb jetzt erstmal: Kapitel 1 - Wie gut sind die lokalen Modelle genau?
Wie gut sind lokale Modelle wirklich?
Ja, also woher weiß man das überhaupt, wie gut die Modelle sind? Woher ich das weiß? Also, aus praktischer Erfahrung, weil ich sag ja, seit Wochen spiele ich mit den Dingern rum.
Aber das zeigen auch die beiden Websites Artificial Analysis und Arena AI. Die ranken Modelle anhand unterschiedlicher Kriterien, welche das sind, sage ich später noch was zu. Aber auf jeden Fall finden sich hier in den Rankings auf beiden Seiten eigentlich immer die Modelle von Anthropic vorne, also Claude Opus 5 oder Fable 5. Aber während früher dahinter eigentlich immer OpenAI mit GPT-Modellen kam und Google-Modelle, also Google Gemini, fanden sich da in den letzten Wochen immer wieder Modelle von Alibaba, die machen die Qwen-Modelle, Zhipu AI, die haben GLM, oder Moonshot AI, die haben Kimi im Programm. Kimi K3 ist zurzeit z.B. auf Platz 5 bei Artificial Analysis von allen getesteten Modellen.
Ja, und alle drei Firmen kommen aus China und alle diese Modelle sind sogenannte Open-Weights-Modelle, die man runterladen und selbst laufen lassen kann. Also, wenn man die Hardware hat.
So, und ich muss zugeben, dass ich lange Zeit eher so 'n bisschen der Skeptiker war und dachte: Ja gut, die lokalen Modelle, die mögen in den Benchmarks ganz gut abschneiden manchmal, aber in der Praxis kommen die doch eh nicht an die Qualität der großen US-Anbieter ran. Und dann muss ich auch sagen, da war ich auch ein bisschen irritiert, als ich den Analysten und Podcaster Pip Klöckner gesehen habe, der wie ich finde sehr kompetent über die wirtschaftlichen Zusammenhänge in der KI-Welt berichtet, als der vor 'n paar Monaten Folgendes sagte: Mit 'nem Zeitverzug von 6 bis 7 Monaten könnt ihr auf eurem Heim-PC 'ne KI nutzen, die so schlau ist wie was vor 'nem halben Jahr in 'nem Datacenter laufen würde. Ja, und ich dachte mir damals, ja nee, 6 bis 7 Monate, das ist doch Wunschdenken, oder?
Aber ich habe dann jetzt mal selbst die Rechnung gemacht mit dem brandneuen Qwen 3.8-27B. Und das Ding läuft ja auf jeden Fall auf 'ner Consumer-Gaming-Karte. Auf 'ner High-End-24-GB-Karte zwar, aber z.B. auch auf 'ner RTX 3090, und die ist ja immerhin schon 6 Jahre alt und die kriegt man gebraucht eigentlich für unter 1000 €.
Ja, und hier auf Artificial Analysis bekommt das Modell einen Intelligence Score von 52. Vor 7 Monaten waren die State-of-the-Art-Modelle Claude Opus 4.5, Google Gemini 3 Pro und OpenAI GPT-5.2. Ja, und alle diese Modelle werden mir hier mit weniger Punkten angezeigt. Also, okay, auf dem Papier korrekt.
Aber kommen wir mal in die Praxis. Kann das denn wirklich stimmen?
Der Praxistest deckt Schwächen auf
Ja, komm, wir fragen Qwen 3.8-27B einfach mal Sachen. Seit wann gibt's Heise online? Wie hießen die ersten fünf Sams-Bücher? Ja, und da kommt dann, ich sag's mal ganz deutlich, kompletter Schrott raus.
Also, kennt ihr z.B. die Fachzeitschrift Datenschnitt? Ja, nee, ich auch nicht. Und die gab's auch nie, natürlich. Und es gab auch kein Sams und Schnibbel... Ja, und es gab auch kein Sams und Schnibbel in Afrika.
Ja, okay, aber was ist denn jetzt mit so einfacheren Sachen? Also Fakten, die definitiv sehr häufig im Trainingsmaterial gestanden haben, gehe ich mal von aus. Z.B. gib mir alle Bundespräsidenten der Bundesrepublik Deutschland.
Ja, und da sieht die Liste erstmal auf den ersten Blick okay aus, aber wenn man genauer hinguckt, sind da etliche Fehler drin. Horst Köhler war z.B. nicht in der FDP und Karl Carstens ist auch nicht im Amt verstorben, sondern erst 1992. Aber wie kann das jetzt sein, dass Qwen 3.8-27B so viele Punkte im Intelligence Ranking hat und so 'n Mist erzählt?
Ja, ganz einfach: Weil die meisten Benchmarks im Intelligence Index Ranking hier nicht das Wissen abfragen, sondern die überprüfen, wie gut die Modelle coden können, wie gut die 'n Terminal bedienen können, wie gut die Werkzeuge wie Websuche bedienen können, wie exakt die sich einzelne Informationen in langen Prompts, in langen Kontext merken können. Reines Wissen fragt eigentlich nur noch ein Benchmark aus den neun hier in diesem Index verwendeten ab, und das ist AA-Omniscience, der zu 12 % in diese Gesamtpunktzahl reingeht. Und wenn ihr jetzt denkt: Hä, was ist das für 'n Quatsch? Nein, das ist wirklich sinnvoll, weil eben 2026 reines Wissen abfragen nicht mehr wirklich so relevant ist bei LLMs.
Denn LLMs können ja in so agentischen Systemen im Internet suchen. Die müssen das ja alles gar nicht selbst wissen. Und das ist auch das große Umdenken, was jetzt gerade passiert.
Vielleicht brauchen wir gar nicht diese Riesenmodelle. Vielleicht reichen ja kleinere, die darauf optimiert sind, sich die Informationen selbst zu suchen. Und dazu komme ich auch später noch mal im Detail beim Kapitel Software. Aber jetzt erstmal Kapitel 2: Was braucht man für Hardware?
Welche Hardware wird benötigt?
So, also wie kriegt man jetzt diese ganzen dollen lokalen Modelle zum Laufen? Ja, typische c't-Antwort: Kommt drauf an.
Fangen wir mal mit dem aktuell besten lokalen Modell an, also mit dem besten Modell, das man theoretisch selbst laufen lassen kann. Das ist Kimi K3. Das ist hier im Ranking auf Platz 5 und hat nur zwei Punkte weniger als z.B. Claude Fable 5.
Und ich hatte mir in den Kopf gesetzt, dieses Kimi K3 zum Laufen zu kriegen. Ich hatte mir extra für dieses riesenfette LLM von Apple vier Mac Studio mit M3 Ultra ausgeliehen, zwei mit 512 GB Unified RAM und zwei mit 256 GB. Kommen wir also auf 1,5 Terabyte schnellen Speicher und ja, reicht nicht für Kimi K3, denn mit nutzbarem Kontext braucht das 1,6 Terabyte.
Und dann hat mir Hetzner noch 'nen Server mit 8-mal RTX Pro 6000 Blackwell mit jeweils 96 GB superschnellem VRAM zur Verfügung gestellt. Also dann hat also einer dieser Cluster 768 GB RAM, da hätte ich dann drei Stück von gebraucht, also ich hätte das Modell auf drei dieser Server auslagern müssen, weil 768 GB mal 3, das hätte ausgereicht, nicht mal zwei hätten gereicht.
Und das ist jetzt mein Punkt: Dieses Höher, Schneller, Weiter, das funktioniert nicht so einfach in der KI-Welt. Also klar, 768 GB auf schnellen Blackwell-Nvidia-Karten, das ist praktisch. Z.B. kann ich da zumindest GLM-5.2 drauflaufen lassen, das braucht so ungefähr 450 GB Speicher. Aber das ist halt laut Artificial Analysis nur zwei Punkte besser als Qwen 3.8-27B, was auf meiner 24-GB-Grafikkarte läuft.
Aber kurzer Einschub: GLM-5.2 ist wirklich ein extrem kompetentes Modell, gefällt mir richtig gut, habe ich viel mit gemacht. Mir gefällt auch unter anderem gut, dass es nicht so krass zensiert ist wie Qwen.
Zensur bei chinesischen LLMs
Schaut mal, das antwortet Qwen 3.8-27B, wenn ich frage, was 1989 am Tian’anmen-Platz passiert ist: „Zu diesem Thema kann ich keine Informationen bereitstellen.“ Und im Nachdenkprozess kann man auch deutlich sehen: Über dieses sensible Thema darf ich nicht sprechen. Aber man kann diese Zensur wirklich nicht für alle chinesischen Modelle verallgemeinern, denn GLM-5.2, ja, ist auch aus China, antwortet ausführlich auf die Frage und schlägt sogar von sich aus vor, mal drüber zu sprechen, dass die chinesische Regierung seit Jahrzehnten versucht, das Massaker unter den Teppich zu kehren.
Ja, weil die Dinger halt Open-Weights sind, gibt's inzwischen auch angeblich unzensierte Modelle, sogenannte abliterated Modelle von Qwen, aber das konnten wir bislang noch nicht ausprobieren. Wenn euch das interessiert, gerne in die Kommentare schreiben, sowie alle anderen Fragen, die ihr habt, alles gerne in die Kommentare schreiben. Aber ja, Zensur hin und her, GLM-5.2 läuft auf jeden Fall nicht auf Consumer-Hardware, deshalb wieder zurück zu Qwen.
Und hier gilt, wie schon mehrfach erwähnt: Qwen 3.8-27B funktioniert auf GPUs ab 24 GB oder auf Rechnern mit schnellem Unified-Speicher, also z.B. AMD Strix Halo-Maschinen, Nvidia DGX Spark oder auch auf Apple-Rechnern mit M-Prozessor. Man muss allerdings bedenken, dass man die 24 GB bei so Unified-Geschichten wirklich frei haben muss. Wenn der Rechner also insgesamt nur 24 GB hat, dann passt Qwen 27B nicht, weil das Betriebssystem und so was ja auch noch irgendwo untergebracht werden muss im Speicher.
Und wenn ihr jetzt sagt: Es gibt doch Quantisierung! Also damit ist gemeint, dass die Genauigkeit der Werte in den Weights verringert wird, also dass die gerundet gespeichert werden. Dadurch werden die Daten kleiner, passt besser in weniger Speicher.
Quantisierung spart VRAM
Aber es ist sowieso inzwischen schon de facto Standard, dass Open-Weights-LLMs so im Bereich Q4, Q5, also 4- bis 5-Bit-Quantisierung verwendet werden, weil genauere Daten bringen euch fast nichts. Wenn euch das interessiert, habe ich euch ein interessantes Experiment verlinkt.
Der Entwickler Piotr Migdał hat Qwen 3.6-27B in den Varianten von BF16, also 16-Bit-Gleitkomma-Genauigkeit, bis runter auf 2 Bit ausprobiert. Also bei BF16 brauchten die Weights über 54 GB und in der 2-Bit-Variante unter 10 GB. Also ein riesen Unterschied bei der Größe.
Bei der Ausgabequalität hat's tatsächlich erstaunlich wenig Unterschiede gegeben. Also 2 und 3 Bit, da sieht man schon Verschlechterung, aber über 'n Daumen kann man sagen: Ab 4 Bit ist die Verschlechterung vernachlässigbar. Zumindest beim Pelican-Test hier. Bei den Wissens-Benchmarks kann man so ungefähr sagen, bricht es ab 5 Bit etwas ein.
Und ja, deshalb werden LLMs inzwischen meist in 4 bis 5 Bit verwendet, weil Speicher verschwenden, das wollen wir alle nicht. Gerade heutzutage nicht, 2026, wo zum ersten Mal Nachfolgegeräte von Handys oder Laptops rauskommen, die weniger Speicher als die Vorgänger zum gleichen Preis bieten. Also: Niemand hat zu viel Speicher.
Die meistverkaufte Grafikkarte zurzeit ist ja die AMD RX 9070 XT mit 16 GB Videospeicher, und darauf könnt ihr die Qwen-Varianten mit der sogenannten Mixture-of-Experts-Technik verwenden. Konkret ist das z.B. Qwen 3.6-35B-A3B. Das Ding hat zwar mehr Parameter als das 27B-Modell, nämlich 35 Milliarden statt 27, aber wegen dieser MoE-Technik müssen die nicht alle gleichzeitig im GPU-Speicher sein, sondern nur die sogenannten Experten, die gerade verwendet werden. Der Rest kann im langsamen System-RAM rumhängen und deshalb läuft das auch auf 16-GB-Karten. Leider gab es das während meiner Tests noch nicht in der 3.8er-Version, sondern nur in 3.6, aber das hat auch okaye 32 Punkte im Intelligence Index von Artificial Analysis.
Und guckt mal, hier habe ich sogar Benchmark-Ergebnisse für euch von meinem Kollegen Danny Gille: 34,9 Token die Sekunde mit der 9060 XT und ungefähr 57 Token die Sekunde mit der Nvidia 5060 Ti. Eine 9060 XT mit 16 Gig, Achtung, die gibt's auch mit 8 GB Speicher, kostet, sagen wir mal, knapp 500 €.
Und ja, wenn ihr jetzt denkt: Brauche ich denn überhaupt 'ne Grafikkarte? Kann ich nicht den Hauptspeicher verwenden? Ja, könnt ihr, aber das ist lahm. Und ihr wollt gerade für Agenten, also wo es so viel hin und her geht, intern eigentlich mindestens 30 Token die Sekunde haben für die normale, sogenannte Token Generation, also so die normalen Tokens, die generiert werden.
Agenten arbeiten dummerweise auch mit riesigen Prompts. Das heißt dann: Je größer die Prompts werden, also je größer der Kontext wird, desto mehr Verarbeitungszeit brauchen die LLMs, und das machen GPUs einfach deutlich schneller. Stichwort Prompt Processing. Und da sind gerade Nvidia-GPUs richtig gut drin.
Wenn ihr wirklich nur KI machen wollt, Agenten und so Kram, und ihr in dem Bereich unter 2000 € für den Komplett-PC bleiben wollt, dann würde ich euch eher 'ne gebrauchte RTX 3090 empfehlen. Da könnt ihr dann nämlich dank 24 GB Grafikspeicher Qwen 3.8-27B verwenden und das Ding funktioniert wirklich super mit OpenClaw, Hermes oder OpenCode oder sonst was. Und da wären wir direkt in Kapitel 3: Software.
Software und Agenten-Harnesses
Ich hatte das ja schon gesagt: Die kleinen Modelle spielen ihre Stärken nur aus, wenn sie Tools benutzen können, und dazu brauchen sie ein sogenanntes Harness, also Software drumrum, die regelt, was das LLM machen darf und was dem LLM z.B. ermöglicht, eben im Internet was nachzuschlagen und 'n Terminal zu benutzen und Programme zu starten, um z.B. mit Python irgendwas auszurechnen. Und solche Harnesse gibt's etliche inzwischen.
Also so rund um die Uhr agentische Systeme, die ganze Zeit laufen wie OpenClaw und Hermes hatten wir zu beiden schon ein Video, oder auch so On-Demand-Coding-Tools, also die nicht immer laufen, sondern die ich manuell aufrufe und denen ich dann einfach in echter Sprache sage, was sie tun sollen. Die können auch Sachen auf meinem Rechner machen, also sowas wie: Keine Ahnung, ordne mir mal die Bilder in diesem Ordner, Software XY läuft hier nicht richtig, kannst du mal in den Logs gucken oder so? Und das funktioniert wirklich erstaunlich gut, müsst ihr echt mal ausprobieren, das ist ja, das ist cool.
Ja, ich nutze im Moment auf jeden Fall sehr gerne Opencode und ja, da ziehe ich mir ein lokales LLM rein und dann kann das tolle Dinge tun. Und ich nutze das alles gerne auf der Kommandozeile.
Wenn ihr das partout nicht wollt, also ich würde es euch empfehlen eigentlich, aber wenn ihr das nicht wollt, dann könntet ihr z.B. das neue LM Studio Bionic verwenden. Das unterstützt auch Tool Calls und auch Websuche. Was mir allerdings nicht so gut gefällt: Will man die Websuche bei LM Studio Bionic aktivieren, muss man erst 'nen Account erstellen. Und hey, das ist ja eigentlich gerade das Dolle an lokalen Modellen, dass ich eben keinen Account irgendwo habe und Daten bei irgendeiner Firma hinterlasse.
Ich finde aber sowieso immer ganz elegant, wenn man das LLM und den Harness voneinander trennt. Also ich stelle mir das LLM immer so wie Wasser vor, was aus einem Wasserhahn kommt, und ihr könnt da dann halt unterschiedliche Dinge dranschließen an den Wasserhahn, also 'n Duschkopf oder 'n Rasensprenger, keine Ahnung, 'ne Wasserbombe, weiß ich nicht. Und der Wasserhahn heißt auf jeden Fall in der KI-Sprache Endpoint.
Und diesen Endpoint stellt die sogenannte Runtime oder die LLM-Engine, KI-Engine, zur Verfügung, also die Software, die LLM-Gewichte lädt und die Tokens da abzapft. Und diese Runtime ist ziemlich relevant, also die unterscheiden sich. Die bekanntesten sind LM Studio und Ollama, aber es gibt noch etliche andere Runtimes und die unterscheiden sich in Sachen Geschwindigkeit.
Runtimes und Performance im Vergleich
Guckt mal hier, das ist natürlich ein extremes Beispiel: Das ist auf diesem fetten GPU-Cluster, von dem ich am Anfang erzählt habe, also da sind RTX Pro 6000 Blackwell-Karten drin, und da schafft z.B. Ollama nur 21 Token die Sekunde mit Qwen 3.8-27B. Mit vLLM gibt es das Vierfache. Das läuft übrigens alles auf Ubuntu 26.04.
Und ich sag's ganz ehrlich: Ich habe vLLM noch nie manuell installiert, sondern das war alles GLM-5.2, was auf einem anderen Rechner lief und dessen Endpoint von diesem Rechner, auf dem ich jetzt Qwen installiert habe, von Opencode angezapft wurde. Und dann habe ich halt einfach gesagt: Ich möchte hier Qwen 3.8-27B servieren, probier doch mal bitte aus, was am besten läuft, und probier mal 'n paar Quantisierungen aus und probier mal ein paar Runtimes aus, und dann wird das alles runtergeladen und ausprobiert, Benchmarks gemacht und irgendwann läuft da dann die vermeintlich beste Variante. Und das funktioniert meiner Erfahrung nach, ich habe es schon oft gemacht auf unterschiedlichen Rechnern, funktioniert super. Dauert unterschiedlich lange, aber irgendwann läuft's.
Und ja, ich weiß, die wenigsten Leute dürften 'nen Rechner haben, wo 'n GLM-5.2-Endpoint draufläuft. Also es war bei mir auch reiner Zufall, dass ich das gerade da hatte. Ihr könnt natürlich auch einfach ein Cloud-Modell verwenden, und so habe ich das auch schon wirklich auf etlichen Rechnern gemacht. Ich habe halt ein Anthropic-Abo für 18 € im Monat und das reicht für diese Zwecke auf jeden Fall aus.
Ihr könnt aber natürlich auch alle anderen Cloud-Sachen benutzen. Ich benutze ganz gerne Claude, weil Claude Code halt einfach so schnell installiert ist. Das sieht so aus bei mir: Also angenommen, ich habe 'nen Rechner, wo ich ein lokales LLM drauf serven will, dann installiere ich Claude Code mit dieser einen Zeile, logge mich in meinen Account ein und dann sage ich z.B.: Ich möchte auf diesem Rechner ein lokales LLM serven, bitte guckt mal nach, was Stand heute das Beste ist, was auf diesem Rechner läuft, und dann macht Claude das.
Kurzer Nachtrag nach einigen Versuchen: Ob Claude das beste Modell für euren Rechner findet, das ist dann doch ziemlich Glückssache. Besser ist es meist, ihr nennt das Modell konkret, was ihr nutzen wollt. Infos zu aktuellen Modellen findet ihr z.B. hier oder auf LocalLLaMA auf Reddit.
Ihr könnt dann auch sagen: Bitte konfiguriere mir Open WebUI und Opencode mit diesem Endpoint, und dann habt ihr einmal eine ChatGPT-mäßige Oberfläche für euer lokales LLM im Browser und ihr habt ein Coding-Tool in der Kommandozeile, die beide über den gleichen Endpoint laufen. Also ich finde das ziemlich cool. Danach könnt ihr auch Claude Code löschen und dann könnt ihr das, was vorher Claude Code gemacht hat, einfach mit eurem lokal geservten Opencode machen. Funktioniert erstaunlicherweise vergleichbar gut. Wenn ihr also so Sachen auf dem Terminal machen wollt unter Linux, funktioniert wirklich mit Qwen gut.
Also, falls der Rechner, der den Endpoint bereitstellt, nicht der Rechner ist, an dem ihr gerade sitzt und der Rechner womöglich auch außerhalb eures lokalen Netzes ist, also wenn ihr den übers große Netz anzapft, dann 'ne kurze Warnung: Hängt den Endpoint nicht offen ins Netz, sondern nutzt 'n VPN, WireGuard oder Tailscale oder sonst was. Ist besser, wirklich, glaubt's mir.
Ich weiß nicht, ob ihr das gemerkt habt, aber ich bin so im Rabbit Hole drin. Ich könnte noch so viel darüber erzählen, alleine über meine Apple-Cluster-Abenteuer, aber das hat alles nicht mehr in dieses Video gepasst. Das kam mir jetzt sowieso schon alles sehr konfus vor.
Glücklicherweise haben wir ja den 4004-Podcast, den gibt's unter anderem auch hier auf diesem YouTube-Channel. In der Folge, die gerade veröffentlicht worden ist, habe ich noch 'n bisschen darüber erzählt.
Fazit und Ausblick
Was mir auf jeden Fall klar geworden ist während der Arbeit an diesem Video: Man kommt mit einem Qwen 3.8-27B wirklich, wirklich weit. Man braucht gar nicht so Super-Hardware, weil 27-Milliarden-Parameter-Modelle, die reichen für die meisten Dinge inzwischen aus. Da steckt zwar nicht so viel Wissen drin, aber viel Können. Und das reicht halt, wenn man weiß, wo man das Wissen extern abrufen kann.
Und ich glaube, dass das einen ganz schönen Paradigmenwechsel auslösen könnte. Vor allem, weil die meisten Leute ihre lokalen LLMs noch ohne Tool-Call-Möglichkeit verwenden, also einfach nur irgendwelche Infos da abzapfen oder Quellcode abzapfen, den sie dann copy-pasten und die noch nicht agentisch verwenden. Aber ich sage euch: Wenn ihr den Dingern Tools in die Hand gebt, dann fängt das Ganze erst wirklich richtig an, praktisch zu werden.
Tja, ich hoffe, ihr habt Ideen bekommen durch dieses Video. Schreibt die gerne in die Kommentare. Schreibt mir gerne die offenengebliebenen Fragen da rein, da gibt's bestimmt noch viele. Und ja, tschüss.
c't 3003 ist der YouTube-Channel von c't. Die Videos auf c't 3003 sind eigenständige Inhalte und unabhängig von den Artikeln im c't Magazin. Die Redakteure Jan-Keno Janssen, Lukas Rumpler, Sahin Erengil und Pascal Schewe veröffentlichen jede Woche ein Video.
(jkj)
