Einigermaßen kräftige und aktuelle PC-Hardware genügt, um viele KI-Modelle auszuführen. Das haben wir ausprobiert mit dem c’t-Bauvorschlag für den optimalen PC 2026: AMD Ryzen 7 9800X3D, 32 GByte DDR5-RAM und als Grafikkarte eine AMD Radeon RX 9070 XT mit 16 GByte GDDR6.
Tools wie LM-Studio und ollama machen die lokale Installation von KI-Modellen ziemlich einfach. Auch große Sprachmodelle (Large Language Models, LLM) wie gpt-oss können funktionieren.
Allerdings liegt die Tücke im Detail. KI-Modelle, die komplett in den schnellen Speicher der Grafikkarte passen, rennen auch flott. Doch jenseits von 16 GByte wirds teuer. Bei den meisten Desktop-PCs könnte man das RAM zwar über 64 GByte hinaus aufrüsten. Auch darin laufen LLMs, aber viel langsamer.
Der c’t-Redakteur Carsten Spille berichtet über seine Erfahrungen mit lokalen KI-Modellen in Folge 2026/5 von Bit-Rauschen, der Prozessor-Podcast von c’t.
Podcast Bit-Rauschen, Folge 2026/5 :
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmung wird hier ein externer Podcast (Podigee GmbH) geladen.
Podcasts immer laden
Wir freuen uns über Anregungen, Lob und Kritik zum Bit-Rauschen. Rückmeldungen gerne per E-Mail an bit-rauschen@ct.de.
Alle Folgen unseres Podcasts sowie die c’t-Kolumne Bit-Rauschen finden Sie unter www.ct.de/Bit-Rauschen
Weitere Podcasts aus unserem Team finden Sie unter heise.de/podcasts.
(ciw)
