1 hour ago
1
Vor gut einem Jahr brachte man mit dem AI HAT+ eine Erweiterung für den Raspberry Pi 5 auf den Markt, die sich auf Bilderkennung mittels neuronaler Netze konzentrierte. Nun legt die Raspberry Pi Foundation nach und zielt mit dem AI HAT+ 2 auf den Bereich der generativen KI ab. Die Verarbeitung findet dabei komplett lokal auf dem Gerät statt, was Latenzen minimiert und Datenschutzbedenken ausräumen dürfte, da keine Cloud-Anbindung notwendig ist.
Herzstück der neuen Platine ist der Hailo-10H-Beschleuniger. Dieser liefert laut der Macher eine Inferenzleistung von 40 TOPS (INT4). Der Unterschied zum Vorgänger ist jedoch der verbaute Arbeitsspeicher. Der AI HAT+ 2 verfügt über 8 GB dedizierten RAM direkt auf dem Board. Erst dieser Speicher ermöglicht es, größere Modelle effizient zu handhaben, die bisher auf der Hardware nicht liefen. Dazu zählen nun auch Large Language Models (LLMs) und Vision-Language-Models (VLMs).
Mein erster Gedanke war: 8 GB RAM auf dem HAT klingen viel, sind aber für viele aktuelle Modelle (die oft 10–12 GB plus Kontext-Speicher benötigen) bereits zu knapp. Ein Pi 5 mit 16 GB RAM ist hier vielleicht flexibler. Auch die Hailo-CPU könnte das Ganze ausbremsen.
Zum Start lassen sich diverse Modelle installieren, darunter DeepSeek-R1-Distill, Llama3.2 sowie verschiedene Ausführungen von Qwen2.5. Diese Modelle bewegen sich in einer Größenordnung von 1 bis 1,5 Milliarden Parametern. In der Praxis lassen sich diese über Backends wie hailo-ollama und ein Web-Interface lokal betreiben. Das genügt für Aufgaben wie einfache Chat-Abfragen, Coding-Hilfe oder Übersetzungen. Auch die Beschreibung von Kamerabildern in Textform ist möglich. Man sollte die Erwartungen jedoch realistisch halten. Der Raspberry Pi AI HAT+ 2 ist ab sofort für 130 Dollar erhältlich.
Transparenz: In diesem Artikel sind Partnerlinks enthalten. Durch einen Klick darauf gelangt ihr direkt zum Anbieter. Solltet ihr euch dort für einen Kauf entscheiden, erhalten wir eine kleine Provision. Für euch ändert sich am Preis nichts. Partnerlinks haben keinerlei Einfluss auf unsere Berichterstattung.
