Connexion
Raspberry Pi AI HAT+ 2 : l’étrange IA de monsieur Upton
L’AI HAT+ 2 est une nouvelle solution destinée à proposer des fonctions d’Intelligence Artificielle aux cartes Raspberry Pi 5. L’extension est pensée pour fonctionner sans consommer trop de ressources et localement. Elle fonctionne avec un NPU plus performant que les précédentes versions et elle est pensée pour prendre en charge aussi bien des applications de détection d’objets que de piloter des LLM.
L’extension Raspberry Pi AI HAT+ 2 m’apparait toutefois assez étrange, car si elle proposera plus de fonctions, elle ne semble pas du tout révolutionner les possibilités offertes par la carte de base qu’est la Pi 5. La nouvelle venue embarque bien un NPU Hailo-10H qui développe 40 TOPS d’inférence INT4. Elle est également proposée avec un module de 8 Go de mémoire vive LPDDR4x soudé. Ce qui lui donne un prix assez élevé, probablement à cause de la mémoire vive qu’elle embarque. On la trouve en Europe aux environs de 140€.
Sur le papier, le jeu en vaut la chandelle. L’ajout de la mémoire vive dédiée permet de ne pas venir amputer la mémoire vive de la carte Raspberry Pi 5. Avec 8 Go, on peut monter plusieurs modèles de LLM basiques directement sur cette mémoire et donc les exploiter en laissant tranquille ceux du système Linux embarqué. L’idée étant également de pouvoir profiter des compétences combinées des deux puces assemblées. La Broadcom du Raspberry 5 et la Hailo-10H de son HAT.
HAilo met en avant plusieurs LLM compatibles avec cette formule. Des modèles « basiques » avec 1.5 milliards de paramètres. On parle ici de DeepSeek-R1-Distill, de Llama3.2 et des séries Qwen2.5-Coder, Qwen2.5-Instruct et Qwen2. Et les résultats proposés ont l’air assez bons en termes de vitesse de traitement, comme le montre la vidéo en intro de ce billet. Les usages de ces LLM sont très variés : du chatbot à la rédaction de courriers, du traitement de données comme l’organisation de tableaux et même la promesse d’une aide au code. Et cela toujours en usage totalement local.
En pratique, pour avoir essayé ces LLMs avec d’autres matériels, les résultats proposés ne sont pas extraordinaires. Voir médiocres. Certains traitements simples sont excellents comme la fabrication de tableaux ou la mise en forme de données. D’autres sont simplement mauvais avec des informations erronées, des réponses hallucinées et des résultats souvent tellement catastrophiques qu’on passe plus de temps à vérifier ce qui est proposé qu’à rédiger la réponse sans aide… Les options de traduction Llama3.2, par exemple, sont assez ridicules. Les contresens sont nombreux, certaines formulations classiques sont comprises de travers et l’utilisation de simples métaphores provoquent fréquemment de vrais fous rires.
Mais ce n’est pas vraiment le plus gros problème de cette proposition. On peut très bien imaginer l’intérêt de ce que propose ce Raspberry Pi AI HAT+ 2 ailleurs. Il y a quelques années, je vous expliquais pourquoi monter un cluster de Raspberry Pi était intéressant. Non pas parce que monter 10 cartes de ce type permettait une alternative à un véritable serveur beaucoup plus couteux. Non, plutôt de se faire la main sur ce type d’infrastructure. Un moyen de simuler le déploiement d’outils de supervision sur un matériel réel et très formateur. Il en est de même ici : la carte va permettre d’apprendre à piloter ce type de solution IA et donc de mener à bien des projets. D’acquérir de l’expérience et pouvoir en répliquer la logique sans avoir à acheter ou à louer des serveurs hors de prix.
D’un point de vue pratique, le Raspberry Pi AI HAT+ 2 embarque un Hailo-10H, un NPU plus puissant que les NPU Hailo-8 précédents. Ce qui lui offre deux autres avantages en plus de sa mémoire vive embarquée. Il est plus rapide en traitement et il est capable de piloter un LLM en plus d’un traitement de flux vidéo en même temps. L’extension reprend le format des modèles précédents. On a d’abord eu droit à un HAT Raspberry Pi AI Kit développant 13 TOPS sous Hailo 8L en juin 2024, puis, en octobre de la même année, à deux autres modèles : un en 13 TOPS toujours sous Hailo 8L et un en 26 TOPS avec le choix d’un Hailo 8.
Toutes se ressemblent physiquement. Les extensions se montent grâce à des entretoises par-dessus la carte RPi5 en s’appuyant sur ses broches GPIO. Le Raspberry Pi AI HAT+ 2 ne les exploite pas mais ne fait que les reporter un étage plus haut pour que l’utilisateur puisse les connecter. La liaison entre le NPU et la carte de base se est possible par la classique nappe fournie. L’extension nécessitera absolument la mise en place d’un système de refroidissement passif : la puce devra être couverte par un petit dissipateur en aluminium fourni. Il faudra également prévoir un peu d’aération au-dessus de celui-ci pour une intégration dans un projet.
Je n’ai pas de Raspberry Pi AI HAT+ 2 sous la main mais Jeff Gerling en a reçu un et ses conclusions sont assez claires. Les performances apportées par l’extension ne sont pas révolutionnaires. À vrai dire, le Hailo-10H est moins performant dans tous les usages que le SoC Broadcom du Pi 5 quand il est également épaulé par 8 Go de mémoire vive LPDDR4x…
La seule différence vient de l’efficience de la solution externe qui consomme moins de watts pour arriver au même résultat, même si elle le fait plus lentement. Cela est lié à la consommation générale plus importante de la puce Broadcom qui n’est pas explicitement spécialisée dans le calcul d’IA.
Le plus gênant reste cependant que l’usage de ces modèles de LLM très léger reste indéniablement médiocre. La vidéo de Jeff est on ne peut plus claire. Les résultats proposés ne sont pas utiles. C’est très mignon de proposer une extension qui va pouvoir les embarquer, mais au-delà de la phase d’installation et de l’apprentissage des usages du dispositif, leur exploitation est finalement contre productive.
C’est pour moi le syndrome du « piano désaccordé ». Vous allez apprendre le solfège, maitriser la technique des accords et même apprendre à jouer par cœur des morceaux sur votre piano totalement désaccordé. Mais jamais vous ne vous enregistrerez dessus, pas plus que vous donnerez un récital avec. Ces petits LLM sont là pour se faire la main et apprendre leur mécanique d’installation pour le jour où vous devrez travailler sur un grand modèle. Ce jour-là, vous donnerez votre récital sur un magnifique piano à queue en provenance d’un grand fabricant. C’est-à-dire un LLM beaucoup plus complet et riche en paramètres monté sur une machine autrement plus chère.
Jeff est tout aussi perplexe que moi
C’est tout le paradoxe de cette offre de Raspberry Pi. Un Pi 5 avec 16 Go de mémoire vive sera finalement plus compétent que cette extension avec 8 Go dédié. A la fois en vitesse mais aussi et surtout en pertinence des résultats. Reste la possibilité de fabriquer votre propre LLM en l’entrainant vous-même. Dans ce cas précis, l’extension pourrait avoir tout son sens. Mais il ne s’agit plus ici d’un emploi « out of the box » du HAT. Plutôt d’un travail de longue haleine avec des besoins extrêmement spécifiques et souvent le besoin de matériel supplémentaire autrement plus cher pour conduire cet entraînement.
Le principal intérêt du Raspberry Pi AI HAT+ 2 est donc ailleurs
La gestion des VLM ou « modèle vision-langage » est excellente avec le Hailo-10H. Il s’agit de faire analyser ce que voit le système avec une caméra pour en déduire des choses en langage naturel. Les précédents modèles d’extensions IA de Raspberry Pi étaient déjà capables de multiples choses du genre : compter des personnes dans une pièce, reconnaitre des objets, lire des plaques d’immatriculation ou faire des statistiques de trafic routier.
Le module Raspberry Pi AI Camera
La nouvelle extension permet de voir le monde et de reconnaitre des objets en temps réel avec une vitesse assez impressionnante. On pourra analyser une scène vue par l’oeil d’une webcam et en dresser le listing en format texte. Il sera par exemple possible de faire réagir le système si certaines correspondances sont trouvées dans une liste. Un lecteur est, par exemple, en train de monter un système qui analyse les entrées et sorties devant une de ses ruches dans l’espoir d’entrainer une IA pour reconnaitre et différencier ses abeilles d’éventuels prédateurs comme le frelon asiatique. Son objectif étant de pouvoir les chasser en les aspergeant dès qu’ils seront reconnus. Ce travail est fait grâce à une solution Raspberry Pi AI Camera. Module à 80€ et qui fonctionne déjà extrêmement bien. Son NPU permet un traitement VLM à 30 images par seconde. Ce type de traitement très spécifique est impossible pour la puce Broadcom seule à cette vitesse. On tournera au mieux à 1 ou 2 images par seconde.
Ce qui sera donc intéressant, ici, est la capacité de cette extension à ouvrir la porte à un pilotage des deux usages en parallèle. Par exemple la vision et l’identification d’objets et le traitement de ces données par un LLM. Une fois bien entrainé, on peut imaginer une solution assez simple de vérification visuelle et la gestion d’un rapport synthétique de cette analyse.
Raspberry Pi AI HAT+ 2
Pour le moment la partie logicielle semble en retrait pour cette extension et je suppose que cela a tout à voir avec la nouvelle vision de Raspberry Pi. La fondation des débuts est désormais remplacée par une société classique qui se préoccupe plus de ses clients industriels que des simples particuliers. Or ces clients professionnels vont trouver très rapidement un intérêt à ce type de produit qu’ils vont entrainer pour des tâches hyper spécifiques. Les particuliers, de leur côté, ont pour la majorité besoin d’une solution clés en main qui n’existe pas pour le moment.
Quand un industriel va construire une machine qui exigera le suivi d’un protocole ou la présence de certains éléments avant son actionnement, on comprend tout l’intérêt de ce type de produit. Un ascenseur qui ne doit pas accueillir plus de x personnes refusera de se mettre en marche s’il en détecte une de plus. Un vendeur qui veut une vérification de la présence de l’ensemble des produits d’une commande dans un colis pourra coller une caméra sur un tapis roulant et analyser en temps réel la correspondance des produits vendus par rapport à la liste de colisage. Des milliers d’usages professionnels sont imaginables avec ce Raspberry Pi AI HAT+ 2.
L’exemple donné par Hailo pour une exploitation des LLM et VLM en parallèle avec ses puces 10H est assez parlant. La marque met en avant un système de caisse autonome qui va surveiller ce que l’utilisateur fait, ce qu’il pose dans son panier et ce qu’il paye. Tout cela pour contrôler et déduire si le client n’oublie pas de payer des produits. C’est quelque chose de très spécifique qui demandera des aménagements précis et une programmation sur mesure. Les industriels n’ont donc pas besoin d’un développement logiciel, ils vont s’en charger eux-mêmes.
Les particuliers, quant à eux, vont devoir attendre que les solutions fonctionnent, soit parce que Raspberry Pi proposera des mises à jour, soit parce que Hailo s’en chargera. Aujourd’hui, la cohabitation VLM et LLM sur l’extension ne semble pas fonctionnelle. Peut-être que la solution viendra des utilisateurs et développeurs chevronnés toujours très présents sur la plateforme. Dans quel délai et avec quelles performances ? Impossible à dire.
Il y a sans doute plein de choses à imaginer avec ce kit Raspberry Pi AI HAT+ 2 et la combinaison des deux IA peut avoir beaucoup de sens. En robotique par exemple, on peut très bien imaginer des prises de décision ou d’adaptation à l’environnement grâce à cet équipement local et peu gourmand en énergie. Mais pour les usages qui ne mixent pas ces deux univers LLM et VLM, il paraît plus utile de choisir entre un duo Raspberry Pi 5 16 Go pour le premier et Raspberry Pi 5 8 Go associé à une Raspberry Pi AI Camera pour le second.
Raspberry Pi AI HAT+ 2 : l’étrange IA de monsieur Upton © MiniMachines.net. 2025
