Grande nouvelle dans le monde de l'edge AI, ou IA en périphérie : Raspberry Pi a lancé un kit comprenant le M.2 HAT+ associé à l'accélérateur d'IA Hailo-8L. Cette nouvelle combinaison offre un surpplus de puissance conséquent pour l'IA embarquée sur Raspberry Pi 5, offrant aux développeurs et ingénieurs des performances d'inférence impressionnantes.


Pourquoi faire de l'IA périphérique ?

L'edge computing traite les données localement sur les appareils plutôt que de s'appuyer sur des serveurs basés sur le cloud. Cette approche réduit considérablement la latence, assurant des temps de réponse plus rapides et améliorant la fiabilité. Elle est cruciale pour les applications nécessitant une prise de décision en temps réel, telles que la robotique, les véhicules autonomes et les appareils domestiques intelligents. En gérant les données à la périphérie, on peut améliorer les performances, réduire les latences et les coûts en termes de bande passante, et renforcer la sécurité des données.

Le problème est que le matériel embarqué a généralement beaucoup moins de puissance que les fermes de serveurs dans le cloud.  Le kit Raspberry Pi AI vise à résoudre ce problème, l'intégration du Hailo-8L avec le M.2 HAT+ du Raspberry Pi illustrant cette évolution vers des solutions plus efficaces et plus réactives basées sur l'IA.

Le kit Raspberry Pi AI comprend le Raspberry Pi M.2 HAT+ avec une carte accélératrice Hailo-8L déjà montée.

Lors d'un récent entretien avec Eben Upton, cofondateur de Raspberry Pi, ce dernier a souligné l'importance croissante de l'informatique périphérique : « À mesure que de plus en plus d'appareils deviennent intelligents, la demande de traitement local de l'IA augmente. Notre objectif avec ce nouveau kit d'IA est de rendre le calcul haute performance plus accessible aux développeurs travaillant à la périphérie. »
 

« À mesure que de plus en plus d'appareils deviennent intelligents, la demande de traitement local de l'IA augmente. Notre objectif avec ce nouveau kit d'IA est de rendre le calcul haute performance plus accessible aux développeurs travaillant à la périphérie. » - Eben Upton

Le Hailo-8L Chip

Alors, qu'est-ce qui rend le Hailo-8L si spécial ? Pour commencer, cet accélérateur IA est une vraie bête de course, parfait pour les tâches d'IA en temps réel, ce qui signifie que vous pouvez entreprendre des projets en robotique, vision par ordinateur, appareils domestiques intelligents et automatisation industrielle sans être limité en puissance de calcul. Le M.2 HAT+ facilite grandement l'exploitation de cette puissance, grâce aux capacités du Raspberry Pi 5.
 

L'accélérateur Hailo-8L est monté sur une carte M.2 M-key 2242.

L'accélérateur AI Hailo-8L est conçu pour offrir des performances locales comparables à celles dont on disposerait dans le cloud, atteignant jusqu'à 13 TOPS (Tera-Operations Per Second). Il est idéal pour les produits d'entrée de gamme, et se distingue par son efficacité supérieure (à la fois volumétrique et énergétique), ce qui le rend très compétitif par rapport aux autres solutions de sa catégorie.

Il offre un traitement à faible latence et haute efficacité capable de gérer des pipelines complexes avec plusieurs flux en temps réel et le traitement simultané de divers modèles et tâches d'IA. Cet accélérateur est également compatible avec la suite logicielle complète de Hailo, ce qui permettra des mises à niveau transparentes pour des capacités encore plus élevées à l'avenir.

L'accélérateur IA Hailo-8L comprend une suite logicielle complète avec des pilotes de périphériques Hailo, HailoRT et HailoTappas, qui peuvent être facilement installés via le gestionnaire de paquets apt. Cela garantit une installation et un fonctionnement sans accroc.

L'accélération IA s'intègre parfaitement avec la pile logicielle de la caméra Raspberry Pi, y compris la prise en charge de libcamera, rpicam-apps et picamera2. Cela permet un traitement d'image avancé et des applications d'intelligence artificielle directement sur le Raspberry Pi 5.

Le M.2 HAT+ se connecte au port PCIe du Raspberry Pi 5 via un câble ruban de 30 mm.

Principales caractéristiques et avantages :

  • Haute efficacité: Le Hailo-8L se concentre sur le traitement IA haute performance avec une consommation d'énergie minimale. Cela est crucial pour les appareils en périphérie, où il est nécessaire de trouver un équilibre entre performance et efficacité énergétique.
  • Traitement IA en temps réel: Avec ses 13 TOPS, le Hailo-8L gère des tâches complexes comme la détection d'objets, la classification d'images et la reconnaissance vocale en temps réel. Vos applications peuvent être plus réactives et plus intelligentes.
  • Intégration transparente: Le kit est pré-assemblé avec le Hailo-8L. Il suffit de le brancher sur votre Raspberry Pi 5, et vous êtes prêt à partir. Pas de tracas.
  • Support logiciel robuste: Entièrement intégré dans l'environnement de Raspberry Pi OS, vous pouvez facilement installer les packages logiciels de Hailo via le gestionnaire de paquets apt. Cela inclut des pilotes de périphériques et des bibliothèques de réseaux neuronaux, de sorte que vous pouvez commencer vos projets IA immédiatement.


Cette configuration associe l'abordabilité et la polyvalence de Raspberry Pi aux capacités d'IA avancées du Hailo-8L. Le résultat ? Vous pouvez exécuter des modèles sophistiqués directement à la périphérie, réduisant la latence et la bande passante par rapport aux solutions basées sur le cloud.

Le Hailo-8L prend en charge des frameworks d'IA populaires tels que TensorFlow, TensorFlow Lite, Keras, PyTorch et ONNX, et est compatible avec les architectures hôtes ARM. Cela le rend idéal pour déployer des modèles sophistiqués sur la Raspberry Pi 5, et ouvre un tout nouveau domaine de possibilités pour le Raspberry Pi.

M. Upton a expliqué la décision de collaborer avec Hailo : « Ce qui nous a enthousiasmés chez Hailo, c'est sa haute performance et son efficacité. Le Hailo-8L fournit 13 TOPS, bien plus que les solutions précédentes. Cela, combiné à ses excellents outils pour la conversion de modèles, en a fait un choix naturel pour nos ambitions d'edge AI. »

Développement et défis

Lorsqu'on lui a demandé s'il prévoyait que la HAT+ M.2 serait utilisée pour les accélérateurs d'IA en plus des disques SSD NVMe, il a répondu : « Lorsque nous avons lancé le Raspberry Pi 5, nous avons d'abord pensé que la HAT+ M.2 serait principalement utilisée pour le stockage. Cependant, nous avons rapidement réalisé qu'il y avait un intérêt significatif pour les accélérateurs d'IA, les cartes réseau et les solutions graphiques. »

Quant aux obstacles inévitables rencontrés lors de la mise en place d'un produit sophistiqué comme celui-ci, il se souvient : « Un défi auquel nous avons fait face à l'approche du lancement était l'optimisation thermique. Au départ, nous n'avions pas de pad thermique entre l'accélérateur et la carte de base, mais nous l'avons inclus dans la version finale pour améliorer la dissipation thermique. » Malgré ces obstacles, la collaboration entre Raspberry Pi et Hailo s'est avérée fructueuse, en utilisant les forces de chaque entreprise pour offrir un produit robuste et efficace.

Eben Upton a également mentionné la difficulté d'appliquer l'accélération IA en raison des architectures de modèles en rapide évolution : « L'un des défis actuels avec GenAI est qu'il est en réalité très difficile d'appliquer une accélération. Les choses doivent se stabiliser avant de pouvoir concevoir un accélérateur qui soit significativement plus performant qu'un CPU ou un GPU sans sacrifier la flexibilité. »

Je m'abonne
Abonnez-vous à la balise thématique Raspberry Pi pour être averti dès qu'une information relative à ce sujet sera publiée par Elektor !

Cas d'utilisation et applications idéales

M. Upton a fait part de son enthousiasme quant à l'avenir de l'IA sur la plateforme Raspberry Pi : « Nous allons voir des applications étonnantes dans la robotique industrielle et les appareils domestiques intelligents. Le potentiel est énorme, et ce kit IA aidera à débloquer cela pour nos utilisateurs, » a-t-il déclaré. Il a également souligné la popularité des caméras comme accessoires pour la Raspberry Pi : « Les caméras sont un accessoire incroyablement populaire pour Raspberry Pi, et pouvoir donner plus d'intelligence à ces applications de caméra est une grande avancée. Cet accélérateur IA est parfait pour des tâches comme la détection d'objets et la classification d'images. »

Que contient la boîte ? Raspberry Pi M.2 HAT+ avec une carte accélératrice Hailo-8L M.2 déjà connectée, un connecteur d'empilage de 16 mm, quatre entretoises et huit vis, ainsi qu'une carte microSD Raspberry Pi et un adaptateur SD.

Le Hailo-8L est optimisé pour les tâches liées à la vision, ce qui le rend idéal pour des applications comme la surveillance, l'inspection de qualité automatisée dans la fabrication et l'imagerie médicale. « L'un des défis de la GenAI à l'heure actuelle est l'évolution rapide des architectures des modèles. Cependant, le Hailo-8L est conçu pour gérer efficacement des tâches plus stables liées à la vision. »

La collaboration entre Raspberry Pi et Hailo

Raspberry Pi vise à rendre le calcul haute performance accessible et abordable. Hailo, quant à lui, est spécialisé dans les processeurs d'IA qui apportent des performances dignes du cloud aux appareils à la périphérie. Ce partenariat montre ce qu'il est possible de faire lorsque l'on associe l'innovation matérielle de pointe à l'accélération de l'IA.

Il s'est également penché sur l'impact éducatif de leurs produits : « Notre objectif a toujours été de mettre du matériel programmable entre les mains des enfants et de voir ce qui se passe. Il s'agit de nourrir la curiosité et de permettre à la prochaine génération d'ingénieurs et de développeurs de s'épanouir. »

Pour ceux d'entre nous qui cherchent toujours à repousser les limites de l'IA, le nouveau kit Raspberry Pi AI change la donne. Il ouvre un tout nouveau champ de possibilités en termes de projets à réaliser avec nos Raspberry Pi.