Module de caméra AI Raspberry Pi avec apprentissage automatique intégré

Raspberry Pi a lancé son dernier module de caméra, la Raspberry Pi AI Camera, conçu pour apporter aux utilisateurs des capacités d'apprentissage automatique directement sur le module. Construite autour du capteur Sony Sony IMX500 Intelligent Vision Sensor, la caméra AI intègre un capteur CMOS de 12,3 mégapixels avec un accélérateur IA embarqué. Cette conception permet à la caméra d'effectuer des tâches d'inférences, telles que la détection d'objets et l'estimation de la pose, tout en capturant des images ou des vidéos, réduisant ainsi la charge de traitement sur le processeur du Raspberry PI.

Je vous ai déjà montré un aperçu de ce secret pas très bien gardé à Embedded World 2024 un peu plus tôt cette année, et maintenant ils lancent les livraisons officiellement.

Caractéristiques principales de la caméra AI du Raspberry Pi

 Le module utilise le capteur IMX500 de Sony, qui comporte un capteur avec une taille de 1/2,3 pouce avec des pixels de 1,55 μm et une résolution de 4 056×3 040 pixels. La caméra prend en charge les formats de sortie Bayer RAW10 et ISP (YUV/RGB) et inclut la prise en charge du recadrage de la région d'intérêt (ROI). Pour le traitement des images, elle produit des tenseurs de métadonnées, fournissant des données en temps réel que les applications d'intelligence artificielle peuvent utiliser.

Les spécifications remarquables sont les suivantes :

• Longueur focale : 4,74 mm
• Champ de vision : Horizontal 66° ±3°, Vertical 52,3° ±3°
• Plage de mise au point : 20 cm à ∞, avec mise au point manuelle réglable
• Fréquence d'images : 30 ips en mode 2×2 combinaison de pixels à une résolution de 2 028×1 520 ; 10 ips à une résolution complète de 4 056×3 040
• Dimensions physiques : 25×24×11,9 mm
• Température de fonctionnement : 0°C à 50°C

L'empreinte et les emplacements de montage de la caméra Raspberry Pi AI sont identiques à ceux de la caméra module 3 Raspberry Pi, mais elle est légèrement plus profonde pour accueillir le capteur et les composants optiques plus grands​.

Intégration de logiciels et capacités d'IA

 L'intégration de la caméra AI dans l'écosystème logiciel du Raspberry Pi est complète. Les métadonnées d'un tenseur sont prises en charge de manière native par les bibliothèques libcamera et Picamera2, ce qui permet aux développeurs de mettre en œuvre facilement des fonctions d'IA dans leurs applications. La caméra fonctionne également avec la suite logicielle rpicam-apps, ce qui simplifie le déploiement de l'IA pour les utilisateurs moins expérimentés.

La configuration de la caméra AI implique l'installation d'un ensemble de logiciels, y compris le micrologiciel et les modèles pour le capteur IMX500. Une fois configurés, les utilisateurs peuvent exécuter des démos préinstallées, telles que Mobilenet SSD pour la détection d'objets ou Posenet pour l'estimation de la pose. Pour les développeurs souhaitant former des modèles personnalisés, Raspberry Pi fournit des outils permettant de convertir les modèles pour les utiliser avec l'IMX500, en prenant en charge les environnements PyTorch et TensorFlow.

Applications et cas d'utilisations

La caméra AI ouvre de nouvelles possibilités pour les applications d'IA basées sur la vision, notamment la robotique, l'automatisation et les systèmes de sécurité. Son traitement de l'IA intégré sur le module réduit la latence et décharge le Raspberry Pi de la charge de calcul, ce qui en fait un choix approprié pour les projets nécessitant une inférence en temps réel. La caméra devrait rester disponible au moins jusqu'en janvier 2028.

La caméra AI Raspberry Pi, avec sa combinaison de capture d'images en haute résolution et d'inférence embarquée, fournit une solution pratique pour les utilisateurs qui cherchent à intégrer l'apprentissage automatique dans leurs projets, sans avoir besoin d'accélérateurs matériels supplémentaires. Sa compatibilité avec tous les modèles de Raspberry Pi, comme le support logiciel robuste, en font une option séduisante pour les débutants et les utilisateurs avancés travaillant sur des applications basées sur l'IA.