L’apprentissage automatique (Machine Learning, ML), qui est une sous-catégorie de l’intelligence artificielle, a des applications dans un large éventail de domaines, y compris les sciences de l'atmosphère et la vision par ordinateur. Comme l’explique Matthew Stewart, doctorant à Harvard, le TinyML est une discipline émergente pour le développement " des implémentations d'algorithmes d'apprentissage automatique rapides,  peu consommateurs et économes en ressources, pouvant être exécutés sur des microcontrôleurs aux ressources restreintes."

TinyML en science

C. J. Abate : Commençons par votre parcours. Quand vous êtes-vous intéressé pour la première fois à l’apprentissage automatique? Êtes-vous entré dans ce domaine grâce à votre formation en programmation ou en conception matérielle ?

 
Matthew Stewart : Pour mon diplôme de premier cycle, j’ai effectué des études de génie mécanique, cela m’a permis d’acquérir une expérience en programmation ainsi qu’ en mécatronique. Cependant, je ne me suis pas initié à l’apprentissage automatique qu’en commençant mes études à l’Université d’Harvard. En suivant le cours d'introduction à la science des données à Harvard durant la première année de mon travail de doctorat, l'apprentissage automatique a piqué mon intérêt, c’est alors que j’ai réalisé l’énorme potentiel de l’apprentissage automatique de manière générale et dans la recherche atmosphérique en particulier.

 
Abate : Qu’est-ce qui vous a amené à rejoindre Harvard ?
 
Stewart : Eh bien, la réponse évidente est que Harvard est l’une des meilleures institutions de recherche dans le monde et l’intégrer est l’objectif de plusieurs étudiants passionnés et travailleurs. J’ai également été attiré par les intérêts de recherche de mon superviseur, qui étudie la forêt tropicale amazonienne à l’aide de drones. Je me suis intéressé à m’orienter vers les sciences de l’environnement pendant mes études en génie mécanique, car il m’est devenu clair que la plupart des problèmes d’ingénierie prépondérants de l’ère moderne seront des problèmes environnementaux, à savoir le changement climatique, la sécurité énergétique et la durabilité. Compte tenu de mes centres d'intérêt et de ma formation d'ingénieur, ce travail sur les drones dans la forêt amazonienne semblait idéal et a été ma principale motivation pour entrer à Harvard.
 
Abate : En tant que scientifique de l’ environnement, comment vous tenez-vous informés des systèmes embarqués et de la programmation? Ça doit être difficile de rester au courant de tous les nouveaux développements dans le domaine de l’IA, ainsi que des innovations dans la technologie des capteurs, des systèmes embarqués, et ainsi de suite. Quelle est votre approche pour demeurer au fait de ces divers sujets?
 
 
Stewart : C’est un réel problème pour plusieurs étudiants universitaires et diplômés, en raison des progrès inéluctables et rapides dans ces domaines. Personnellement, j’utilise plusieurs ressources pour me tenir relativement à jour. D’abord, Twitter peut être une bonne ressource pour découvrir de nouvelles recherches publiées par d’autres chercheurs dans le domaine. Je fais également partie de plusieurs chaines Slack où des collègues partagent régulièrement des nouvelles et des articles de recherche sur des sujets connexes. J’examine aussi périodiquement les nouveaux articles publiés dans les revues pertinentes pour chercher tout ce qui m’attire particulièrement  l’attention et sera intéressant à lire plus en détail. Heureusement, la plupart des travaux publiés sont peu pertinents pour ma propre recherche, et les tendances générales font souvent l’objet des séminaires donnés par divers départements et groupes d’intérêt au sein de l’université.
 

TinyML comme discipline de proto-ingénierie

Abate : Bien que j’aie abordé TinyML lors d’une interview de Daniel Situnayake il y a quelques mois, cela reste un nouveau sujet pour plusieurs ingénieurs de la communauté mondiale d’Elektor. Comment définissez-vous TinyML? S'agit-il essentiellement d'une approche permettant l’exécution des applications d'apprentissage automatique sur des microcontrôleurs Edge?
 
Stewart : Oui, c’est essentiellement l’objectif. TinyML n’est pas une technologie spécifique ou un ensemble de principes, il s’agit  d’une discipline de proto-ingénierie impliquant la synergie des domaines de l’architecture matérielle, l’ingénierie de la performance et l’apprentissage automatique. L'objectif primordial est de développer des implémentations d'algorithmes d'apprentissage automatique rapides,  peu consommateurs et économes en ressources, qui peuvent être implémentés  sur des microcontrôleurs aux ressources limitées. Cela peut également impliquer le développement d’un matériel sur mesure pour des tâches spécifiques, le développement de nouveaux algorithmes spécialement conçus pour des applications dont les ressources sont limitées, ou de nouveaux outils pour implanter des algorithmes ou optimiser leurs performances sur une grande variété d’architectures matérielles. Une directive utile a été proposée faisant référence à TinyML comme étant l’application de l’apprentissage automatique aux microcontrôleurs ayant une mémoire vive inférieure à  1Mo et une consommation inférieure à 1 mW, mais ceci n’est absolument pas une définition rigoureuse ou exhaustive.
 
Abate : Et pour être clair : nous ne parlons pas des plateformes  comme le NVIDIA Jetson et le Raspberry Pi. Le focus est sur les dispositifs beaucoup plus limités en ressources (C'est-à-dire, moins de 1 mW et des kilooctets plutôt que des mégaoctets), n’est-ce pas?
 
Stewart : C’est exact. Les plateformes comme le Raspberry Pi et NVIDIA Jetson ne sont pas le cible de TinyML, ni sont les technologies liées à des applications telles que les voitures autonomes, qui ont souvent accès à des ressources de calcul considérables. Le mot clé est «ressources limitées», cela laisse entendre qu’on est dans une situation gagnant-perdant. Dans TinyML, on doit prendre des décisions éclairées sur la façon d’optimiser aux mieux les performances de notre algorithme en termes de contraintes spécifiques à l’application -et au matériel-.
 
Par exemple, dans certaines applications, il serait peut-être impératif d’avoir à la fois une inférence rapide et une précision élevée. Pour améliorer la vitesse d’inférence, nous pourrions utiliser l’arithmétique binaire au lieu de l’arithmétique en virgule flottante, mais cela aura un impact sur la précision de notre algorithme, et aura également une influence sur la mémoire et les ressources de calcul requises pour l’algorithme. Cet exemple permet de souligner la raison pour laquelle je considère TinyML comme une discipline de proto-ingénierie, puisqu'on commence à penser plus aux exigences fonctionnelles qui doivent être satisfaites mais qui se trouvent souvent en concurrence directe et doivent être équilibrées.
 
Abate : Pouvez-vous fournir quelques exemples de cas d’utilisation pratiques?
 
Stewart : En fait, il y a quelques exemples de TinyML  déjà assez répandus dans les smartphones. Un exemple important est le repérage des mots clés, qui implique la détection de mots tels que« Hey Siri » et « Hey Google ». Si les smartphones utilisaient le processeur pour surveiller en permanence le microphone et détecter ces mots, la batterie de votre téléphone ne durerait que quelques heures. Au lieu de cela, un processeur de signal numérique léger effectue la suivie de ces mots continuellement, dans le cas où quelqu’un prononce le mot clé, il avertit le CPU, vérifie que le mot a été dit par un interlocuteur connu, et attend ensuite une entrée vocale supplémentaire.
 
Il existe un autre exemple dans les smartphones qui aide à détecter quand un utilisateur prend son téléphone. Les données de la centrale inertielle  et du gyroscope intégrés sont surveillées en continu, et lorsqu’un utilisateur tient son téléphone dans la main, l’ensemble des signaux informe l’appareil de ça et par la suite réveille le CPU.
 
Un autre exemple utile est la détection de personnes, où un microcontrôleur connecté à une caméra peut détecter la présence d’un individu. Cela peut être adapté, par exemple, pour détecter si un utilisateur porte un masque, ce qui est particulièrement utile pendant la pandémie actuelle. La détection des anomalies deviendra probablement un cas d’utilisation important dans l’industrie, où les signaux provenants des machines lourdes peuvent être surveillés en continu pour détecter les anomalies à des fins de maintenance prédictive.

AI and tiny machine learning (tinyML)

L’apprentissage automatique (ML) dans la recherche

Abate : En 2019, vous avez publié un article fascinant, « The Machine Learning Crisis in Scientific Research », qui a abordé la question, si l’apprentissage automatique contribue à une «crise de reproductibilité» dans la science. Par exemple, si un scientifique utilise un algorithme ML « mal compris » lors d’ une expérience, cela peut signifier que les autres scientifiques ne pourront pas reproduire les résultats de la recherche originale. Même les non-scientifiques peuvent constater le problème. Je suppose que le débat - apprentissage automatique vs statistiques traditionnelles – s’est plutôt  intensifié au cours de la dernière année. Quelles sont vos pensées à cet égard maintenant?

Stewart : Je pense que cela est toujours un problème important dans le milieu universitaire. Mon article sur ce sujet était une réaction à la crise de reproductibilité qui a émergé pour la première fois à la suite de la polémique déclenchée par certains travaux réalisés sur le thème des positions de pouvoir (power poses) par Amy Cuddy, ancienne professeur de la Harvard Business School. Andrew Gelman a écrit un article influent dénonçant les pratiques de recherche médiocres dans le domaine de la psychologie, qui impliquent une analyse de données fallacieuse utilisant des techniques telles que le p-hacking, la rationalisation post-hoc et le cherry picking  de données pour produire des résultats statistiquement significatifs. Cela a débouché sur une série d’expériences visant la reproduction de certains résultats importants dans la documentation psychologique, dont beaucoup n’étaient pas reproductibles. Cela a exposé une faille dans le processus de recherche, où les études de reproductibilité n’étaient souvent pas financées, car elles étaient considérées comme inutiles et comme un gaspillantes. Depuis lors, il a été prouvé que la crise de la reproductibilité a également affecté d’autres domaines, notamment la littérature et l’économie.
 
Bien entendu, cette atteinte à l'intégrité du processus de recherche suscite des préoccupations entourant l'utilisation de grands jeu de données et de l'apprentissage automatique. Étant donné un nombre suffisant de variables dans un jeu de données, il est inévitable que certains résultats statistiquement significatifs soient présents. Ceci suggère que des corrélations parasites seront plus faciles à détecter, mais ne seront valables que si l’expérience a été conçue pour tester spécifiquement cette hypothèse, et non une pluralité d’hypothèses simultanément. Ainsi, le big data facilite le fait de « tricher » avec les données, mais qu’en est-il de l’apprentissage automatique? Le recours à l’apprentissage automatique facilite la « dissimulation » de la tricherie. La capacité réduite d’être interprétable, le comportement nuancé de nombreux algorithmes d'apprentissage automatique et le manque de formation à l'apprentissage automatique parmi les communautés de recherche entravera la découverte de ces problèmes dans les recherches publiées. Heureusement, la solution à ce problème est assez simple : financer les études de reproductibilité et former les chercheurs sur la conception des expériences appropriée et l’utilisation de l’apprentissage automatique à des fins de recherche.
 
Abate : Vous avez soulevé un point intéressant dans votre article: « L’un des autres problèmes des algorithmes d’apprentissage automatique est que l’algorithme doit effectuer une prédiction. La sortie de l’algorithme ne peut pas être  « Je n’ai rien trouvé ». On dirait qu’il y a des fois où l’apprentissage automatique n’est pas la méthode appropriée..
 
Stewart : Bien que je sois d’accord que l’apprentissage automatique ne convient pas à certaines tâches, je ne pense pas que c’est à cause de ça. Par exemple, l'une des contraintes des tâches associées aux problèmes de classification binaire est qu'elles peuvent en fait ne pas être récapitulées, ce qui entraînera une fausse dichotomie. Dans certaines circonstances, il serait plus approprié que les données étroitement liées à une décision soient analysées plus en détail par un humain plutôt que de laisser l’algorithme prendre une décision définitive. Ce type de prise de décision est parfois désigné par la prise de décision Human-in-the-loop, et serait plus utile dans les situations où la décision à prendre a des ramifications importantes, telles que les décisions concernant l’offre d’un crédit ou la présence d'un cancer.

L'innovation avec TinyML

Abate : Dans quels secteurs voyez-vous les plus grandes possibilités d’innovation avec le TinyML?
 
Stewart : En général, je pense que de nombreuses personnes travaillant dans ce domaine anticipent, d’une façon ou d’une autre, l’avènement de TinyML pour débuter une nouvelle révolution industrielle. Pour cette raison, certains se sont tournés vers désigner ce nouveau stade envisagé de l’industrie par« Industrie 4.0 ». Toute industrie utilisant un grand nombre de dispositifs IoT bénéficiera largement de l’intégration de TinyML grâce à la réduction de la consommation électrique et des charges réseau associées à TinyML..
 
Plus précisément, certaines industries sont susceptibles de mieux tirer parti des nouvelles capacités offertes par TinyML s’il est bien exploité. L’agriculture est une bonne illustration. L'utilisation du TinyML en agriculture pourrait permettre des fonctionnalités de détection intelligentes sans exiger une liaison à un réseau électrique, ce qui pourrait aider à déterminer quand certaines cultures doivent être récoltées ou  demandent plus d’arrosage ou d’engrais.
 
Un autre bon exemple est l'industrie lourde, comme il a été mentionné précédemment, où l’exécution d’une maintenance prédictive utilisant la détection d'anomalies pourrait entrainer une réduction des coûts  et une augmentation du rendement. Prévenir les problèmes des grosses machines est probablement moins coûteux et entraîne une perte de productivité moins importante que celle qui suit une panne catastrophique.
Abate : Qu’en est-il des entreprises intéressées par le développement de solutions informatiques à efficacité énergétique?
 
Stewart : A présent, Apple et ARM sont probablement les plus grandes entreprises axées sur l’efficacité énergétique en informatique. Le développement d'architectures à haute performance et à efficacité énergétique a été crucial dans l'industrie des smartphones pour améliorer l’autonomie des batteries tout en offrant une fonctionnalité et une vitesse accrues. Ces dernières années, on a vu les architectures mobiles être optimisées considérablement en termes de performance et d’efficacité énergétique, tandis que les architectures  plus traditionnelles des autres rivaux comme Intel demeuraient relativement stagnantes. Par conséquent, les architectures mobiles désormais font concurrence avec celles des architectures plus traditionnelles, mais présentent encore d’autres avantages, dont notamment une grande efficacité énergétique. Cela a atteint un point critique  récemment avec l’annonce d'Apple de son nouveau  SoC M1 basée sur ARM, révélant fièrement qu'il offrira "la plus longue autonomie jamais obtenue sur un Mac". Cette avancée d’Apple est considérée par certains comme un point tournant dans l’industrie informatique qui aura des répercussions dans toute la communauté pour les années à venir.

Regard vers l’avenir

Abate : Parlez-nous de votre travail avec les drones et les systèmes de surveillance chimiques. Quel rôle joue le TinyML dans votre recherche ?
 
Stewart : Des travaux utilisant TinyML pour plusieurs applications de micro-drones ont déjà été publiés. L'objectif principal est de créer des drones légers capables de naviguer intelligemment dans un environnement en utilisant des méthodes intégrées d'apprentissage par renforcement. Cela pourrait être très utile dans le futur, par exemple pour la détection des fuites de gaz ou la localisation des sources d’émission de polluants, pour les applications intérieures et extérieures.
 
Plus généralement, pour les systèmes de surveillance chimiques, la technologie TinyML peut permettre de créer des réseaux de capteurs distants, déconnectés de la source d’alimentation, et  permettra un usage plus intelligent des données chimiques collectées. Par exemple, au lieu de transférer continuellement des données à un serveur cloud, le système pourrait être conçu de façon à détecter les anomalies uniquement. Cela réduirait la charge sur le réseau de communication ainsi que la consommation d’énergie associée à la surveillance permanente. Ces aspects prendront une importance accrue au cours des prochaines années à mesure que le nombre de dispositifs IoT déployés continue d’augmenter exponentiellement.
 
Abate : Vos articles et vos recherches inciteront probablement de nombreux membres de notre communauté à découvrir de plus près le TinyML. Recommandez-vous des ressources de référence – outre un livre comme TinyML par Pete Warden et Daniel Situnayake - pour les ingénieurs professionnels et les électroniciens amateurs sérieux qui souhaitent en apprendre davantage sur ce sujet?
 
 
Stewart : Malheureusement, l’un des inconvénients de la technologie de pointe est qu’il n’y a souvent que peu  de sources disponibles. Ceci étant dit, nous commençons à observer une documentation spécialisée évaluée par les pairs sur le sujet du TinyML (bien que souvent publiée sous un nom différent). Une partie notable de cette documentation est publiée sur le serveur de prépublication arXiv dans la catégorie de l’architecture matérielle, mais je pense qu'il y aura bientôt plusieurs revues centrées sur ce sujet qui remplaceront cela. Une autre source est le Symposium de recherche TinyML organisé par la Fondation TinyML, prévu pour mars 2021, où nous verrons probablement de nouveaux développements intéressants dans le domaine.

Note de la rédaction :Vous voulez en apprendre davantage sur le travail de Mathew Stewart ou le TinyML en général? Consultez ces ressources:

Elektor est réputé pour la qualité de son contenu. En voulez-vous davantage ?
Abonnez-vous maintenant au magazine Elektor et ne manquez plus jamais ni aucun de ces articles précieux ni aucun de ces projets géniaux.

Traduction: Asma Adhimi