Un robot qui comprendrait ce qu’on lui demande aussi bien qu’un humain, ce n’est plus tout-à fait de la science-fiction, bientôt peut-être une réalité. Le PR2 sait faire chauffer de l’eau si on le lui demande. Là où la plupart des machines seraient perdues avec des instructions aussi vagues, celui-ci est capable de faire des déductions logiques s’il manque une étape ou si les instructions manquent de précision. C’est le langage mis au point au Robot Learning Lab d’Ashutosh Saxena (Université Cornell) qui permet au PR2 d’interpréter des instructions en langage courant.

Le robot, équipé d'une caméra 3D, analyse son environnement et identifie les objets, grâce à un logiciel de vision par ordinateur. Il a appris à associer des objets à leurs capacités : un récipient peut contenir et verser, un brûleur supporte d’autres objets et peut les chauffer, etc. C’est ainsi que le PR2 identifie la casserole, localise le robinet et la cuisinière, et incorpore ces informations dans sa procédure. Le lendemain, si vous avez déplacé la casserole, il sera néanmoins capable de reproduire ces actions en s’adaptant, même si vous placez le robot dans une cuisine différente.

Le groupe de recherche de Saxena utilise une technique appelée « machine learning » pour former le cerveau informatique du robot à associer des commandes entières à des actions définies de manière flexible. L'ordinateur est nourri de simulations vidéo des actions  accompagnées d’ordres vocaux enregistrés. L'ordinateur stocke la combinaison de nombreuses commandes similaires comme un modèle flexible susceptible de correspondre à de nombreuses variations. Quand il entend un ordre, il calcule la probabilité d'une correspondance avec ce qu'il a entendu avant. Si elle est assez élevée, il établit une correspondance.

De telles capacités sont indispensables à la création de robots domestiques utilisables par des néophytes. On en est encore loin, mais ce type d’avancée nous rapproche du point où les robots comprendront les humains et agiront en conséquence, sans supervision nécessaire.