Un robot joue à « pierre, papier, ciseaux » - Partie 1/3
Reconnaissance des gestes avec une caméra intelligente
Sebastian Trella est un passionné de technique et de robotique. Dans son propre blog, il se lance sans cesse de nouveaux défis. Mais jusqu'à présent, il n'a guère travaillé avec le traitement d'images. Le robot LEGO® MINDSTORMS® d'un collègue, capable de reconnaître les gestes d'une main grâce à plusieurs capteurs différents, lui a toutefois donné une idée : « Le robot doit pouvoir « voir » ». En effet, jusqu'à présent, le geste en question devait être effectué à un endroit bien précis devant le robot pour être reconnu de manière fiable. Plusieurs capteurs étaient nécessaires. Cela a rendu le système rigide et a freiné l'envie de jouer. Le traitement d'image peut-il résoudre cette tâche de manière plus « élégante » ?
De l'idée à la concrétisation
En cherchant la caméra appropriée, il est tombé sur IDS NXT : un système complet permettant d'utiliser le traitement intelligent des images. Il répondait à toutes les exigences et, grâce à l'intelligence artificielle, il peut aller plus loin que la simple reconnaissance des gestes. Cela a éveillé l'intérêt de Sebastian Trella. En effet, l'évaluation des prises de vue ainsi que la communication des résultats se faisaient directement sur ou par la caméra - sans ordinateur supplémentaire. De plus, la solution IDS NXT Experience Kit contenait déjà tous les composants nécessaires pour pouvoir démarrer immédiatement avec l'application, sans connaissances préalables en IA.
Trella a poussé l'idée plus loin et a commencé à développer un robot capable de jouer à l'avenir à « pierre, papier, ciseaux », selon les règles classiques : le joueur (humain) est invité à effectuer devant la caméra l'un des gestes connus (pierre, papier, ciseaux). À ce moment-là, l'adversaire virtuel a déjà déterminé son geste de manière aléatoire. Le tour de jeu est évalué en temps réel et le gagnant est affiché.
Première étape : la reconnaissance des gestes par traitement d'image
Mais pour y parvenir, plusieurs étapes intermédiaires ont été nécessaires. Sebastian Trella a commencé à mettre en œuvre la reconnaissance des gestes au moyen du traitement d'image - un terrain inconnu pour ce passionné de robotique. Mais avec l'aide d'IDS lighthouse, un studio de vision IA basé sur le cloud, cela a été plus facile à réaliser que prévu. Car ici, les idées se transforment en applications complètes. À cet effet, les réseaux de neurones sont entraînés par des images d'application avec les connaissances nécessaires sur les produits - comme dans ce cas les différents gestes sous différentes perspectives - et intégrés dans un flux de travail d'application approprié.
« Le processus de formation a été super simple et je n'ai utilisé que l'assistant pas à pas d'IDS Lighthouse après avoir pris plusieurs centaines de photos de mes mains avec les gestes Pierre, Papier ou Ciseaux, sous différents angles et devant différents fonds. La première IA entraînée a pu reconnaître directement les gestes de manière fiable », explique Sebastian Trella. Cela fonctionne aussi bien pour les gauchers que pour les droitiers, avec un taux de reconnaissance d'environ 95 %. Les probabilités pour les étiquettes « Rock » (pierre), « Paper » (papier), « Scissor » (ciseaux) ou « Rien » sont alors renvoyées. Un résultat satisfaisant. Mais qu'advient-il des données obtenues ?
Traitement ultérieur
Le traitement ultérieur des gestes reconnus pourrait se faire au moyen d'une application de vision spécialement créée à cet effet. Pour cela, l'image prise du geste en question doit être transmise à l'application, après évaluation par l'IA. Celle-ci « connaît » les règles du jeu et peut ainsi décider quel geste en bat un autre. Elle détermine ensuite le gagnant. Dans sa première phase de développement, l'application doit en outre simuler l'adversaire. Tout cela est en train de naître et sera mis en œuvre dans la prochaine étape pour obtenir un robot jouant à « pierre, papier, ciseaux ».
Du jeu à l'usage quotidien
Au départ, le projet est plutôt un gadget. Mais que pourrait-il en ressortir ? Une machine à sous ? Ou peut-être même un traducteur de langue des signes basé sur l'IA ?
À suivre...