La caméra reconnaît le mouvement de la main pendant le jeu comme du papier, ce qui permet à l'algorithme de répondre de manière appropriée.

Un robot joue à « pierre, papier, ciseaux » - Partie 1/3

Reconnaissance des gestes avec une caméra intelligente

Selfie de Sebastian Trella à côté d'un robot

De l'idée à la concrétisation

En cherchant la caméra appropriée, il est tombé sur IDS NXT : un système complet permettant d'utiliser le traitement intelligent des images. Il répondait à toutes les exigences et, grâce à l'intelligence artificielle, il peut aller plus loin que la simple reconnaissance des gestes. Cela a éveillé l'intérêt de Sebastian Trella. En effet, l'évaluation des prises de vue ainsi que la communication des résultats se faisaient directement sur ou par la caméra - sans ordinateur supplémentaire. De plus, la solution IDS NXT Experience Kit contenait déjà tous les composants nécessaires pour pouvoir démarrer immédiatement avec l'application, sans connaissances préalables en IA.

Trella a poussé l'idée plus loin et a commencé à développer un robot capable de jouer à l'avenir à « pierre, papier, ciseaux », selon les règles classiques : le joueur (humain) est invité à effectuer devant la caméra l'un des gestes connus (pierre, papier, ciseaux). À ce moment-là, l'adversaire virtuel a déjà déterminé son geste de manière aléatoire. Le tour de jeu est évalué en temps réel et le gagnant est affiché.

Reconnaissance de gestes avec IDS NXT : Ciseaux

Première étape : la reconnaissance des gestes par traitement d'image

Robot pour jouer à "Pierre, papier, ciseaux".

Mais pour y parvenir, plusieurs étapes intermédiaires ont été nécessaires. Sebastian Trella a commencé à mettre en œuvre la reconnaissance des gestes au moyen du traitement d'image - un terrain inconnu pour ce passionné de robotique. Mais avec l'aide d'IDS lighthouse, un studio de vision IA basé sur le cloud, cela a été plus facile à réaliser que prévu. Car ici, les idées se transforment en applications complètes. À cet effet, les réseaux de neurones sont entraînés par des images d'application avec les connaissances nécessaires sur les produits - comme dans ce cas les différents gestes sous différentes perspectives - et intégrés dans un flux de travail d'application approprié.

« Le processus de formation a été super simple et je n'ai utilisé que l'assistant pas à pas d'IDS Lighthouse après avoir pris plusieurs centaines de photos de mes mains avec les gestes Pierre, Papier ou Ciseaux, sous différents angles et devant différents fonds. La première IA entraînée a pu reconnaître directement les gestes de manière fiable », explique Sebastian Trella. Cela fonctionne aussi bien pour les gauchers que pour les droitiers, avec un taux de reconnaissance d'environ 95 %. Les probabilités pour les étiquettes « Rock » (pierre), « Paper » (papier), « Scissor » (ciseaux) ou « Rien » sont alors renvoyées. Un résultat satisfaisant. Mais qu'advient-il des données obtenues ?

Traitement ultérieur

Le traitement ultérieur des gestes reconnus pourrait se faire au moyen d'une application de vision spécialement créée à cet effet. Pour cela, l'image prise du geste en question doit être transmise à l'application, après évaluation par l'IA. Celle-ci « connaît » les règles du jeu et peut ainsi décider quel geste en bat un autre. Elle détermine ensuite le gagnant. Dans sa première phase de développement, l'application doit en outre simuler l'adversaire. Tout cela est en train de naître et sera mis en œuvre dans la prochaine étape pour obtenir un robot jouant à « pierre, papier, ciseaux ».

Du jeu à l'usage quotidien

Au départ, le projet est plutôt un gadget. Mais que pourrait-il en ressortir ? Une machine à sous ? Ou peut-être même un traducteur de langue des signes basé sur l'IA ?

À suivre...