Un robot joue à « pierre-feuille-ciseaux » - partie 3/3

Structure finale : Quand les composants deviennent un système

Dans les systèmes interactifs comme celui-ci, le plus grand défi réside rarement dans les composants individuels – mais presque toujours dans leur interaction. Dans ce cas également, la caméra, la logique et le bras du robot ont fonctionné de manière fiable chacun de leur côté : La caméra IDS NXT a reconnu les gestes de la main avec précision, la logique décisionnelle a réagi conformément aux règles, et le robot a exécuté le mouvement correspondant. Mais c'est la combinaison de tous ces éléments qui s'est avérée difficile, notamment en termes de synchronisation précise, de transmission des signaux et de synchronisation. « Ce qui semble bien fonctionner en théorie est souvent bien différent dans la pratique », comme l’a rapidement constaté Sebastian Trella. « Grâce à l'architecture ouverte et à la bonne intégration de la plateforme IDS NXT, ce défi a toutefois pu être relevé. Grâce à des tests ciblés et à des améliorations itératives, le prototype est devenu un jeu fonctionnel. »

Ajustement de précision : La reconnaissance des gestes devient robuste

La fiabilité de la reconnaissance gestuelle dépend en grande partie des données d'entraînement et des conditions environnementales - une expérience que Sebastian Trella a faite dès la phase initiale : « Au début, j'avais uniquement entraîné les modèles avec mes propres mains. Je n'avais pas pris en compte le cas où « aucune main n'apparaissait dans l'image ». Cela a bien sûr conduit à des évaluations erronées. »Grâce à la plateforme d’entraînement IDS lighthouse, le modèle a toutefois pu être étendu sans difficulté. De nouvelles images ont été ajoutées, notamment des mains d'autres personnes devant différents arrière-plans et sous différents éclairages. Des détails tels que les différentes couleurs de peau ou le port de bagues ont également été pris en compte dans la formation. Cette diversification ciblée des données d'entraînement a permis d'améliorer considérablement les performances de reconnaissance : l'IA réagissait désormais de manière stable et fiable, quels que soient les joueurs ou l'environnement. Parallèlement, chaque étape a permis à Trella de mieux comprendre le fonctionnement général des réseaux neuronaux et leurs exigences pratiques lors de la formation.

Réalisation : Comment joue le robot ?

Les décisions du robot sont aléatoires - il ne bluffe pas et n'apprend pas des parties précédentes. Mais c'est justement ce qui fait le charme du jeu : L'être humain contre la machine, d'égal à égal. La partie se déroule en cinq phases :

1. Capture de la main humaine par la caméra
2. Analyse visuelle des gestes par l’intelligence artificielle (pierre, feuille, ciseaux)
3. Communication et mouvement des robots
4. Détermination du résultat (le robot gagne, l'être humain gagne, match nul)
5. Communication et mouvement des robots

L’ensemble du contrôle du jeu est assuré directement via une application de vision sur la caméra intelligente IDS NXT – sans ordinateur supplémentaire. Elle reconnaît le geste effectué par le joueur, l'évalue à l'aide de l'intelligence artificielle, puis envoie un signal IO numérique au robot afin de déclencher sa réaction. Pour que le jeu reste équitable, le geste du robot n'est pas influencé par l'action du joueur, mais déterminé de manière neutre et aléatoire. Pendant que la caméra analyse le geste du joueur, le robot attend son signal de départ. Ce n’est qu’à ce moment-là qu’il montre son geste. Ensuite, la caméra évalue le résultat du jeu et envoie la décision finale, que le robot affiche à son tour.

L'harmonisation des temps d'attente et des transmissions de signaux a constitué un défi majeur. Certes, l'application de vision peut analyser le geste du joueur en une fraction de seconde, mais le robot ne peut pas réagir à la même vitesse. Il n'était donc pas possible de réaliser un affichage et une évaluation simultanés des gestes de cette manière. Une optimisation ciblée des processus a néanmoins permis de réduire considérablement le temps de réaction. « Le jeu semble désormais plus dynamique et plus fluide. L'IA reconnaît la main du joueur dans l'image de la caméra et évalue directement le geste effectué. Ce système fonctionne de manière si fiable qu'il n'est plus nécessaire d'afficher les données sur un écran. Le robot prend désormais entièrement en charge l'affichage des informations relatives au jeu, ce qui en accélère considérablement le déroulement global », explique Trella.

Perspective : Quelles sont les questions en suspens et quelle est la prochaine étape ?

La grande fiabilité de la reconnaissance gestuelle ouvre des perspectives passionnantes. « Une évolution envisageable serait le contrôle sans contact des machines, par exemple par de simples signes de la main dans un environnement industriel », réfléchit Sebastian Trella, avant d'ajouter : « Bien sûr, certaines questions restent en suspens même après la fin du projet. Par exemple : Comment rendre la communication entre le robot et la caméra encore plus « élégante » ? peut-être par une sorte de dialogue via des interfaces comme RS-232, REST ou OPC-UA ? Une main robotisée mobile ne serait-elle pas la prochaine étape logique pour une expérience de jeu encore plus réaliste ? »

Même si le projet « pierre-feuille-ciseaux » touche désormais à sa fin, Sebastian Trella a déjà de nouvelles idées en tête concernant l'interaction homme-machine assistée par l'IA. Il ajoute : Si un robot est déjà capable aujourd'hui (grâce à l'IA) de jouer avec un être humain, de quoi d'autre est-il capable ?