Furniture assembly with Ensenso N35

Application

Pour aider le robot à monter la chaise IKEA, l’équipe de la « School of Mechanical and Aerospace Enginieering » (école d’ingénierie mécanique et aérospatiale) a codé des algorithmes à l’aide de trois bibliothèques Open Source.

Le matériel du robot est conçu de façon à « ressentir » la manière dont les humains assemblent les objets : les « yeux » sont remplacés par une caméra 3D et les « bras » par des bras industriels robotisés capables de bouger selon six axes. Chaque bras est muni de pinces parallèles pour pouvoir saisir des objets. Des capteurs de force sont installés au niveau des poignets. Ils déterminent la force de saisie des « doigts » et la force de contact des objets requises.

Le robot démarre le processus de montage en prenant des clichés 3D des éléments posés au sol de manière à créer une carte des positions estimées des différents composants. Une caméra 3D Ensenso se charge de cette mission. Elle fonctionne selon le principe de la vision spatiale (stéréovision), qui est inspirée de la vision humaine. Deux caméras visualisent une scène selon des positions différentes. Même si le contenu des images des deux caméras semble identique, il existe des différences au niveau de la position des objets observés. Dans la comparaison des images, des algorithmes spéciaux cherchent des pixels et visualisent leur disparité sur une carte avec toutes les différences trouvées. Le logiciel Ensenso peut déterminer les coordonnées 3D de chaque pixel ou point d’objet (ici, les composants de la chaise).

Furniture assembly with Ensenso N3

Défi

Le défi consiste à localiser le plus précisément, rapidement et efficacement possible les composants dans un environnement complexe. Un projecteur très lumineux de la caméra Ensenso y contribue en partie. Même dans des conditions de lumière défavorables, il projette, au moyen d’un masque de motif, une texture très contrastée sur l’objet à représenter et compense ainsi sur ses surfaces le manque ou l’absence de structures, comme sur les composants de la chaise IKEA. Dans cette application, certes non nécessaire, le modèle utilisé ici pourrait même aller encore plus loin : du fait de la technique FlexView intégrée, la texture projetée se déplace également sur la surface des composants et met en évidence d’autres structures auxiliaires. Plusieurs paires d’images de la même scène prises avec différentes textures créent un bien plus grand nombre de pixels. Les composants de la chaise sont ainsi représentés en 3D dans une résolution beaucoup plus importante pour faciliter son identification par le robot.

La fonction intégrée par le logiciel Ensenso présente un autre avantage pour le calibrage main-œil du robot. À l’aide de la plaque de calibrage, elle veille à déterminer la position du système de coordonnées de la caméra (caméra fixe dans ce cas) par rapport au système de coordonnées de base (position du composant). Ainsi, la main du robot peut réagir avec exactitude aux informations de l’image et se positionner avec précision.

« Pour un robot, l’assemblage d’une chaise IKEA avec un tel niveau de précision est plus complexe qu’il n’y paraît », explique le professeur Pham Quang Cuong du NTU. « Le montage, naturel pour un humain, doit être décomposé en différentes étapes, telles que la localisation des différentes pièces de la chaise, la détermination de la force requise pour saisir les pièces et la prévention des collisions avec les bras du robot. Nous avons développé des algorithmes qui permettent au robot de se charger des étapes nécessaires au montage de la chaise en toute autonomie. » Résultat : le robot de la NTU monte la chaise IKEA « Stefan » en 8 minutes et 55 secondes seulement.

Perspective

Selon le professeur Pham Quang Cuong, l’intelligence artificielle doit permettre à l’avenir de rendre l’application encore plus autonome et prometteuse :

« Nous voulons intégrer davantage d’intelligence artificielle dans cette approche afin que le robot devienne plus autonome et puisse apprendre les différentes étapes du montage d’une chaise en visualisant la démonstration effectuée par un humain, en lisant la notice ou même en étudiant la photo d’un produit assemblé ».

Le robot développé par les scientifiques de la NTU de Singapour est utilisé pour la recherche en matière de manipulation adroite, un domaine de la robotique qui exige une commande précise des forces et mouvements des mains ou doigts spéciaux du robot. Cela nécessite une interaction parfaite de tous les composants matériels et logiciels. Le traitement des images 3D à l’aide des caméras 3D stéréo Ensenso est la clé de la solution. Elle séduit par sa précision, mais aussi par sa rentabilité et sa rapidité. Un réel progrès lors du montage de meubles – et pas seulement.

Ensenso N35 en un coup d'œil. 3D-Vision rapide et précis.

Ensenso N35
NTU Nanyang Technolocigal University Singapore