Rapports d’applications

Montage rapide

Montage des meubles avec Ensenso N35

Furniture assembly – with Ensenso N35

Qui n’a pas déjà vécu cela : le nouveau meuble à monter qui n’attend plus que vous... Enthousiaste, vous organisez les pièces, vous lisez la notice de montage et, finalement, cela prend plus de temps que prévu.

Dans le cadre d'un projet de recherche, les scientifiques de l’université technologique de Nanyang à Singapour (NTU Singapore) ont développé un robot capable de monter seul les différentes parties d’une chaise sans interruption.

Application

Furniture assembly with Ensenso N3
Les scientifiques de l'Université technologique de Nanyang

Le robot se compose d’une caméra 3D Ensenso N35 et de deux bras robotisés dotés de pinces pour la saisie d’objets. Pour aider le robot à monter la chaise IKEA, l’équipe de la « School of Mechanical and Aerospace Enginieering » (école d’ingénierie mécanique et aérospatiale) a codé des algorithmes à l’aide de trois bibliothèques Open Source.

Le matériel du robot est conçu de façon à « ressentir » la manière dont les humains assemblent les objets : les « yeux » sont remplacés par une caméra 3D et les « bras » par des bras industriels robotisés capables de bouger selon six axes. Chaque bras est muni de pinces parallèles pour pouvoir saisir des objets. Des capteurs de force sont installés au niveau des poignets. Ils déterminent la force de saisie des « doigts » et la force de contact des objets requises.

Le robot démarre le processus de montage en prenant des clichés 3D des éléments posés au sol de manière à créer une carte des positions estimées des différents composants. Une caméra 3D Ensenso se charge de cette mission. Elle fonctionne selon le principe de la vision spatiale (stéréovision), qui est inspirée de la vision humaine. Deux caméras visualisent une scène selon des positions différentes. Même si le contenu des images des deux caméras semble identique, il existe des différences au niveau de la position des objets observés. Dans la comparaison des images, des algorithmes spéciaux cherchent des pixels et visualisent leur disparité sur une carte avec toutes les différences trouvées. Le logiciel Ensenso peut déterminer les coordonnées 3D de chaque pixel ou point d’objet (ici, les composants de la chaise).

Défi

Furniture assembly with Ensenso N3
Deux bras de préhension sont utilisés pour maintenir
les composants

Le défi consiste à localiser le plus précisément, rapidement et efficacement possible les composants dans un environnement complexe. Un projecteur très lumineux de la caméra Ensenso y contribue en partie. Même dans des conditions de lumière défavorables, il projette, au moyen d’un masque de motif, une texture très contrastée sur l’objet à représenter et compense ainsi sur ses surfaces le manque ou l’absence de structures, comme sur les composants de la chaise IKEA. Dans cette application, certes non nécessaire, le modèle utilisé ici pourrait même aller encore plus loin : du fait de la technique FlexView intégrée, la texture projetée se déplace également sur la surface des composants et met en évidence d’autres structures auxiliaires. Plusieurs paires d’images de la même scène prises avec différentes textures créent un bien plus grand nombre de pixels. Les composants de la chaise sont ainsi représentés en 3D dans une résolution beaucoup plus importante pour faciliter son identification par le robot.

La fonction intégrée par le logiciel Ensenso présente un autre avantage pour le calibrage main-œil du robot. À l’aide de la plaque de calibrage, elle veille à déterminer la position du système de coordonnées de la caméra (caméra fixe dans ce cas) par rapport au système de coordonnées de base (position du composant). Ainsi, la main du robot peut réagir avec exactitude aux informations de l’image et se positionner avec précision.

« Pour un robot, l’assemblage d’une chaise IKEA avec un tel niveau de précision est plus complexe qu’il n’y paraît », explique le professeur Pham Quang Cuong du NTU. « Le montage, naturel pour un humain, doit être décomposé en différentes étapes, telles que la localisation des différentes pièces de la chaise, la détermination de la force requise pour saisir les pièces et la prévention des collisions avec les bras du robot. Nous avons développé des algorithmes qui permettent au robot de se charger des étapes nécessaires au montage de la chaise en toute autonomie. » Résultat : le robot de la NTU monte la chaise IKEA « Stefan » en 8 minutes et 55 secondes seulement.

Perspective

Furniture assembly with Ensenso N35
Montage précis de la chaise IKEA à travers les bras du robot.

Selon le professeur Pham Quang Cuong, l’intelligence artificielle doit permettre à l’avenir de rendre l’application encore plus autonome et prometteuse : « Nous voulons intégrer davantage d’intelligence artificielle dans cette approche afin que le robot devienne plus autonome et puisse apprendre les différentes étapes du montage d’une chaise en visualisant la démonstration effectuée par un humain, en lisant la notice ou même en étudiant la photo d’un produit assemblé ».

Le robot développé par les scientifiques de la NTU de Singapour est utilisé pour la recherche en matière de manipulation adroite, un domaine de la robotique qui exige une commande précise des forces et mouvements des mains ou doigts spéciaux du robot. Cela nécessite une interaction parfaite de tous les composants matériels et logiciels. Le traitement des images 3D à l’aide des caméras 3D stéréo Ensenso est la clé de la solution. Elle séduit par sa précision, mais aussi par sa rentabilité et sa rapidité.

Un réel progrès lors du montage de meubles – et pas seulement.

Ensenso N35 en un coup d'œil. 3D-Vision rapide et précis.

Ensenso N35
  • Interface GigE – utilisation universelle et flexible
  • Boîtier en aluminium compact et robuste
  • IP65/67
  • Capteurs CMOS à obturateur global et projecteur de motifs, LES bleues ou infrarouges au choix
  • Images/s max. (3D) : 10 (2 x compartimentage : 30) et 64 disparités
  • Images/s max. (traitement hors ligne) : 30 (2 x compartimentage : 70) et 64 disparités
  • Conception pour des distances de travail de 3 000 mm (N35) maximum et des champs d’images variables
  • Production d'un nuage unique de points 3D pour toutes les caméras utilisées dans les applications à caméras multiples
  • Composition en direct des nuages de points 3D de différentes perspectives
  • Technologie FlexView intégrée pour une précision du nuage de points et une robustesse des données 3D provenant de surfaces difficiles encore plus grandes
  • Mode « Projected Texture Stereo Vision » pour la capture de surfaces déstructurées
  • Capture d'objets statiques ou en mouvement
  • Package logiciel fourni avec les pilotes et l’API pour Windows et Linux
  • Prise en charge des modèles USB et GigE par le package logiciel
  • Programmes de démonstration avec code source pour HALCON, C, C++, C#
  • Précalibrage, d’où une configuration aisée
  • Fonction intégrée pour le calibrage main-œil du robot à partir d’une plaque de calibrage
  • Intégration côté logiciel de caméras-industrielles uEye pour la détection d’informations colorimétriques supplémentaires ou de codes-barres par exemple
  • Sous-échantillonnage et compartimentage pour des fréquences d’images et des débits de données flexibles

NTU Nanyang Technolocigal University Singapore

NTU Nanyang Technolocigal University Singapore

School of Mechanical and Aerospace Engineering
50 Nanyang Avenue
Singapore 639798

www.mae.ntu.edu.sg

PDF