EyeBot - Robot à vision guidée
Pick & Place avec intelligence artificielle sans PC
L'IA est rapide, robuste, fonctionne presque sans erreur et ne fait pas de pause. Elle est donc déjà supérieure à l'homme dans de nombreux domaines où les processus de travail doivent être exécutés en continu avec un rendement et une qualité élevés et constants. Soit des raisons pour lesquelles on souhaite utiliser l'IA dans l'environnement de vision industrielle en interaction avec la robotique, afin de rendre les processus plus efficaces et moins coûteux. Le cas d'utilisation du « robot à vision guidée » montre comment des tâches typiques de pick & place peuvent être automatisées intelligemment avec un robot et une caméra de vision à IA embarquée et peuvent même se passer d'un PC.
Pour une « préhension intelligente », différentes disciplines doivent collaborer de manière optimale. Par exemple, si la tâche consiste à trier des produits de taille, de forme, de matériau ou de qualité différents à l'aide d'un robot, il ne suffit pas de les saisir, il faut aussi les identifier, les analyser et les localiser au préalable. Avec les systèmes de traitement d'images basés sur des règles, cela est souvent non seulement très compliqué, mais aussi difficilement réalisable de manière économique, surtout pour les petites tailles de lots. Mais en combinaison avec l'inférence basée sur l'IA, il est déjà possible aujourd'hui d'enseigner aux robots industriels les compétences nécessaires et les connaissances sur les produits d'un ouvrier spécialisé. Pour les différentes tâches partielles, il n'est même plus nécessaire de réinventer la roue. Il suffit de faire collaborer efficacement les bons produits de manière interdisciplinaire en tant que « système de vision robotique intelligent ».
Cas d'utilisation EyeBot
Sur une ligne de production, des objets sont éparpillés au hasard sur un tapis roulant. Les objets doivent être reconnus, sélectionnés et placés, par exemple, dans un emballage ou transférés en position correcte vers une station de traitement ou d'analyse. L'entreprise de logiciels urobots GmbH a développé une solution sur PC pour la saisie d'objets et la commande de robots. Leur modèle d'IA entraîné a été capable de reconnaître la position et l'orientation des objets dans des images de caméra, à partir desquelles des coordonnées de préhension ont ensuite été déterminées pour le robot. L'objectif était maintenant de porter cette solution sur le système de vision embarqué basé sur l'IA d'IDS Imaging Development Systems GmbH. Car pour la solution, urobots tenait surtout à deux choses :
- L'utilisateur devait avoir la possibilité d'adapter lui-même facilement le système à différents cas d'application sans avoir besoin d'une expertise particulière en matière d'IA. Et cela, même si, par exemple, quelque chose changeait dans la production, comme l'éclairage, l'apparence des objets ou même si d'autres types d'objets devaient être intégrés.
- L'ensemble du système devait fonctionner entièrement sans PC grâce à la communication directe des composants de l'appareil, afin d'être à la fois économique, léger et peu encombrant.
Ces deux exigences sont déjà résolues chez IDS avec le système de caméra d'inférence IDS NXT Experience Kit.
Alexey Pavlov (directeur général d'urobots GmbH) explique :
« Le traitement complet de l'image s'effectue sur la caméra, qui communique directement avec le robot par Ethernet. Cela est rendu possible par une application de vision développée avec IDS NXT Vision App Creator, qui utilise le noyau d'intelligence artificielle IDS NXT. L'application de vision permet à la caméra de localiser et d'identifier des objets pré-entraînés (2D) dans les informations de l'image. Par exemple, les outils qui se trouvent sur un même plan peuvent être saisis en position correcte et placés à un endroit prévu à cet effet. Le système sans PC permet d'économiser des coûts, de l'espace et de l'énergie, ce qui facilite la mise en place de solutions de préparation de commandes légères et économiques. »
Détection de la position et communication directe avec la machine
Un réseau neuronal entraîné identifie tous les objets de l'image et détecte en outre leur position et leur orientation. Grâce à l'IA, cela n'est pas seulement possible pour les objets fixes et toujours identiques, mais aussi lorsqu'il y a beaucoup de variance naturelle, comme pour les aliments, les plantes ou d'autres objets flexibles. Il en résulte une détection très fiable de la position et de l'orientation des objets. La société urobots GmbH a entraîné le réseau pour le client avec son propre logiciel et ses connaissances, l'a converti au bon format et l'a ensuite téléchargé sur la caméra IDS NXT. Pour ce faire, il a dû être traduit dans un format spécial qui ressemble à une sorte de « liste chaînée ». Le portage du réseau neuronal entraîné pour l'utilisation dans la caméra d'inférence a été très simple grâce à l'outil IDS NXT ferry fourni par IDS. Chaque couche du réseau CNN devient alors un descripteur de nœud qui décrit précisément chaque couche. Finalement, une liste chaînée complète du CNN est créée en représentation binaire. Un accélérateur CNN spécialement conçu pour la caméra et basé sur un cœur FPGA peut ensuite exécuter ces formats CNN universels de manière optimisée.
L'application de vision développée par urobots calcule alors les positions optimales de préhension à partir des données de détection. Mais la tâche n'était pas terminée pour autant. Outre le Quoi, Où et Comment saisir, il fallait établir une communication directe entre la caméra IDS NXT et le robot. Et il ne faut pas sous-estimer cette tâche. C'est souvent là que se décide le temps, l'argent et la main d'œuvre à investir dans une solution. urobots a implémenté un protocole réseau basé sur XMLRPC dans l'application de vision de la caméra avec IDS NXT Vision App Creator, afin de transmettre les instructions de travail concrètes directement au robot. L'application finale de vision IA détecte les objets en 200 ms environ et atteint une précision de position de +/- 2 degrés.
Mieux qu'une intelligence artificielle : sans PC !
Ce n'est pas seulement l'intelligence artificielle qui rend ce cas d'utilisation si futé. Le fait que cette solution fonctionne entièrement sans PC supplémentaire est également intéressant à deux égards. Comme la caméra génère elle-même des résultats de traitement d'image et ne se contente pas de fournir des images, il est possible de se passer du matériel informatique et de toute l'infrastructure qui y est liée. En fin de compte, cela réduit les coûts d'acquisition et d'entretien de l'installation. Mais très souvent, il est également important que les décisions relatives aux processus soient prises directement sur place, c'est-à-dire « in time ». Les processus suivants peuvent ainsi être exécutés plus rapidement et sans latence, ce qui permet dans certains cas d'augmenter la cadence.
Un autre aspect concerne les coûts de développement. La vision de l'IA ou l'entraînement d'un réseau neuronal fonctionne très différemment du traitement d'image classique basé sur des règles, ce qui modifie également l'approche et le traitement des tâches de traitement d'image. La qualité des résultats n'est plus le produit d'un code de programme développé manuellement par des experts en traitement d'image et des développeurs d'applications. En d'autres termes, si une application peut être résolue à l'aide de l'IA, IDS NXT Experience Kit permet également d'économiser sur les coûts et le temps des experts correspondants, car l'environnement logiciel complet et convivial permet à chaque groupe d'utilisateurs de former un réseau neuronal, de concevoir l'application de vision correspondante et de l'exécuter sur la caméra.
Le cas d'utilisation EyeBot a montré comment une vision par ordinateur peut devenir une application de vision IA embarquée sans PC. L'extensibilité grâce au concept basé sur l'application de vision, le développement d'applications pour différents groupes cibles et un support continu du fabricant sont également des avantages du petit système embarqué. Avec EyeBot, les compétences sont clairement réparties dans une application. L'attention de l'utilisateur peut rester sur son produit, tandis que IDS et urobots se concentrent sur l'entraînement et l'exécution de l'IA pour le traitement de l'image et la commande du robot. Avantage supplémentaire : grâce à la communication basée sur Ethernet et à la plateforme ouverte IDS NXT, l'application de vision peut également être facilement adaptée à d'autres objets, à d'autres modèles de robots et donc à de nombreuses autres applications similaires.
Vidéo sur l'EyeBot d'urobots
Autres infos
- Sur le site Web du produit, vous pouvez en savoir plus sur la plateforme de vision embarquée IDS NXT avec l'IA
- L'article technique « L'intelligence artificielle pour tous » explique plus en détail comment découvrir la technologie de l'apprentissage profond avec la solution tout-en-un de caméra à inférence IDS NXT Experience Kit.
- L'article technique « L'Edge AI durable » explique les avantages de deep ocean core en tant que solution FPGA sur une plateforme de caméra.