« Game changer » IDS NXT
Interview d'un ingénieur sur une application de traitement d'images avec IA facile à utiliser et à comprendre
« Je suis ingénieur, pas développeur de logiciels, et je peux maintenant dire que j'ai réalisé un traitement d'images avec IA », explique Marco Ullrich de l'université de Kempten. En tant que collaborateur scientifique à l'Institut de production et d'informatique, il a encadré un groupe d'étudiants qui, dans le cadre de leur Master, travaillaient sur le développement d'un robot jouant au moulin avec une IA.
L'analyse des images a été réalisée avec IDS NXT - le système complet pour l'utilisation de caméras intelligentes. Dans cette interview, vous en apprendrez plus sur leurs défis, leurs expériences et la solution définitive.
Quel était le cahier des charges exact du projet ?
L'objectif du projet était de développer des robots capables de jouer au jeu du moulin, indépendamment les uns des autres, quel que soit le lieu. Une cellule robotisée à Kempten et une autre à Salzbourg devaient s'affronter. Cela a été possible en utilisant un système de traitement d'images pour détecter les changements sur le plateau de jeu. La caméra IDS était un élément essentiel du système.
Quels sont les défis auxquels votre équipe a été confrontée au cours du projet ?
La situation de départ consistait à remplacer une caméra Raspberry Pi existante par une caméra industrielle. Nous avons également dû choisir un algorithme de traitement d'image approprié, l'éclairage et la position d'installation de la caméra. De plus, nous cherchions une méthode pour recadrer l'image pour une IHM (interface utilisateur). En effet, pour cette dernière, nous avions besoin d'une vue de haut en bas. Mais nous avions installé la caméra sous un certain angle. Dans l'ensemble, l'intégration de la caméra dans le système robotique existant a donc été un grand défi pour nous.
Quelle était la tâche concrète du système de traitement d'images dans votre application ?
La tâche du système de traitement d'images consistait à détecter de manière fiable et sûre les changements sur le plateau de jeu. Comme nous sommes des ingénieurs et pas des développeurs de logiciels, nous recherchions également un système convivial et facile à utiliser. La caméra devait être adaptée à l'industrie et, idéalement, innovante. En outre, nous voulions que le traitement des images s’effectue avec une intelligence artificielle. Cependant, comme notre groupe cible n'était pas nécessairement composé d'experts en IA, nous devions nous assurer que l'application IA soit également facile à utiliser et à comprendre.
Quels ont été les critères déterminants dans le choix du système IDS NXT ?
Le système IDS NXT était idéal pour notre projet, car il répondait à toutes nos exigences. Le premier facteur, et le plus important, a été qu'IDS se concentre sur la réduction des obstacles pour utiliser l'intelligence artificielle dans des applications réelles. C’est-à-dire rendre l'IA conviviale et accessible aux utilisateurs sans expérience en programmation - des ingénieurs comme nous, par exemple, qui ne sont justement pas des développeurs de logiciels. De plus, nous n'avions pas besoin de ressources informatiques supplémentaires pour le traitement des images, ce qui a permis d'intégrer facilement la caméra dans notre système existant.
Tout se passe sur la caméra elle-même, de sorte qu'aucune unité de traitement supplémentaire n'est nécessaire.
« Nous voulons à nos clients la meilleure expérience utilisateur sur le marché de la vision. » C'est pourquoi nous mettons l'accent sur la simplicité d'utilisation selon la devise « It's so easy ». Pouvez-vous expliquer pourquoi le système IDS NXT est si facile à utiliser ?
Comme je l'ai déjà mentionné, je suis ingénieur et pas développeur de logiciels. Cependant, j'ai été en mesure de travailler avec l'IA et les réseaux neuronaux pour le traitement d'images à l'aide du système IDS NXT. Cela ne nécessite pas d'investissements importants en ressources informatiques pour le traitement d’images. Tout se passe sur la caméra elle-même, de sorte qu'aucune unité de traitement supplémentaire n'est nécessaire. Cela a rendu incroyablement simple l'intégration du système dans notre installation existante.
Pouvez-vous nous parler de l'interface qui permet à la caméra IDS de communiquer avec l'environnement de votre projet ?
Nous avons étudié plusieurs options de communication avec la caméra IDS, notamment l'interface REP et le logiciel Cockpit. Cependant, nous avons finalement opté pour le protocole OPC UA, car il s'agit de la méthode de communication standard de notre système. Nous avons connecté la caméra à notre API via un câble Ethernet en passant par un commutateur.
Comment vous êtes-vous débrouillé avec l'approche « application » des caméras IDS NXT ? Quelles sont vos expériences en la matière ?
Nous avons testé deux applications de vision, « Classifier » et « Object Detector ». Avec les deux applications de traitement d'images, nous avons pu atteindre des taux de réussite (proches) de 100 % pour un nombre d'images suffisant. Object Detector avait un taux de réussite légèrement inférieur et était un peu plus complexe que Classifier, mais je ne considère pas cela comme négatif. Dans l'ensemble, l'approche « application » est très intuitive, surtout si l'on n'est pas programmeur et que l'on ne s'y connaît pas en algorithmes d'IA.
L'une de vos conclusions était qu'une meilleure analyse du cas d'utilisation en amont aurait permis de gagner du temps de développement ou vous aurait incité à utiliser d'autres méthodes dès le départ. Quelle en était la raison, selon vous ? Travailler avec le traitement d'images basé sur l'IA est-il si différent ?
Cette conclusion était sans rapport avec l'IA dans notre cas d'application. La raison pour laquelle nous procéderions différemment aujourd'hui est que nous avons sous-estimé l'importance de la bonne approche ou de la bonne façon de commencer le projet. Un système de traitement d'images comprend bien plus que la caméra et l'algorithme. Nous ne sommes pas des experts et nous ne savions donc pas à quel point il est important d'évaluer la bonne position de la caméra, l'éclairage et d'autres facteurs. En effet, ils ont également une influence considérable sur les performances.
Dans notre cas, la position de la caméra était une tâche complexe, car le système de caméra utilisé précédemment était placé directement sur le jeu. Pour diverses raisons, la caméra IDS a été installée selon un certain angle, ce qui a posé de nombreux défis.
L'utilisation du système de vision IDS a-t-elle apporté une plus-value ou un avantage pour la détection des pions et la surveillance du processus du fait de l'évaluation IA ?
D'après notre expérience, oui. Il ne faut pas oublier qu'avant la caméra IDS, nous utilisions une caméra Raspberry Pi avec un traitement d'image configuré en Python, dont l'utilisation était limitée. L'avantage de la caméra IDS réside donc dans son intégration transparente et sa facilité d'utilisation, sans qu'il soit nécessaire d'avoir des connaissances approfondies d'un langage de programmation.
Vous avez mentionné un jour qu'une fonction de lecture de codes et une évaluation d'images à plusieurs niveaux constitueraient des extensions utiles pour l'application. Eh bien, j'ai des nouvelles intéressantes. Le système IDS NXT maîtrise désormais ces deux fonctions grâce à l'éditeur basé sur des blocs. Planifieriez-vous votre application différemment aujourd'hui à l'aide de ces outils ?
C'est vraiment une excellente nouvelle, car la proposition de ces fonctions est en fait venue des étudiants. C'est impressionnant de voir qu'IDS a mis en œuvre nos propositions aussi rapidement. Oui, si nous devions refaire le projet aujourd'hui, nous procéderions certainement différemment, car beaucoup de choses ont changé.
Actuellement, nous prévoyons d'intégrer la même caméra IDS dans notre installation à l'institut de Sonthofen. Au cours de ce processus, j'ai l'intention de tester les nouvelles fonctions et caractéristiques. En outre, nous serions heureux de continuer à travailler avec votre équipe sur différents thèmes et projets de recherche passionnants.
Nous sommes arrivés à la fin de cette interview. Marco, merci d'avoir partagé avec nous vos précieuses connaissances et vos projets d'avenir. Nous nous réjouissons de poursuivre notre collaboration avec vous et vous souhaitons beaucoup de succès dans vos recherches.
Autres infos
Pour en savoir plus, cette interview et d'autres vidéos sur les caméras et la technologie de traitement d’image sont disponibles sur IDS Vision Channel ou sur YouTube.