Au-delà de la fréquence d’acquisition
Caméras basées sur la technologie « event-based »
La détection et l’analyse précises de mouvements rapides est un défi. Les caméras haute vitesse avec une grande résolution et des taux d’acquisition élevés fournissent certes des informations détaillées, mais génèrent d'énormes quantités de données qui doivent être stockées, transmises et traitées. De plus, ils contiennent de grandes quantités d'informations statiques non pertinentes (typiquement, l’arrière plan) qui doivent être filtrées ce qui monopolise des ressources. Des fréquences d’acquisition plus faibles réduisent certes la quantité de données, mais entraînent un flou de mouvement ou une perte de détails. Les solutions avec des caméras conventionnelles (« frame-based ») relèvent souvent d’un compromis. Les données correspondant aux objets en mouvement peuvent toutefois être capturées d'une toute autre manière - plus efficacement et en générant significativement moins de données !
Une nouvelle technologie de capteurs, inspirée de la biologie et en particulier de la vision chez l’humain, suit précisément cette approche. Au lieu de créer un flot d'informations redondantes, cette technologie se concentre exclusivement sur ce qui change réellement. Le résultat : Des informations précises sur les mouvements, tout en réduisant significativement la quantité de données. Cela ouvre de toutes nouvelles possibilités - en particulier dans les applications où la vitesse et la réactivité sont essentielles. Le nom exact de cette technologie disruptive est "Event-based Vision Sensor", ou EVS.
Une technologie de détection disruptive
Dans le domaine de l'imagerie « event-based », on parle également de technologie de capteurs neuromorphiques, c'est-à-dire de capteurs capables de traiter les informations de la même manière que le système nerveux humain. Pour ce faire, nous devons nous rappeler que l'avantage évolutif de notre cerveau ne réside pas uniquement dans sa capacité à traiter efficacement d'énormes quantités de données générées par les stimuli lumineux captés par les photorécepteurs de nos yeux. Ce qui est déterminant, c'est la capacité à réagir à des changements tels que des différences de luminosité, des contrastes et des mouvements, alors que les stimuli réguliers (ou continus) sont largement ignorés. Cela signifie que nous nous concentrons avant tout sur les mouvements dans une scène, au lieu de ressaisir constamment chaque détail statique de notre environnement. Notre cerveau peut ainsi traiter rapidement les informations pertinentes sans être submergé de données inutiles.
Pour simuler cette approche, Prophesee a développé, en coopération avec Sony, une électronique de pixels particulière dont la tâche principale est de détecter et d'enregistrer uniquement les changements. Si le contraste d'une valeur de pixel change au-delà d'un certain seuil, un événement dit de "changement" est déclenché. Chaque pixel agit indépendamment de ses voisins et en temps réel. Cela signifie qu'il n'est pas déterminé par une fréquence d’acquisition fixe (cf. frame rate). Dans ce contexte, l'intervalle de temps minimal entre deux événements est une caractéristique importante de ce capteur, appelée "résolution temporelle". Sony indique que celle-ci est de 1 microseconde pour le capteur IMX636. Cela permet un balayage ultra-rapide et quasiment "sans faille" des mouvements. Pour réaliser capter des mouvements aussi rapide avec des capteurs conventionnels, cela correspondrait à des fréquences d’acquisition de l’ordre de 10.000 images par seconde !
Pas d’image! Seulement des changements
Alors que les capteurs conventionnels transmettent toujours la quantité de données correspondant à toute la surface du capteur, à intervalles réguliers, une caméra « event-based » ne génère souvent qu'une très petite quantité d’information dans le même laps de temps. Cela signifie que les développeurs d'applications n'ont pas à faire de compromis entre des taux d’acquisition élevés et de grandes quantités de données redondantes pour capturer avec précision des mouvements rapides. En effet, la quantité de données générées par les caméras EVS est fonction de l'activité dans le champ de vision et s'adapte automatiquement lorsque les conditions de la scène changent. Contrairement aux capteurs conventionnels qui ont une fréquence d’acquisition fixe, les pixels EVS transmettent des informations et génèrent du trafic uniquement lorsqu'ils perçoivent un changement dans le champ de vision.
(In)acuité du mouvement
En cas de mouvements rapides, les capteurs classiques peuvent générer un flou de mouvement. Elle se produit lorsque les limites de contraste (par ex. par les bords d'un objet) se déplacent sur plusieurs pixels adjacents pendant qu'ils sont exposés. Chaque pixel absorbe la lumière provenant de différentes positions de l'objet en mouvement. Plus le mouvement est rapide ou plus le temps d'exposition est long, plus il est difficile d'obtenir une image claire sans distorsions. Les pixels EVS, en revanche, évaluent la lumière incidente en continu et enregistrent uniquement l'augmentation ou la diminution de la quantité de lumière. Si elle dépasse alors les valeurs seuils définies, ils génèrent des événements ON ou OFF avec une précision temporelle d'environ une microseconde. Ainsi, même les mouvements les plus rapides sont balayés pixel par pixel grâce à la technologie EVS. Il en résulte une séquence haute résolution (stream) d'événements indépendants qui décrivent un déplacement - sans flou de mouvement.
Comparaison des données générées par des caméras conventionnelles et des caméras « event-based »
Caméra conventionnelle |
Caméra event-based |
|
|---|---|---|
Données |
|
|
Informations |
|
|
Quantité de données |
|
|
Qualité |
|
|
Moins de données – moins de ressources
Les données de sortie natives des caméras EVS (position des pixels X/Y, polarité ON/OFF de l'événement, horodatage T), c'est-à-dire le contenu informatif du flux d'événements, sont extrêmement compactes, mais ne génèrent pas d'images au sens classique. Cela les rend parfaitement adaptées au traitement par des machines et des algorithmes, mais moins intuitifs ou directement utilisables par l'homme. Si nous souhaitons néanmoins visualiser le flux de résultats sous forme d'images, celles-ci rappellent l'image d'une caméra 2D après une détection de contours. La raison en est que les modifications de contraste lors de mouvements se manifestent moins sur les surfaces éclairées de manière uniforme que sur les bords des objets.
Comme seules les données pertinentes, et donc nettement moins nombreuses, sont saisies, les besoins en mémoire et le temps de traitement sont considérablement réduits. En outre, les informations sur les événements prennent déjà en charge la reconnaissance des modèles de mouvement ou des directions. Il est également possible de calculer directement la vitesse de déplacement d'un pixel ou d'un objet à partir des intervalles de temps entre les événements capturés, sans avoir à traiter un grand nombre d'images - par exemple pour séparer les informations pertinentes des données d'arrière-plan.
En raison du faible volume de données, de nombreux processus peuvent être analysés quasiment en temps réel. Les systèmes à plusieurs caméras sont également beaucoup plus faciles à réaliser, car réalisables avec beaucoup moins de moyens techniques. Tant la puissance de traitement d'image des PC hôtes que les périphériques constitués du câblage, de l'alimentation électrique et autres, peuvent être dimensionnés de manière plus compacte et plus économique.
Le temps comme information
Sur la base de l'horodatage à la microseconde et de la position de chaque pixel, de toutes nouvelles applications sont possibles. Les événements contiennent déjà de précieuses indications dont on peut déduire d'autres informations. Les caméras traditionnelles avec une fréquence d’acquisition fixe ne peuvent pas les saisir en raison de temps morts dus à l'échantillonnage constant ou, en raison de la nature de la sortie, elles sont noyées dans une grande quantité de données redondantes.
Les événements offrent une possibilité d'analyse passionnante pour la création d'enregistrements au ralenti. En accumulant les événements capturés dans une grille temporelle et en générant des images complètes de rendu, on obtient des vidéos au ralenti avec un "temps d'exposition" variable. La vitesse de lecture reste variable, même ultérieurement, grâce au temps d'accumulation et à la fréquence d'affichage sélectionnés. Elle va du temps réel (super ralenti avec une image par événement) à une image fixe en passant par une vitesse de mouvement réelle (à environ 30 images par seconde) Si l'on y regroupe tous les événements saisis (dans le temps), on peut ainsi voir le déroulement complet des mouvements.
Pour une analyse numérique précise des mouvements, il est également possible d'extraire des informations sur la vitesse et la direction. Plus aucun algorithme de traitement d’image complexe n’est nécessaire. En revanche, si l'on accumule le lieu et l'horodatage de plusieurs événements sur une certaine plage de temps dans une représentation 3D, on peut évaluer de façon qualitative l'évolution des mouvements. Celui-ci aide à son tour à comprendre comment ou sur quelles trajectoires se déplacent les objets dans le plan temporel. Cette méthode est utilisée par exemple dans l'analyse des flux pour détecter avec une grande précision le mouvement des liquides et des gaz.
"Pour les applications qui nécessitent des fréquences d’acquisition exceptionnelles de 1000 Hertz, comme par exemple dans la visualisation des flux, la mise en œuvre avec des caméras conventionnelles est souvent très complexe et coûteuse. Grâce à la technologie « event-based », nous atteignons des équivalences comparables de 10000 images par seconde et plus sur des caméras conventionnelles. En revanche, pour transmettre la quantité de données nettement réduite, nous n'avons besoin que d'interfaces PC standard, comme l’USB. Cela rend cette nouvelle technologie très intéressante, surtout pour les petites institutions d'enseignement et de recherche".
Vous trouverez plus d'informations sur la visualisation des flux d’événements dans notre rapport d'application : Vers l'étude de cas "Seul le changement compte
Nouvelles données - nouveaux concepts de traitement
Mais pour pouvoir utiliser ce nouveau type de données, les développeurs doivent changer leur façon de penser afin de rompre avec les processus de traitement d'image qui étaient jusqu'à présent cycliques. Il est bien sûr possible de regrouper plusieurs événements dans des trames classiques, afin de pouvoir même les traiter comme des images conventionnelles avec une fréquence d’acquisition constante. Toutefois, cette méthode n'est pas forcément optimale, car elle ne permet pas de profiter des avantages liés la dynamique d’acquisition de données. Par exemple, la grande précision temporelle lors de mouvements rapides et le traitement efficace de moins de données à la fois, ce qui peut également réduire la consommation d'énergie. Seuls des fonctions, des outils et des algorithmes appropriés permettent d'extraire et de traiter rapidement et efficacement des modèles, des mouvements, des temps et des structures à partir des événements. Or, on ne les trouve aujourd'hui dans aucune des librairies de traitement d’image connues.
Mais Prophesee et Sony, derrière cette nouvelle technologie de capteurs, ont déjà développé les méthodes de traitement correspondantes et mis à disposition des fonctions utiles, accompagnées d'une documentation détaillée et de nombreux échantillons, dans un kit de développement logiciel, le Metavision SDK. Les utilisateurs peuvent ainsi démarrer immédiatement et profiter rapidement des nouvelles possibilités offertes par cette technologie disruptive.
Pour faire fonctionner la caméra IDS EVS "uEye XCP-E", il suffit d'installer le plug-in IDS HAL sur votre PC. Ensuite, la caméra est immédiatement prête à être utilisée dans le SDK Metavision de Prophesee. Regarder maintenant la vidéo how-to :
Haute précision en temps réel - EVS dans l'assurance qualité ?
Les capacités des capteurs neuromorphiques peuvent également jouer un rôle important dans les processus d'amélioration de la qualité. Surtout dans les applications où la précision, la vitesse et l'efficacité de la détection des erreurs sont requises. La valeur ajoutée, c’est de pouvoir détecter les moindres détails, sur des objets et de matériaux, au niveau du pixel et en temps réel. C’est par exemple le cas dans la surveillance des machines et des process. Grâce à la haute résolution temporelle, qui va jusqu'à la microseconde, il est même possible de visualiser des mouvements haute fréquence, comme des vibrations ou des signaux acoustiques. Les analyses révèlent à un stade précoce des schémas inhabituels (par exemple dus à l'usure, à des dysfonctionnements) qui peuvent entraîner des dommages voir des arrêts en production.
Comme ils ne perçoivent que les mouvements ou les contrastes, les capteurs neuromorphiques sont beaucoup moins sensibles aux variations de lumière, ce qui les rend bien plus performants que les systèmes conventionnels dans des conditions d'éclairage très variables (par ex. reflets, ombres). Lorsqu'il s'agit de détecter rapidement des défauts, de surveiller des processus ou d'effectuer des inspections dans des conditions difficiles, l'assurance qualité ne peut que bénéficier des capacités des capteurs neuromorphiques.
EVS - tendance ou must-have ?
Les capteurs « event-based » ne capturent pas des images complètes, mais uniquement des changements au niveau du pixel dans le domaine temporel. Les caméras peuvent être utilisées pour des applications de surveillance, mais il est également possible de composer dynamiquement des visualisations très différentes, ce qui permet de fournir aux applications beaucoup plus d'informations sur les mouvements que ne le feraient des caméras conventionnelles. C'est pourquoi ces technologies ne sont pas concurrentes! Les capteurs basés sur la technologie « event-based » ne sont donc pas un remplacement général des caméras conventionnelles ou même du traitement d'image basé sur l'IA, mais plutôt une technologie complémentaire. Elle ouvre la voie à un nouveau chapitre quant à la détection de mouvements. Dans différentes applications, un seul type de capteur ou un seul type de données ne suffit pas non plus. Il est souvent nécessaire de combiner différentes informations et donc différentes technologies de caméras pour répondre de manière optimale aux besoins d'un client. Les caméras « event-based » sont donc des composants intéressants et rentables pour les analyses de mouvements rapides, les tâches d'assurance qualité industrielle ainsi que les systèmes robotiques et autonomes en général.
Remarque de l'IDS
"Dès le lancement de la production en série de la caméra uEye EVS, nous disposons de quelques exemples d'applications concrètes pour l'analyse des gaz, des liquides et des vibrations, pour lesquelles cette technologie est parfaitement adaptée".
Autres infos
- Dans cette présentation, nous expliquons le fonctionnement et les domaines d'application des caméras uEye EVS : Vers la vidéo
- Ainsi, vous mettez en service votre caméra « event-based » de manière rapide et efficace : Vers la vidéo
- Découvrez comment les caméras uEye EVS sont utilisées à l'exemple de la visualisation de flux d’événements : Vers le rapport d'application
- En savoir plus sur les caméras uEye EVS : Vers la famille de caméras
- Détails techniques de la caméra : Sélectionner dans le « Recherche de caméra »
M. Heiko Seitz, ingénieur diplômé, travaille chez IDS depuis 2001. Après avoir travaillé pendant plusieurs années en tant que développeur dans le domaine des logiciels pour caméras, il soutient aujourd'hui la communication technologique chez IDS en tant que Product Marketing Manager. Fort de son expérience, il fait le lien entre une technologie complexe et un transfert de connaissances axé sur la pratique, par exemple dans des articles spécialisés, des webinaires ou des conférences.
Vision Channel
Vidéos et sessions en direct autour de la vision industrielle.
Votre projet
Comment pouvons-nous vous aider dans votre projet ? Ensemble, nous trouverons la solution qui vous convient !
Bulletin d'informations
Restez informé en vous abonnant à notre newsletter.