Polarisation en temps réel
Utilisation du prétraitement de données basé sur le matériel des caméras à polarisation IDS
Les connaissances sur la lumière polarisée permettent de réduire les reflets et les points brillants ou d'augmenter les contrastes des structures fines dans le traitement d'image industriel. Même les propriétés physiques telles que les tensions des matériaux qui agissent sous la surface peuvent être visualisées. Jusqu'à présent, pour déterminer les informations de polarisation, il fallait 4 enregistrements séquentiels avec une orientation différente du filtre de polarisation et un traitement ultérieur sur PC si nécessaire. Avec la technologie Polarsens de Sony, un seul enregistrement suffit. Le prétraitement complémentaire des données convertit les données brutes en temps réel des caméras à polarisation IDS en formats d'image utiles, pour un traitement ou une évaluation plus efficace sur le PC hôte.
Quelle est la différence entre une caméra à polarisation IDS et une caméra normale ? Quelles sont les possibilités de prétraitement des informations de polarisation sur la caméra ? Pour comprendre les cas d'utilisation de ces caméras spéciales, une courte présentation technique est nécessaire.
Nous savons déjà que la lumière est constituée d'ondes électromagnétiques qui contiennent toutes les informations importantes permettant de décrire les caractéristiques de la lumière visibles pour nous. L'œil humain et les capteurs d'image des caméras peuvent capturer la direction, l'intensité (amplitude) et la couleur (longueur d'onde) de la lumière et les numériser pour le traitement d'image. La gamme de longueurs d'onde de la lumière n'est qu'une petite partie du spectre complet des ondes électromagnétiques.
Lumière polarisée
Une autre caractéristique, qui était jusqu'à présent exploitable dans le traitement d'image principalement avec des éclairages, des verres filtrants et des optiques spéciaux, est la polarisation des ondes. La polarisation ne décrit pas la direction des faisceaux lumineux proprement dits, mais la direction des amplitudes d'onde dans lesquelles les particules lumineuses (photons) oscillent perpendiculairement à la direction de propagation. Les ondes de la lumière non polarisée oscillent dans différentes directions. Les lampes à incandescence ou la lumière du soleil en offrent une parfaite illustration. Si les photons se déplacent dans une seule direction, on parle de lumière polarisée linéaire. Des polariseurs spéciaux absorbent ou atténuent la lumière incidente qui oscille dans tous les plans sauf un - son axe de polarisation -, résultant en une polarisation presque linéaire.
Le comportement des filtres de polarisation linéaire
L'influence sur l'intensité résultante d'une onde lumineuse d'intensité initiale I0 lors du passage à travers un filtre de polarisation linéaire a déjà été prouvée en 1808 par le physicien français Étienne Louis Malus et mathématiquement décrite avec la « loi de Malus » : I = I0 . cos²(Φ)
Selon cette loi, les ondes lumineuses torsadées autour de l'axe optique du polariseur ne sont généralement pas bloquées, mais atténuées en intensité en fonction de l'angle et polarisées dans la direction du filtre. Le comportement des polariseurs linéaires est souvent décrit ou représenté de manière trompeuse. Même le graphique ci-dessus, malheureusement, est une illustration de cette règle.
Qu'est-ce que les réflexions ont à voir avec la polarisation ?
Sur les surfaces hautement réfléchissantes, comme le verre, les rayons lumineux peuvent être déviés. En fonction de l'angle de vue de l'objet, des réflexions indésirables en direction de l'observateur peuvent alors se produire. L'exemple suivant représentant une voiture montre comment les vitres d'un véhicule deviennent opaques en raison de ces reflets lumineux. Les objets ou les personnes à l'intérieur sont donc difficilement reconnaissables - deviennent presque « invisibles ».
Si des reflets lumineux se produisent sur des surfaces non métalliques (comme ici sur du verre), des processus physiques provoquent une polarisation naturelle de la lumière. Avec un filtre polarisant approprié, il est possible de réduire cette composante spéciale de lumière polarisée et, donc, l'effet d'éblouissement. La partie non polarisée de la lumière peut encore traverser le filtre.
Les reflets lumineux sur un pare-brise peuvent être éliminés par des filtres polarisants
Les reflets sur les surfaces métalliques ne peuvent pas être éliminés uniquement par un filtre polarisant ! Sur les surfaces métalliques, la lumière n'est pas polarisée, mais seulement réfléchie. Par conséquent, malgré la caméra à polarisation, il est absolument nécessaire de monter un filtre polarisant supplémentaire sur l'éclairage, en fonction de l'application, afin de supprimer les réflexions lumineuses gênantes.
L'utilisation d'une lumière déjà polarisée (par exemple à travers une feuille de filtre polarisant) réduit encore la génération de réflexions sur les surfaces. Les écrans d'ordinateur spéciaux (sans fonction tactile) sont donc pourvus d'un film « anti-reflets ». Bien que l'intensité lumineuse diminue avec les angles de vision étroits, il n'existe pas de réflexions. Si vous regardez ces affichages presque parallèlement, l'écran semble être sombre !
Importance de la polarisation pour le traitement d'image
Pour la perception pure ou la numérisation de la lumière, qu'il s'agisse de lumière polarisée ou non polarisée, cela ne fait aucune différence technique. Dans le traitement d'image numérique, c'est avant tout l'éclairage d'une scène qui est essentiel pour rendre certaines caractéristiques visibles. Mais tous ceux qui ont déjà pris une photo avec un éclairage connaissent les avantages et les inconvénients. Les ombres indésirables sont assez faciles à contrôler avec un éclairage supplémentaire ou plus fort provenant de directions différentes. L'utilisation combinée d'écrans diffuseurs permet d'obtenir un éclairage plus homogène de la scène. Mais en ce qui concerne la lumière, il faut toujours lutter contre les réflexions et les surexpositions gênantes, qui empêchent souvent de percevoir des caractéristiques importantes. Si un reflet efface des informations, par exemple parce que le visage d'un conducteur de voiture est éclipsé par la réflexion sur le pare-brise, ces informations ne peuvent pas être restaurées après l'enregistrement par une technique de traitement d'image. Dans le traitement d'image industriel en particulier, on utilise souvent une lumière diffuse dispersée pour réduire autant que possible les influences perturbatrices. Selon l'application, cependant, un éclairage optimal peut être très coûteux.
Mais plus n'est pas toujours synonyme de meilleur ou de plus approprié ! Dans le cas de la lumière, l'essentiel peut également être rendu visible grâce à un filtrage ciblé des influences perturbatrices. Les connaissances sur la lumière polarisée, sur la manière dont elle est générée et sur la façon dont on peut influer sur elle, fournissent des approches possibles à cet égard. Les filtres de polarisation sont utilisés dans le traitement d'image pour réduire les reflets ou les points brillants, mais aussi pour augmenter le contraste. Ils sont également utiles en photoélasticimétrie pour visualiser les propriétés physiques sous la surface.
Avantage de la polarisation
Comme la polarisation de la lumière dépend non seulement des propriétés superficielles mais également d'autres propriétés physiques telles que les contraintes mécaniques ou la réfraction de la lumière, il est possible de rendre visibles des caractéristiques et défauts de l'objet qui ne peuvent pas être détectés par des capteurs d'image normaux.
Rendre visible l'invisible
Les défauts de matériaux ou les caractéristiques des objets recherchés ne deviennent pas toujours visibles avec davantage de lumière ou grâce à l'élimination des influences perturbatrices. Dans l'exemple d'image suivant, il semble que le contenu qui est important pour nous soit davantage exposé ou que son intensité lumineuse soit intensifiée. Ce n'est pas le cas. La lumière est polarisée par ses reflets sur les taches et les rayures.
Le degré de polarisation permet de rendre les taches et les rayures visibles lors de l'inspection du verre
Ici, on ne parvient à voir très clairement les empreintes digitales et les rayures qu'en visualisant le « degré de polarisation », ce qui rend les rayons lumineux polarisés plus clairement visibles que la lumière non polarisée. Mais les capteurs de caméra normaux n'enregistrent pas la polarisation de la lumière. Cela signifie que les informations sont perdues lors de l'acquisition. Une visualisation ou même une correction de polarisation ultérieure par traitement d'image ne peut plus être appliquée, car même dans un fichier RAW, il n'est plus possible de détecter où la lumière a été capturée, et avec quel angle et degré de polarisation.
Pour calculer une telle image, il est nécessaire de capturer la polarisation de la lumière de cette scène sous forme de nombres. Cela permet de traiter ultérieurement une image déjà numérisée ou de rendre visibles pour nous des éléments « invisibles ». Cette quantification de la polarisation est très facile à réaliser avec la technologie Polarsens de Sony, par exemple. Ainsi, avec des caméras telles que nos GV-5080CP-P (GigE Vision) ou U3-3080CP-P (USB3 Vision), qui incluent le capteur Sony Mono Polarsens IMX250MZR, les informations de polarisation peuvent être capturées dans une seule image.
Caméra IDS avec polariseur linéaire quadridirectionnel
Les caméras à polarisation IDS dotées du capteur Sony Mono Polarsens IMX250MZR sont disponibles en versions GigE Vision et USB3 Vision.
Les fiches de données techniques pour
- U3-3080CP-P-GL Rev.2
- GV-5080CP-P-GL
peuvent être téléchargées sur notre site Web.
Une seule image suffit pour capturer les informations de polarisation avec le contenu de l'image. Aucun accessoire spécial tel qu'une source de lumière polarisée ou des filtres polarisants n'est requis. Ceci est rendu possible par la conception innovante du capteur Sony.
Le « polariseur quadridirectionnel » situé entre les photodiodes et les microlentilles génère une image brute de capteur avec quatre directions de polarisation (0 °, 45 °, 90 ° ou 135 °) en une seule prise avec le principe des filtres de polarisation linéaire. Une intensité différente est mesurée pour chaque angle des filtres polarisants. Quatre pixels adjacents dans un cluster 2x2 avec leurs quatre filtres de polarisation différents forment une « unité de calcul ». Les 5 mégapixels réels du capteur sont ainsi divisés en 4 images plus petites, correspondant chacune à un angle de polarisation, mais leur contenu d'image reflète le même moment. Cela signifie que l'appareil photo dispose de données de sortie optimales pour calculer les informations de polarisation - et cela à chaque prise de vue.
Les quatre images individuelles sont disponibles en 1,26 MP avec une résolution et une luminosité réduites, ce qui peut générer un bruit important dans les valeurs de résultat lors des déterminations suivantes de la polarisation dans la zone frontalière. Par conséquent, assurez-vous que vous disposez d'un éclairage adéquat et suffisant lors de la capture d'images.
La base de calcul mathématique de l'état de polarisation de chaque unité de calcul de capteur est le vecteur de Stokes. A l'aide de ses 4 composants, le degré de polarisation et l'angle de polarisation peuvent être déterminés à partir des quatre intensités lumineuses mesurées.
Polarisation sur la caméra
Les caméras industrielles fournissent le matériel d'image pour le traitement numérique. Même si le format brut d'un capteur d'image offre le plus de possibilités pour le traitement ultérieur de l'image, il n'est pas adapté à une inspection visuelle directe, par exemple. Avec un prétraitement, des résultats importants et souvent nécessaires pourraient être calculés directement. Cela permettrait également d'économiser du temps et de réduire la charge de calcul du PC. En combinaison avec la technologie Polarsens de Sony, d'autres formats d'image pertinents sont donc disponibles en plus du format brut du capteur et susceptibles de fournir des données de sortie optimales pour le traitement d'image sur le PC.
À partir de la version 2.4 du firmware de la caméra, les caméras à polarisation uEye CP sont capables de déterminer indépendamment la direction et le degré de la lumière polarisée à partir d'une seule capture d'image en utilisant les données d'image brutes du « polariseur quadridirectionnel » grâce à un prétraitement des pixels. Cela permet de calculer et de visualiser de nouvelles informations d'image avec les données de polarisation, par exemple pour rendre un contraste visible. Avec des composants d'image prédéfinis et sélectionnables, l'utilisateur peut, par exemple, filtrer les réflexions de lumière dérangeantes directement à partir des données brutes du capteur ou rendre visibles les objets réfléchissants dans une obscurité presque complète avant même que l'image ne soit transmise au PC - en un seul clic !
Avantage : « prétraitement des données sur la caméra »
- It's so easy - Simplifie le travail de l'ingénieur de traitement d'image, qui reçoit d'emblée les données optimales de la caméra pour le traitement ultérieur.
- Efficace - Économise les ressources du PC. La caméra et le PC se répartissent efficacement le travail.
- Conforme à la vision - Les données de résultats de la caméra sont disponibles pour toute application de vision standard sans nécessiter de logiciel supplémentaire ou spécial.
Formats d'image spécifiques à l'application
Pour les applications les plus importantes, il est possible de sélectionner parmi 8 formats d'image, calculés en temps réel dans le FPGA de la caméra.
Raw
Format d'image : 8 bits mono, 2448 x 2048 pixels (pleine résolution du capteur)
En mode Raw (Brut), la caméra fournit les données du capteur sans prétraitement dans une résolution complète de 5 Mpixels sous forme d'image en niveaux de gris 8 bits. Les valeurs d'intensité des filtres de pixels polarisés différemment permettent de déterminer l'angle et le degré de polarisation de la lumière polarisée linéairement. Le format des données brutes sert ainsi de base à vos propres évaluations et calculs sur PC dans l'application client.
Intensity
Format d'image : 8 bits mono, 1216 x 1024 pixels (1/4 de la résolution du capteur)
« Intensity » correspond à la valeur moyenne (m) des quatre intensités lumineuses mesurées après passage dans le « polariseur quadridirectionnel » avec les quatre directions de polarisation 0 °, 45 °, 90 ° ou 135 °. Cette valeur est calculée avec m = (I_0° + I_45° + I_90° + I_135°) / 4
Le format d'image représente la luminosité sans informations de polarisation de la lumière. Il est donc très comparable à la valeur d'intensité qu'enregistrerait un capteur d'image mono normal.
IntensityNonPolarized
Format d'image : 8 bits mono, 1216 x 1024 pixels (1/4 de la résolution du capteur)
Cette valeur d'intensité (I_min) correspond uniquement à la proportion de lumière non polarisée dans l'image. La partie polarisée de la lumière est calculée avec I_min = m * (1 - DoP). Avec ce format d'image, les réflexions lumineuses sont déjà efficacement réduites.
IntensityOnlyPolarized
Format d'image : 8 bits mono, 1216 x 1024 pixels (1/4 de la résolution du capteur)
Cette image en niveaux de gris (I_amp) ne contient que la partie polarisée de la lumière. Elle est calculée avec I_amp = I_max - I_min. Les zones dans lesquelles aucune lumière polarisée n'est présente deviennent plus sombres. La luminosité actuelle des pixels individuels est entièrement intégrée à l'image. Les changements d'exposition influent sur l'affichage. Cela distingue le mode du degré de polarisation (DoP), car ici, ce sont les valeurs absolues, et non les parties relatives qui sont sorties.
DegreeOfPolarization (DoP)
Format d'image : 8 bits mono, 1216 x 1024 pixels (1/4 de la résolution du capteur)
Le degré de polarisation indique le pourcentage de lumière polarisée par rapport à l'intensité totale. En raison des valeurs relatives, le calcul du DoP n'est que légèrement affecté par les changements d'exposition tant qu'aucun écrêtage n'a lieu.
- Plus le degré de polarisation est élevé, meilleurs sont les angles déterminés qui conviennent pour les calculs et analyses ultérieurs.
- Si les valeurs DoP sont trop faibles, les informations de polarisation deviennent inutiles pour l'analyse. Il y a beaucoup de bruit dans les informations d'image.
Dans les applications avec lumière polarisée, le DoP est une valeur importante pour la qualité des résultats ou une bonne mesure pour la qualification des conditions correctes d'éclairage d'une scène.
PolarizationAngle
Format d'image : 8 bits mono, 1216 x 1024 pixels (1/4 de la résolution du capteur)
Ce mode image affiche tous les angles de polarisation calculés (1 angle par « polariseur quadridirectionnel » avec 2x2 pixels) sous forme d'image en niveaux de gris. Les angles sont mis à l'échelle en interne de manière à être sortis dans la plage 0-180 °. Il n'y a donc pas de valeurs de sortie négatives.
Dans les zones avec très peu de lumière polarisée, les résultats angulaires varient fortement, car les informations d'angle provenant des « polariseurs quadridirectionnels » ne peuvent pas être extraites proprement à cause du bruit. Cela signifie souvent qu'aucun calcul d'angle stable n'est possible.
Lors de l'utilisation des angles de polarisation calculés dans une application, une qualification préalable par le degré de polarisation (DoP) est recommandée.
Mise en relation des informations d'angle et du degré de polarisation
Le recours à l'espace colorimétrique HSV permet à la caméra de produire un format d'image combiné avec plus d'un élément d'information. La mise en relation, par exemple, de l'angle et du degré de polarisation dans une image, permet une interprétation particulièrement bonne des résultats. Cela se traduit également par un affichage en fausses couleurs, qui visualise aussi les relations.
En particulier si les informations d'angle ne peuvent pas être extraites proprement à cause du bruit, car très peu de lumière polarisée est disponible, les résultats sont pour la plupart inexploitables pour un traitement ultérieur significatif. Dans ce cas, un format de combinaison fournit une mesure de validation dans la même image en plus de la valeur d'angle !
IDSHeatMap
Format d'image : 24 bits RVB, 1216 x 1024 pixels (1/4 de la résolution du capteur), basé sur HSV (H = angle, V = DoP, S = 100%)
Dans ce format combiné, l'angle de polarisation déterminé est mis en relation avec le degré de polarisation. La luminosité de l'image résultante est mise à l'échelle à l'aide du DoP. En conséquence, les zones sombres montrent que les informations d'angle ne sont pas fiables car la composante de polarisation est très faible et le calcul de l'angle peut donc être imprécis. Pour les zones claires, en revanche, il existe une très grande composante de polarisation et l'angle peut être déterminé de manière fiable.
IDSColorMap
Format d'image : 24 bits RVB, 1216 x 1024 pixels (1/4 de la résolution du capteur), basé sur HSV (H = angle, V = diff (Mono - DoP), S = 100%)
Dans ce format combiné, l'angle de polarisation déterminé est également mis en relation avec le degré de polarisation. Cependant, ici, l'image en niveaux de gris réelle est incluse dans le calcul. La luminosité correspond ici à la différence entre l'image en niveaux de gris et le DoP. L'ensemble de l'image devient plus lumineux à cause des zones d'image monochromes lumineuses et d'un DoP élevé. Seules les zones dans lesquelles il n'existe pas d'informations de luminosité ni d'informations de DoP élevé deviennent sombres ou noires. De plus, DoP est utilisé comme saturation. Ainsi, des couleurs vives indiquent une proportion élevée de lumière polarisée dans la zone d'image.
Configuration via le cockpit IDS Vision
Les formats d'image des caméras à polarisation IDS peuvent être définis et utilisés avec n'importe quel logiciel compatible GenICam. Nous expliquons la configuration des paramètres de la caméra à l'aide de l'IDS Vision Cockpit, que vous pouvez installer avec notre kit de développement logiciel IDS peak. Les formats d'image sont présents en tant que composants d'image sélectionnables individuellement dans le nœud ImageFormatControl. Si vous avez ouvert votre caméra avec le firmware 2.4, vous pouvez trouver les paramètres en saisissant par exemple « Composant » dans le champ de recherche.
Pour activer les formats d'image individuels avec l'IDS Vision Cockpit, procédez comme suit :
- Désactivez l'acquisition d'images
- Sélectionnez le format d'image souhaité avec le « Sélecteur de composants »
- Activez le format d'image avec « Activer le composant »
- Redémarrez l'acquisition d'image
La caméra passe automatiquement au format d'image requis (par exemple « 8 bits Mono » ou « 24 bits RVB »).
Programmation avec IDS peak
Pour utiliser les nouveaux formats d'image dans votre propre application, seules quelques lignes de code source sont nécessaires. Les blocs de code source suivants montrent la programmation des formats d'image avec IDS peak dans le langage de programmation C#.
Récupération de tous les composants d'image disponibles
var imageComponentsNode = nodeMapRemoteDevice.FindNode<peak.core.nodes.EnumerationNode>("ComponentSelector");
var availableImageComponents = imageComponentsNode.Entries();
foreach (var entry in availableImageComponents)
{
display(entry.StringValue());
}Interrogation du composant d'image actuellement actif
var activeImageComponent = "";
foreach (var entry in availableImageComponents)
{
imageComponentsNode.SetCurrentEntry(entry);
if (nodeMapRemoteDevice.FindNode<peak.core.nodes.BooleanNode>("ComponentEnable").Value() == true)
{
activeImageComponent = entry.StringValue();
}
}
display(activeImageComponent);Sélection et activation d'un composant d'image
imageComponentsNode.SetCurrentEntry("IDSHeatMap");
nodeMapRemoteDevice.FindNode<peak.core.nodes.BooleanNode>("ComponentEnable").SetValue(true);Résumé
La polarisation est une propriété de la lumière qui permet la reconnaissance d'attributs d'objet invisibles à l'œil humain ainsi qu'aux des capteurs d'image « normaux ». Cela en fait un outil important pour le traitement d'images numériques dans les applications avec des surfaces réfléchissantes ou translucides. Avec le capteur SONY IMX250MZR et le prétraitement des pixels sur la caméra, les caméras à polarisation IDS sont en mesure de déterminer toutes les informations de polarisation nécessaires de la scène d'image avec une seule acquisition d'image et de fournir ces informations dans différents formats de pixels au PC hôte pour un traitement ultérieur ou une évaluation directe.
Avec les algorithmes accélérés par FPGA, les caméras sont plus que de simples fournisseurs de données de capteurs pures. En temps réel, elles fournissent déjà des évaluations pertinentes qui peuvent être utilisées par toute application compatible GenICam via l'interface de vision GigE ou USB3. Les caméras à polarisation IDS participent ainsi au traitement d'image et réduisent la charge de calcul du PC hôte.
Testez par vous-même à quel point il est facile de rendre les attributs d'objet visibles en un seul clic avant que l'image ne soit transférée vers le PC.