Qu’est-ce qu’un capteur 3D ?
Un capteur 3D détecte la structure spatiale et la surface d’un objet ou d’une scène. Outre les informations spatiales bidimensionnelles dans les directions x et y, il détermine également la distance ou la profondeur dans une troisième direction spatiale (z). Il en résulte des données tridimensionnelles, notamment sous la forme d’une carte de profondeur ou d’un nuage de points. Sur cette base, il est possible de déterminer, entre autres, les dimensions, les positions, les volumes et la géométrie de surface des objets.
Dans quels cas a-t-on recours au traitement d’images en 3D ?
Le traitement d’image 2D permet de capter des caractéristiques telles que la luminosité, la couleur et le contour dans un même plan. Si des données supplémentaires sur la position, la hauteur ou la forme d’un objet sont requises, des capteurs 3D sont utilisés. Les données de mesure permettent de réaliser une détection d’objets en 3D, un guidage robotisé ou encore de déterminer des volumes et d’automatiser le contrôle de la qualité. Les domaines d’application types sont le bin picking, la dépalettisation, les processus pick-and-place robotisés et l’inspection de surfaces en 3D.
Capture d’images 2D
Capture d’images 3D
Applications types des capteurs 3D
Bin Picking
Dans le cadre du Bin Picking, un robot prélève des objets en vrac dans un conteneur ou une caisse. Un capteur 3D détecte la position et l’orientation des objets puis génère un nuage de points 3D de leur surface visible. Le système robotisé peut ensuite déterminer la position de préhension appropriée et retirer les composants de manière ciblée. Cette méthode est particulièrement adaptée aux objets présentant une géométrie complexe ou dont la position est variable.
Dépalettisation
Les capteurs 3D facilitent la dépalettisation de cartons, de conteneurs ou de produits. Les différences de hauteur, les positions des objets et les modèles d’empilage sont détectés à l’aide de données spatiales, ce qui permet au robot de retirer les objets avec précision. Cela favorise également le traitement fiable de charges irrégulières ou mixtes.
Inspection de surfaces en 3D
L’inspection de surfaces en 3D permet de détecter avec précision les bosses, les déformations, les erreurs d’assemblage et les différences de hauteur, indépendamment de la couleur ou du contraste. Les données de mesure tridimensionnelles sont ainsi adaptées aux contrôles automatisés de la qualité ainsi qu’aux contrôles de précision dimensionnelle et d’exhaustivité.
Notions de base sur la capture d’images en 3D
Les capteurs 3D fournissent les données de mesure sous forme de nuage de points 3D et peuvent fournir des valeurs d’intensité supplémentaires selon le modèle de capteur. Le traitement industriel d’images en 3D utilise notamment des capteurs de profil 2D/3D et des capteurs d’instantanés.
Les capteurs de profils 2D/3D projettent une ligne laser sur l’objet à mesurer et détectent des profils de hauteur 2D individuels. Grâce au mouvement relatif entre le capteur et l’objet, les profils captés successivement sont assemblés pour former un nuage de points 3D complet. Cette méthode est particulièrement adaptée à la mesure continue d’objets en mouvement, p. ex. sur des convoyeurs ou des lignes de production.
Les capteurs 3D captent l’ensemble du volume de mesure en un seul passage. Pour créer un nuage de points 3D complet, l’objet doit être immobilisé pendant la capture. Cette méthode est donc particulièrement adaptée aux mesures de haute résolution d’objets statiques, ainsi qu’à la détection des détails les plus fins en surface.
Systèmes de coordonnées pour traitement de données 3D
Les systèmes de coordonnées sont essentiels pour le traitement spatial de données 3D. Les points de mesure détectés par le capteur 3D se réfèrent au système de coordonnées du capteur. Le système de coordonnées du capteur définit la position de chaque point mesuré par rapport à la position et à l’orientation du capteur, constituant ainsi la base du traitement ultérieur des données de profondeur.
Afin que les robots, les installations ou les systèmes de traitement d’images puissent utiliser les données collectées, elles doivent être transférées vers un système de coordonnées global ou lié à l’installation. Il est ainsi possible de déterminer clairement les positions des objets, les mouvements et les points de préhension dans l’application.
Étalonnage main-œil pour robot de vision industrielle
Pour les applications de vision robotisée, les systèmes de coordonnées du capteur 3D et du robot doivent être interconnectés. L’étalonnage main-œil détermine la conversion géométrique d’un système à l’autre. Le robot peut ainsi interpréter les positions 3D détectées par le capteur dans son propre système de coordonnées et s’en approcher de manière ciblée.
Selon l’application, on distingue deux variantes :
« Eye-to-Hand »
Dans le cadre du procédé « Eye-to-Hand », le capteur est monté de façon fixe dans la zone de travail et surveille la plage de travail du robot. L’étalonnage permet de déterminer la position de celui-ci et son orientation par rapport à la base du robot.
« Eye-in-Hand »
Dans le cadre de ce procédé, le capteur est monté directement sur le bras du robot et se déplace avec lui. Sa position est déterminée par rapport au centre de gravité de l’outil (TCP).
L’étalonnage s’effectue à l’aide d’objets de référence ou de modèles définis, détectés à la fois par le système robotisé et par le capteur 3D. La conversion d’un système de coordonnées à l’autre est calculée à partir des positions détectées. Les coordonnées de l’image détectées peuvent ensuite être converties du système de coordonnées du capteur à celui du robot. Même de faibles écarts d’étalonnage peuvent entraîner des erreurs de position lors de la commande du préhenseur ou de la programmation des trajectoires.
Étalonnage main-œil avec capteurs de la série M3DS
Différents exemples de projet et d’étalonnage sont disponibles sur GitHub pour l’intégration dans les systèmes robotiques et de traitement d’images. Il s’agit notamment des implémentations de référence pour les étalonnages main-œil et les conversions de systèmes de coordonnées 3D. Ces modèles permettent de comprendre les processus d’intégration et d’étalonnage types et d’utiliser les exemples fournis directement pour votre propre application.
Distance de travail et plage de mesure des capteurs 3D
Distance de travail
Plage de mesure
La plage de mesure d’un capteur 3D basé sur la triangulation a la forme d’un tronc de pyramide. Plus la distance par rapport au capteur augmente, plus le champ de mesure augmente dans les directions x et y. Cela permet de détecter des objets plus grands ou des scènes plus étendues à distance.
Parallèlement, les points de mesure sont répartis sur une plus grande surface, ce qui augmente la distance entre les points voisins. À proximité, la densité de points d’un nuage de points 3D est donc plus élevée, et les structures fines peuvent être détectées de manière plus détaillée.
La résolution de profondeur dans la direction z dépend également de la distance de travail. Plus la distance augmente, plus la sensibilité géométrique de la triangulation diminue, ce qui permet de mieux détecter les petites différences de hauteur à proximité.
Comment créer un nuage de points 3D ?
Les capteurs 3D utilisent la lumière structurée pour projeter des motifs lumineux sur un objet. Les déformations de ces motifs permettent de tirer des conclusions sur le contour de l’objet. Une caméra détecte ensuite la déformation du motif sur la surface. À partir de leur déplacement, le capteur calcule les informations de profondeur à l’aide de la triangulation optique et génère un nuage de points 3D.
Étape 1 – Projection d’un motif lumineux
La source lumineuse intégrée projette successivement des motifs lumineux définis sur la surface d’un objet. Le motif sert alors de structure de référence définie pour le calcul ultérieur de la profondeur. Les capteurs 3D de wenglor utilisent la lumière bleue, car sa longueur d’onde plus courte favorise une plus grande précision optique tout en étant moins sensible à la lumière ambiante. Même les structures de surface fines peuvent ainsi être détectées de manière fiable et riche en contrastes.
Étape 2 – Déformation du motif lumineux sur l’objet
Si le motif lumineux structuré rencontre un objet, celui-ci est déformé en fonction de propriétés géométriques. Les différences de hauteur, les arêtes et les creux entraînent un déplacement des bandes projetées sur l’image de la caméra. La déformation du motif fournit des informations sur la forme et la profondeur de l’objet.
Les surfaces lisses, structurées ou fortement réfléchissantes peuvent influencer la qualité de l’image du motif, donc également le calcul de profondeur ultérieur.
Étape 3 – Capture du motif lumineux par la caméra
La caméra enregistre ensuite les motifs lumineux projetés à partir d’un angle défini. Pendant l’enregistrement, le système analyse la position exacte et la déformation des motifs projetés dans l’image. Un jeu de données complet de la scène est ainsi créé à partir de plusieurs images individuelles enregistrées. La lisibilité des motifs sur l’image de la caméra dépend, entre autres, du temps d’exposition, de la réflexion de la surface, de la lumière ambiante et de la résolution optique du capteur.
Étape 4 – Calcul de la profondeur par triangulation
La caméra et le projecteur éclairent l’objet mesuré sous différents angles. En combinaison avec un point de surface, ils forment un triangle géométrique. Les positions de la caméra et du projecteur l’une par rapport à l’autre étant connues, le capteur peut calculer la profondeur de chaque point de mesure à partir du déplacement des motifs enregistrés.
Ce procédé est appelé triangulation optique. Il constitue la base de la reconstruction spatiale de la surface visible de l’objet.
Étape 5 – Création du nuage de points
Sur la base des données d’étalonnage de la caméra, le capteur génère un nuage de points 3D à partir des valeurs de profondeur calculées. Chaque point de mesure est décrit par ses coordonnées x, y et z, ce qui lui confère une position unique dans l’espace. Ce nuage de points représente la structure de surface de l’objet de façon détaillée.
En outre, d’autres informations telles que les valeurs d’intensité ou dites de confiance peuvent être enregistrées. Les valeurs d’intensité fournissent des informations sur la luminosité ou les propriétés de réflexion, tandis que la valeur de confiance indique la qualité ou la fiabilité d’un point de mesure individuel.
Traitement de données 3D
La projection d’une lumière structurée permet d’utiliser différentes méthodes de reconstruction pour générer des données 3D. La méthode par bandes et la méthode par phases se distinguent par le type de motifs projetés et leur interprétation. Les deux procédés utilisent des séquences codées en niveaux de gris qui permettent d’affecter clairement les motifs lumineux projetés aux points de l’image détectés. Cette affectation constitue la base du calcul des valeurs de profondeur. La méthode adaptée à une tâche de mesure dépend, entre autres, du temps de capture nécessaire, des propriétés de la surface de l’objet et des réflexions ou de la lumière ambiante.
Comparaison des méthodes par bandes et par phases
Méthode par bandes
Selon la méthode par bandes, des bandes lumineuses clairement délimitées, contrastées et de différentes largeurs sont projetées sur la surface de l’objet. Compte tenu du contraste élevé, les motifs projetés peuvent être particulièrement bien détectés sur des surfaces sombres ou fortement réfléchissantes. Par ailleurs, les motifs binaires autorisent des temps d’exposition très courts, ce qui fait de cette méthode une solution particulièrement adaptée aux surfaces exigeantes.
Méthode par phases
Dans la méthode par phases, des motifs de bandes lumineuses sinusoïdales présentant différents déphasages sont projetés sur la surface de l’objet. Au lieu de bandes individuelles, la répartition continue de la luminosité des motifs projetés est analysée. Cela permet de déterminer la position d’un point de mesure avec une précision inférieur à un pixel et, ainsi, d’obtenir des données 3D particulièrement lisses, haute résolution et détaillées.
Visualisation de nuages de points en 3D
Représentation en fausses couleurs
En cas de réprésentation en fausses couleurs, différentes couleurs sont attribuées aux valeurs de profondeur du nuage de points 3D. Cela permet de visualiser les différences de hauteur et les contours de l’objet, et favorise une interprétation rapide des données de mesure.
Profil d’intensité
En plus des valeurs de profondeur, le capteur peut générer un profil d’intensité. Celui-ci correspond à une image classique en niveaux de gris et contient des informations sur les propriétés de réflexion de la surface.
Image de confiance
L’image de confiance indique la qualité ou la fiabilité des points de mesure individuels dans le nuage de points. Cela permet de détecter et d’analyser de manière ciblée les zones avec un calcul de profondeur incertain ou une mauvaise qualité du signal.
Aufnahmeparameter von 3D-Sensoren
Belichtungszeit
Gain
Subsampling
Genauigkeitsangaben nach VDI/VDE
Stack Size
Die Stack Size gibt an, wie viele Einzelaufnahmen beziehungsweise Musterprojektionen für eine 3D-Aufnahme verwendet werden. Eine größere Stack Size stellt mehr Bildinformationen bereit und kann Messrauschen reduzieren. Gleichzeitig verlängert sich die Aufnahmezeit, wodurch die maximal erreichbare Aufnahmegeschwindigkeit abnimmt.
Weitere 3D-Technologien
Passives Stereo
Bei diesem Verfahren betrachten zwei Kameras dasselbe Objekt unter einem Winkel. Indem dieselben Merkmale von beiden Kameras aufgenommen werden, kann aus ihrer Bildverschiebung die räumliche Position des Merkmals im Raum berechnet werden. Hierbei besteht die Schwierigkeit, denselben Punkt mit beiden Kameras zu identifizieren. Wird beispielsweise eine kontrastarme Fläche wie eine weiße Wand betrachtet, so ist diese Methode suboptimal.
Aktives Stereo
Der Aufbau entspricht dem des passiven Stereos. Zusätzlich wird ein Muster (z. B. zufällig verteilte Punkte) auf die Oberfläche projiziert. Das erleichtert die Zuordnung eines Punkts beider Kameras.
Time-of-Flight
In diesem Verfahren wird der Abstand zwischen Objekt und Sensor anhand der Lichtlaufzeit bestimmt. Hierbei sendet der Sensor Lichtimpulse aus, die auf ein Objekt treffen und von diesem reflektiert werden. Abhängig von der Dauer der Reflexion der Lichtimpulse wird der Abstand ermittelt. Damit können Tiefeninformationen wie Strukturen oder Entfernungen von Gegenständen ermittelt werden.
Lasertriangulation
Bei der Lasertriangulation projiziert ein Laser eine Linie auf das Objekt, die von einer Kamera unter einem definierten Winkel erfasst wird. Durch die Verschiebung der Laserlinie im Kamerabild kann die Höhe der Objektoberfläche bestimmt werden. Da immer nur ein einzelnes Profil aufgenommen wird, muss entweder das Objekt oder der Sensor bewegt werden, um vollständige 3D-Daten zu erzeugen. Das Verfahren zeichnet sich durch eine hohe Genauigkeit aus, ist jedoch auf eine definierte Relativbewegung während der Aufnahme angewiesen.
Technologien im Vergleich
| Strukturiertes Licht | Passives Stereo | Aktives Stereo | Time of Flight | |
|---|---|---|---|---|
| Auflösung |  |
 |
|
 |
| Genauigkeit | |
|
|
|
| Fremdlicht | |
|
|
|
| Messgeschwindigkeit |  |
|
|
|
| Kontrastarme Objekte | |
|
|
|
| Obstruktion/Verschattung | |
|
|
|
|
Auflösung
|
|||
|---|---|---|---|
|
Strukturiertes Licht
|
Passives Stereo
|
Aktives Stereo
|
Time of Flight
|
|
Genauigkeit
|
|||
|
Strukturiertes Licht
|
Passives Stereo
|
Aktives Stereo
|
Time of Flight
|
|
Fremdlicht
|
|||
|
Strukturiertes Licht
|
Passives Stereo
|
Aktives Stereo
|
Time of Flight
|
|
Messgeschwindigkeit
|
|||
|
Strukturiertes Licht
|
Passives Stereo
|
Aktives Stereo
|
Time of Flight
|
|
Kontrastarme Objekte
|
|||
|
Strukturiertes Licht
|
Passives Stereo
|
Aktives Stereo
|
Time of Flight
|
|
Obstruktion/Verschattung
|
|||
|
Strukturiertes Licht
|
Passives Stereo
|
Aktives Stereo
|
Time of Flight
|
Integration in industrielle Systeme
Damit ein 3D-Sensor in industriellen Anwendungen eingesetzt werden kann, muss er sich nahtlos in bestehende Automatisierungs-, Robotik- und Bildverarbeitungssysteme integrieren lassen. Neben der eigentlichen 3D-Datenerfassung spielen dabei standardisierte Schnittstellen, Softwarebibliotheken und flexible Integrationsmöglichkeiten eine zentrale Rolle. Moderne 3D-Sensoren bieten hierfür umfangreiche Software- und Kommunikationsschnittstellen, die eine einfache Einbindung in unterschiedlichste Systemumgebungen ermöglichen.
