Was ist ein 3D-Sensor?
Ein 3D-Sensor erfasst die räumliche Struktur und Oberfläche eines Objekts oder einer Szene. Neben den zweidimensionalen Ortsinformationen in x- und y-Richtung bestimmt er auch die Entfernung beziehungsweise Tiefe in einer dritten Raumrichtung (z). Dadurch entstehen dreidimensionale Daten, beispielsweise in Form einer Tiefenkarte oder Punktwolke. Auf dieser Grundlage lassen sich unter anderem Abmessungen, Positionen, Volumen und die Oberflächengeometrie von Objekten bestimmen.
Wann wird 3D-Bildverarbeitung eingesetzt?
Bei der 2D-Bildverarbeitung werden Merkmale wie Helligkeit, Farbe und Kontur innerhalb einer Ebene erfasst. Sind zusätzliche Informationen zur Lage, Höhe oder Form eines Objekts erforderlich, kommen 3D-Sensoren zum Einsatz. Die Messdaten ermöglichen die 3D-Objekterkennung, Volumenbestimmung, Roboterführung sowie die automatisierte Qualitätskontrolle. Typische Einsatzgebiete sind Bin Picking, Depalettierung, robotergestützte Pick-and-Place-Prozesse und die 3D-Oberflächeninspektion.
2D-Bilderfassung
3D-Bilderfassung
Typische Anwendungen mit 3D-Sensoren
Bin Picking
Beim Bin Picking entnimmt ein Roboter ungeordnete Objekte aus einem Behälter oder einer Kiste. Ein 3D-Sensor erfasst die Lage und Ausrichtung und erzeugt eine 3D-Punktwolke ihrer sichtbaren Oberfläche. Anschließend kann das Robotersystem die geeignete Greifposition bestimmen und die Bauteile gezielt entnehmen. Dieses Verfahren eignet sich insbesondere für Objekte mit komplexen Geometrien oder variierenden Positionen.
Depalettierung
3D-Sensoren unterstützen die Depalettierung von Kartons, Behältern oder Produkten von einer Palette. Mithilfe räumlicher Daten werden Höhenunterschiede, Objektpositionen und Stapelmuster erkannt, sodass die Objekte präzise durch den Roboter entnommen werden können. Dadurch lassen sich auch unregelmäßige oder gemischte Beladungen zuverlässig verarbeiten.
3D-Oberflächeninspektion
Dellen, Verformungen, Montagefehler und Höhenunterschiede lassen sich unabhängig von Farbe oder Kontrast mit der 3D-Oberflächeninspektion präzise detektieren. Die dreidimensionalen Messdaten sind somit für automatisierte Qualitätskontrollen sowie für die Überprüfung von Maßhaltigkeit und Vollständigkeit geeignet.
Grundlagen der 3D-Bildaufnahme
3D-Sensoren stellen die Messdaten als 3D-Punktwolke bereit und können abhängig vom Sensormodell zusätzlich Intensitätswerte ausgeben. In der industriellen 3D-Bildverarbeitung kommen unter anderem 2D-/3D-Profilsensoren und Snapshot-Sensoren zum Einsatz.
2D-/3D-Profilsensoren projizieren eine Laserlinie auf das Messobjekt und erfassen einzelne 2D-Höhenprofile. Durch die Relativbewegung zwischen Sensor und Objekt werden die nacheinander aufgenommenen Profile zu einer vollständigen 3D-Punktwolke zusammengesetzt. Dieses Verfahren eignet sich besonders für die kontinuierliche Vermessung bewegter Objekte, beispielsweise auf Förderbändern oder in Produktionslinien.
3D-Sensoren erfassen das gesamte Messvolumen in einer einzigen Aufnahme. Um eine vollständige 3D-Punktwolke zu erzeugen, darf sich das Objekt während der Aufnahme nicht bewegen. Dieses Verfahren eignet sich daher besonders für hochauflösende Messungen statischer Objekte, sowie zur Erfassung feinster Oberflächendetails.
Koordinatensysteme für die Verarbeitung von 3D-Daten
Für die räumliche Verarbeitung von 3D-Daten sind Koordinatensysteme von zentraler Bedeutung. Die vom 3D-Sensor erfassten Messpunkte beziehen sich auf das Koordinatensystem des Sensors. Das Sensor-Koordinatensystem definiert die Position jedes Messpunkts in Bezug auf die Lage und Ausrichtung des Sensors und bildet die Grundlage für die weitere Verarbeitung der Tiefendaten.
Damit Roboter, Anlagen oder Bildverarbeitungssysteme die erfassten Daten verwenden können, müssen diese in ein globales oder anlagenbezogenes Koordinatensystem übertragen werden. So lassen sich Objektpositionen, Bewegungen und Greifpunkte eindeutig innerhalb der Applikation bestimmen.
Hand-Auge-Kalibrierung für Robot Vision
Bei Robot-Vision-Anwendungen müssen die Koordinatensysteme des 3D-Sensors und des Roboters miteinander verknüpft sein. Die Hand-Auge-Kalibrierung bestimmt die geometrische Transformation zwischen beiden Systemen. Dadurch kann der Roboter die vom Sensor erfassten 3D-Positionen in seinem eigenen Koordinatensystem interpretieren und gezielt anfahren.
Je nach Anwendung wird zwischen zwei Varianten unterschieden:
Eye-to-Hand
Beim Eye-to-Hand-Verfahren ist der Sensor fest im Arbeitsraum montiert und betrachtet den Arbeitsbereich des Roboters. Mithilfe der Kalibrierung wird seine Position und Ausrichtung relativ zur Roboterbasis bestimmt.
Eye-in-Hand
Bei Eye-in-Hand hingegen befindet sich der Sensor direkt am Roboterarm und bewegt sich mit. Hier wird seine Position relativ zum Werkzeugmittelpunkt (TCP) bestimmt.
Die Kalibrierung erfolgt über definierte Referenzobjekte oder Kalibriermuster, die sowohl vom Robotersystem als auch vom 3D-Sensor erfasst werden. Aus den erfassten Positionen wird die Transformation zwischen den Koordinatensystemen berechnet. Anschließend können die erkannten Bildkoordinaten vom Sensor-Koordinatensystem in Roboterkoordinaten übertragen werden. Bereits geringe Abweichungen in der Kalibrierung können dabei zu Positionsfehlern bei der Steuerung des Greifers oder der Bahnplanung führen.
Hand-Auge-Kalibrierung mit Sensoren der M3DS-Serie
Für die Integration in Robotik- und Bildverarbeitungssysteme stehen auf GitHub verschiedene Projekt- und Kalibrierbeispiele zur Verfügung. Diese umfassen unter anderem Referenzimplementierungen für Hand-Auge-Kalibrierungen und Transformationen von 3D-Koordinatensystemen. Dadurch können typische Integrations- und Kalibrierprozesse nachvollzogen und die bereitgestellten Beispiele direkt für eigene Anwendung genutzt werden.
Arbeitsabstand und Messbereich von 3D-Sensoren
Arbeitsabstand
Der Arbeitsabstand gibt die Entfernung zwischen dem 3D-Sensor und dem zu erfassenden Objekt an. Direkt vor dem Sensor befindet sich der Blindbereich (1). Aufgrund der geometrischen Anordnung von Kamera und Lichtprojektion ist dort keine 3D-Erfassung möglich. Der nutzbare Messbereich (2) beginnt ab einem definierten Mindestabstand und endet am maximalen Arbeitsabstand. Außerhalb dieses Bereichs können keine gültigen Messdaten erzeugt werden.
Messbereich
Der Messbereich eines triangulationsbasierten 3D-Sensors hat die Form eines Pyramidenstumpfs. Mit zunehmendem Abstand zum Sensor wird das Messfeld in x- und y-Richtung größer. Dadurch lassen sich im Fernbereich größere Objekte oder Szenen erfassen.
Gleichzeitig verteilen sich die Messpunkte auf eine größere Fläche, sodass der Abstand zwischen den benachbarten Punkten größer wird. Im Nahbereich ist die Punktdichte einer 3D-Punktwolke daher höher und feine Strukturen können detaillierter erfasst werden.
Auch die Tiefenauflösung in z-Richtung hängt vom Arbeitsabstand ab. Mit zunehmender Entfernung sinkt die geometrische Empfindlichkeit der Triangulation, sodass kleine Höhenunterschiede im Nahbereich besser detektieren werden können.
Wie entsteht eine 3D-Punktwolke?
3D-Sensoren nutzen strukturiertes Licht, um Lichtmuster auf ein Objekt zu projizieren. Die Verformungen dieser Muster gibt Rückschlüsse auf die Kontur des Objekts. Anschließend erfasst eine Kamera die Verformung des Musters auf der Oberfläche. Aus ihrer Verschiebung berechnet der Sensor mithilfe der optischen Triangulation die Tiefeninformationen und erzeugt daraus eine 3D-Punktwolke.
Schritt 1 – Projektion eines Lichtmusters
Die integrierte Light Engine projiziert nacheinander definierte Lichtmuster auf die Oberfläche eines Objekts. Das Muster dient dabei als festgelegte Referenzstruktur für die spätere Tiefenberechnung. Die 3D-Sensoren von wenglor verwenden blaues Licht, da dessen kürzere Wellenlänge eine höhere optische Präzision ermöglicht und gleichzeitig weniger empfindlich gegenüber Umgebungslicht reagiert. Dadurch lassen sich auch feine Oberflächenstrukturen stabil und kontrastreich erfassen.
Étape 2 – Déformation du motif lumineux sur l’objet
Si le motif lumineux structuré rencontre un objet, celui-ci est déformé en fonction de propriétés géométriques. Les différences de hauteur, les arêtes et les creux entraînent un déplacement des bandes projetées sur l’image de la caméra. La déformation du motif fournit des informations sur la forme et la profondeur de l’objet.
Les surfaces lisses, structurées ou fortement réfléchissantes peuvent influencer la qualité de l’image du motif, donc également le calcul de profondeur ultérieur.
Étape 3 – Capture du motif lumineux par la caméra
La caméra enregistre ensuite les motifs lumineux projetés à partir d’un angle défini. Pendant l’enregistrement, le système analyse la position exacte et la déformation des motifs projetés dans l’image. Un jeu de données complet de la scène est ainsi créé à partir de plusieurs images individuelles enregistrées. La lisibilité des motifs sur l’image de la caméra dépend, entre autres, du temps d’exposition, de la réflexion de la surface, de la lumière ambiante et de la résolution optique du capteur.
Étape 4 – Calcul de la profondeur par triangulation
La caméra et le projecteur éclairent l’objet mesuré sous différents angles. En combinaison avec un point de surface, ils forment un triangle géométrique. Les positions de la caméra et du projecteur l’une par rapport à l’autre étant connues, le capteur peut calculer la profondeur de chaque point de mesure à partir du déplacement des motifs enregistrés.
Ce procédé est appelé triangulation optique. Il constitue la base de la reconstruction spatiale de la surface visible de l’objet.
Étape 5 – Création du nuage de points
Sur la base des données d’étalonnage de la caméra, le capteur génère un nuage de points 3D à partir des valeurs de profondeur calculées. Chaque point de mesure est décrit par ses coordonnées x, y et z, ce qui lui confère une position unique dans l’espace. Ce nuage de points représente la structure de surface de l’objet de façon détaillée.
En outre, d’autres informations telles que les valeurs d’intensité ou dites de confiance peuvent être enregistrées. Les valeurs d’intensité fournissent des informations sur la luminosité ou les propriétés de réflexion, tandis que la valeur de confiance indique la qualité ou la fiabilité d’un point de mesure individuel.
Traitement de données 3D
La projection d’une lumière structurée permet d’utiliser différentes méthodes de reconstruction pour générer des données 3D. La méthode par bandes et la méthode par phases se distinguent par le type de motifs projetés et leur interprétation. Les deux procédés utilisent des séquences codées en niveaux de gris qui permettent d’affecter clairement les motifs lumineux projetés aux points de l’image détectés. Cette affectation constitue la base du calcul des valeurs de profondeur. La méthode adaptée à une tâche de mesure dépend, entre autres, du temps de capture nécessaire, des propriétés de la surface de l’objet et des réflexions ou de la lumière ambiante.
Comparaison des méthodes par bandes et par phases
Méthode par bandes
Selon la méthode par bandes, des bandes lumineuses clairement délimitées, contrastées et de différentes largeurs sont projetées sur la surface de l’objet. Compte tenu du contraste élevé, les motifs projetés peuvent être particulièrement bien détectés sur des surfaces sombres ou fortement réfléchissantes. Par ailleurs, les motifs binaires autorisent des temps d’exposition très courts, ce qui fait de cette méthode une solution particulièrement adaptée aux surfaces exigeantes.
Méthode par phases
Dans la méthode par phases, des motifs de bandes lumineuses sinusoïdales présentant différents déphasages sont projetés sur la surface de l’objet. Au lieu de bandes individuelles, la répartition continue de la luminosité des motifs projetés est analysée. Cela permet de déterminer la position d’un point de mesure avec une précision inférieur à un pixel et, ainsi, d’obtenir des données 3D particulièrement lisses, haute résolution et détaillées.
Visualisation de nuages de points en 3D
Représentation en fausses couleurs
En cas de réprésentation en fausses couleurs, différentes couleurs sont attribuées aux valeurs de profondeur du nuage de points 3D. Cela permet de visualiser les différences de hauteur et les contours de l’objet, et favorise une interprétation rapide des données de mesure.
Profil d’intensité
En plus des valeurs de profondeur, le capteur peut générer un profil d’intensité. Celui-ci correspond à une image classique en niveaux de gris et contient des informations sur les propriétés de réflexion de la surface.
Image de confiance
L’image de confiance indique la qualité ou la fiabilité des points de mesure individuels dans le nuage de points. Cela permet de détecter et d’analyser de manière ciblée les zones avec un calcul de profondeur incertain ou une mauvaise qualité du signal.
Paramètres d’enregistrement des capteurs 3D
Temps d’exposition
Gain
Sous-échantillonnage
Précisions selon VDI/VDE
Stack size
Le paramètre « stack size » (taille de la pile) indique le nombre de captures individuelles ou de projections de motifs utilisées pour une image 3D. Plus cette valeur est élevée, plus elle fournit d’informations sur l’image et permet de réduire le « bruit de la mesure ». Simultanément, le temps de capture augmente, ce qui réduit la vitesse de capture maximale atteignable.
Autres technologies 3D
Stéréo passive
Dans cette procédure, deux caméras capturent le même objet sous un angle. La captation de caractéristiques identiques par les deux caméras permet de calculer leur position spatiale dans l’espace sur la base du décalage de l’image. La difficulté réside dans l’identification du même point avec les deux caméras. Par exemple, si une surface à faible contraste est considérée comme un mur blanc, cette méthode n’est pas optimale.
Stéréo active
La structure correspond à celle de la stéréo passive. De plus, un motif (p. ex. des points répartis de façon aléatoire) est projeté sur la surface. Cela facilite l’association d’un point aux deux caméras.
Temps de vol
Dans cette procédure, la distance entre l’objet et le capteur est déterminée en fonction du temps de propagation de la lumière. Le capteur émet alors des impulsions lumineuses qui heurtent un objet et sont réfléchies par celui-ci. La distance est déterminée en fonction de la durée de réflexion des impulsions lumineuses. Cela permet de déterminer des informations de profondeur telles que des structures ou des distances d’objets.
Triangulation laser
Dans le cas de la triangulation laser, un laser projette une ligne sur l’objet, détecté par une caméra sous un angle défini. Le déplacement de la ligne laser sur l’image de la caméra permet de déterminer la hauteur de la surface de l’objet. Un seul profil est enregistré à la fois, l’objet ou le capteur doit donc être déplacé pour générer des données 3D complètes. Ce procédé se distingue par une précision élevée, mais dépend d’un mouvement relatif défini pendant la capture.
Comparaison des technologies
| Lumière structurée | Stéréo passive | Stéréo active | Temps de vol | |
|---|---|---|---|---|
| Résolution |  |
 |
|
 |
| Précision | |
|
|
|
| Lumière parasite | |
|
|
|
| Vitesse de mesure |  |
|
|
|
| Objets à contraste faible | |
|
|
|
| Obstruction/ombrage | |
|
|
|
|
Résolution
|
|||
|---|---|---|---|
|
Lumière structurée
|
Stéréo passive
|
Stéréo active
|
Temps de vol
|
|
Précision
|
|||
|
Lumière structurée
|
Stéréo passive
|
Stéréo active
|
Temps de vol
|
|
Lumière parasite
|
|||
|
Lumière structurée
|
Stéréo passive
|
Stéréo active
|
Temps de vol
|
|
Vitesse de mesure
|
|||
|
Lumière structurée
|
Stéréo passive
|
Stéréo active
|
Temps de vol
|
|
Objets à contraste faible
|
|||
|
Lumière structurée
|
Stéréo passive
|
Stéréo active
|
Temps de vol
|
|
Obstruction/ombrage
|
|||
|
Lumière structurée
|
Stéréo passive
|
Stéréo active
|
Temps de vol
|
Intégration aux systèmes industriels
Pour pouvoir utiliser un capteur 3D dans le cadre d’applications industrielles, il doit s’intégrer parfaitement aux systèmes d’automatisation, de robotique et de traitement d’images existants. Outre la saisie de données 3D proprement dite, des interfaces standardisées, des bibliothèques logicielles et des possibilités d’intégration flexibles jouent un rôle central. Les capteurs 3D modernes offrent à cet effet de nombreuses interfaces logicielles et de communication qui favorisent une intégration simple dans les environnements système les plus divers.
