Was ist ein 3D-Sensor?
Ein 3D-Sensor erfasst die räumliche Struktur und Oberfläche eines Objekts oder einer Szene. Neben den zweidimensionalen Ortsinformationen in x- und y-Richtung bestimmt er auch die Entfernung beziehungsweise Tiefe in einer dritten Raumrichtung (z). Dadurch entstehen dreidimensionale Daten, beispielsweise in Form einer Tiefenkarte oder Punktewolke. Auf dieser Grundlage lassen sich unter anderem Abmessungen, Positionen, Volumen und die Oberflächengeometrie von Objekten bestimmen.
Wann wird 3D-Bildverarbeitung eingesetzt?
Bei der 2D-Bildverarbeitung werden Merkmale wie Helligkeit, Farbe und Kontur innerhalb einer Ebene erfasst. Sind zusätzliche Informationen zur Lage, Höhe oder Form eines Objekts erforderlich, kommen 3D-Sensoren zum Einsatz. Die Messdaten ermöglichen die 3D-Objekterkennung, Volumenbestimmung, Roboterführung sowie die automatisierte Qualitätskontrolle. Typische Einsatzgebiete sind Bin Picking, Depalettierung, robotergestützte Pick-and-Place-Prozesse und die 3D-Oberflächeninspektion.
2D-Bilderfassung
3D-Bilderfassung
Typische Anwendungen mit 3D-Sensoren
Bin Picking
Beim Bin Picking entnimmt ein Roboter ungeordnete Objekte aus einem Behälter oder einer Kiste. Ein 3D-Sensor erfasst die Lage und Ausrichtung und erzeugt eine 3D-Punktewolke ihrer sichtbaren Oberfläche. Anschließend kann das Robotersystem die geeignete Greifposition bestimmen und die Bauteile gezielt entnehmen. Dieses Verfahren eignet sich insbesondere für Objekte mit komplexen Geometrien oder variierenden Positionen.
Depalettierung
3D-Sensoren unterstützen die Depalettierung von Kartons, Behältern oder Produkten von einer Palette. Mithilfe räumlicher Daten werden Höhenunterschiede, Objektpositionen und Stapelmuster erkannt, sodass die Objekte präzise durch den Roboter entnommen werden können. Dadurch lassen sich auch unregelmäßige oder gemischte Beladungen zuverlässig verarbeiten.
3D-Oberflächeninspektion
Dellen, Verformungen, Montagefehler und Höhenunterschiede lassen sich unabhängig von Farbe oder Kontrast mit der 3D-Oberflächeninspektion präzise detektieren. Die dreidimensionalen Messdaten sind somit für automatisierte Qualitätskontrollen sowie für die Überprüfung von Maßhaltigkeit und Vollständigkeit geeignet.
Grundlagen der 3D-Bildaufnahme
3D-Sensoren stellen die Messdaten als 3D-Punktwolke bereit und können abhängig vom Sensormodell zusätzlich Intensitätswerte ausgeben. In der industriellen 3D-Bildverarbeitung kommen unter anderem 2D-/3D-Profilsensoren und Snapshot-Sensoren zum Einsatz.
2D-/3D-Profilsensoren projizieren eine Laserlinie auf das Messobjekt und erfassen einzelne 2D-Höhenprofile. Durch die Relativbewegung zwischen Sensor und Objekt werden die nacheinander aufgenommenen Profile zu einer vollständigen 3D-Punktwolke zusammengesetzt. Dieses Verfahren eignet sich besonders für die kontinuierliche Vermessung bewegter Objekte, beispielsweise auf Förderbändern oder in Produktionslinien.
3D-Sensoren erfassen das gesamte Messvolumen in einer einzigen Aufnahme. Um eine vollständige 3D-Punktewolke zu erzeugen, darf sich das Objekt während der Aufnahme nicht bewegen. Dieses Verfahren eignet sich daher besonders für hochauflösende Messungen statischer Objekte, sowie zur Erfassung feinster Oberflächendetails.
Koordinatensysteme für die Verarbeitung von 3D-Daten
Für die räumliche Verarbeitung von 3D-Daten sind Koordinatensysteme von zentraler Bedeutung. Die vom 3D-Sensor erfassten Messpunkte beziehen sich auf das Koordinatensystem des Sensors. Das Sensor-Koordinatensystem definiert die Position jedes Messpunkts in Bezug auf die Lage und Ausrichtung des Sensors und bildet die Grundlage für die weitere Verarbeitung der Tiefendaten.
Damit Roboter, Anlagen oder Bildverarbeitungssysteme die erfassten Daten verwenden können, müssen diese in ein globales oder anlagenbezogenes Koordinatensystem übertragen werden. So lassen sich Objektpositionen, Bewegungen und Greifpunkte eindeutig innerhalb der Applikation bestimmen.
Hand-Auge-Kalibrierung für Robot Vision
Bei Robot-Vision-Anwendungen müssen die Koordinatensysteme des 3D-Sensors und des Roboters miteinander verknüpft sein. Die Hand-Auge-Kalibrierung bestimmt die geometrische Transformation zwischen beiden Systemen. Dadurch kann der Roboter die vom Sensor erfassten 3D-Positionen in seinem eigenen Koordinatensystem interpretieren und gezielt anfahren.
Je nach Anwendung wird zwischen zwei Varianten unterschieden:
Eye-to-Hand
Beim Eye-to-Hand-Verfahren ist der Sensor fest im Arbeitsraum montiert und betrachtet den Arbeitsbereich des Roboters. Mithilfe der Kalibrierung wird seine Position und Ausrichtung relativ zur Roboterbasis bestimmt.
Eye-in-Hand
Bei Eye-in-Hand hingegen befindet sich der Sensor direkt am Roboterarm und bewegt sich mit. Hier wird seine Position relativ zum Werkzeugmittelpunkt (TCP) bestimmt.
Die Kalibrierung erfolgt über definierte Referenzobjekte oder Kalibriermuster, die sowohl vom Robotersystem als auch vom 3D-Sensor erfasst werden. Aus den erfassten Positionen wird die Transformation zwischen den Koordinatensystemen berechnet. Anschließend können die erkannten Bildkoordinaten vom Sensor-Koordinatensystem in Roboterkoordinaten übertragen werden. Bereits geringe Abweichungen in der Kalibrierung können dabei zu Positionsfehlern bei der Steuerung des Greifers oder der Bahnplanung führen.
Hand-Auge-Kalibrierung mit Sensoren der M3DS-Serie
Für die Integration in Robotik- und Bildverarbeitungssysteme stehen auf GitHub verschiedene Projekt- und Kalibrierbeispiele zur Verfügung. Diese umfassen unter anderem Referenzimplementierungen für Hand-Auge-Kalibrierungen und Transformationen von 3D-Koordinatensystemen. Dadurch können typische Integrations- und Kalibrierprozesse nachvollzogen und die bereitgestellten Beispiele direkt für eigene Anwendung genutzt werden.
Arbeitsabstand und Messbereich von 3D-Sensoren
Arbeitsabstand
Der Arbeitsabstand gibt die Entfernung zwischen dem 3D-Sensor und dem zu erfassenden Objekt an. Direkt vor dem Sensor befindet sich der Blindbereich (1). Aufgrund der geometrischen Anordnung von Kamera und Lichtprojektion ist dort keine 3D-Erfassung möglich. Der nutzbare Messbereich (2) beginnt ab einem definierten Mindestabstand und endet am maximalen Arbeitsabstand. Außerhalb dieses Bereichs können keine gültigen Messdaten erzeugt werden.
Messbereich
Der Messbereich eines triangulationsbasierten 3D-Sensors hat die Form eines Pyramidenstumpfs. Mit zunehmendem Abstand zum Sensor wird das Messfeld in x- und y-Richtung größer. Dadurch lassen sich im Fernbereich größere Objekte oder Szenen erfassen.
Gleichzeitig verteilen sich die Messpunkte auf eine größere Fläche, sodass der Abstand zwischen den benachbarten Punkten größer wird. Im Nahbereich ist die Punktdichte einer 3D-Punktwolke daher höher und feine Strukturen können detaillierter erfasst werden.
Auch die Tiefenauflösung in z-Richtung hängt vom Arbeitsabstand ab. Mit zunehmender Entfernung sinkt die geometrische Empfindlichkeit der Triangulation, sodass kleine Höhenunterschiede im Nahbereich besser detektieren werden können.
Wie entsteht eine 3D-Punktwolke?
3D-Sensoren nutzen strukturiertes Licht, um Lichtmuster auf ein Objekt zu projizieren. Die Verformungen dieser Muster gibt Rückschlüsse auf die Kontur des Objekts. Anschließend erfasst eine Kamera die Verformung des Musters auf der Oberfläche. Aus ihrer Verschiebung berechnet der Sensor mithilfe der optischen Triangulation die Tiefeninformationen und erzeugt daraus eine 3D-Punktewolke.
Schritt 1 – Projektion eines Lichtmusters
Die integrierte Light Engine projiziert nacheinander definierte Lichtmuster auf die Oberfläche eines Objekts. Das Muster dient dabei als festgelegte Referenzstruktur für die spätere Tiefenberechnung. Die 3D-Sensoren von wenglor verwenden blaues Licht, da dessen kürzere Wellenlänge eine höhere optische Präzision ermöglicht und gleichzeitig weniger empfindlich gegenüber Umgebungslicht reagiert. Dadurch lassen sich auch feine Oberflächenstrukturen stabil und kontrastreich erfassen.
Schritt 2 – Verformung des Lichtmusters auf dem Objekt
Trifft das strukturierte Lichtmuster auf ein Objekt, wird dieses abhängig von der Geometrie räumlich verzerrt. Höhenunterschiede, Kanten und Vertiefungen führen zu einer Verschiebung der projizierten Streifen im Kamerabild. Die Verformung des Musters enthält Informationen über die Form und Tiefe des Objekts.
Glatte, strukturierte oder stark reflektierende Oberflächen können die Qualität der Musterabbildung beeinflussen und wirken sich somit auch auf die spätere Tiefenberechnung aus.
Schritt 3 – Aufnahme des Lichtmusters durch die Kamera
Anschließend erfasst die Kamera die projizierten Lichtmuster aus einem festgelegten Winkel auf. Während der Aufnahme analysiert das System die exakte Position und Verformung der projizierten Muster im Bild. Aus mehreren aufgenommenen Einzelbildern entsteht dabei ein vollständiger Datensatz der Szene. Wie deutlich die Muster im Kamerabild erkennbar sind, hängt unter anderem von der Belichtungszeit, der Oberflächenreflexion, dem Umgebungslicht und der optischen Auflösung des Sensors ab.
Schritt 4 – Berechnung des Tiefenwerts durch Triangulation
Die Kamera und der Projektor betrachten das Messobjekt aus verschiedenen Winkeln. Zusammen mit einem Oberflächenpunkt bilden sie ein geometrisches Dreieck. Da die Positionen von Kamera und Projektor zueinander bekannt sind, kann der Sensor aus der Verschiebung der aufgenommenen Muster den Tiefenwert jedes einzelnen Messpunkts berechnen.
Dieses Verfahren wird als optische Triangulation bezeichnet und bildet die Grundlage für die räumliche Rekonstruktion der sichtbaren Objektoberfläche.
Schritt 5 – Erzeugung der Punktewolke
Auf Basis der Kamerakalibrierung erzeugt der Sensor aus den berechneten Tiefenwerten eine 3D-Punktewolke. Jeder Messpunkt wird durch seine x-, y- und z-Koordinaten beschrieben und erhält damit eine eindeutige Position im Raum. Die Punktewolke bildet somit die Oberflächenstruktur des Objekts detailgetreu ab.
Zusätzlich können weitere Informationen wie Intensitäts- oder sogenannte Konfidenzwerte gespeichert werden. Während Intensitätsdaten Informationen über die Helligkeit beziehungsweise die Reflexionseigenschaften liefern, gibt der Konfidenzwert die Qualität oder Zuverlässigkeit eines einzelnen Messpunkts an.
Verarbeitung von 3D-Daten
Bei der strukturierten Lichtprojektion können verschiedene Rekonstruktionsverfahren zur Erzeugung von 3D-Daten verwendet werden. Die Streifenmethode und die Phasenmethode unterscheiden sich in der Art der projizierten Muster und deren Auswertung. Beide Verfahren nutzen Gray-Code-Sequenzen, durch die sich die projizierten Lichtmuster eindeutig den erfassten Bildpunkten zuordnen lassen. Diese Zuordnung bildet die Grundlage für die Berechnung der Tiefenwerte. Welches Verfahren sich für eine Messaufgabe eignet, hängt unter anderem von der erforderlichen Aufnahmezeit, der Beschaffenheit der Objektoberfläche und von Reflexionen oder dem Umgebungslicht ab.
Streifen- und Phasenmethode im Vergleich
Streifenmethode
Bei der Streifenmethode werden klar voneinander abgegrenzte und kontrastreiche Lichtstreifen unterschiedlicher Breite auf die Objektoberfläche projiziert. Aufgrund des hohen Kontrasts können die projizierten Muster besonders gut auf dunklen oder stark reflektierenden Oberflächen erkannt werden. Gleichzeitig ermöglichen die binären Muster sehr kurze Belichtungszeiten, wodurch sich die Methode besonders für anspruchsvolle Oberflächen eignet.
Phasenmethode
Bei der Phasenmethode werden sinusförmige Lichtstreifenmuster mit unterschiedlichen Phasenverschiebungen auf die Objektoberfläche projiziert. Anstatt einzelner Streifen wird dabei die kontinuierliche Helligkeitsverteilung der projizierten Muster ausgewertet. Dadurch lässt sich die Position eines Messpunkts subpixelgenau bestimmen, was besonders glatte, hochauflösende und detailreiche 3D-Daten ermöglicht.
Visualisierung der 3D-Punktewolke
Falschfarbendarstellung
Bei der Falschfarbendarstellung werden den Tiefenwerten der 3D-Punktewolke verschiedene Farben zugeordnet. Dadurch werden Höhenunterschiede und Objektkonturen visualisiert, was eine schnelle Interpretation der Messdaten ermöglicht.
Intensitätsbild
Zusätzlich zu den Tiefenwerten kann der Sensor ein Intensitätsbild erzeugen. Dieses entspricht einer klassischen Grauwertaufnahme und enthält Informationen über die Reflexionseigenschaften der Oberfläche.
Konfidenzbild
Das Konfidenzbild zeigt die Qualität beziehungsweise die Zuverlässigkeit einzelner Messpunkte innerhalb der Punktewolke an. Dadurch können Bereiche mit unsicherer Tiefenberechnung oder schlechter Signalqualität gezielt erkannt und bewertet werden.
Aufnahmeparameter von 3D-Sensoren
Belichtungszeit
Gain
Subsampling
Genauigkeitsangaben nach VDI/VDE
Stack Size
Die Stack Size gibt an, wie viele Einzelaufnahmen beziehungsweise Musterprojektionen für eine 3D-Aufnahme verwendet werden. Eine größere Stack Size stellt mehr Bildinformationen bereit und kann Messrauschen reduzieren. Gleichzeitig verlängert sich die Aufnahmezeit, wodurch die maximal erreichbare Aufnahmegeschwindigkeit abnimmt.
Weitere 3D-Technologien
Passives Stereo
Bei diesem Verfahren betrachten zwei Kameras dasselbe Objekt unter einem Winkel. Indem dieselben Merkmale von beiden Kameras aufgenommen werden, kann aus ihrer Bildverschiebung die räumliche Position des Merkmals im Raum berechnet werden. Hierbei besteht die Schwierigkeit, denselben Punkt mit beiden Kameras zu identifizieren. Wird beispielsweise eine kontrastarme Fläche wie eine weiße Wand betrachtet, so ist diese Methode suboptimal.
Aktives Stereo
Der Aufbau entspricht dem des passiven Stereos. Zusätzlich wird ein Muster (z. B. zufällig verteilte Punkte) auf die Oberfläche projiziert. Das erleichtert die Zuordnung eines Punkts beider Kameras.
Time-of-Flight
In diesem Verfahren wird der Abstand zwischen Objekt und Sensor anhand der Lichtlaufzeit bestimmt. Hierbei sendet der Sensor Lichtimpulse aus, die auf ein Objekt treffen und von diesem reflektiert werden. Abhängig von der Dauer der Reflexion der Lichtimpulse wird der Abstand ermittelt. Damit können Tiefeninformationen wie Strukturen oder Entfernungen von Gegenständen ermittelt werden.
Lasertriangulation
Bei der Lasertriangulation projiziert ein Laser eine Linie auf das Objekt, die von einer Kamera unter einem definierten Winkel erfasst wird. Durch die Verschiebung der Laserlinie im Kamerabild kann die Höhe der Objektoberfläche bestimmt werden. Da immer nur ein einzelnes Profil aufgenommen wird, muss entweder das Objekt oder der Sensor bewegt werden, um vollständige 3D-Daten zu erzeugen. Das Verfahren zeichnet sich durch eine hohe Genauigkeit aus, ist jedoch auf eine definierte Relativbewegung während der Aufnahme angewiesen.
Technologien im Vergleich
| Strukturiertes Licht | Passives Stereo | Aktives Stereo | Time of Flight | |
|---|---|---|---|---|
| Auflösung |  |
 |
|
 |
| Genauigkeit | |
|
|
|
| Fremdlicht | |
|
|
|
| Messgeschwindigkeit |  |
|
|
|
| Kontrastarme Objekte | |
|
|
|
| Obstruktion/Verschattung | |
|
|
|
|
Auflösung
|
|||
|---|---|---|---|
|
Strukturiertes Licht
|
Passives Stereo
|
Aktives Stereo
|
Time of Flight
|
|
Genauigkeit
|
|||
|
Strukturiertes Licht
|
Passives Stereo
|
Aktives Stereo
|
Time of Flight
|
|
Fremdlicht
|
|||
|
Strukturiertes Licht
|
Passives Stereo
|
Aktives Stereo
|
Time of Flight
|
|
Messgeschwindigkeit
|
|||
|
Strukturiertes Licht
|
Passives Stereo
|
Aktives Stereo
|
Time of Flight
|
|
Kontrastarme Objekte
|
|||
|
Strukturiertes Licht
|
Passives Stereo
|
Aktives Stereo
|
Time of Flight
|
|
Obstruktion/Verschattung
|
|||
|
Strukturiertes Licht
|
Passives Stereo
|
Aktives Stereo
|
Time of Flight
|
Integration in industrielle Systeme
Damit ein 3D-Sensor in industriellen Anwendungen eingesetzt werden kann, muss er sich nahtlos in bestehende Automatisierungs-, Robotik- und Bildverarbeitungssysteme integrieren lassen. Neben der eigentlichen 3D-Datenerfassung spielen dabei standardisierte Schnittstellen, Softwarebibliotheken und flexible Integrationsmöglichkeiten eine zentrale Rolle. Moderne 3D-Sensoren bieten hierfür umfangreiche Software- und Kommunikationsschnittstellen, die eine einfache Einbindung in unterschiedlichste Systemumgebungen ermöglichen.
