Bir 3D sensör nedir?
Bir 3D sensör, bir objenin veya sahnenin mekansal yapısını ve yüzeyini algılar. x ve y yönündeki iki boyutlu yer bilgilerinin yanı sıra üçüncü bir uzay yönündeki (z) mesafeyi veya derinliği de belirler. Bu sayede örneğin bir derinlik haritası veya nokta bulutu şeklinde üç boyutlu veriler elde edilir. Buna dayanarak objelerin boyutları, konumları, hacimleri ve yüzey geometrisi belirlenebilir.
3D görüntü işleme ne zaman kullanılır?
2D görüntü işlemede parlaklık, renk ve kontur gibi özellikler tek bir düzlem içinde kaydedilir. Bir objenin konumu, yüksekliği veya şekli hakkında ek bilgilere ihtiyaç duyulduğunda 3D sensörler kullanılır. Ölçüm verileri 3D obje algılama, hacim belirleme, robotik yönlendirme ve otomatik kalite kontrolü sağlar. Tipik uygulama alanları arasında Bin Picking, Depalleting, robotik Pick-and-Place ve 3D yüzey denetimi yer alır.
2D görüntü algılama
3D görüntü algılama
3D sensörlerle tipik uygulamalar
Bin Picking
Bin Picking'de bir robot, bir konteynerden veya kutudan düzensiz objeleri alır. Bir 3D sensör konumu ve hizalamayı algılar ve görünür yüzeyinin bir 3D nokta bulutu oluşturur. Ardından robot sistemi uygun kavrama pozisyonunu belirleyebilir ve bileşenleri hedefe yönelik olarak çıkarabilir. Bu yöntem özellikle karmaşık geometrilere veya farklı konumlara sahip objeler için uygundur.
Paletten alma
3D sensörler, kartonların, konteynerlerin veya ürünlerin paletten alınmasını destekler. Mekansal veriler sayesinde yükseklik farkları, obje konumları ve istifleme desenleri algılanır, böylece objeler robot tarafından hassas bir şekilde alınabilir. Bu sayede düzensiz veya karışık yüklemeler de güvenilir şekilde işlenebilir.
3D yüzey denetimi
Çukurlar, deformasyonlar, montaj hataları ve yükseklik farkları, renk veya kontrasttan bağımsız olarak 3D yüzey denetimi ile hassas bir şekilde tespit edilebilir. Bu sayede üç boyutlu ölçüm verileri, otomatik kalite kontrolleri, boyutsal doğruluk ve eksiksizlik kontrolleri için uygundur.
3D görüntü kaydının temelleri
3D sensörler, ölçüm verilerini 3D nokta bulutu olarak sunar ve sensör modeline bağlı olarak ek yoğunluk değerleri verebilir. Endüstriyel 3D görüntü işlemede 2D/3D profil sensörleri ve anlık görüntü sensörleri kullanılır.
2D/3D profil sensörleri, ölçüm objesine bir lazer çizgisi yansıtır ve münferit 2D yükseklik profillerini algılar. Sensör ve obje arasındaki göreceli hareket sayesinde, birbiri ardına kaydedilen profiller eksiksiz bir 3D nokta bulutu oluşturur. Bu yöntem özellikle konveyör bantları veya üretim hatları gibi hareketli objelerin sürekli ölçümü için uygundur.
3D sensörler tüm ölçüm hacmini tek bir kayıtta algılar. Eksiksiz bir 3D nokta bulutu oluşturmak için, kayıt sırasında obje hareket etmemelidir. Bu yöntem, özellikle statik objelerin yüksek çözünürlüklü ölçümleri ve en ince yüzey ayrıntılarının tespiti için uygundur.
3D veri işleme için koordinat sistemleri
3D verilerin mekansal olarak işlenmesi için koordinat sistemleri çok önemlidir. 3D sensör tarafından algılanan ölçüm noktaları, sensörün koordinat sistemine göre belirlenir. Sensör koordinat sistemi, her ölçüm noktasının konumunu sensörün konumuna ve yönüne göre tanımlar ve derinlik verilerinin daha fazla işlenmesi için temeli oluşturur.
Robotların, tesislerin veya görüntü işleme sistemlerinin toplanan verileri kullanabilmesi için bu verilerin global veya tesise özgü bir koordinat sistemine aktarılması gerekir. Bu sayede obje konumları, hareketler ve kavrama noktaları uygulama içinde net bir şekilde belirlenebilir.
Robot Vision için el ve göz kalibrasyonu
Robot Vision uygulamalarında 3D sensörün ve robotun koordinat sistemleri birbirine bağlı olmalıdır. El ve göz kalibrasyonu, iki sistem arasındaki geometrik dönüşümü belirler. Bu sayede robot, sensör tarafından algılanan 3D konumları kendi koordinat sisteminde yorumlayabilir ve hedefe doğru hareket edebilir.
Uygulamaya bağlı olarak iki varyasyon arasında ayrım yapılır:
Eye-to-Hand
Eye-to-Hand (Elden Göze) yönteminde sensör çalışma alanına sabit olarak monte edilir ve robotun çalışma aralığını izler. Kalibrasyon, robot tabanına göre konumunu ve yönünü belirlemek için kullanılır.
Eye-in-Hand
Eye-in-Hand'da (El içi Göz) ise sensör doğrudan robot kolunda bulunur ve birlikte hareket eder. Burada takım merkezine (TCP) göre konumu belirlenir.
Kalibrasyon, hem robot sistemi hem de 3D sensör tarafından algılanan tanımlanmış referans objeler veya kalibrasyon desenleri üzerinden gerçekleştirilir. Algılanan konumlardan koordinat sistemleri arasındaki dönüşüm hesaplanır. Ardından algılanan görüntü koordinatları sensör koordinat sisteminden robot koordinatlarına aktarılabilir. Kalibrasyondaki en küçük sapmalar bile kavrayıcının kontrolünde veya hat planlamasında konum hatalarına neden olabilir.
M3DS serisi sensörlerle el ve göz kalibrasyonu
Robotik ve görüntü işleme sistemlerine entegrasyon için GitHub'da çeşitli proje ve kalibrasyon örnekleri mevcuttur. Bunlar arasında el ve göz kalibrasyonları ve 3D koordinat sistemlerinin dönüşümleri için referans uygulamaları yer alır. Bu sayede tipik entegrasyon ve kalibrasyon prosesleri anlaşılabilir ve sağlanan örnekler doğrudan kendi uygulamanız için kullanılabilir.
3D sensörlerin çalışma mesafesi ve ölçüm aralığı
Çalışma mesafesi
Ölçüm aralığı
Triangülasyon bazlı bir 3D sensörün ölçüm aralığı bir piramit ucu şeklindedir. Sensöre olan mesafe arttıkça ölçüm alanı x ve y yönünde büyür. Bu sayede uzak bölgede daha büyük objeler veya sahneler algılanabilir.
Aynı zamanda ölçüm noktaları daha büyük bir alana dağıtılır, böylece komşu noktalar arasındaki mesafe artar. Yakın alanda, 3D nokta bulutu daha yüksek nokta yoğunluğuna sahiptir ve ince yapılar daha ayrıntılı olarak yakalanabilir.
z yönündeki derinlik çözünürlüğü de çalışma mesafesine bağlıdır. Mesafe arttıkça triangülasyonun geometrik hassasiyeti azalır, böylece yakın alandaki küçük yükseklik farkları daha iyi algılanabilir.
3D nokta bulutu nasıl oluşur?
3D sensörler, bir objeye ışık desenleri yansıtmak için yapılandırılmış ışık kullanır. Bu desenlerin deformasyonları, objenin konturu hakkında sonuçlar verir. Ardından bir kamera, yüzeydeki desenin deformasyonunu algılar. Sensör, bunların kaydırılmasından derinlik bilgilerini optik triangülasyon yardımıyla hesaplar ve bunlardan bir 3D nokta bulutu oluşturur.
Adım 1 – Işık deseni projeksiyonu
Entegre ışık motoru (Light Engine), birbiri ardına tanımlanmış ışık desenlerini bir objenin yüzeyine yansıtır. Şablon, daha sonraki derinlik hesaplaması için belirlenmiş referans yapı olarak görev yapar. wenglor'un 3D sensörleri mavi ışık kullanır, çünkü daha kısa dalga boyu daha yüksek optik hassasiyet sağlar ve aynı zamanda ortam ışığına daha az duyarlıdır. Bu sayede ince yüzey yapıları da stabil ve kontrast açısından zengin bir şekilde algılanabilir.
Adım 2 – Objedeki ışık deseninin deformasyonu
Yapılandırılmış ışık deseni bir objeye çarparsa, bu obje geometriye bağlı olarak mekansal olarak bozulur. Yükseklik farkları, kenarlar ve girintiler, kamera görüntüsünde yansıtılan şeritlerin kaymasına neden olur. Desen deformasyonu, objenin şekli ve derinliği hakkında bilgi içerir.
Pürüzsüz, dokulu veya güçlü yansıtıcı yüzeyler, desen görüntüleme kalitesini etkileyebilir ve böylece daha sonraki derinlik hesaplamasını da etkileyebilir.
Paso 3: Captura del patrón de luz a través de la cámara
A continuación, la cámara registra los patrones de luz proyectados desde un ángulo determinado. Durante la captura, el sistema analiza la posición exacta y la deformación de los patrones proyectados en la imagen. A partir de varias imágenes individuales capturadas, se crea un conjunto completo de datos de la escena. La claridad de los patrones en la imagen de la cámara depende, entre otros factores, del tiempo de exposición, la reflexión superficial, la luz ambiental y la resolución óptica del sensor.
Paso 4: Cálculo del valor de profundidad mediante triangulación
La cámara y el proyector observan el objeto de medición desde diferentes ángulos. Junto con un punto superficial, forman un triángulo geométrico. Dado que las posiciones de la cámara y el proyector son conocidas entre sí, el sensor puede calcular la profundidad de cada punto de medición individual a partir del desplazamiento de los patrones capturados.
Este procedimiento se denomina triangulación óptica y constituye la base para la reconstrucción espacial de la superficie visible del objeto.
Paso 5: Generación de la nube de puntos
Basándose en la calibración de la cámara, el sensor genera una nube de puntos 3D a partir de los valores de profundidad calculados. Cada punto de medición se describe mediante sus coordenadas x, y, z; lo que le da una posición inequívoca en el espacio. La nube de puntos representa así la estructura superficial del objeto al detalle y con precisión.
Además, se puede almacenar información adicional, como valores de intensidad o los llamados valores de confianza. Mientras que los datos de intensidad proporcionan información sobre el brillo o las propiedades de reflexión, el valor de confianza indica la calidad o fiabilidad de un punto de medición individual.
Procesamiento de datos 3D
En la proyección de luz estructurada, se pueden utilizar diferentes métodos de reconstrucción para generar datos 3D. El método de franjas y el método de fases difieren en el tipo de patrones proyectados y su evaluación. Ambos procedimientos utilizan secuencias de código Gray que permiten asignar claramente los patrones de luz proyectados a los puntos de imagen registrados. Esta asignación constituye la base para el cálculo de los valores de profundidad. El método adecuado para una tarea de medición depende, entre otras cosas, del tiempo de captura necesario, de la naturaleza de la superficie del objeto y de las reflexiones o la luz ambiental.
Comparación del método de franjas y del método de fases
Método de franjas
En el método de franjas, se proyectan franjas de luz claramente separadas y de alto contraste de diferente anchura sobre la superficie del objeto. Debido al alto contraste, los patrones proyectados se pueden reconocer especialmente bien en superficies oscuras o muy reflectantes. Al mismo tiempo, los patrones binarios permiten tiempos de exposición muy cortos; lo que hace que el método sea especialmente adecuado para superficies exigentes.
Método de fases
En el método de fases, se proyectan patrones de franjas de luz sinusoidal con diferentes desplazamientos de fase en la superficie del objeto. En lugar de franjas individuales, se evalúa la distribución continua de la luminosidad de los patrones proyectados. Esto permite determinar la posición de un punto de medición con una precisión subpíxel, lo que permite obtener datos 3D especialmente lisos, de alta resolución y detallados.
Visualización de una nube de puntos 3D
Representación en falso color
En la representación en falso color, se asignan diferentes colores a los valores de profundidad de la nube de puntos 3D. De este modo, se visualizan las diferencias de altura y los contornos del objeto, lo que permite una rápida interpretación de los datos de medición.
Imagen de intensidad
Además de los valores de profundidad, el sensor puede generar una imagen de intensidad. Esto corresponde a una captura clásica de valores de gris y contiene información sobre las propiedades de reflexión de la superficie.
Imagen de confianza
La imagen de confianza muestra la calidad o fiabilidad de los puntos de medición individuales dentro de la nube de puntos. Esto permite detectar y evaluar específicamente áreas con un cálculo de profundidad incierto o una mala calidad de la señal.
Parámetros de captura de sensores 3D
Tiempo de exposición
Ganancia
Submuestreo
Información sobre la exactitud conforme a VDI/VDE
Stack Size
El Stack Size indica cuántas capturas únicas o proyecciones de patrones, respectivamente, se utilizan para una captura 3D. Un Stack Size mayor proporciona más información de imagen y puede reducir el ruido de medición. Al mismo tiempo, el tiempo de captura se prolonga, lo que reduce la velocidad de captura máxima alcanzable.
Otras tecnologías 3D
Estéreo pasivo
En este procedimiento, dos cámaras enfocan el mismo objeto bajo un ángulo. Al capturar las mismas características de ambas cámaras, el desplazamiento de la imagen permite calcular la posición espacial de la característica en el espacio. La dificultad reside en la identificación del mismo punto con ambas cámaras. Por ejemplo, para una superficie de bajo contraste como una pared blanca, este método no es el óptimo.
Estéreo activo
La estructura se corresponde con la del estéreo pasivo. Además, se proyecta un patrón (por ejemplo, puntos distribuidos aleatoriamente) sobre la superficie. Esto facilita la asignación de un punto a ambas cámaras.
Time-of-Flight
Mediante este procedimiento se determina la distancia entre el objeto y el sensor a partir del tiempo de recorrido de la luz. Para ello, el sensor emite impulsos luminosos que inciden sobre un objeto y son reflejados por este. La distancia se determina en función de la duración de la reflexión de los pulsos de luz. De este modo, se puede determinar información de profundidad, como estructuras o distancias de objetos.
Triangulación láser
En la triangulación láser, un láser proyecta una línea sobre el objeto que una cámara captura en un ángulo definido. Mediante el desplazamiento de la línea láser en la imagen de la cámara se puede determinar la altura de la superficie del objeto. Dado que solo se captura un perfil a la vez, es necesario mover el objeto o el sensor para generar datos 3D completos. El procedimiento se caracteriza por una alta exactitud, pero depende de un movimiento relativo definido durante la captura.
Comparación de tecnologías
| Luz estructurada | Estéreo pasivo | Estéreo activo | Time of Flight (tiempo de vuelo) | |
|---|---|---|---|---|
| Resolución |  |
 |
|
 |
| Exactitud | |
|
|
|
| Luz externa | |
|
|
|
| Velocidad de medición |  |
|
|
|
| Objetos de bajo contraste | |
|
|
|
| Obstrucción/sombreado | |
|
|
|
|
Resolución
|
|||
|---|---|---|---|
|
Luz estructurada
|
Estéreo pasivo
|
Estéreo activo
|
Time of Flight (tiempo de vuelo)
|
|
Exactitud
|
|||
|
Luz estructurada
|
Estéreo pasivo
|
Estéreo activo
|
Time of Flight (tiempo de vuelo)
|
|
Luz externa
|
|||
|
Luz estructurada
|
Estéreo pasivo
|
Estéreo activo
|
Time of Flight (tiempo de vuelo)
|
|
Velocidad de medición
|
|||
|
Luz estructurada
|
Estéreo pasivo
|
Estéreo activo
|
Time of Flight (tiempo de vuelo)
|
|
Objetos de bajo contraste
|
|||
|
Luz estructurada
|
Estéreo pasivo
|
Estéreo activo
|
Time of Flight (tiempo de vuelo)
|
|
Obstrucción/sombreado
|
|||
|
Luz estructurada
|
Estéreo pasivo
|
Estéreo activo
|
Time of Flight (tiempo de vuelo)
|
Integración en sistemas industriales
Para que un sensor 3D pueda utilizarse en aplicaciones industriales, debe integrarse perfectamente con los sistemas de automatización, robótica y procesamiento de imágenes existentes. Además de la captura de datos 3D propiamente dicha, las interfaces estandarizadas, las bibliotecas de software y las posibilidades de integración flexibles desempeñan un papel central al respecto. Para ello, los sensores 3D modernos ofrecen amplias interfaces de software y comunicación que permiten una integración sencilla en los más diversos entornos de sistema.
