¿Qué es un sensor 3D?
Un sensor 3D registra la estructura espacial y la superficie de un objeto o una escena. Además de la información de posición bidimensional en dirección x e y, también determina la distancia o la profundidad, respectivamente, en una tercera dirección espacial (z). Esto genera datos tridimensionales; por ejemplo, en forma de mapa de profundidad o nube de puntos. Sobre esta base se pueden determinar, entre otras cosas, las dimensiones, las posiciones, los volúmenes y la geometría de superficie de los objetos.
¿Cuándo se utiliza el procesamiento de imágenes 3D?
El procesamiento de imágenes 2D registra características como el brillo, el color y el contorno dentro de un plano. Si se necesita información adicional sobre la posición, la altura o la forma de un objeto, se utilizan sensores 3D. Los datos de medición permiten la detección de objetos 3D, la determinación de volumen, el guiado de robots y el control de calidad automatizado. Los campos de aplicación típicos son la recogida de piezas de una caja, la despaletización, los procesos robóticos de recogida y colocación y la inspección de superficies 3D.
Captura de imágenes 2D
Captura de imágenes 3D
Aplicaciones típicas con sensores 3D
Bin Picking
En el Bin Picking, un robot retira objetos desordenados de un contenedor o una caja. Un sensor 3D registra la posición y la orientación y genera una nube de puntos 3D de su superficie visible. A continuación, el sistema robótico puede determinar la posición de agarre adecuada y extraer los componentes de forma selectiva. Este procedimiento es especialmente adecuado para objetos con geometrías complejas o posiciones variables.
Despaletización
Los sensores 3D ayudan a despaletizar cajas de cartón, contenedores o productos de un palé. Con ayuda de datos espaciales se detectan diferencias de altura, las posiciones de los objetos y los patrones de apilado; lo que permite que el robot recoja los objetos con precisión. Esto permite procesar de forma fiable incluso cargas irregulares o mixtas.
Inspección de superficies 3D
Las abolladuras, las deformaciones, los errores de montaje y las diferencias de altura se pueden detectar con precisión independientemente del color o el contraste con la inspección de superficies 3D. Por lo tanto, los datos de medición tridimensionales son adecuados para controles de calidad automatizados, así como para la comprobación de la precisión dimensional y la integridad.
Fundamentos de la adquisición de imágenes 3D
Los sensores 3D proporcionan los datos de medición en forma de nube de puntos 3D y pueden emitir valores de intensidad adicionales en función del modelo de sensor. En el procesamiento industrial de imágenes 3D se utilizan, entre otros, sensores de perfiles 2D/3D y sensores snapshot.
Los sensores de perfiles 2D/3D proyectan una línea láser sobre el objeto de medición y registran perfiles de altura 2D individuales. Mediante el movimiento relativo entre el sensor y el objeto, los perfiles capturados uno tras otro se unen para formar una nube de puntos 3D completa. Este método es especialmente adecuado para la medición continua de objetos en movimiento, por ejemplo, en cintas transportadoras o líneas de producción.
Los sensores 3D registran todo el volumen de medida en una sola captura. Para crear una nube de puntos 3D completa, el objeto no debe moverse durante la captura. Por lo tanto, este procedimiento es especialmente adecuado para mediciones de alta resolución de objetos estáticos, así como para registrar los detalles de superficie más finos.
Sistemas de coordenadas para el procesamiento de datos 3D
Los sistemas de coordenadas son fundamentales para el procesamiento espacial de datos 3D. Los puntos de medición registrados por el sensor 3D se refieren al sistema de coordenadas del sensor. El sistema de coordenadas del sensor define la posición de cada punto de medición en relación con la posición y orientación del sensor y constituye la base para el procesamiento posterior de los datos de profundidad.
Para que los robots, las instalaciones o los sistemas de procesamiento de imágenes puedan utilizar los datos registrados, estos deben transferirse a un sistema de coordenadas global o relacionado con la instalación. De este modo, se pueden determinar claramente las posiciones de los objetos, los movimientos y los puntos de agarre dentro de la aplicación.
Calibración mano-ojo para Robot Vision
En las aplicaciones Robot Vision, los sistemas de coordenadas del sensor 3D y del robot deben estar vinculados entre sí. La calibración mano-ojo determina la transformación geométrica entre ambos sistemas. De este modo, el robot puede interpretar las posiciones 3D registradas por el sensor en su propio sistema de coordenadas y desplazarse de forma selectiva.
En función de la aplicación se diferencia entre dos variantes:
Eye-to-hand
En el procedimiento “eye-to-hand”, el sensor está montado de forma fija en el espacio de trabajo y observa el rango de trabajo del robot. Con ayuda de la calibración se determina su posición y orientación con respecto a la base del robot.
Eye-in-hand
Por el contrario, con “eye-in-hand”, el sensor se encuentra directamente en el brazo robótico y se mueve con él. En este caso, se determina su posición en relación con el punto central de la herramienta (TCP).
La calibración se realiza mediante objetos de referencia definidos o patrones de calibración que son registrados tanto por el sistema robótico como por el sensor 3D. A partir de las posiciones registradas, se calcula la transformación entre los sistemas de coordenadas. A continuación, las coordenadas de imagen detectadas del sistema de coordenadas del sensor se pueden transferir a las coordenadas del robot. Incluso pequeñas desviaciones en la calibración pueden provocar errores de posición en el control de la pinza o en la planificación de trayectorias.
Calibración mano-ojo con sensores de la serie M3DS
Para la integración en sistemas robóticos y sistemas de procesamiento de imágenes, GitHub ofrece varios ejemplos de proyectos y calibraciones. Estos incluyen, entre otros, implementaciones de referencia para calibraciones mano-ojo y transformaciones de sistemas de coordenadas 3D. Esto permite comprender los procesos típicos de integración y calibración, y utilizar los ejemplos proporcionados directamente para la aplicación propia.
Distancia de trabajo y rango de medición de los sensores 3D
Distancia de trabajo
Rango de medición
El rango de medición de un sensor 3D basado en triangulación tiene la forma de un tronco de pirámide. Cuanto mayor sea la distancia al sensor, mayor será el campo de medición en dirección x e y. Esto permite capturar objetos o escenas de mayor tamaño a distancia.
Al mismo tiempo, los puntos de medición se distribuyen sobre una superficie más grande, lo que aumenta la distancia entre los puntos adyacentes. Por lo tanto, en el área cercana, la densidad de puntos de una nube de puntos 3D es mayor y las estructuras finas se pueden registrar con más detalle.
La resolución de profundidad en la dirección z también depende de la distancia de trabajo. A medida que aumenta la distancia, disminuye la sensibilidad geométrica de la triangulación; lo que permite detectar mejor pequeñas diferencias de altura a corta distancia.
¿Cómo se crea una nube de puntos 3D?
Los sensores 3D utilizan luz estructurada para proyectar patrones de luz sobre un objeto. Las deformaciones de estos patrones permiten sacar conclusiones sobre el contorno del objeto. A continuación, una cámara registra la deformación del patrón en la superficie. A partir de su desplazamiento, el sensor utiliza la triangulación óptica para calcular la información de profundidad y generar una nube de puntos 3D.
Paso 1: Proyección de un patrón de luz
El Light Engine integrado proyecta patrones de luz definidos sucesivamente en la superficie de un objeto. El patrón sirve como estructura de referencia definida para el cálculo posterior de la profundidad. Los sensores 3D de wenglor utilizan luz azul, ya que su longitud de onda más corta permite una mayor precisión óptica y, al mismo tiempo, es menos sensible a la luz ambiental. Esto permite registrar incluso estructuras superficiales finas de forma estable y con alto contraste.
Paso 2: Deformación del patrón de luz en el objeto
Si el patrón de luz estructurado incide sobre un objeto, este se distorsiona espacialmente en función de la geometría. Las diferencias de altura, los bordes y las cavidades provocan un desplazamiento de las franjas proyectadas en la imagen de la cámara. La deformación del patrón contiene información sobre la forma y la profundidad del objeto.
Las superficies lisas, texturizadas o muy reflectantes pueden afectar a la calidad de la imagen del patrón y, por lo tanto, también afectan al cálculo posterior de la profundidad.
Paso 3: Captura del patrón de luz a través de la cámara
A continuación, la cámara registra los patrones de luz proyectados desde un ángulo determinado. Durante la captura, el sistema analiza la posición exacta y la deformación de los patrones proyectados en la imagen. A partir de varias imágenes individuales capturadas, se crea un conjunto completo de datos de la escena. La claridad de los patrones en la imagen de la cámara depende, entre otros factores, del tiempo de exposición, la reflexión superficial, la luz ambiental y la resolución óptica del sensor.
Paso 4: Cálculo del valor de profundidad mediante triangulación
La cámara y el proyector observan el objeto de medición desde diferentes ángulos. Junto con un punto superficial, forman un triángulo geométrico. Dado que las posiciones de la cámara y el proyector son conocidas entre sí, el sensor puede calcular la profundidad de cada punto de medición individual a partir del desplazamiento de los patrones capturados.
Este procedimiento se denomina triangulación óptica y constituye la base para la reconstrucción espacial de la superficie visible del objeto.
Paso 5: Generación de la nube de puntos
Basándose en la calibración de la cámara, el sensor genera una nube de puntos 3D a partir de los valores de profundidad calculados. Cada punto de medición se describe mediante sus coordenadas x, y, z; lo que le da una posición inequívoca en el espacio. La nube de puntos representa así la estructura superficial del objeto al detalle y con precisión.
Además, se puede almacenar información adicional, como valores de intensidad o los llamados valores de confianza. Mientras que los datos de intensidad proporcionan información sobre el brillo o las propiedades de reflexión, el valor de confianza indica la calidad o fiabilidad de un punto de medición individual.
Procesamiento de datos 3D
En la proyección de luz estructurada, se pueden utilizar diferentes métodos de reconstrucción para generar datos 3D. El método de franjas y el método de fases difieren en el tipo de patrones proyectados y su evaluación. Ambos procedimientos utilizan secuencias de código Gray que permiten asignar claramente los patrones de luz proyectados a los puntos de imagen registrados. Esta asignación constituye la base para el cálculo de los valores de profundidad. El método adecuado para una tarea de medición depende, entre otras cosas, del tiempo de captura necesario, de la naturaleza de la superficie del objeto y de las reflexiones o la luz ambiental.
Comparación del método de franjas y del método de fases
Método de franjas
En el método de franjas, se proyectan franjas de luz claramente separadas y de alto contraste de diferente anchura sobre la superficie del objeto. Debido al alto contraste, los patrones proyectados se pueden reconocer especialmente bien en superficies oscuras o muy reflectantes. Al mismo tiempo, los patrones binarios permiten tiempos de exposición muy cortos; lo que hace que el método sea especialmente adecuado para superficies exigentes.
Método de fases
En el método de fases, se proyectan patrones de franjas de luz sinusoidal con diferentes desplazamientos de fase en la superficie del objeto. En lugar de franjas individuales, se evalúa la distribución continua de la luminosidad de los patrones proyectados. Esto permite determinar la posición de un punto de medición con una precisión subpíxel, lo que permite obtener datos 3D especialmente lisos, de alta resolución y detallados.
Visualización de una nube de puntos 3D
Representación en falso color
En la representación en falso color, se asignan diferentes colores a los valores de profundidad de la nube de puntos 3D. De este modo, se visualizan las diferencias de altura y los contornos del objeto, lo que permite una rápida interpretación de los datos de medición.
Imagen de intensidad
Además de los valores de profundidad, el sensor puede generar una imagen de intensidad. Esto corresponde a una captura clásica de valores de gris y contiene información sobre las propiedades de reflexión de la superficie.
Imagen de confianza
La imagen de confianza muestra la calidad o fiabilidad de los puntos de medición individuales dentro de la nube de puntos. Esto permite detectar y evaluar específicamente áreas con un cálculo de profundidad incierto o una mala calidad de la señal.
Parámetros de captura de sensores 3D
Tiempo de exposición
Ganancia
Submuestreo
Información sobre la exactitud conforme a VDI/VDE
Stack Size
El Stack Size indica cuántas capturas únicas o proyecciones de patrones, respectivamente, se utilizan para una captura 3D. Un Stack Size mayor proporciona más información de imagen y puede reducir el ruido de medición. Al mismo tiempo, el tiempo de captura se prolonga, lo que reduce la velocidad de captura máxima alcanzable.
Otras tecnologías 3D
Estéreo pasivo
En este procedimiento, dos cámaras enfocan el mismo objeto bajo un ángulo. Al capturar las mismas características de ambas cámaras, el desplazamiento de la imagen permite calcular la posición espacial de la característica en el espacio. La dificultad reside en la identificación del mismo punto con ambas cámaras. Por ejemplo, para una superficie de bajo contraste como una pared blanca, este método no es el óptimo.
Estéreo activo
La estructura se corresponde con la del estéreo pasivo. Además, se proyecta un patrón (por ejemplo, puntos distribuidos aleatoriamente) sobre la superficie. Esto facilita la asignación de un punto a ambas cámaras.
Time-of-Flight
Mediante este procedimiento se determina la distancia entre el objeto y el sensor a partir del tiempo de recorrido de la luz. Para ello, el sensor emite impulsos luminosos que inciden sobre un objeto y son reflejados por este. La distancia se determina en función de la duración de la reflexión de los pulsos de luz. De este modo, se puede determinar información de profundidad, como estructuras o distancias de objetos.
Triangulación láser
En la triangulación láser, un láser proyecta una línea sobre el objeto que una cámara captura en un ángulo definido. Mediante el desplazamiento de la línea láser en la imagen de la cámara se puede determinar la altura de la superficie del objeto. Dado que solo se captura un perfil a la vez, es necesario mover el objeto o el sensor para generar datos 3D completos. El procedimiento se caracteriza por una alta exactitud, pero depende de un movimiento relativo definido durante la captura.
Comparación de tecnologías
| Luz estructurada | Estéreo pasivo | Estéreo activo | Time of Flight (tiempo de vuelo) | |
|---|---|---|---|---|
| Resolución |  |
 |
|
 |
| Exactitud | |
|
|
|
| Luz externa | |
|
|
|
| Velocidad de medición |  |
|
|
|
| Objetos de bajo contraste | |
|
|
|
| Obstrucción/sombreado | |
|
|
|
|
Resolución
|
|||
|---|---|---|---|
|
Luz estructurada
|
Estéreo pasivo
|
Estéreo activo
|
Time of Flight (tiempo de vuelo)
|
|
Exactitud
|
|||
|
Luz estructurada
|
Estéreo pasivo
|
Estéreo activo
|
Time of Flight (tiempo de vuelo)
|
|
Luz externa
|
|||
|
Luz estructurada
|
Estéreo pasivo
|
Estéreo activo
|
Time of Flight (tiempo de vuelo)
|
|
Velocidad de medición
|
|||
|
Luz estructurada
|
Estéreo pasivo
|
Estéreo activo
|
Time of Flight (tiempo de vuelo)
|
|
Objetos de bajo contraste
|
|||
|
Luz estructurada
|
Estéreo pasivo
|
Estéreo activo
|
Time of Flight (tiempo de vuelo)
|
|
Obstrucción/sombreado
|
|||
|
Luz estructurada
|
Estéreo pasivo
|
Estéreo activo
|
Time of Flight (tiempo de vuelo)
|
Integración en sistemas industriales
Para que un sensor 3D pueda utilizarse en aplicaciones industriales, debe integrarse perfectamente con los sistemas de automatización, robótica y procesamiento de imágenes existentes. Además de la captura de datos 3D propiamente dicha, las interfaces estandarizadas, las bibliotecas de software y las posibilidades de integración flexibles desempeñan un papel central al respecto. Para ello, los sensores 3D modernos ofrecen amplias interfaces de software y comunicación que permiten una integración sencilla en los más diversos entornos de sistema.
