Cos’è un sensore 3D?
Un sensore 3D rileva la struttura spaziale e la superficie di un oggetto o di una scena. Oltre alle informazioni bidimensionali sulla posizione nelle direzioni x e y, determina anche la distanza o la profondità in una terza direzione spaziale (z). In questo modo si ottengono dati tridimensionali, ad esempio sotto forma di mappa di profondità o nuvola di punti. Su questa base è possibile determinare, tra le altre cose, le dimensioni, le posizioni, i volumi e la geometria superficiale degli oggetti.
Quando viene utilizzata l’elaborazione di immagini 3D?
Nell’elaborazione delle immagini 2D vengono rilevate caratteristiche quali luminosità, colore e contorno all’interno di un unico piano. Se sono necessarie informazioni aggiuntive sulla posizione, l’altezza o la forma di un oggetto, vengono utilizzati sensori 3D. I dati di misurazione consentono il riconoscimento di oggetti in 3D, il calcolo del volume, la guida dei robot e il controllo qualità automatizzato. I campi di applicazione tipici sono il prelievo dei contenitori, la depallettizzazione, i processi pick-and-place assistiti da robot e l’ispezione 3D delle superfici.
Acquisizione di immagini 2D
Acquisizione di immagini 3D
Applicazioni tipiche con sensori 3D
Bin Picking
Nel bin picking, un robot preleva oggetti disposti in modo casuale da un contenitore o da una cassa. Un sensore 3D rileva la posizione e l’orientamento e genera una nuvola di punti 3D della sua superficie visibile. Successivamente, il sistema robotizzato è in grado di determinare la posizione di presa adeguata e di prelevare i componenti in modo mirato. Questo metodo è particolarmente adatto per oggetti con geometrie complesse o posizioni variabili.
Depallettizzazione
I sensori 3D facilitano la depallettizzazione di scatole di cartone, contenitori o prodotti da un pallet. Grazie ai dati spaziali, vengono rilevati i dislivelli, le posizioni degli oggetti e gli schemi di impilamento, in modo che il robot possa prelevare gli oggetti con precisione. In questo modo è possibile lavorare in modo affidabile anche carichi irregolari o misti.
Ispezione superficiale 3D
Ammaccature, deformazioni, errori di montaggio e dislivelli possono essere rilevati con precisione grazie all’ispezione 3D delle superfici, indipendentemente dal colore o dal contrasto. I dati di misurazione tridimensionali sono quindi adatti ai controlli di qualità automatizzati, nonché alla verifica della precisione dimensionale e della completezza.
Fondamenti dell’acquisizione di immagini 3D
I sensori 3D mettono a disposizione i dati di misurazione sotto forma di nuvola di punti 3D e, a seconda del modello di sensore, possono emettere anche valori di intensità. Nell’elaborazione industriale delle immagini 3D vengono utilizzati, tra l’altro, sensori di profilo 2D/3D e sensori snapshot.
I sensori di profilo 2D/3D proiettano una linea laser sull’oggetto da misurare e rilevano singoli profili altimetrici’2D. Grazie al movimento relativo tra il sensore e l’oggetto, i profili acquisiti in successione vengono assemblati in una nuvola di punti 3D completa. Questo metodo è particolarmente adatto per la misurazione continua di oggetti in movimento, ad esempio su nastri trasportatori o linee di produzione.
I sensori 3D rilevano l’intero volume di misurazione in un’unica acquisizione. Per creare una nuvola di punti 3D completa, l’oggetto non deve muoversi durante l’acquisizione. Questo metodo è quindi particolarmente indicato per misurazioni ad alta risoluzione di oggetti statici, nonché per l’acquisizione dei dettagli superficiali più fini.
Sistemi di coordinate per l’elaborazione di dati 3D
I sistemi di coordinate sono fondamentali per l’elaborazione spaziale dei dati 3D. I punti di misura rilevati dal sensore 3D si riferiscono al sistema di coordinate del sensore. Il sistema di coordinate del sensore definisce la posizione di ciascun punto di misurazione rispetto alla posizione e all’orientamento del sensore e costituisce la base per l’ulteriore elaborazione dei dati di profondità.
Affinché robot, impianti o sistemi di elaborazione di immagini possano utilizzare i dati acquisiti, questi devono essere trasferiti in un sistema di coordinate globale o relativo all’impianto. In tal modo è possibile determinare in modo univoco le posizioni degli oggetti, i movimenti e i punti di presa all’interno dell’applicazione.
Calibrazione occhio-mano per Robot Vision
Nelle applicazioni Robot Vision, i sistemi di coordinate del sensore 3D e del robot devono essere collegati tra loro. La calibrazione occhio-mano determina la trasformazione geometrica tra i due sistemi. In questo modo il robot è in grado di interpretare le posizioni 3D rilevate dal sensore nel proprio sistema di coordinate e di raggiungerle in modo mirato.
A seconda dell’applicazione si distingue tra due varianti:
Eye-to-Hand
Nella procedura Eye-to-Hand", il sensore è montato in modo fisso nell’area di lavoro e osserva il campo di lavoro del robot. La calibrazione determina la sua posizione e l’orientamento rispetto alla base del robot.
Eye-in-Hand
Nella procedura Eye-in-Hand, invece, il sensore si trova direttamente sul braccio robotico e si muove con esso. Qui viene determinata la sua posizione rispetto al centro dell’utensile (TCP).
La calibrazione avviene tramite oggetti di riferimento o modelli di calibrazione definiti che vengono rilevati sia dal sistema robotico che dal sensore 3D. Dalle posizioni acquisite viene calcolata la trasformazione tra i sistemi di coordinate. Successivamente, le coordinate dell’immagine rilevate possono essere convertite dal sistema di coordinate del sensore in coordinate del robot. Anche minime discrepanze nella calibrazione possono causare errori di posizionamento nel controllo della pinza o nella pianificazione del percorso.
Calibrazione occhio-mano con sensori della serie M3DS
Per l’integrazione nei sistemi di robotica e di elaborazione di immagini, su GitHub sono disponibili diversi esempi di progetti e di calibrazione. Questi includono, tra le altre cose, implementazioni di riferimento per la calibrazione occhio-mano e le trasformazioni dei sistemi di coordinate 3D. In questo modo è possibile riprodurre i tipici processi di integrazione e calibrazione e utilizzare direttamente gli esempi forniti per le proprie applicazioni.
Distanza di lavoro e campo di misurazione dei sensori 3D
Distanza di lavoro
Campo di misurazione
Il campo di misurazione di un sensore 3D basato sulla triangolazione ha la forma di un tronco piramidale. All’aumentare della distanza dal sensore, il campo di misura si allarga nelle direzioni x e y. In questo modo è possibile rilevare oggetti o scene di grandi dimensioni a distanza.
Allo stesso tempo, i punti di misurazione si distribuiscono su un’area più ampia, per cui la distanza tra i punti adiacenti aumenta. In questo modo, la densità di punti di una nuvola di punti 3D a corto raggio è più elevata e le strutture fini possono essere acquisite in modo più dettagliato.
Anche la risoluzione in profondità nella direzione z dipende dalla distanza di lavoro. Con l’aumentare della distanza, la sensibilità geometrica della triangolazione diminuisce, consentendo di rilevare meglio piccole differenze di altezza a corto raggio.
Come si crea una nuvola di punti 3D?
I sensori 3D utilizzano la luce strutturata per proiettare modelli di luce su un oggetto. Le deformazioni di questi modelli forniscono informazioni sul contorno dell’oggetto. Successivamente, una camera rileva la deformazione del modello sulla superficie. In base allo spostamento, il sensore calcola le informazioni di profondità tramite triangolazione ottica e genera una nuvola di punti 3D.
Fase 1 – Proiezione di un modello di luce
Il Light Engine integrato proietta in sequenza modelli di luce definiti sulla superficie di un oggetto. Il modello funge da struttura di riferimento fissa per il successivo calcolo della profondità. I sensori 3D di wenglor utilizzano la luce blu, poiché la sua lunghezza d’onda più corta consente una maggiore precisione ottica e allo stesso tempo reagisce in modo meno sensibile alla luce ambientale. In questo modo è possibile rilevare anche strutture superficiali sottili in modo stabile e ad alto contrasto.
Fase 2 – Deformazione del modello di luce sull’oggetto
Quando il modello di luce strutturato colpisce un oggetto, quest’ultimo subisce una distorsione spaziale a seconda della sua geometria. I dislivelli, i bordi e le rientranze causano uno spostamento delle strisce proiettate nell’immagine della camera. La deformazione del modello contiene informazioni sulla forma e sulla profondità dell’oggetto.
Superfici lisce, strutturate o altamente riflettenti possono influire sulla qualità dell’immagine del modello e, di conseguenza, anche sul successivo calcolo della profondità.
Fase 3 – Acquisizione del modello di luce attraverso la camera
Successivamente, la camera rileva i modelli di luce proiettati da un angolo predefinito. Durante l’acquisizione, il sistema analizza la posizione esatta e la deformazione dei modelli proiettati nell’immagine. Da una serie di singole immagini acquisite si ottiene così un set completo di dati relativi alla scena. La nitidezza con cui i motivi sono riconoscibili nell’immagine ripresa dalla camera dipende, tra l’altro, dal tempo di illuminazione, dalla riflessione superficiale, dalla luce ambientale e dalla risoluzione ottica del sensore.
Fase 4 – Calcolo della profondità tramite la triangolazione
La camera e il proiettore osservano l’oggetto da diverse angolazioni. Insieme a un punto sulla superficie, formano un triangolo geometrico. Poiché le posizioni reciproche della camera e del proiettore sono note, il sensore è in grado di calcolare il valore di profondità di ogni singolo punto di misurazione in base allo spostamento dei motivi ripresi.
Questo processo è chiamato triangolazione ottica e costituisce la base per la ricostruzione spaziale della superficie visibile dell’oggetto.
Fase 5 – Creazione della nuvola di punti
In base alla calibrazione della camera, il sensore genera una nuvola di punti 3D dai valori di profondità calcolati. Ogni punto di misurazione è descritto dalle sue coordinate x, y e z e assume così una posizione univoca nello spazio. La nuvola di punti riproduce quindi fedelmente la struttura superficiale dell’oggetto.
Inoltre, è possibile memorizzare ulteriori informazioni come i valori di intensità o i cosiddetti valori di confidenza. Mentre i dati sull’intensità forniscono informazioni sulla luminosità o sulle proprietà di riflessione, il valore di affidabilità indica la qualità o l’affidabilità di un singolo punto di misura.
Elaborazione di dati 3D
Nella proiezione di luce strutturata è possibile utilizzare diversi metodi di ricostruzione per generare dati 3D. Il metodo a strisce e il metodo a fasi si differenziano per il tipo di schemi proiettati e per la loro valutazione. Entrambi i procedimenti utilizzano sequenze in codice grigio che consentono di associare in modo univoco i modelli di luce proiettati ai punti dell’immagine acquisiti. Questa assegnazione costituisce la base per il calcolo dei valori di profondità. Il metodo più adatto per un’attività di misura dipende, tra l’altro, dal tempo di acquisizione necessario, dalle caratteristiche della superficie dell’oggetto e dalle riflessioni o dalla luce ambientale.
Confronto tra metodo a strisce e a fasi
Metodo a strisce
Nel metodo a strisce, sulla superficie dell’oggetto vengono proiettate strisce di luce ben delimitate e ad alto contrasto, di larghezza variabile. Grazie all’elevato contrasto, i motivi proiettati sono particolarmente ben visibili su superfici scure o altamente riflettenti. Allo stesso tempo, i modelli binari consentono tempi di illuminazione molto brevi, rendendo il metodo particolarmente adatto per superfici complesse.
Metodo a fasi
Il metodo a fasi prevede la proiezione sulla superficie dell’oggetto di schemi di strisce luminose sinusoidali con diversi sfasamenti. Invece di singole strisce, viene valutata la distribuzione continua della luminosità dei modelli proiettati. In questo modo è possibile determinare la posizione di un punto di misurazione con precisione subpixel, ottenendo dati 3D particolarmente uniformi, ad alta risoluzione e ricchi di dettagli.
Visualizzazione delle nuvole di punti 3D
Rappresentazione a falsi colori
Nella rappresentazione a falsi colori, ai valori di profondità della nuvola di punti 3D vengono assegnati diversi colori. Ciò consente di visualizzare le differenze di altezza e i contorni dell’oggetto, rendendo possibile una rapida interpretazione dei dati di misura.
Immagine di intensità
Oltre ai valori di profondità, il sensore è in grado di generare un’immagine di intensità. Si tratta di una classica immagine in scala di grigi che contiene informazioni sulle proprietà riflettenti della superficie.
Immagine di confidenza
L’immagine di confidenza mostra la qualità o l’affidabilità dei singoli punti di misurazione all’interno della nuvola di punti. In questo modo è possibile riconoscere e valutare in modo mirato aree con un calcolo incerto della profondità o una scarsa qualità del segnale.
Parametri di registrazione dei sensori 3D
Tempo di illuminazione
Guadagno
Sottocampionamento
Indicazioni di precisione secondo VDI/VDE
Stack Size
La Stack Size (dimensione dello stack) indica il numero di singole immagini o proiezioni campione utilizzate per un’acquisizione 3D. Una dimensione dello stack maggiore fornisce maggiori informazioni sull’immagine e può ridurre il rumore di misurazione. Allo stesso tempo, il tempo di registrazione si allunga, riducendo la velocità di registrazione massima raggiungibile.
Altre tecnologie 3D
Stereo passivo
Con questo metodo, due camere riprendono lo stesso oggetto con un’unica angolazione. Registrando gli stessi punti di riferimento con entrambe le camere, è possibile calcolare la posizione spaziale del punto di riferimento nello spazio in base allo spostamento delle immagini. La difficoltà qui consiste nell’identificare lo stesso punto con entrambe le camere. Ad esempio, se si osserva una superficie a basso contrasto, come una parete bianca, questo metodo non è ottimale.
Stereo attivo
La struttura corrisponde a quella dello stereo passivo. Inoltre, viene proiettato un modello (ad esempio punti distribuiti casualmente) sulla superficie. Ciò facilita l’assegnazione di un punto di entrambe le camere.
Tempo di volo
In questo metodo, la distanza tra l’oggetto e il sensore viene determinata in base al tempo di propagazione della luce. In questo caso, il sensore emette impulsi luminosi che colpiscono un oggetto e vengono da esso riflessi. La distanza viene determinata in base alla durata della riflessione degli impulsi luminosi. In questo modo è possibile determinare le informazioni sulla profondità, come le strutture o le distanze degli oggetti.
Triangolazione laser
Nella triangolazione laser, un laser proietta una linea sull’oggetto che viene rilevata da una camera con un angolo definito. Grazie allo spostamento della linea laser nell’immagine della camera è possibile determinare l’altezza della superficie dell’oggetto. Poiché viene acquisito un solo profilo alla volta, è necessario spostare l’oggetto o il sensore per generare dati 3D completi. Il procedimento è caratterizzato da un’elevata precisione, ma dipende da un movimento relativo definito durante l’acquisizione.
Tecnologie a confronto
| Luce strutturata | Stereo passivo | Stereo attivo | Time of Flight | |
|---|---|---|---|---|
| Risoluzione |  |
 |
|
 |
| Precisione | |
|
|
|
| Luce estranea | |
|
|
|
| Velocità di misurazione |  |
|
|
|
| Oggetti a basso contrasto | |
|
|
|
| Ostruzione/ombreggiamento | |
|
|
|
|
Risoluzione
|
|||
|---|---|---|---|
|
Luce strutturata
|
Stereo passivo
|
Stereo attivo
|
Time of Flight
|
|
Precisione
|
|||
|
Luce strutturata
|
Stereo passivo
|
Stereo attivo
|
Time of Flight
|
|
Luce estranea
|
|||
|
Luce strutturata
|
Stereo passivo
|
Stereo attivo
|
Time of Flight
|
|
Velocità di misurazione
|
|||
|
Luce strutturata
|
Stereo passivo
|
Stereo attivo
|
Time of Flight
|
|
Oggetti a basso contrasto
|
|||
|
Luce strutturata
|
Stereo passivo
|
Stereo attivo
|
Time of Flight
|
|
Ostruzione/ombreggiamento
|
|||
|
Luce strutturata
|
Stereo passivo
|
Stereo attivo
|
Time of Flight
|
Integrazione nei sistemi industriali
Affinché un sensore 3D possa essere utilizzato in applicazioni industriali, deve potersi integrare perfettamente nei sistemi di automazione, di robotica e di elaborazione di immagini esistenti. Oltre all’acquisizione dei dati 3D propriamente detta, in questo contesto rivestono un ruolo fondamentale le interfacce standardizzate, le librerie software e le possibilità di integrazione flessibili. I moderni sensori 3D offrono a tal fine numerose interfacce software e di comunicazione che consentono una facile integrazione nei più svariati ambienti di sistema.
