Bir 3D sensör nedir?
Bir 3D sensör, bir objenin veya sahnenin mekansal yapısını ve yüzeyini algılar. x ve y yönündeki iki boyutlu yer bilgilerinin yanı sıra üçüncü bir uzay yönündeki (z) mesafeyi veya derinliği de belirler. Bu sayede örneğin bir derinlik haritası veya nokta bulutu şeklinde üç boyutlu veriler elde edilir. Buna dayanarak objelerin boyutları, konumları, hacimleri ve yüzey geometrisi belirlenebilir.
3D görüntü işleme ne zaman kullanılır?
2D görüntü işlemede parlaklık, renk ve kontur gibi özellikler tek bir düzlem içinde kaydedilir. Bir objenin konumu, yüksekliği veya şekli hakkında ek bilgilere ihtiyaç duyulduğunda 3D sensörler kullanılır. Ölçüm verileri 3D obje algılama, hacim belirleme, robotik yönlendirme ve otomatik kalite kontrolü sağlar. Tipik uygulama alanları arasında Bin Picking, Depalleting, robotik Pick-and-Place ve 3D yüzey denetimi yer alır.
2D görüntü algılama
3D görüntü algılama
3D sensörlerle tipik uygulamalar
Bin Picking
Bin Picking'de bir robot, bir konteynerden veya kutudan düzensiz objeleri alır. Bir 3D sensör konumu ve hizalamayı algılar ve görünür yüzeyinin bir 3D nokta bulutu oluşturur. Ardından robot sistemi uygun kavrama pozisyonunu belirleyebilir ve bileşenleri hedefe yönelik olarak çıkarabilir. Bu yöntem özellikle karmaşık geometrilere veya farklı konumlara sahip objeler için uygundur.
Paletten alma
3D sensörler, kartonların, konteynerlerin veya ürünlerin paletten alınmasını destekler. Mekansal veriler sayesinde yükseklik farkları, obje konumları ve istifleme desenleri algılanır, böylece objeler robot tarafından hassas bir şekilde alınabilir. Bu sayede düzensiz veya karışık yüklemeler de güvenilir şekilde işlenebilir.
3D yüzey denetimi
Çukurlar, deformasyonlar, montaj hataları ve yükseklik farkları, renk veya kontrasttan bağımsız olarak 3D yüzey denetimi ile hassas bir şekilde tespit edilebilir. Bu sayede üç boyutlu ölçüm verileri, otomatik kalite kontrolleri, boyutsal doğruluk ve eksiksizlik kontrolleri için uygundur.
3D görüntü kaydının temelleri
3D sensörler, ölçüm verilerini 3D nokta bulutu olarak sunar ve sensör modeline bağlı olarak ek yoğunluk değerleri verebilir. Endüstriyel 3D görüntü işlemede 2D/3D profil sensörleri ve anlık görüntü sensörleri kullanılır.
2D/3D profil sensörleri, ölçüm objesine bir lazer çizgisi yansıtır ve münferit 2D yükseklik profillerini algılar. Sensör ve obje arasındaki göreceli hareket sayesinde, birbiri ardına kaydedilen profiller eksiksiz bir 3D nokta bulutu oluşturur. Bu yöntem özellikle konveyör bantları veya üretim hatları gibi hareketli objelerin sürekli ölçümü için uygundur.
3D sensörler tüm ölçüm hacmini tek bir kayıtta algılar. Eksiksiz bir 3D nokta bulutu oluşturmak için, kayıt sırasında obje hareket etmemelidir. Bu yöntem, özellikle statik objelerin yüksek çözünürlüklü ölçümleri ve en ince yüzey ayrıntılarının tespiti için uygundur.
3D veri işleme için koordinat sistemleri
3D verilerin mekansal olarak işlenmesi için koordinat sistemleri çok önemlidir. 3D sensör tarafından algılanan ölçüm noktaları, sensörün koordinat sistemine göre belirlenir. Sensör koordinat sistemi, her ölçüm noktasının konumunu sensörün konumuna ve yönüne göre tanımlar ve derinlik verilerinin daha fazla işlenmesi için temeli oluşturur.
Robotların, tesislerin veya görüntü işleme sistemlerinin toplanan verileri kullanabilmesi için bu verilerin global veya tesise özgü bir koordinat sistemine aktarılması gerekir. Bu sayede obje konumları, hareketler ve kavrama noktaları uygulama içinde net bir şekilde belirlenebilir.
Robot Vision için el ve göz kalibrasyonu
Robot Vision uygulamalarında 3D sensörün ve robotun koordinat sistemleri birbirine bağlı olmalıdır. El ve göz kalibrasyonu, iki sistem arasındaki geometrik dönüşümü belirler. Bu sayede robot, sensör tarafından algılanan 3D konumları kendi koordinat sisteminde yorumlayabilir ve hedefe doğru hareket edebilir.
Uygulamaya bağlı olarak iki varyasyon arasında ayrım yapılır:
Eye-to-Hand
Eye-to-Hand (Elden Göze) yönteminde sensör çalışma alanına sabit olarak monte edilir ve robotun çalışma aralığını izler. Kalibrasyon, robot tabanına göre konumunu ve yönünü belirlemek için kullanılır.
Eye-in-Hand
Eye-in-Hand'da (El içi Göz) ise sensör doğrudan robot kolunda bulunur ve birlikte hareket eder. Burada takım merkezine (TCP) göre konumu belirlenir.
Kalibrasyon, hem robot sistemi hem de 3D sensör tarafından algılanan tanımlanmış referans objeler veya kalibrasyon desenleri üzerinden gerçekleştirilir. Algılanan konumlardan koordinat sistemleri arasındaki dönüşüm hesaplanır. Ardından algılanan görüntü koordinatları sensör koordinat sisteminden robot koordinatlarına aktarılabilir. Kalibrasyondaki en küçük sapmalar bile kavrayıcının kontrolünde veya hat planlamasında konum hatalarına neden olabilir.
M3DS serisi sensörlerle el ve göz kalibrasyonu
Robotik ve görüntü işleme sistemlerine entegrasyon için GitHub'da çeşitli proje ve kalibrasyon örnekleri mevcuttur. Bunlar arasında el ve göz kalibrasyonları ve 3D koordinat sistemlerinin dönüşümleri için referans uygulamaları yer alır. Bu sayede tipik entegrasyon ve kalibrasyon prosesleri anlaşılabilir ve sağlanan örnekler doğrudan kendi uygulamanız için kullanılabilir.
3D sensörlerin çalışma mesafesi ve ölçüm aralığı
Çalışma mesafesi
Ölçüm aralığı
Triangülasyon bazlı bir 3D sensörün ölçüm aralığı bir piramit ucu şeklindedir. Sensöre olan mesafe arttıkça ölçüm alanı x ve y yönünde büyür. Bu sayede uzak bölgede daha büyük objeler veya sahneler algılanabilir.
Aynı zamanda ölçüm noktaları daha büyük bir alana dağıtılır, böylece komşu noktalar arasındaki mesafe artar. Yakın alanda, 3D nokta bulutu daha yüksek nokta yoğunluğuna sahiptir ve ince yapılar daha ayrıntılı olarak yakalanabilir.
z yönündeki derinlik çözünürlüğü de çalışma mesafesine bağlıdır. Mesafe arttıkça triangülasyonun geometrik hassasiyeti azalır, böylece yakın alandaki küçük yükseklik farkları daha iyi algılanabilir.
3D nokta bulutu nasıl oluşur?
3D sensörler, bir objeye ışık desenleri yansıtmak için yapılandırılmış ışık kullanır. Bu desenlerin deformasyonları, objenin konturu hakkında sonuçlar verir. Ardından bir kamera, yüzeydeki desenin deformasyonunu algılar. Sensör, bunların kaydırılmasından derinlik bilgilerini optik triangülasyon yardımıyla hesaplar ve bunlardan bir 3D nokta bulutu oluşturur.
Adım 1 – Işık deseni projeksiyonu
Entegre ışık motoru (Light Engine), birbiri ardına tanımlanmış ışık desenlerini bir objenin yüzeyine yansıtır. Şablon, daha sonraki derinlik hesaplaması için belirlenmiş referans yapı olarak görev yapar. wenglor'un 3D sensörleri mavi ışık kullanır, çünkü daha kısa dalga boyu daha yüksek optik hassasiyet sağlar ve aynı zamanda ortam ışığına daha az duyarlıdır. Bu sayede ince yüzey yapıları da stabil ve kontrast açısından zengin bir şekilde algılanabilir.
Adım 2 – Objedeki ışık deseninin deformasyonu
Yapılandırılmış ışık deseni bir objeye çarparsa, bu obje geometriye bağlı olarak mekansal olarak bozulur. Yükseklik farkları, kenarlar ve girintiler, kamera görüntüsünde yansıtılan şeritlerin kaymasına neden olur. Desen deformasyonu, objenin şekli ve derinliği hakkında bilgi içerir.
Pürüzsüz, dokulu veya güçlü yansıtıcı yüzeyler, desen görüntüleme kalitesini etkileyebilir ve böylece daha sonraki derinlik hesaplamasını da etkileyebilir.
Adım 3 – Işık deseninin kamera tarafından kaydedilmesi
Ardından kamera, yansıtılan ışık desenlerini belirli bir açıdan algılar. Algılama sırasında sistem, görüntüdeki projeksiyon desenlerinin tam konumunu ve deformasyonunu analiz eder. Çekilen birden fazla tekli görüntüden sahnenin eksiksiz bir veri seti oluşturulur. Kamera görüntüsündeki desenlerin ne kadar net algılanabileceği, diğer faktörlerin yanı sıra pozlama süresine, yüzey yansımasına, ortam ışığına ve sensörün Optik Çözünürlüğüne bağlıdır.
Adım 4 – Derinlik değerinin triangülasyonla hesaplanması
Kamera ve projektör, ölçüm nesnesine farklı açılardan bakar. Bir yüzey noktası ile birlikte geometrik bir üçgen oluştururlar. Kamera ve projektörün birbirlerine göre konumları bilindiğinden, sensör kaydedilen desenlerin kaydırılmasından her bir ölçüm noktasının derinlik değerini hesaplayabilir.
Bu yöntem optik triangülasyon olarak adlandırılır ve görünür nesne yüzeyinin mekansal yeniden yapılandırılması için temeli oluşturur.
Adım 5 – Nokta bulutu oluşturma
Sensör, kamera kalibrasyonunu temel alarak hesaplanan derinlik değerlerinden bir 3D nokta bulutu oluşturur. Her ölçüm noktası, x, y ve z koordinatlarıyla tanımlanır ve böylece mekanda benzersiz bir konuma sahiptir. Bu nokta bulutu, objenin yüzeyinin yapısını aslına uygun kopyalar.
Yoğunluk değerleri veya güven değerleri gibi ek bilgiler de kaydedilebilir. Yoğunluk verileri parlaklık veya yansıma özellikleri hakkında bilgi verirken, güven değeri tek bir ölçüm noktasının kalitesini veya güvenilirliğini belirtir.
3D verilerin işlenmesi
Yapılandırılmış ışık projeksiyonunda, 3D veriler oluşturmak için çeşitli yeniden oluşturma yöntemleri kullanılabilir. Şerit yöntemi ve faz yöntemi, projeksiyon desenlerinin türü ve değerlendirmeleri açısından farklılık gösterir. Her iki yöntem de, yansıtılan ışık desenlerinin algılanan görüntü noktalarıyla net bir şekilde eşleştirilmesini sağlayan gri kod dizileri kullanır. Bu eşleştirme, derinlik değerlerinin hesaplanması için temel oluşturur. Bir ölçüm görevi için hangi yöntemin uygun olduğu, diğer faktörlerin yanı sıra gerekli kayıt süresine, obje yüzeyinin yapısına ve yansımalara veya ortam ışığına bağlıdır.
Şerit ve faz metodu karşılaştırması
Şerit yöntemi
Şerit yönteminde, birbirinden net bir şekilde ayrılmış ve farklı genişliklerde yüksek kontrastlı ışık şeritleri obje yüzeyine yansıtılır. Yüksek kontrast sayesinde, yansıtılan desenler karanlık veya güçlü yansıtıcı yüzeylerde özellikle iyi algılanabilir. Aynı zamanda ikili desenler çok kısa pozlama sürelerine olanak tanır, bu da yöntemi özellikle zorlu yüzeyler için uygun hale getirir.
Faz yöntemi
Faz yöntemi, farklı evre kaymalarına sahip sinüs şeklinde ışık şeridi desenlerini obje yüzeyine yansıtır. Münferit şeritler yerine, yansıtılan desenlerin sürekli aydınlık dağılımı değerlendirilir. Bu, bir ölçüm noktasının konumunu piksel altı hassasiyetle belirleyerek son derece pürüzsüz, yüksek çözünürlüklü ve ayrıntılı 3D veriler sağlar.
3D nokta bulutlarının görselleştirilmesi
Yanlış renk gösterimi
Yanlış renk gösterimi, 3D nokta bulutu derinlik değerlerine farklı renkler atar. Bu sayede yükseklik farkları ve obje konturları görselleştirilerek ölçüm verilerinin hızlı bir şekilde yorumlanması sağlanır.
Yoğunluk görüntüsü
Derinlik değerlerine ek olarak, sensör yoğunluk görüntüsü oluşturabilir. Bu, klasik bir gri değer kaydına karşılık gelir ve yüzeyin yansıma özellikleri hakkında bilgiler içerir.
Güvenilirlik görüntüsü
Güvenilirlik görüntüsü, nokta bulutu içindeki münferit ölçüm noktalarının kalitesini veya güvenilirliğini gösterir. Bu sayede derinlik hesaplaması güvenilir olmayan veya sinyal kalitesi kötü olan bölgeler hedefe yönelik olarak algılanabilir ve değerlendirilebilir.
3D sensörlerin kayıt parametreleri
Pozlama süresi
Kazanç
Subsampling
VDI/VDE uyarınca doğruluk bilgileri
Stack Size (Yığın boyutu)
Stack Size (yığın boyutu), bir 3D kaydı için kaç adet tekli kaydın veya örnek projeksiyonun kullanılacağını belirtir. Daha büyük bir Stack Size daha fazla görüntü bilgisi sağlar ve ölçüm gürültüsünü azaltabilir. Aynı zamanda kayıt süresi uzar ve bu sayede ulaşılabilen maksimum kayıt hızı azalır.
Diğer 3D teknolojileri
Pasif stereo
Bu işlemde iki kamera aynı objeyi bir açının altında inceler. Her iki kamera da aynı özellikleri yakalayarak, görüntülerinin kaydırılmasından özelliğin mekandaki uzamsal konumu hesaplanabilir. Buradaki zorluk, aynı noktayı her iki kamerayla da tespit etmektir. Örneğin, beyaz bir duvar gibi düşük kontrastlı bir yüzey incelendiğinde, bu yöntem yetersizdir.
Aktif stereo
Yapı pasif stereonun yapısıyla aynıdır. Ayrıca yüzeye bir desen (ör. rastgele dağıtılmış noktalar) yansıtılır. Bu, her iki kameraya bir noktanın atanmasını kolaylaştırır.
Time-of-Flight
Bu yöntemde, obje ile sensör arasındaki mesafe ışık hareket süresi yardımıyla belirlenir. Bu sırada sensör, bir objeye çarpan ve bu obje tarafından yansıtılan ışık darbeleri gönderir. Işık darbelerinin yansıma süresine bağlı olarak mesafe belirlenir. Bu şekilde cisimlerin mesafeleri veya yapıları gibi derinlik bilgileri belirlenebilir.
Lazer triangülasyon
Lazer triangülasyonunda bir lazer, bir kamera tarafından tanımlanmış bir açıda algılanan bir çizgiyi objeye yansıtır. Kamera görüntüsündeki lazer çizgisinin kaydırılmasıyla obje yüzeyinin yüksekliği belirlenebilir. Her seferinde sadece tek bir profil kaydedildiğinden, tam 3D veriler oluşturmak için obje veya sensör hareket ettirilmelidir. Prosedür yüksek hassasiyetle karakterize edilir, ancak kayıt sırasında tanımlı bir göreceli harekete bağlıdır.
Teknolojilerin karşılaştırılması
| Yapılandırılmış ışık | Pasif stereo | Aktif stereo | Time of Flight | |
|---|---|---|---|---|
| Çözünürlük |  |
 |
|
 |
| Hassasiyet | |
|
|
|
| Ortam ışığı | |
|
|
|
| Ölçüm hızı |  |
|
|
|
| Düşük kontrastlı objeler | |
|
|
|
| Obstüksiyon/gölgeleme | |
|
|
|
|
Çözünürlük
|
|||
|---|---|---|---|
|
Yapılandırılmış ışık
|
Pasif stereo
|
Aktif stereo
|
Time of Flight
|
|
Hassasiyet
|
|||
|
Yapılandırılmış ışık
|
Pasif stereo
|
Aktif stereo
|
Time of Flight
|
|
Ortam ışığı
|
|||
|
Yapılandırılmış ışık
|
Pasif stereo
|
Aktif stereo
|
Time of Flight
|
|
Ölçüm hızı
|
|||
|
Yapılandırılmış ışık
|
Pasif stereo
|
Aktif stereo
|
Time of Flight
|
|
Düşük kontrastlı objeler
|
|||
|
Yapılandırılmış ışık
|
Pasif stereo
|
Aktif stereo
|
Time of Flight
|
|
Obstüksiyon/gölgeleme
|
|||
|
Yapılandırılmış ışık
|
Pasif stereo
|
Aktif stereo
|
Time of Flight
|
Endüstriyel sistemlere entegrasyon
Bir 3D sensörün endüstriyel uygulamalarda kullanılabilmesi için mevcut otomasyon, robotik ve görüntü işleme sistemlerine sorunsuz bir şekilde entegre edilebilmesi gerekir. Standartlaştırılmış arayüzler, yazılım kütüphaneleri ve esnek entegrasyon olanakları, asıl 3D veri toplamanın yanı sıra merkezi bir rol oynamaktadır. Modern 3D sensörler bunun için çok çeşitli sistem ortamlarına kolay entegrasyon sağlayan kapsamlı yazılım ve iletişim arabirimleri sunar.
