epipolar geometri görüntü oluşumu

www.kadirhoca.com

Epipolar Görüntü Oluşumu

Hazırlayan: Ahmet Sancak ŞANLI

Danışman: Prof. Dr. Naci YASTIKLI

www.kadirhoca.com

• Sunum İçeriği:

Epipolar geometri kavramı

Epipolar görüntü oluşumunun uygulamadaki yeri

Epipolar geometride temel kavramlar

Epipolar görüntü oluşturulmasında eşleme işleminin yapılması

Epipolar Geometri Kavramı

• Epipolar geometri, farklı iki açıdan çekilmiş görüntü çiftleri arasındaki geometrik ilişkiyi tanımlamaktadır.[3]

• Sayısal Yükseklik modellerinin oluşturulmasında,3 boyutlu görüntü elde edilmesinde kullanılır.[6]

Kaynak: Manual of Photogrammetry, 1980

• Sayısal yükseklik modeli (SYM) oluşturmak için görüntülerin bindirmeli uydu yada hava fotoğrafları şeklinde olması gerekir. Dolayısı ile görüntü çiftlerine ihtiyaç vardır.[6]

• Analizi yapılacak görüntü sayısı ikiolduğunda, bu iki görüntü arasında oluşan, sahneyapısından bağımsız, sadece kameranın iç yapısı ilegöreceli pozisyona bağlı olarak oluşan izdüşümselgeometriye epipolar geometri adı verilmektedir.[3]

Epipolar Geometri Nedir?

Epipolar Geometri Nedir?

•Epipolar geometri stereo vision geometrisidir.

•Nesne farklı açılardan gözlemlenir.•Eğer α ve β açıları biliniyorsa, P’nin pozisyonu bulunabilir. (Triangulation-üçgenleme prensibi)•P noktası her iki kamerada bir miktar kaymış olarak görünür. Bu kayma uzaktaki nesneler için az olur. (Disparty-Paralaks)

Kaynak:[7]

Epipolar Görüntü Oluşumunun Yeri?•Tipik bir görüntü eşleme algoritmasının basamakları:

Eşleme ÖğeleriEşleme Öğeleri

Epipolar Görüntü OluşturmaEpipolar Görüntü Oluşturma

Benzerlik ÖlçüsüBenzerlik Ölçüsü

Eşleme StratejisiEşleme Stratejisi

Sayısal yükseklik modeli için görüntü çiftlerine ihtiyaç vardır. [6]

1-Verilerin toplanması:Araziden yer kontrol noktaları yada rektifiye edilmiş görüntüler.

2-Görüntü eşleme algoritmasının çalıştırılarak elde edilen görüntüden yükseklik bilgilerinin elde edilmesi.

3-Yükseklik/derinlik bilgilerinin enperpolasyonla tüm görüntüye uygulanması. SYM’nin oluşturulması.

4-SYM’lerin iyileştirilmesi.Test noktaları ile karşılaştırılması.

Epipolar Görüntüleri Oluşturma Sırası

Kaynak: [6]

Kaynak: [2]

Temel Kavramlar

• 3 Boyutlu olarak algılanmak istenen nesne üzerindeki her bir nokta (p),biri sol kamerada (p’),diğeri sağ kamerada (p’’) olmak üzere bir geometrik yüzey oluşturur.(Epipolar yüzey)

Kaynak: 3 Boyutlu Görüntü İşleme Teknikleri 2014

Epipolar Düzlem

Görüntü Noktaları

Nesne Noktası

Kamera Merkezleri

Temel Kavramlar

Kaynak: [3]

Temel Kavramlar

• İki kamera merkezi, taban çizgisi tarafından birleştirmektedir. Kamera merkezlerini birleştiren taban çizgisi ile görüntü düzlemlerinin kesiştiği noktalar epipol ( ,𝑒 ’𝑒 ) adını almaktadır.Kaynak: [3]

Stereo Görüntü Problemleri?

• Stereo görüntülemede epipolar geometri kullanılarak çözülen problemler şunlardır [1]:

1) Arama Problemi

İlk noktadaki her her nokta için ,ikinci görüntüdeki ilgili nokta tespit edilmelidir.

2) Kestirim Problemi

Eşleşen her nokta çifti için,üçgenleme ile 3 boyutlu konum tespit edilmelidir.

• Her bir kameranın, x-y eksenlerinden oluşan yüzey ile epipolar yüzeyin kesişim noktalarının kenara olan uzaklıkları l1 ve l2 olsun. Sistem,sol kameradaki her bir tekil p’ noktasının sağ kamerada (p’’) bulmak zorundadır.

Kaynak:[7}

Epipolar Görüntülerin Oluşturulması

• Epipolar görüntüler sağ ve sol görüntüleri ortak dönüklüğesahip olabilmesi için yeniden projekte edildiği stereo görüntülerdir.

• Epipolar çizgiler genellikle x eksenine paralel değildirler.

Kaynak: [6]

• Bu nedenle görüntüler, epipolar çizgileri birbirine paralel olacak şekilde dönüşüme tabi tutulurlar.

• Bu işlem “görüntü normalizasyonu”

olarak adlandırılır.

• Bu işlem iki görüntüyü epipolar doğrular ile eşlemek amacıyla uygulanır.

Epipolar Görüntü Normalizasyonu

Kaynak: [4]

Epipolar geometri ile normalize edilmiş görüntü

Orijinal görüntü

Epipolar Görüntü Normalizasyonu

Kaynak: [4]

BX

BZBY

C1

C2

P

Görüntü normalizasyonu yapılabilmesi için iç ve dış yöneltme elemanları bilinmelidir.

Görüntü orjinal konumundan gerçek düşey konuma dönüklük matrisi transpozesi ile transfer edilir.

Gerçek düşey konumdan normalize edilmiş konuma dönüşüm, bazın döndürülmesi ile gerçekleşir.

Kaynak: [4]

• Epipol noktalardan imge noktasından geçecek şekilde çizilen doğruya epipolar çizgi denilmektedir.

• Sol ve sağ görüntüler üzerinde bulunan noktarı eşlemek için epipolar çizgilerden yararlanılır.

Epipolar Çizgi/Doğru

Kaynak: [1]

• Eş noktalar eş epipolar çizgilerüzerinde yer almaktadırlar.

• Bu iki eş nokta arasındaki ilişkiyi F (Fundemental) matrisi kurmaktadır.

Epipolar Çizgi/Doğru

Kaynak: [1]

• x noktasının eşdeğer noktası olan x′ noktası, x noktası kullanılarak hesaplanan ’ 𝑙epipolar çizgisi üzerinde olmalıdır

• ‘𝑙 , x′ noktasının aranacağı epipolar çizgidir.

Epipolar Çizgi/Doğru

Kaynak: [3]

• Bu nedenle x′ noktası, ikinci görüntünün tamamı içerisinde değil, sadece epipolar çizgisi 𝑙üzerinde aranacağından pencere boyutu düşürülmekte ve arama maliyeti azaltılmaktadır.

Stereo Rectification

Kaynak: [7]

• Noktaların eşlemesi doğrusaldır ve l’=F x şeklinde ifade edilebilir.

• Doğrusal bağlantıyı kuran F matris 3*3 Boyutunda farklı konseptlere sahip bir matrisdir.

• F matris değişik yöntemler ile hesaplanabilir.(Doğrusal LS yöntemi, İteratif CFNS Yöntemi, Lmeds Yöntemi

gibi)

Fundemental Matris

Kaynak: [3]

Kaynak: [6]

Epipolar Doğruların Oluşturulması

Kaynak: [6]

• Görüntü Eşleme: Kısmen aynı alanı kapsayan iki veya görüntüden elde edilen temel elemanlar arasındaki ilişkinin kurulmasıdır.

• Temel Elemanlar: Görüntüden çıkarılan detaylar Gri yüzey ton pencereleri

Görüntü Eşleme

Kaynak: [8]

•Alana Bağlı Eşleme (Area Based Matching) Çapraz Kolerasyon

•Detaya Bağlı Eşleme (Feature Based Matching)

Görüntü Eşleme Teknikleri

Kaynak: [8]

• Çapraz kolerasyon (cross corelation)

Çapraz Kolerasyon

• Sol görüntüdeki her piksel (veya öznitelik) için,sağ görüntüde epipolar doğru üzerinde komşuluk tabanlı çapraz korelasyon hesaplanır.

• En yüksek korelasyon değerini doğru eş olarak atanır.

Kaynak: [8]

Çapraz Kolerasyon

Kaynak: [8]

• Paralel kamera ile çekilmiş sol ve sağ görüntü.Kaynak: [6]

• Fundemental matristen yararlanarak epipolar doğrular oluşturulur.

Kaynak: [6]

• Çapraz kolerasyon ve benzeri yöntemler ile doğrular üzerinde en iyi eşleşen konum bulunur.

Kaynak: [6]

• Eşleştirme yapılır.Kaynak: [6]

Çapraz Kolerasyon

Sonuç

Kaynak: [6]

• 3 Boyutlu görüntü oluşumunda ve sayısal yükseklik modeli oluşturulmasında mutlak suretle epipolar geometriden yararlanılmaktadır.

Kaynak: [5]

[1] A.Ertürk ,Stereo Görüntüleme, Kocaeli Üniversitesi[2] A.Ö. Ok, J.D. Wegner, C. Heipke, F. Rottensteiner, U. Sörgel, V. Toprak, Çok Bantlı Sterea Hava Fotoğraflarından Doğrusal Çizgilerin Otomatik Geri- Çatımı İçin Yeni Bir Yaklaşım (Ekim 2011)[3] A.Akkaya,M.Talu,Nesne Görüntülerinden 3D Model İnşası

İçin Etkin F-matrisi Hesaplanma Yöntemleri (2014)[4] Ç.Çavdaroğlu,B.Bayram,Görüntü Eşleme Sunumu,Yıldız

Teknik Üniversitesi[5] D.Koç,M.Türker,Ikonos Pankromatik Uydu Görüntülerinden Sayısal Yükseklik Modeli Oluşturulması, Hacettepe Üniversitesi (Temmuz 2005)[6] Ş.Düzgün,Sayısal Görüntü İşleme-Sayısal Yüzey Modeli Oluşturma, Ulusal Açık Ders Malzemeleri Konsorsiyumu, ODTU (Kasım 2010)[7] M.Sarı, 3 Boyutlu Görüntü İşleme Teknikleri (Temmuz

2014)[8] İ.Şahin,Farklı Kaynaklardan Elde Edilen Sayısal Yükseklik Modellerinin Ortofoto Doğruluğuna Etkilerinin

Araştırılması,Yüksek Lisans Tezi, Selçuk Üniversitesi,2007

Kaynaklar

• Dinlediğiniz için teşekkür ederim.