stereovizijski sustavi

Kruno Kruno KantociKantoci

2Stereovizijski sustavi

Uvod Osnove fotogramentrije Strojni stereo vid Primjeri


Za percepciju udaljenosti objekata od nas, potrebna su nam 2 oka

Testirajte se:Testirajte se:


Slike koje vidimo lijevim i desnim okom nisu potpuno jednake mali razmak između ljudskih očiju

5

Uvod – ljudski vidUvod – ljudski vid

Na toj se činjenici temelji strojni stereo vid

Stereovizijski sustavi


2 ili više kamera omogućuju percepciju 3D svijeta

Osnovni pojmovi:• Kalibracija• Koordinatni sustavi• Projekcijska geometrija • Epipolarna geometrija• Paralelne i konvergirane kamere• Korespondencija

• Segmentacija slike• Korelacija

• Strukturirano svijetlo


Ljudski vid

Strojni vid


Fotogrametrija je umjetnost, znanost i tehnologija za dobivanje pouzdanih informacija o objektima realnog svijeta i okruženja kroz proces snimanja, mjerenja i interpretacije fotografskih slika

Područja primjene:• Blokaerotriangulacija• Arhitektura i zaštita spomenika• Građevinarstvo• Arheologija• Industrija i strojarstvo • Medicina• Fotorealistična vizualizacija i animacija• ......

10


Prednosti• Raznovrsni podaci• Velike mogućnosti automatizacije• Veliki raspon točnosti• Velika pouzdanost• Jednostavna mogućnost naknadnih mjerenja• Široka spektralna osjetljivost (IC, termalno ...)

11


Tipovi obrade• Metrička fotogrametrija• Interpretativna fotogrametrija

Tipovi snimanja• Terenska i bliskopredmetna fotogrametrija• Aerofotogrametrija• Satelitska fotogrametrija

Tehnologije obrade• Analogna fotogrametrija• Analitička fotogrametrija• Digitalna fotogrametrija

12


Beskontaktna digitalizacija• Usporedba s CAD modelima• Kontrola kvalitete• Inverzno inženjerstvo• Pakiranje• Virtualna stvarnost• ...

13


Prostorno mjerenje• Izmjera točaka, provrta, bridova• Određivanje deformacija• Definiranje koordinatnih sustava• ...

14


Analiza deformacija• Prostorno mjerenje deformacija i naprezanja• Testiranje materijala• Dimenzioniranje komponenata• Određivanje svojstava materijala• Eksploatacija u industrijskoj sredini• …

15


Praćenje dinamičkih deformacija• Mjerenje 3D deformacija i vibracija• Dinamičko testiranje materijala• Analiza relativnog gibanja• …

17


18


Koordinate piksela koordinate slike

Ekstrinsični parametri – definiraju lokaciju i orijentaciju koordinatnog sustava kamere u odnosu prema poznatom referentnom koordinatnom sustavu svijeta

Intrinsični parametri – povezuju koordinate piksela s korespodentnim slike s korespodentnim točkma u referentnom sustavu kamere

Procjena parametara kamere• Fotogrametrička kalibracija• Samokalibracija

19


Koordinatni sustav svijeta (w) Koordinatni sustav kamere (c) Koordinatni sustav slike – euklidski (i) Koordinatni sustav slike – afina (a)

20


Koordinatni sustav slike

Koordinatni sustav kamere

21


Odnos (X, Y, Z) i (x, y) određuje se preko omjera trokuta

Jednadžbe perspektivne transformacije:

f – fokalna duljina kamera

fZ

Xx f

Z

Yy

22


Virtualna slika• Slika u kameri je invertirana potrebna prilagodba• Za prikazivanje slike na ekranu• Geometrija ista kao i prije• Nalazi se ispred kamera

23


B – duljina osnovne linije kamera

f – fokalna duljina kamera Z – dubina (udaljenost) točke:

Koordinate točke:

d

BfZ

d

Bx

f

ZxX

d

By

f

ZyY

24


Često korištenje “Cyclopean” koordinatnog sustava

Izrazi za konverziju:

Geometrija paralelnih kamera se izbjegava

xRxL

xRxLDX

2 xRxL

DyY

xRxL

DfZ

25


Mnogo češći slučaj - dubina fiksacijske točke

Izraz da dubinu glasi:

0Z

0Z

BfD

BfZ

26


Omogućava epipolarno ograničenje koje smanjuje dimenzije prostora u kojem tražimo korespodenciju između točke viđene različitim kamerama sa cijele slike na ograničeni prostor Epipolarna ravnina definirana je sa OP i O’P l i l’ - epipolarne linije e i e’ – epipolovi tj. virtualne slike optičkog centra prve kamere viđene drugom kamerom

27


Određivanje ekvivalentnih točaka iz dvije slike iste scene Pretpostavke:

• Odgovarajuća područja slika su slična• Točka u jednoj slici može odgovarati samo jednoj točki u drugoj

slici• Ako su dva odgovarajuća elementa blizu na slici tada je u većini

slučajeva njihova nepodudarnost ista jer okoliš predstavlja kontinuirana površina omeđena granicama

Osnovne metode:• Segmentacija • Korelacija

28


Provodi se u nekoliko koraka:• Ekstrakcija značajki pojedinog segmenta

• Odabir segmenta na lijevoj slici• Usporedba sa svakim segmentom desne slike • Odabir segmenta koji najbolje odgovara traženom segmentu

sa lijeve slike • Iteracija prijašnjih koraka

29


30


Epipolarno ograničenje Ograničenje jedinstvenosti Fotometričko ograničenje Ograničenje geometrijskih sličnosti Ograničenje istih značajki Ograničenje rasporeda Obostrana korespondencija

31


Za rješavanje problema korespondencije Za scene bez dovoljno detalja za

usporedbu Izbjegavanje kalibracije stereopara Daje gustu mapu udaljenosti

32


Binarno kodiranje

Sinusni val

34


Zbog nepravilnog pozicioniranja Kamere snimaju pločicu i svrdlo 2 kamere udaljenost svrdla od

pločice Paralelne kamere

35


4 referentne podloge Razlika CAD modela i obrađenih slika stvarna pozicija

svrdla Nije potrebna kalibracija stereopara

36


pogreška

pogreška

ispravljena

37

Stereovizijski sustavi 37

Višerezolucijski stereovizijski sustav Jeftina integrirana stereo glava Stereo algoritam pokretan na PC-u Cilj: autonomnost robota pri prepoznavanju okoline

38


Dinamička promjena rezolucije Rezolucije od 320x60, 160x60 i 80x60 piksela Svaka slika pojedine rezolucije se posebno obrađuje

39


Traženje širine hodnika

Kreirana mapa hodnika

40

Prijedlog pitanja za kolokvijPrijedlog pitanja za kolokvij Na kojoj se prirodnoj činjenici temelji strojni stereo vid?

◦ Zbog malog razmaka između ljudskih očiju, slike koje vidimo pojedinim okom nisu potpuno jednake

Koje tehnologije obrade slika poznajete u fotogrametriji?◦ Analogna fotogrametrija◦ Analitička fotogrametrija◦ Digitalna fotogrametrija

Koje su dvije metode kalibracije za procjenu parametara kamere?◦ Fotogrametrička kalibracija◦ Samokalibracija

Koji se koordinatni sustav najčešće koristi pri geometriji paralelnih kamera te gdje mu je ishodište?◦ Cyclopean – ishodište je na polovici udaljenosti između kamera

Koji su najčešći oblici strukturiranog svjetla?◦ Binarno kodiranje◦ Sinusni val

stereovizijski sustavi

Documents