mozgó objektumok detektálása és követése robotkamera segítségével

Mozgó Objektumok Detektálása és Követése

Robotkamera Segítségével

Horváth Péter

Témavezető: Dr. Kató Zoltán

Összefoglalás

•gyors módszer optical flow real-time meghatározására

•mozgó objektumok követése Gaussian Mixture modell és Expectation Maximization segítségével

•robotkamera bemutatása (mechanikai, elektronikai felépítése, vezérlőprogram)

•kísérleti eredmények bemutatása

•a robotkamera tesztje

Optical Flow

Az optical flow field egy olyan vektormező, mely megmutatja, hogy egy képkocka pixelei milyen irányban és mennyire mozdultak el.

Maximálisan egy pixel nagyságú mozgások meghatározása

•Futásidő = θ(NM)•Segítségével lehetővé vált a real-time implementáció •Kísérleteink alapján legjobbnak a következő módszer bizonyult:

•Környezet vizsgálata normális eloszlás sűrűségfüggvényével súlyozva:

Gauss-piramis felépítése, méretének meghatározása

Ha a kép méretét felére csökkentjük a mozgások is felére csökkennek, ezt folytatva az x. művelet után a mozgások nagysága 2x-edére csökken.

• A piramis legfelső szintjén meghatározzuk a maximum 1 pixel nagyságú mozgásokat majd egy szinttel lejjebb ugrunk, itt a (2i, 2j), (2i+1, 2j), (2i, 2j+1) és (2i+1, 2j+1) vektorok megkapják az előző szint (i, j) vektor értékétnek kétszeresét.

• Ezen becslés után egy finomító lépés következik.

Visszafelé dolgozó stratégia

Optical Flow becslése — összefoglalás

Az Optical Flow meghatározása:

1. 2 szekvencia kiválasztása

2. Gauss-piramis elkészítése a két képből

3. A felső szinten maximálisan 1 pixel nagyságú mozgások meghatározása.

4. Egy szinttel alacsonyabban lévő Optical Flow vektorok meghatározása:

1. Vektorok duplázása

2. Finomítás

5. GOTO 4 ha nem értük el a piramis alsó szintjét

Megjegyzés: Ha a gyakorlati alkalmazásban elegendő pontosságú a becsült Optical Flow, akkor ezen még javíthatunk egy opcionális ponttal, ha a Finomítás után egy simítást végzünk a vektormezőn.

Összefoglalás

•gyors módszer optical flow real-time meghatározására

•mozgó objektumok követése Gaussian Mixture modell és Expectation Maximization segítségével

•robotkamera bemutatása (mechanikai, elektronikai felépítése, vezérlőprogram)

•kísérleti eredmények bemutatása

•a robotkamera tesztje

Mozgó objektumok követése

Cél: Adott referenciaobjektum követése

HSV, LUV színterek, 2D hisztogram

•RGB nem használható megfelelően•HSV, LUV,… van egy komponens a fényerőnek•Ezt a komponenst elhagyva egy fényre invariáns 2D színteret kapunk.•2D hisztogram készítése

HSV: gyors, de nem lineáris a transzformáció

LUV: az emberi szem színtávolság érzetét jól közelíti, lassú nem lineáris transzformáció a hatványozás miatt

Expectation Maximization

•ismeretlen eloszlás•Gauss-eloszlások segítségével közelítjük•Expectation Maximization•Dempster et al. 1977

Expectation Maximization

0

10

20

30

40

0

5

10

15

20

25

Várható értékek, valószínűségek (m=4 esetén): p(j)(101.771, 191.155) 0.182(94.391 , 66.803) 0.267(76.129 , 43.870) 0.231(173.542, 82.745) 0.319

Gaussian Mixture Model

Jelölje a követendő objektumot mely hisztogramjának sűrűségét EM-el becsültük. legyen egy tetszőleges pont melynek ismert a színe. Annak a valószínűsége, hogy a pixel az O objektumhoz tartozik:

, ahol P(j) a j. komponens valószínűsége. Természetesen: Annak a valószínűsége pedig, hogy a -t a j. komponens tartalmazza:

Az objektum lokalizálása

•Az objektum a t-1. képkockán Lt-1 középpontban St-1

méretű bounding-box-szal (befoglaló téglalap)

•A t. képkocka az Lt:

•Ebből a St:

•Küszöbölés

Összefoglalás

•gyors módszer optical flow real-time meghatározására

•mozgó objektumok követése Gaussian Mixture modell és Expectation Maximization segítségével

•robotkamera bemutatása (mechanikai, elektronikai felépítése, vezérlőprogram)

•kísérleti eredmények bemutatása

•a robotkamera tesztje

A robotkamera

A robotkamera felépítése

mozgatás: léptetőmotorok

saját mikroprocesszor (PIC16C84)

kommunikáció: PC párhuzamos port

Összefoglalás

•gyors módszer optical flow real-time meghatározására

•mozgó objektumok követése Gaussian Mixture modell és Expectation Maximization segítségével

•robotkamera bemutatása (mechanikai, elektronikai felépítése, vezérlőprogram)

•kísérleti eredmények bemutatása

•a robotkamera tesztje

Kísérleti eredmények – optical flow

Kísérleti eredmények

Összefoglalás

•gyors módszer optical flow real-time meghatározására

•mozgó objektumok követése Gaussian Mixture modell és Expectation Maximization segítségével

•robotkamera bemutatása (mechanikai, elektronikai felépítése, vezérlőprogram)

•kísérleti eredmények bemutatása

•a robotkamera tesztje

VégeKöszönöm a figyelmet!