GÉPI LÁTÁSON ALAPULÓ AKADÁLYELKERÜLÉS

Óbudai EgyetemNeumann János Informatikai Kar

Szerzők: Csaba GyörgySomlyai László

Konzulens: Dr. Vámossy Zoltánegyetemi docens, kutatási dékán-helyettes

XXX. OTDK 2011

Kitekintés

• DARPA urban challenge

• Kormányzó-, fékrásegítő- és automata parkoló-rendszer vezérlése

• (LIDAR)

Somlyai L., Csaba Gy. - OTDK 2011 2

Célkitűzés

• Aktív szenzor kifejlesztése

• A környezet valós leképezése

• Mindennapi forgalomban kapható eszközök felhasználásával

• Autonóm közlekedő robotautó elkészítése

Somlyai L., Csaba Gy. - OTDK 2011 3

Hardver bemutatása• Modell autó• Vezérlő elektronika• Szenzor-rendszer

Szoftverfejlesztés• Lézer detektálása• Mélységi térkép felépítése• Útvonaltervezés és beavatkozó jelek

Eredmények• Autonóm közlekedés

Somlyai L., Csaba Gy. - OTDK 2011 4

Hardver

• Előzmények• Magyarok a Marson 2008 • Felülnézeti kép alapú irányítás• II. helyezés

• Távirányítós terepjáró• 2 db szervo (két-két kerék

kormányzása független)• 2 db meghajtó motor

Somlyai L., Csaba Gy. - OTDK 2011 5

Hardver

• CAN bridge• PC és a CAN busz közötti

kapcsolattartás

• Motorszabályzó• Motorszabályzó (PID)• Optikai

fordulatszámmérés• 2x100 W motormeghajtó

híd• Kormány szervó vezérlés• Megtett távolság mérése

Somlyai L., Csaba Gy. - OTDK 2011 6

Aktív szenzor

• Elemei• Lézer dióda • Üvegrúd• Kamera

• Mérés elve• Lézersík kivetítése• A tárgyakon a lézer

megtörik• Lézer detektálása• A lézer elhelyezkedése a

képen függ a távolságtól

600 mm

dt1 = 1900 mm

dt2

300 mm

t1t2

Robot

γ

Somlyai L., Csaba Gy. - OTDK 2011 7

Szenzor kalibrálása

• Tesztrendszer• Kamera: 640x360• Lézer és kamera szög: 60°• Maximális érzékelési

távolság: 2 m

• Pontosság függ• Kamera kép felbontásától• Az objektum távolságától• Tesztrendszeren elérhető maximális

felbontás: 0,1 - 0,5 cm

Somlyai L., Csaba Gy. - OTDK 2011 8

Vezérlőszoftver

• Cél• Kameraképből a haladási irány meghatározása

KameraKamera

korrekció

Somlyai L., Csaba Gy. - OTDK 2011 9

KameraKamera

korrekcióLézer

detektálás

• Cél• Kameraképből a haladási irány meghatározása

Vezérlőszoftver

Somlyai L., Csaba Gy. - OTDK 2011 10

Lézer detektálás

• Célja: csak azon pixelek meghagyása,amik a lézert ábrázolják

• Lézerdetektálási módszerek• Intenzitás • Színtartomány • Éldetektálás

Somlyai L., Csaba Gy. - OTDK 2011 11

Lézer detektálás

• Különböző egyszerűbb eljárások összevonása• Gyorsaság megmarad, eredményesség jobb• Színtartomány + Küszöbölés

• Élszűrés, hiszterézis küszöbölés

• Színtartomány + Küszöbölés & Élkeresés

Somlyai L., Csaba Gy. - OTDK 2011 12

KameraKamera

korrekció

Mélységi térkép

redukálás

Lézer detektálás

Mélységi térkép

Mélységi térkép

kiterjesztés

• Cél• Kameraképből a haladási irány meghatározása

Vezérlőszoftver

Somlyai L., Csaba Gy. - OTDK 2011 13

Mélységi térkép• Virtuális felülnézeti kép• Valós térbeli távolságok• Kép transzformáció

• Forráskép: lézer képe• Leképezés minden pixelre

• Kiterjesztés• Autó fizikai tulajdonságai

• Képméret csökkentése• Kis felbontású mélységi

térkép készítése, az útvonaltervezéshez

Somlyai L., Csaba Gy. - OTDK 2011 14

Mélységi térkép kiterjesztése

Somlyai L., Csaba Gy. - OTDK 2011 15

Somlyai L., Csaba Gy. - OTDK 2011

a)50 cm

b)100 cm

c) 150 cm

d.)170 cm

Mélységi térkép ellenőrzése• Tesztkörnyezet• Kamerakép• Virtuális

felülnézeti kép• Mért értékek

Valós Mért Hiba

a) 50 cm 50 cm 0 %

b) 100 cm

99 cm 1 %

c) 150 cm

145 cm

3,3 %

d) 170 cm

165 cm

3 %

16

Mélységi térkép ellenőrzése• A távolságmérés

a jármű dőlésére invariáns• Kanyarodás• Egyenetlen

terep

Valós Mért Hiba

a) 50 cm 52 cm 4 %

c) 150 cm

148 cm

1,3 %

d) 170 cm

167 cm

1,8 %

Somlyai L., Csaba Gy. - OTDK 2011 17

KameraKamera

korrekció

Mélységi térkép

redukálás

Lézer detektálás

Mélységi térkép

Útvonal tervezés

Mélységi térkép

kiterjesztés

• Cél• Kameraképből a haladási irány meghatározása

Vezérlőszoftver

Somlyai L., Csaba Gy. - OTDK 2011 18

Útvonaltervezés• Célja

• Két pont között járható út keresése

• Haladási irány meghatározása

• Mélységi térképen• Hullám továbbterjedés [1]

algoritmussal (gyors)• Potenciálmező felépítése a

célból indulva (távolság)• Startból indulva a legkisebb

értékek keresése

Somlyai L., Csaba Gy. - OTDK 2011 19

[1]: A. P. Munuzuri, L. O. Chua Noel: Shortest-path-finder algorithm in a two-dimensional array of nonlinear electronic circuits; International Journal of Bifurcation and Chaos, Vol. 8, No. 12, pp. 2493-2501 (1998)

KameraKamera

korrekció

Mélységi térkép

redukálás

Lézer detektálás

Mélységi térkép

BeavatkozásÚtvonal tervezés

Mélységi térkép

kiterjesztés

• Cél• Kameraképből a haladási irány meghatározása

Vezérlőszoftver

Somlyai L., Csaba Gy. - OTDK 2011 20

CRCSTART Type Dest. Funct. Id. 8 STOP7654321

START Header Data CRC STOP

Navigáció

• Kommunikáció a robottal• Soros porton keresztül (USB - FTDI)• Keretekben

• Megtett távolság visszamérése

• Optikai tárcsás érzékelővel• Pontosság

• 20 mérésből

• További feldolgozás céljából megtett útvonal adatainak tárolása

Valós távolság

Maximális mért hiba

Hiba

1 m 1,25 cm 1,3 %

2 m 2,7 cm 1,3 %

5 m 1,5 cm 0,3 %

Somlyai L., Csaba Gy. - OTDK 2011 21

Elért eredményeink• Stabilan működő jármű (megbízható elektronika)

elkészítése• Helyes eredményeket adó szenzorrendszer megépítése

• Változatos körülmények között is (erdő, napsütés, zárt tér)• Akadálydetektálás

• Alakzattól független (téglatest, henger, érdes fatörzs)• Eredményessége fényviszony függő

• Mélységi térkép készítés• Felépített tesztkörnyezetet alacsony hibaszázalékkal

detektálta• Sikeres autonóm közlekedés megvalósítása

• Váratlanul felbukkanó akadályok előtt megáll és visszatolat• Elkészült vezérlőszoftver

Somlyai L., Csaba Gy. - OTDK 2011 22

Továbbfejlesztési lehetőségek• Szenzorrendszer fejlesztése• KINECT

• RGBD kép

• 0,5 m – 10 m működési tartomány (pontosság: ~5 mm)

• Környezeti fényviszonyokra érzéketlenebb a lézeres megoldásnál

• Szoftverben egyszerűen lecserélhető

• 2010 év végén jelent meg

Somlyai L., Csaba Gy. - OTDK 2011 23

Bemutató

Somlyai L., Csaba Gy. - OTDK 2011 24

Köszönjük a figyelmüket

Somlyai L., Csaba Gy. - OTDK 2011 25