raspoznavanje prometnih znakova - vista.fer.hr · •prometni znakovi su jednostavni objekti strogo...
TRANSCRIPT
![Page 1: Raspoznavanje prometnih znakova - vista.fer.hr · •Prometni znakovi su jednostavni objekti strogo ograničeni svojim oblikom i bojom](https://reader030.vdocuments.net/reader030/viewer/2022021621/5e0bb75c03b16047ce64372d/html5/thumbnails/1.jpg)
RASPOZNAVANJE
PROMETNIH ZNAKOVA
Ivan Filković
Mentor: Prof. dr. sc. Zoran Kalafatić
1.7.2013.
![Page 2: Raspoznavanje prometnih znakova - vista.fer.hr · •Prometni znakovi su jednostavni objekti strogo ograničeni svojim oblikom i bojom](https://reader030.vdocuments.net/reader030/viewer/2022021621/5e0bb75c03b16047ce64372d/html5/thumbnails/2.jpg)
Sadržaj
•Motivacija, uvod
•Sustav za raspoznavanje prometnih
znakova
•Skupovi podataka
•Rezultati testiranja
•Zaključak, budući ciljevi
1.7.2013. 2
![Page 3: Raspoznavanje prometnih znakova - vista.fer.hr · •Prometni znakovi su jednostavni objekti strogo ograničeni svojim oblikom i bojom](https://reader030.vdocuments.net/reader030/viewer/2022021621/5e0bb75c03b16047ce64372d/html5/thumbnails/3.jpg)
Motivacija
• Moderni sustavi za potporu vozaču (engl. Advanced
Driver Assistance Systems - ADAS)
• Sustavi održavanja cestovne infrastrukture
• Autonomna vozila
• Primjena u projektu VISTA u okviru sustava za otkrivanje,
raspoznavanje i praćenje prometnih znakova
1.7.2013. 3
![Page 4: Raspoznavanje prometnih znakova - vista.fer.hr · •Prometni znakovi su jednostavni objekti strogo ograničeni svojim oblikom i bojom](https://reader030.vdocuments.net/reader030/viewer/2022021621/5e0bb75c03b16047ce64372d/html5/thumbnails/4.jpg)
Uvod
• Bečki sporazum o prometnim znakovima i signalizaciji (1968)
• Standardizacija prometnih znakova (manje razlike između država)
• 62 države potpisnice (Hrvatska; većina europskih država)
• Problem: nemogućnost izrade jedinstvenog sustava za
otkrivanje i raspoznavanje prometnih znakova
1.7.2013. 4
![Page 5: Raspoznavanje prometnih znakova - vista.fer.hr · •Prometni znakovi su jednostavni objekti strogo ograničeni svojim oblikom i bojom](https://reader030.vdocuments.net/reader030/viewer/2022021621/5e0bb75c03b16047ce64372d/html5/thumbnails/5.jpg)
Uvod – Prometni znakovi
• Osam osnovnih vrsta prometnih znakova (Bečki sporazum):
1. Znakovi upozorenja od opasnosti
2. Znakovi prednosti
3. Znakovi zabrane ili ograničenja
4. Znakovi obveze
5. Znakovi posebne regulacije prometa
6. Znakovi informacija, objekata ili usluga
7. Znakovi smjera, položaja ili naznake
8. Dopunske ploče
• Primjeri osnovnih vrsta
prometnih znakova u Hrvatskoj
1.7.2013. 5
![Page 6: Raspoznavanje prometnih znakova - vista.fer.hr · •Prometni znakovi su jednostavni objekti strogo ograničeni svojim oblikom i bojom](https://reader030.vdocuments.net/reader030/viewer/2022021621/5e0bb75c03b16047ce64372d/html5/thumbnails/6.jpg)
Uvod – Prometni znakovi (Hrvatska)
A. Znakovi opasnosti
• A01 – A50 → 50 znakova
B. Znakovi izričitih zabrana
• B01 – B62 → 62 znaka
C. Znakovi obavijesti
• C01 – C133 → 133 znaka
D. Znakovi obavijesti za vođenje prometa
• D01 – D17 → 17 znakova
E. Dopunske ploče
• E01 – E50 → 50 znakova
322 različita prometna znaka!!!
1.7.2013. 6
![Page 7: Raspoznavanje prometnih znakova - vista.fer.hr · •Prometni znakovi su jednostavni objekti strogo ograničeni svojim oblikom i bojom](https://reader030.vdocuments.net/reader030/viewer/2022021621/5e0bb75c03b16047ce64372d/html5/thumbnails/7.jpg)
Uvod
• Prometni znakovi su jednostavni objekti strogo ograničeni svojim oblikom i bojom
• Osmišljeni da budu što uočljiviji čovjeku (intenzivne boje, pravilni oblici i refleksivna površina)
• Problem: reprezentacija koja odgovara čovjeku je nepogodna za računalo
• Problem:
• Promjena osvjetljenja
• Djelomična prekrivenost prometnih znakova
• Vremenski uvjeti
• Perspektiva prometnih znakova
1.7.2013. 7
![Page 8: Raspoznavanje prometnih znakova - vista.fer.hr · •Prometni znakovi su jednostavni objekti strogo ograničeni svojim oblikom i bojom](https://reader030.vdocuments.net/reader030/viewer/2022021621/5e0bb75c03b16047ce64372d/html5/thumbnails/8.jpg)
Uvod - Cilj
• Sustav raspoznavanja prometnih znakova
• Robustan
• Rad u realnom vremenu (ADAS)
• Minimizirati troškove (jačina računala, karakteristike
kamere; ADAS)
• Maksimizirati performanse (ADAS)
1.7.2013. 8
![Page 9: Raspoznavanje prometnih znakova - vista.fer.hr · •Prometni znakovi su jednostavni objekti strogo ograničeni svojim oblikom i bojom](https://reader030.vdocuments.net/reader030/viewer/2022021621/5e0bb75c03b16047ce64372d/html5/thumbnails/9.jpg)
Sustav za raspoznavanje
prometnih znakova • Raspoznavanje prometnih znakova → problem strojnog učenja
(nadzirano učenje)
• Najvažnije - kvalitetan skup podataka (skup prometnih znakova) koji dobro reprezentira dani problem
• Višerazredni klasifikacijski problem s neujednačenom zastupljenosti razreda
• Problem: 322 različita prometna znaka u Hrvatskoj → 322 razreda → težak klasifikacijski problem
• Rješenje: problem razdvojiti na više podproblema
• Podskup prometnih znakova (npr. trokutasti, okrugli, znakovi ograničenja brzine) → novi problem
1.7.2013. 9
![Page 10: Raspoznavanje prometnih znakova - vista.fer.hr · •Prometni znakovi su jednostavni objekti strogo ograničeni svojim oblikom i bojom](https://reader030.vdocuments.net/reader030/viewer/2022021621/5e0bb75c03b16047ce64372d/html5/thumbnails/10.jpg)
Sustav za raspoznavanje
prometnih znakova
1.7.2013. 10
![Page 11: Raspoznavanje prometnih znakova - vista.fer.hr · •Prometni znakovi su jednostavni objekti strogo ograničeni svojim oblikom i bojom](https://reader030.vdocuments.net/reader030/viewer/2022021621/5e0bb75c03b16047ce64372d/html5/thumbnails/11.jpg)
Skupovi podataka prometnih znakova
• 4 javno dostupna skupa podataka:
• MASTIF - Mapping and Assessing the State of Traffic
Infrastructure skup podataka
• GTSRB - German Traffic Sign Recognition Benchmark skup
podataka
• BTSC - Belgium Traffic Sign Classification skup podataka
• STS - Swedish Traffic Sign skup podataka
• Terminologija: • Jedan fizički prometni znak = instanca prometnog znaka
• Trag prometnog znaka - primjeri za učenje instance prometnog znaka
1.7.2013. 11
![Page 12: Raspoznavanje prometnih znakova - vista.fer.hr · •Prometni znakovi su jednostavni objekti strogo ograničeni svojim oblikom i bojom](https://reader030.vdocuments.net/reader030/viewer/2022021621/5e0bb75c03b16047ce64372d/html5/thumbnails/12.jpg)
MASTIF skup podataka
• FER
• Kamera:
• Pričvršćena na prednji dio automobila
• SDTV rezolucija: 720 x 576
• FOV (engl. Field of View): 48°
• FPS: 25
• Tri podskupa snimljena 2009, 2010 i 2011 godine
• Problemi:
• Primjeri za učenje male rezolucije (20 x 20 do 90 x 90)
• Prisutno zamućenje uslijed gibanja vozila
• Korištena interlaced kamera za podskup 2009
• Mali broj primjera za učenje nekih razreda
1.7.2013. 12
![Page 13: Raspoznavanje prometnih znakova - vista.fer.hr · •Prometni znakovi su jednostavni objekti strogo ograničeni svojim oblikom i bojom](https://reader030.vdocuments.net/reader030/viewer/2022021621/5e0bb75c03b16047ce64372d/html5/thumbnails/13.jpg)
MASTIF skup podataka
• Podskup 2009: • # primjera za učenje: 6428
• # razreda: 84
• # traga: ~
• # primjer/trag: 4-5
• Podskup 2010: • # primjera za učenje: 3889
• # razreda: 78
• # traga: ~
• # primjer/trag: 4-5
• Podskup 2011: • # primjera za učenje: 1015
• # razreda: 43
• # traga: ~
• # primjer/trag: 4-5
1.7.2013. 13
![Page 14: Raspoznavanje prometnih znakova - vista.fer.hr · •Prometni znakovi su jednostavni objekti strogo ograničeni svojim oblikom i bojom](https://reader030.vdocuments.net/reader030/viewer/2022021621/5e0bb75c03b16047ce64372d/html5/thumbnails/14.jpg)
GTSRB skup podataka
• Stallkamp, Schlipsing, Salmen, Igel
• Kamera:
• Prosilica GC 1380CH
• 10 sati slikovne sekvence dobivene kamerom pričvršćenom na prednji dio vozila tijekom dana (Ožujak, Listopad i Studeni 2010)
• Rezolucija: 1360 x 1024
• FPS: 25
• # primjera za učenje: 51 840
• # razreda: 43
• # traga: 9
• # primjera/trag: barem 30
• Rezolucija primjera:
• 15 x 15 do 222 x 193
• HOG1, HOG2, HOG3
1.7.2013. 14
![Page 15: Raspoznavanje prometnih znakova - vista.fer.hr · •Prometni znakovi su jednostavni objekti strogo ograničeni svojim oblikom i bojom](https://reader030.vdocuments.net/reader030/viewer/2022021621/5e0bb75c03b16047ce64372d/html5/thumbnails/15.jpg)
Histogram Orijentiranih Gradijenata
(HOG) • Prebrojavanje različitih orijentacija gradijenata u
lokaliziranim dijelovima slike
• Invarijantni na geometrijska i fotometričke transformacije
• Gusta mrežu uniformno raspoređenih ćelija
• Ideja: lokalni izgled i oblik objekta se može opisati razdiobom orijentacije gradijenta (rubova)
• Parametri: • Veličina ćelije (sl. el. x sl. el)
• Veličina bloka (#ćelija x #ćelija)
• #histograma po ćeliji
• Normalizacija
• Veličina odjeljka histograma
• Raspon histograma
1.7.2013. 15
![Page 16: Raspoznavanje prometnih znakova - vista.fer.hr · •Prometni znakovi su jednostavni objekti strogo ograničeni svojim oblikom i bojom](https://reader030.vdocuments.net/reader030/viewer/2022021621/5e0bb75c03b16047ce64372d/html5/thumbnails/16.jpg)
HOG
𝑣𝑒𝑙𝑖č𝑖𝑛𝑎 𝑣𝑒𝑘𝑡𝑜𝑟𝑎 𝑧𝑛𝑎č𝑎𝑗𝑘𝑖 = #𝑏𝑙𝑜𝑘𝑜𝑣𝑎 𝑥 #ć𝑒𝑙𝑖𝑗𝑎 𝑝𝑜 𝑏𝑙𝑜𝑘𝑢 𝑥 #𝑜𝑑𝑗𝑒𝑙𝑗𝑎𝑘𝑎 𝑝𝑜 ć𝑒𝑙𝑖𝑗𝑖
• Pseudo kod:
1. Postavi područje od interesa na prometni znak u slici
2. Promijeni veličinu ulazne slike na 40 x 40 (npr. bilinearna
interpolacija)
3. Prebaci sliku iz RGB sustava boja u HSV sustav boja
4. Izračunaj gradijentne slike u x i y smjeru (npr. Sobelov, Robertsov,
Perwittov operator)
1.7.2013. 16
![Page 17: Raspoznavanje prometnih znakova - vista.fer.hr · •Prometni znakovi su jednostavni objekti strogo ograničeni svojim oblikom i bojom](https://reader030.vdocuments.net/reader030/viewer/2022021621/5e0bb75c03b16047ce64372d/html5/thumbnails/17.jpg)
HOG
5. Izračunaj histograme orijentacije
• Amplituda gradijenta:
𝑀 = 𝐺𝑥2 + 𝐺𝑦
2
• Orijentacija gradijenta:
Θ = 𝑎𝑟𝑐 𝑡𝑔(𝐺𝑦𝐺𝑥)
1.7.2013. 17
![Page 18: Raspoznavanje prometnih znakova - vista.fer.hr · •Prometni znakovi su jednostavni objekti strogo ograničeni svojim oblikom i bojom](https://reader030.vdocuments.net/reader030/viewer/2022021621/5e0bb75c03b16047ce64372d/html5/thumbnails/18.jpg)
HOG
5. Izračunaj pripadajuće integralne slike
𝐼 𝑥, 𝑦 = 𝑖[𝑥′, 𝑦′]
𝑥′≤ 𝑥𝑦′≤ 𝑦
• Zbroj vrijednosti svih slikovnih elemenata iznad i lijevo od slikovnog
elementa [𝑥, 𝑦]
• Nema operacija s pomičnim zarezom
• Look-up tablice
1.7.2013. 18
![Page 19: Raspoznavanje prometnih znakova - vista.fer.hr · •Prometni znakovi su jednostavni objekti strogo ograničeni svojim oblikom i bojom](https://reader030.vdocuments.net/reader030/viewer/2022021621/5e0bb75c03b16047ce64372d/html5/thumbnails/19.jpg)
Histogram Orijentiranih Gradijenata
(HOG) 6. Izračunaj vektor značajki
𝑧𝑛𝑎č𝑎𝑗𝑘𝑎 = 𝐼 𝐶 + 𝐼 𝐴 − 𝐼 𝐵 − 𝐼[𝐷]
1.7.2013. 19
![Page 20: Raspoznavanje prometnih znakova - vista.fer.hr · •Prometni znakovi su jednostavni objekti strogo ograničeni svojim oblikom i bojom](https://reader030.vdocuments.net/reader030/viewer/2022021621/5e0bb75c03b16047ce64372d/html5/thumbnails/20.jpg)
HOG
• Normalizacija bloka • Robusnost na promjene osvjetljenja
𝐿2 − 𝑛𝑜𝑟𝑚𝑎: 𝑓 =𝑣
𝑣 22 + 𝑒2
𝐿1 − 𝑛𝑜𝑟𝑚𝑎: 𝑓 =𝑣
𝑣 1 + 𝑒
𝐿1 − 𝑘𝑜𝑟𝑖𝑗𝑒𝑛: 𝑓 =𝑣
𝑣 1 + 𝑒
𝑣 𝑘 = 𝑣𝑖𝑘
𝑘
𝑖=1
1𝑘
; 𝑘 = 1, 2; 𝑒 − 𝑚𝑎𝑙𝑎 𝑘𝑜𝑛𝑠𝑡𝑎𝑛𝑡𝑎 (𝑖𝑧𝑏𝑗𝑒𝑔𝑎𝑣𝑎𝑛𝑗𝑒 𝑠𝑖𝑛𝑔𝑢𝑙𝑎𝑟𝑖𝑡𝑒𝑡𝑎)
• invari
1.7.2013. 20
![Page 21: Raspoznavanje prometnih znakova - vista.fer.hr · •Prometni znakovi su jednostavni objekti strogo ograničeni svojim oblikom i bojom](https://reader030.vdocuments.net/reader030/viewer/2022021621/5e0bb75c03b16047ce64372d/html5/thumbnails/21.jpg)
HOG
• HOG1 (1568)
• skaliranje slika na 40 x 40 slikovnih elemenata pomoću bilinearne
interpolacije
• veličina ćelija je 5 x 5 slikovnih elemenata
• veličina blokova je 2 x 2 ćelije
• blokovi pomaknuti za 5 slikovnih elemenata u oba smjera
• histogram ima 8 odjeljaka (orijentacija)
• raspon histograma: 0 do 180 stupnjeva
• pretprocesiranje: korišteni gradijenti iz sqrt(RGB)
• normalizacija: L2 norma
• HOG2(1568) • raspon histograma: 0 do 360 stupnjeva
1.7.2013. 21
![Page 22: Raspoznavanje prometnih znakova - vista.fer.hr · •Prometni znakovi su jednostavni objekti strogo ograničeni svojim oblikom i bojom](https://reader030.vdocuments.net/reader030/viewer/2022021621/5e0bb75c03b16047ce64372d/html5/thumbnails/22.jpg)
HOG
• HOG3 (2916)
• skaliranje slika na 40 x 40 slikovnih elemenata pomoću bilinearne
interpolacije
• veličina ćelija je 4 x 4 slikovnih elemenata
• veličina blokova je 2 x 2 ćelije
• blokovi pomaknuti za 5 slikovnih elemenata u oba smjera
• histogram ima 9 odjeljaka (orijentacija)
• raspon histograma: 0 do 180 stupnjeva
• pretprocesiranje: korišteni gradijenti iz sqrt(RGB)
• normalizacija: L2 norma
1.7.2013. 22
![Page 23: Raspoznavanje prometnih znakova - vista.fer.hr · •Prometni znakovi su jednostavni objekti strogo ograničeni svojim oblikom i bojom](https://reader030.vdocuments.net/reader030/viewer/2022021621/5e0bb75c03b16047ce64372d/html5/thumbnails/23.jpg)
Stroj s potpornim vektorima
• Jedan-naspram-ostali (K – 1 klasifikatora)
• Pronalazak hiperravnine koja maksimizira marginu
razdvajanja
• Hiperravnina definirana primjerima (potporni vektori)
• Linearni SVM (C)
• C malen: margina razdvajana velika nauštrb pogrešne klasifikacije
• C velik: manja margina
1.7.2013. 23
![Page 24: Raspoznavanje prometnih znakova - vista.fer.hr · •Prometni znakovi su jednostavni objekti strogo ograničeni svojim oblikom i bojom](https://reader030.vdocuments.net/reader030/viewer/2022021621/5e0bb75c03b16047ce64372d/html5/thumbnails/24.jpg)
Evaluacija klasifikatora
• Stopa točne klasifikacije
𝐶𝐶𝑅 =𝑇𝑃
#𝑝𝑟𝑖𝑚𝑗𝑒𝑟𝑎
• Točnost – udio točno klasificiranih primjera u
skupu svih
𝐴𝑐𝑐 =𝑇𝑃 + 𝑇𝑁
𝑇𝑃 + 𝑇𝑁 + 𝐹𝑃 + 𝐹𝑁
• Preciznost – udio točno klasificiranih primjera
u skupu pozitivno klasificirnaih
𝑃 =𝑇𝑃
𝑇𝑃 + 𝐹𝑃
• Odziv – udio točno klasificiranih primjera u
skupu pozitivnih
𝑅 =𝑇𝑃
𝑇𝑃 + 𝐹𝑁
• Specifičnost – udio točno klasificiranih primjera u skupu negativnih
𝑆 =𝑇𝑁
𝑇𝑁 + 𝐹𝑃
• Mikro F1
𝐹1𝑚𝑖𝑐𝑟𝑜 =
2𝑃𝑅
𝑃 + 𝑅
• Makro F1
𝐹1𝑚𝑎𝑐𝑟𝑜 =
1
𝐾 𝐹𝑗
𝐾
𝑗=1
𝐹𝑗 =2𝑃𝑗𝑅𝑗𝑃𝑗 + 𝑅𝑗
1.7.2013. 24
![Page 25: Raspoznavanje prometnih znakova - vista.fer.hr · •Prometni znakovi su jednostavni objekti strogo ograničeni svojim oblikom i bojom](https://reader030.vdocuments.net/reader030/viewer/2022021621/5e0bb75c03b16047ce64372d/html5/thumbnails/25.jpg)
Evaluacija klasifikatora
• Višerazredna klasifikacija
• Neke mjere nemaju smisla
• Točnost
• Specifičnost
• CCR = Preciznost = Odziv = Mikro F1
• Makro F1 je tipično stroža mjera
• Slabo zastupljene klase → klasifikacija lošija
1.7.2013. 25
![Page 26: Raspoznavanje prometnih znakova - vista.fer.hr · •Prometni znakovi su jednostavni objekti strogo ograničeni svojim oblikom i bojom](https://reader030.vdocuments.net/reader030/viewer/2022021621/5e0bb75c03b16047ce64372d/html5/thumbnails/26.jpg)
Odabir modela – k-struka unakrsna
provjera • Skup podataka prometnih znakova se dijeli na tri skupa:
• Skup za učenje
• Skup za provjeru
• Skup za testiranje
• VAŽNO:
• Skupove dijeliti na rezoluciji traga
• Inače nepoštena procjena točnosti generalizacije
• Procjena pogreške – prosječna pogreška na k preklopa
• k = 5
1.7.2013. 26
![Page 27: Raspoznavanje prometnih znakova - vista.fer.hr · •Prometni znakovi su jednostavni objekti strogo ograničeni svojim oblikom i bojom](https://reader030.vdocuments.net/reader030/viewer/2022021621/5e0bb75c03b16047ce64372d/html5/thumbnails/27.jpg)
Odabir modela – primjer
1.7.2013. 27
• Klasifikator: linearni SVM
• Značajke: HOG1
0,33611
0,809647
0,976877 0,98705 0,986824
0,986862 0,986862
0,986862
0
0,2
0,4
0,6
0,8
1
1,2
0,0001 0,001 0,01 0,1 1 2 5 10
CC
R
C
![Page 28: Raspoznavanje prometnih znakova - vista.fer.hr · •Prometni znakovi su jednostavni objekti strogo ograničeni svojim oblikom i bojom](https://reader030.vdocuments.net/reader030/viewer/2022021621/5e0bb75c03b16047ce64372d/html5/thumbnails/28.jpg)
Implementacija
• C++
• OpenCV
• libSVM
• Shark machine learning library
1.7.2013. 28
![Page 29: Raspoznavanje prometnih znakova - vista.fer.hr · •Prometni znakovi su jednostavni objekti strogo ograničeni svojim oblikom i bojom](https://reader030.vdocuments.net/reader030/viewer/2022021621/5e0bb75c03b16047ce64372d/html5/thumbnails/29.jpg)
Rezultati testiranja
• GTSRB, linearni SVM, C = 0,01
1.7.2013. 29
0,93659 (11772/12569)
0,958151 (12043/12569)
0,940886 (11826/12569)
0,957515 (12035/12569)
0,961515 (12085/12569) 0,952515 (11972
/12569)
1 1 1 0,999925 1 0,999887
0,88
0,9
0,92
0,94
0,96
0,98
1
1,02
HOG1 HOG2 HOG3 HOG1* HOG2* HOG3*
Perf
orm
an
se k
lasif
ikacije
Značajke
Skup za testiranje (Correct classification rate) Skup za testiranje (Makro F1) Skup za učenje (CCR)
![Page 30: Raspoznavanje prometnih znakova - vista.fer.hr · •Prometni znakovi su jednostavni objekti strogo ograničeni svojim oblikom i bojom](https://reader030.vdocuments.net/reader030/viewer/2022021621/5e0bb75c03b16047ce64372d/html5/thumbnails/30.jpg)
Zaključak, budući ciljevi
• Metode strojnog učenja su dobar put
• Preliminarni rezultati
• Literatura
• Klasifikatori • Diskriminativni/Generativni modeli
(SVM / Logistička regresija)
• Parametarski/Neparametarski modeli (Bayes / k- NN, Konvolucijske NN, DT)
• Linearni/Nelinearni modeli
• Značajke • Boja
• Haar
• SIFT
• LRF
• Kombinacije
• Odabir značajki • LDA
• PCA
• Kombinacije
• Skupovi podataka • BTSC
• STS
• Usporediti ispitne skupove podataka • Sličnosti
• Razlike
1.7.2013. 30
![Page 31: Raspoznavanje prometnih znakova - vista.fer.hr · •Prometni znakovi su jednostavni objekti strogo ograničeni svojim oblikom i bojom](https://reader030.vdocuments.net/reader030/viewer/2022021621/5e0bb75c03b16047ce64372d/html5/thumbnails/31.jpg)
Hvala!
1.7.2013. 31