statisztikai eljárások a mintafelismerésben és a gépi...
TRANSCRIPT
![Page 1: Statisztikai eljárások a mintafelismerésben és a gépi ...kela/eloadasfinal_vargadomonkos.pdf · fejlesztésére és tanulmányozására koncentrál, melyek tanulni tudnak az](https://reader034.vdocuments.net/reader034/viewer/2022050718/5e18ea95dc6647126f006af1/html5/thumbnails/1.jpg)
Statisztikai eljárások a mintafelismerésben és a gépi tanulásban
Varga Domonkos(I.évf. PhD hallgató)
2014 május
![Page 2: Statisztikai eljárások a mintafelismerésben és a gépi ...kela/eloadasfinal_vargadomonkos.pdf · fejlesztésére és tanulmányozására koncentrál, melyek tanulni tudnak az](https://reader034.vdocuments.net/reader034/viewer/2022050718/5e18ea95dc6647126f006af1/html5/thumbnails/2.jpg)
A prezentáció felépítése
1) Alapfogalmak
2) A gépi tanulás, mintafelismerés alkalmazási területei
3) A gépi tanulás és a mintafelismerés módszertana
4) Egyszerű példa: kézzel írott számok felismerése
5) Bonyolultabb példa: kézjelABC felismerése videofolyamban
6) A gépi tanulásnál és mintafelismerésnél alkalmazott statisztikai eljárások
![Page 3: Statisztikai eljárások a mintafelismerésben és a gépi ...kela/eloadasfinal_vargadomonkos.pdf · fejlesztésére és tanulmányozására koncentrál, melyek tanulni tudnak az](https://reader034.vdocuments.net/reader034/viewer/2022050718/5e18ea95dc6647126f006af1/html5/thumbnails/3.jpg)
1) Alapfogalmak
mit értünk gépi tanuláson, mintafelismerésen?
(elnézést azoktól akiknek ez nyilvánvaló,de több szakmának szól az előadás)
![Page 4: Statisztikai eljárások a mintafelismerésben és a gépi ...kela/eloadasfinal_vargadomonkos.pdf · fejlesztésére és tanulmányozására koncentrál, melyek tanulni tudnak az](https://reader034.vdocuments.net/reader034/viewer/2022050718/5e18ea95dc6647126f006af1/html5/thumbnails/4.jpg)
Alapvető fogalmak hozzávetőleges definíciója
Gépi tanulás: a mesterséges intelligenciának az az ága mely olyan algoritmusok tervezésére, fejlesztésére és tanulmányozására koncentrál, melyek tanulni tudnak az adatokból.
A minta ellentéte a káosznak, olyan gyengén definiált entitások, melyekhez nevet lehet rendelni.
A minta egy absztrakt objektum, mérések egy olyan halmaza, mely egy fizikai objetumot ír le.
![Page 5: Statisztikai eljárások a mintafelismerésben és a gépi ...kela/eloadasfinal_vargadomonkos.pdf · fejlesztésére és tanulmányozására koncentrál, melyek tanulni tudnak az](https://reader034.vdocuments.net/reader034/viewer/2022050718/5e18ea95dc6647126f006af1/html5/thumbnails/5.jpg)
A mintafelismerésben és a gépi tanulásban nem az a nehézség, hogy kiválasszuk azokat a módszereket, ahol a statisztikát alkalmazzuk, hanem az ellentéte; azoknak az eljárásoknak a megmutatása, ahol nem ahol nem alkalmazzuk a statisztikai módszereket.alkalmazzuk a statisztikai módszereket.
Jelen prezentációban nemválasztom szét a gépi tanulásés a mintafelismerés fogalmát
![Page 6: Statisztikai eljárások a mintafelismerésben és a gépi ...kela/eloadasfinal_vargadomonkos.pdf · fejlesztésére és tanulmányozására koncentrál, melyek tanulni tudnak az](https://reader034.vdocuments.net/reader034/viewer/2022050718/5e18ea95dc6647126f006af1/html5/thumbnails/6.jpg)
2) A gépi tanulás, mintafelismerés alkalmazási területei
![Page 7: Statisztikai eljárások a mintafelismerésben és a gépi ...kela/eloadasfinal_vargadomonkos.pdf · fejlesztésére és tanulmányozására koncentrál, melyek tanulni tudnak az](https://reader034.vdocuments.net/reader034/viewer/2022050718/5e18ea95dc6647126f006af1/html5/thumbnails/7.jpg)
Alkalmazási területAlkalmazási terület JellegzetességJellegzetességbioinformatika DNA, genetikai minták
adatbányászat értelmes minták keresése
dokumentumok osztályozása internet keresés, szemantikus kategóriák(pl. sport, politika ...)
ipari automatizálás nyomtatott áramkörök, selejtes darabok kiszűrése stb.
biometrikus felismerés arc, ujjlenyomat, jogosultság
beszéd felismerés hanghullámok analizálása
távérzékelés multispektrumos képfeldolgozás, mezőgazdaság, űrkutatás
multimédia adatbázis keresés akciók, mozdulatok, tevékenységek
orvosi diagnosztika Röntgen felvételek átvizsgálása(pl.: rákos elváltozások felderítése ...)
A mintafelismerés jellegzetes alkalmazásai
![Page 8: Statisztikai eljárások a mintafelismerésben és a gépi ...kela/eloadasfinal_vargadomonkos.pdf · fejlesztésére és tanulmányozására koncentrál, melyek tanulni tudnak az](https://reader034.vdocuments.net/reader034/viewer/2022050718/5e18ea95dc6647126f006af1/html5/thumbnails/8.jpg)
Beszédfelismerés
?hanghullámok analizálása
![Page 9: Statisztikai eljárások a mintafelismerésben és a gépi ...kela/eloadasfinal_vargadomonkos.pdf · fejlesztésére és tanulmányozására koncentrál, melyek tanulni tudnak az](https://reader034.vdocuments.net/reader034/viewer/2022050718/5e18ea95dc6647126f006af1/html5/thumbnails/9.jpg)
Biológia/Genetika/Orvostudomány
génmanipulációbetegségek, Röntgenfelvételek
géntérképezés öröklődéstan
![Page 10: Statisztikai eljárások a mintafelismerésben és a gépi ...kela/eloadasfinal_vargadomonkos.pdf · fejlesztésére és tanulmányozására koncentrál, melyek tanulni tudnak az](https://reader034.vdocuments.net/reader034/viewer/2022050718/5e18ea95dc6647126f006af1/html5/thumbnails/10.jpg)
Bionikus azonosítás
íriszujjlenyomatarc jellegzetességei...
![Page 11: Statisztikai eljárások a mintafelismerésben és a gépi ...kela/eloadasfinal_vargadomonkos.pdf · fejlesztésére és tanulmányozására koncentrál, melyek tanulni tudnak az](https://reader034.vdocuments.net/reader034/viewer/2022050718/5e18ea95dc6647126f006af1/html5/thumbnails/11.jpg)
3) A gépi tanulás és a mintafelismerés módszertana
![Page 12: Statisztikai eljárások a mintafelismerésben és a gépi ...kela/eloadasfinal_vargadomonkos.pdf · fejlesztésére és tanulmányozására koncentrál, melyek tanulni tudnak az](https://reader034.vdocuments.net/reader034/viewer/2022050718/5e18ea95dc6647126f006af1/html5/thumbnails/12.jpg)
A gépi tanulás felosztása
![Page 13: Statisztikai eljárások a mintafelismerésben és a gépi ...kela/eloadasfinal_vargadomonkos.pdf · fejlesztésére és tanulmányozására koncentrál, melyek tanulni tudnak az](https://reader034.vdocuments.net/reader034/viewer/2022050718/5e18ea95dc6647126f006af1/html5/thumbnails/13.jpg)
Nem felügyelt tanulás (egyszerűsített) vázlataFeladat: rejtett struktúra megkeresése nem cimkézett adatok között (nincs előre adott hiba vagy jutalom egy-egy potenciális megoldáshoz)
Pédául: minták keresése sokdimenziós genetikai adatokban, dimenzióredukálás vagy képek szegmentálása orvosi diagnosztikához
![Page 14: Statisztikai eljárások a mintafelismerésben és a gépi ...kela/eloadasfinal_vargadomonkos.pdf · fejlesztésére és tanulmányozására koncentrál, melyek tanulni tudnak az](https://reader034.vdocuments.net/reader034/viewer/2022050718/5e18ea95dc6647126f006af1/html5/thumbnails/14.jpg)
Felügyelt tanulás (egyszerűsített) lépései
ismert adat
modell
ismert válasz(osztály)
1)
modell
új adadatok
megjósolt válasz(osztály)3)
(teszt) adat
modell
(teszt) válasz(osztály)
2)
modell felállítása, betanítása
modell tesztelése
modell használata
![Page 15: Statisztikai eljárások a mintafelismerésben és a gépi ...kela/eloadasfinal_vargadomonkos.pdf · fejlesztésére és tanulmányozására koncentrál, melyek tanulni tudnak az](https://reader034.vdocuments.net/reader034/viewer/2022050718/5e18ea95dc6647126f006af1/html5/thumbnails/15.jpg)
előfeldolgozás tanulásjellegzetesség
kinyerés/kiválasztás
előfeldolgozásjellegzetesség
mérése osztályozás
tanulás/tesztelés
alkalmazás
betanulási/tesztmintaválasz(osztály) ismert
új minta
A statisztikai mintafelismerés módszere(tanulás, tesztelés, alkalmazás)
![Page 16: Statisztikai eljárások a mintafelismerésben és a gépi ...kela/eloadasfinal_vargadomonkos.pdf · fejlesztésére és tanulmányozására koncentrál, melyek tanulni tudnak az](https://reader034.vdocuments.net/reader034/viewer/2022050718/5e18ea95dc6647126f006af1/html5/thumbnails/16.jpg)
m
n
F=m x n
x
d << F
y
A statisztikai mintafelismerés modellje
Modell:
Feladat: kézjel felismerése
![Page 17: Statisztikai eljárások a mintafelismerésben és a gépi ...kela/eloadasfinal_vargadomonkos.pdf · fejlesztésére és tanulmányozására koncentrál, melyek tanulni tudnak az](https://reader034.vdocuments.net/reader034/viewer/2022050718/5e18ea95dc6647126f006af1/html5/thumbnails/17.jpg)
4) Egyszerű példa
a példa célja az elméleti módszertanban ismertetett fogalmak gyakorlati bemutatása
Feladat: kézzel írt számok felismerése
Jel: az ideális számZaj: kézzel írva, pixeles kép
![Page 18: Statisztikai eljárások a mintafelismerésben és a gépi ...kela/eloadasfinal_vargadomonkos.pdf · fejlesztésére és tanulmányozására koncentrál, melyek tanulni tudnak az](https://reader034.vdocuments.net/reader034/viewer/2022050718/5e18ea95dc6647126f006af1/html5/thumbnails/18.jpg)
a) Hu nyomatékos jellemzés, 9 dimenzió(hasonló a tehetetlenségi nyomatékokhoz)
b) Kontúr mint komplex számok Fourier transzformált kb. 60 dimenzió
.
.
.
vagy
=
Szám jellemző vektorának kiválasztása
egyszerű kétdimenziós vektor
lényeg; mire hasonlít?
feature vector
![Page 19: Statisztikai eljárások a mintafelismerésben és a gépi ...kela/eloadasfinal_vargadomonkos.pdf · fejlesztésére és tanulmányozására koncentrál, melyek tanulni tudnak az](https://reader034.vdocuments.net/reader034/viewer/2022050718/5e18ea95dc6647126f006af1/html5/thumbnails/19.jpg)
0 1 2 3 5 6 7 8 9
0
0
0
00
Szám jellemző vektorának generálása
szükséges jelek
![Page 20: Statisztikai eljárások a mintafelismerésben és a gépi ...kela/eloadasfinal_vargadomonkos.pdf · fejlesztésére és tanulmányozására koncentrál, melyek tanulni tudnak az](https://reader034.vdocuments.net/reader034/viewer/2022050718/5e18ea95dc6647126f006af1/html5/thumbnails/20.jpg)
Döntési fa felépítése (statisztikai!)
25
3
7... ... ...
ni
i
i i
in
n n
n
ni
![Page 21: Statisztikai eljárások a mintafelismerésben és a gépi ...kela/eloadasfinal_vargadomonkos.pdf · fejlesztésére és tanulmányozására koncentrál, melyek tanulni tudnak az](https://reader034.vdocuments.net/reader034/viewer/2022050718/5e18ea95dc6647126f006af1/html5/thumbnails/21.jpg)
a példa célja az elméleti módszertanban ismertetett fogalmak mélyebb bemutatása
kézjelABC
5) Bonyolultabb példa: kézjelABC felismerése videofolyamban
![Page 22: Statisztikai eljárások a mintafelismerésben és a gépi ...kela/eloadasfinal_vargadomonkos.pdf · fejlesztésére és tanulmányozására koncentrál, melyek tanulni tudnak az](https://reader034.vdocuments.net/reader034/viewer/2022050718/5e18ea95dc6647126f006af1/html5/thumbnails/22.jpg)
képkockák kiemelése/feldolgozása/visszahelyezése
Fejlesztés:(Rapid Application Development)
Alkalmazás:(moduláris, robusztus, gyors)
MatlabMatlab Pattern Recognition Open ToolsMatlab Data AnalysisR statisztikai software
C++OpenComputerVisionCUDA(NVidia), OpenCLR statisztikai softwareOpenPatterRecognitionOpen Multiple View GeometryOpen Neural Network etc.
mind a fejlesztésnél, mind az alkalmazásnál csak nyílt forráskódú rendszerek
túlnyomóan statisztika software
A programfejlesztés környezete
![Page 23: Statisztikai eljárások a mintafelismerésben és a gépi ...kela/eloadasfinal_vargadomonkos.pdf · fejlesztésére és tanulmányozására koncentrál, melyek tanulni tudnak az](https://reader034.vdocuments.net/reader034/viewer/2022050718/5e18ea95dc6647126f006af1/html5/thumbnails/23.jpg)
A betanítás/alkalmazás lépései
Betanítás folyamata:több emberrel a kézjelek bevitele Fourier leírók generálásaosztályok hozzárendelése
Az alkalmazás folyamata:videofolyam figyelésebőrdetektálás, időbeli szegmentálásképkeret kivétele a videofolyambóltérbeli szegmentáláskontúr kinyerésekontúr ábrázolása komplex koordináta rendszerben
Fourier leírók kinyeréseosztályozás SVM módszerrel(fejlesztés során; a leírók olyan jók,hogy egyszerűbb osztályozással isműködik a rendszer)
most nemtárgyaljuk
![Page 24: Statisztikai eljárások a mintafelismerésben és a gépi ...kela/eloadasfinal_vargadomonkos.pdf · fejlesztésére és tanulmányozására koncentrál, melyek tanulni tudnak az](https://reader034.vdocuments.net/reader034/viewer/2022050718/5e18ea95dc6647126f006af1/html5/thumbnails/24.jpg)
Fourier leírók alkalmazása
képi kontúrkinyerés
koordinátarendszer
Fourier transzformáció
inverz Fourier transzformáció
alakzat reprezentációja P~60 dimenzióban
![Page 25: Statisztikai eljárások a mintafelismerésben és a gépi ...kela/eloadasfinal_vargadomonkos.pdf · fejlesztésére és tanulmányozására koncentrál, melyek tanulni tudnak az](https://reader034.vdocuments.net/reader034/viewer/2022050718/5e18ea95dc6647126f006af1/html5/thumbnails/25.jpg)
A magasabb dimenziók „átka”
naív megközelítés; hamar korlátokba ütközünk
magasabb dimenziós gömb tulajdonsága
D=dimenziószám
térfogatarány
epsilon
![Page 26: Statisztikai eljárások a mintafelismerésben és a gépi ...kela/eloadasfinal_vargadomonkos.pdf · fejlesztésére és tanulmányozására koncentrál, melyek tanulni tudnak az](https://reader034.vdocuments.net/reader034/viewer/2022050718/5e18ea95dc6647126f006af1/html5/thumbnails/26.jpg)
SVM; magasabb dimenzóbatranszformálás
input tér jellemző (feature) tér
A Support Vector Machine elve
margin fogalma
![Page 27: Statisztikai eljárások a mintafelismerésben és a gépi ...kela/eloadasfinal_vargadomonkos.pdf · fejlesztésére és tanulmányozására koncentrál, melyek tanulni tudnak az](https://reader034.vdocuments.net/reader034/viewer/2022050718/5e18ea95dc6647126f006af1/html5/thumbnails/27.jpg)
SVM transzformálás, gyakori kerneltípusok
transzformáláslineárisan szétválaszthatóvá
gyakori kerneltípusok
![Page 28: Statisztikai eljárások a mintafelismerésben és a gépi ...kela/eloadasfinal_vargadomonkos.pdf · fejlesztésére és tanulmányozására koncentrál, melyek tanulni tudnak az](https://reader034.vdocuments.net/reader034/viewer/2022050718/5e18ea95dc6647126f006af1/html5/thumbnails/28.jpg)
6) A gépi tanulásnál és mintafelismerésnél alkalmazott statisztikai eljárások
három alapvető területen:
jellegzetes vektorok kinyerésenem felügyelt tanításfelügyelt tanítás
![Page 29: Statisztikai eljárások a mintafelismerésben és a gépi ...kela/eloadasfinal_vargadomonkos.pdf · fejlesztésére és tanulmányozására koncentrál, melyek tanulni tudnak az](https://reader034.vdocuments.net/reader034/viewer/2022050718/5e18ea95dc6647126f006af1/html5/thumbnails/29.jpg)
A jellemző vektor kinyerésének módszerei
![Page 30: Statisztikai eljárások a mintafelismerésben és a gépi ...kela/eloadasfinal_vargadomonkos.pdf · fejlesztésére és tanulmányozására koncentrál, melyek tanulni tudnak az](https://reader034.vdocuments.net/reader034/viewer/2022050718/5e18ea95dc6647126f006af1/html5/thumbnails/30.jpg)
Nem felügyelt tanítási módszerek(clustering):
![Page 31: Statisztikai eljárások a mintafelismerésben és a gépi ...kela/eloadasfinal_vargadomonkos.pdf · fejlesztésére és tanulmányozására koncentrál, melyek tanulni tudnak az](https://reader034.vdocuments.net/reader034/viewer/2022050718/5e18ea95dc6647126f006af1/html5/thumbnails/31.jpg)
Felügyelt tanulási módszerek (osztályozás):
![Page 32: Statisztikai eljárások a mintafelismerésben és a gépi ...kela/eloadasfinal_vargadomonkos.pdf · fejlesztésére és tanulmányozására koncentrál, melyek tanulni tudnak az](https://reader034.vdocuments.net/reader034/viewer/2022050718/5e18ea95dc6647126f006af1/html5/thumbnails/32.jpg)
felügyelt tanulás/osztályozás
regresszió
nem felügyelt tanulás/clustering
gépi tanulás/mintafelismerés
Gépi tanulás tárgyalása statisztika nélkül nem lehetséges
![Page 33: Statisztikai eljárások a mintafelismerésben és a gépi ...kela/eloadasfinal_vargadomonkos.pdf · fejlesztésére és tanulmányozására koncentrál, melyek tanulni tudnak az](https://reader034.vdocuments.net/reader034/viewer/2022050718/5e18ea95dc6647126f006af1/html5/thumbnails/33.jpg)
Hasta la vista ...
Köszönöm a figyelmet.Köszönöm a figyelmet.