brainstorming session whale detection - - department of...
TRANSCRIPT
![Page 1: Brainstorming session Whale detection - - Department of ...kti.mff.cuni.cz/~bartak/ui_seminar/talks/2013LS/WhalesIdeas.pdf · Signal processing, Sampling theorem Spojitý signál](https://reader031.vdocuments.net/reader031/viewer/2022022013/5b2cfd037f8b9ad76e8b938b/html5/thumbnails/1.jpg)
Whale detection - Brainstorming sessionJiří DutkevičLenka KovářováMilan Le
![Page 2: Brainstorming session Whale detection - - Department of ...kti.mff.cuni.cz/~bartak/ui_seminar/talks/2013LS/WhalesIdeas.pdf · Signal processing, Sampling theorem Spojitý signál](https://reader031.vdocuments.net/reader031/viewer/2022022013/5b2cfd037f8b9ad76e8b938b/html5/thumbnails/2.jpg)
Signal processing, Sampling theorem
Spojitý signál může být nahrazen diskrétní posloupností vzorků, aniž by došlo ke ztrátě informace, a to tak, že vzorkovací frekvence Fs je nejméně 2x větší než nejvyšší frekvenci v signálu.
Původní spojitý signál může být zrekonstruován ze získaných vzorků.
![Page 3: Brainstorming session Whale detection - - Department of ...kti.mff.cuni.cz/~bartak/ui_seminar/talks/2013LS/WhalesIdeas.pdf · Signal processing, Sampling theorem Spojitý signál](https://reader031.vdocuments.net/reader031/viewer/2022022013/5b2cfd037f8b9ad76e8b938b/html5/thumbnails/3.jpg)
Signal processing, Aliasing
Jinými slovy: Fs/2 (Nyquist frekvence) je nejvyšší frekvence, které lze docílit rozkladem.
Ve filmu se vrtule točí:● V opačném směru než ve skutečnosti● Nepřirozeně pomaluSprávně by byl pohyb zachycen jenom kdyby kamera snímala alespoň dvakrát tak rychleji
![Page 4: Brainstorming session Whale detection - - Department of ...kti.mff.cuni.cz/~bartak/ui_seminar/talks/2013LS/WhalesIdeas.pdf · Signal processing, Sampling theorem Spojitý signál](https://reader031.vdocuments.net/reader031/viewer/2022022013/5b2cfd037f8b9ad76e8b938b/html5/thumbnails/4.jpg)
Signal processing, Aliasing
![Page 5: Brainstorming session Whale detection - - Department of ...kti.mff.cuni.cz/~bartak/ui_seminar/talks/2013LS/WhalesIdeas.pdf · Signal processing, Sampling theorem Spojitý signál](https://reader031.vdocuments.net/reader031/viewer/2022022013/5b2cfd037f8b9ad76e8b938b/html5/thumbnails/5.jpg)
Signal processing, Aliasing
![Page 6: Brainstorming session Whale detection - - Department of ...kti.mff.cuni.cz/~bartak/ui_seminar/talks/2013LS/WhalesIdeas.pdf · Signal processing, Sampling theorem Spojitý signál](https://reader031.vdocuments.net/reader031/viewer/2022022013/5b2cfd037f8b9ad76e8b938b/html5/thumbnails/6.jpg)
Antialiasing
Spojitý signál -> antialising filter -> diskrétní popis signálu
Filtruje frekvence vyšší než odpovídají Shannonovu teorému
![Page 7: Brainstorming session Whale detection - - Department of ...kti.mff.cuni.cz/~bartak/ui_seminar/talks/2013LS/WhalesIdeas.pdf · Signal processing, Sampling theorem Spojitý signál](https://reader031.vdocuments.net/reader031/viewer/2022022013/5b2cfd037f8b9ad76e8b938b/html5/thumbnails/7.jpg)
Framing - rozdělení na "okénka".FT jsou stacionární sinusoidy, skutečný signál neníU lidí je framing 25ms, u velryb jsem zvolil 250msVážení signálu s okénkovou funkcí
Požadujeme
![Page 8: Brainstorming session Whale detection - - Department of ...kti.mff.cuni.cz/~bartak/ui_seminar/talks/2013LS/WhalesIdeas.pdf · Signal processing, Sampling theorem Spojitý signál](https://reader031.vdocuments.net/reader031/viewer/2022022013/5b2cfd037f8b9ad76e8b938b/html5/thumbnails/8.jpg)
DFT, Spectral analysis
![Page 9: Brainstorming session Whale detection - - Department of ...kti.mff.cuni.cz/~bartak/ui_seminar/talks/2013LS/WhalesIdeas.pdf · Signal processing, Sampling theorem Spojitý signál](https://reader031.vdocuments.net/reader031/viewer/2022022013/5b2cfd037f8b9ad76e8b938b/html5/thumbnails/9.jpg)
Denoising "odšumění"
Audio Denoising by Time-Frequency Block Thresholding. Volba všech parametrů adaptivně na vlastnostech signálu minimalizací Steinovým odhadem risku."Hudební šum" způsobený denoising algoritmem jako power subtraction, algoritmus block thresholding tento šum reguluje
![Page 10: Brainstorming session Whale detection - - Department of ...kti.mff.cuni.cz/~bartak/ui_seminar/talks/2013LS/WhalesIdeas.pdf · Signal processing, Sampling theorem Spojitý signál](https://reader031.vdocuments.net/reader031/viewer/2022022013/5b2cfd037f8b9ad76e8b938b/html5/thumbnails/10.jpg)
![Page 11: Brainstorming session Whale detection - - Department of ...kti.mff.cuni.cz/~bartak/ui_seminar/talks/2013LS/WhalesIdeas.pdf · Signal processing, Sampling theorem Spojitý signál](https://reader031.vdocuments.net/reader031/viewer/2022022013/5b2cfd037f8b9ad76e8b938b/html5/thumbnails/11.jpg)
![Page 12: Brainstorming session Whale detection - - Department of ...kti.mff.cuni.cz/~bartak/ui_seminar/talks/2013LS/WhalesIdeas.pdf · Signal processing, Sampling theorem Spojitý signál](https://reader031.vdocuments.net/reader031/viewer/2022022013/5b2cfd037f8b9ad76e8b938b/html5/thumbnails/12.jpg)
![Page 13: Brainstorming session Whale detection - - Department of ...kti.mff.cuni.cz/~bartak/ui_seminar/talks/2013LS/WhalesIdeas.pdf · Signal processing, Sampling theorem Spojitý signál](https://reader031.vdocuments.net/reader031/viewer/2022022013/5b2cfd037f8b9ad76e8b938b/html5/thumbnails/13.jpg)
![Page 14: Brainstorming session Whale detection - - Department of ...kti.mff.cuni.cz/~bartak/ui_seminar/talks/2013LS/WhalesIdeas.pdf · Signal processing, Sampling theorem Spojitý signál](https://reader031.vdocuments.net/reader031/viewer/2022022013/5b2cfd037f8b9ad76e8b938b/html5/thumbnails/14.jpg)
![Page 15: Brainstorming session Whale detection - - Department of ...kti.mff.cuni.cz/~bartak/ui_seminar/talks/2013LS/WhalesIdeas.pdf · Signal processing, Sampling theorem Spojitý signál](https://reader031.vdocuments.net/reader031/viewer/2022022013/5b2cfd037f8b9ad76e8b938b/html5/thumbnails/15.jpg)
Audio Features
Spectralní features - popisují spectrum, nejoblíbenější- cepstral koefy, v krátkých framec=real(ifft(log(abs(fft(x)))))
- Mel-freq cepstral koefy- spekrální centroid, bandwidth
![Page 16: Brainstorming session Whale detection - - Department of ...kti.mff.cuni.cz/~bartak/ui_seminar/talks/2013LS/WhalesIdeas.pdf · Signal processing, Sampling theorem Spojitý signál](https://reader031.vdocuments.net/reader031/viewer/2022022013/5b2cfd037f8b9ad76e8b938b/html5/thumbnails/16.jpg)
Harmonické vlny
Harmonické vlny
![Page 17: Brainstorming session Whale detection - - Department of ...kti.mff.cuni.cz/~bartak/ui_seminar/talks/2013LS/WhalesIdeas.pdf · Signal processing, Sampling theorem Spojitý signál](https://reader031.vdocuments.net/reader031/viewer/2022022013/5b2cfd037f8b9ad76e8b938b/html5/thumbnails/17.jpg)
Features
Temporální features- pro rozpoznání pohlaví, mluvčího, nástrojů
![Page 18: Brainstorming session Whale detection - - Department of ...kti.mff.cuni.cz/~bartak/ui_seminar/talks/2013LS/WhalesIdeas.pdf · Signal processing, Sampling theorem Spojitý signál](https://reader031.vdocuments.net/reader031/viewer/2022022013/5b2cfd037f8b9ad76e8b938b/html5/thumbnails/18.jpg)
Features
Zero-crossing rate
ZCR koreluje se spectrálním centroidem
![Page 19: Brainstorming session Whale detection - - Department of ...kti.mff.cuni.cz/~bartak/ui_seminar/talks/2013LS/WhalesIdeas.pdf · Signal processing, Sampling theorem Spojitý signál](https://reader031.vdocuments.net/reader031/viewer/2022022013/5b2cfd037f8b9ad76e8b938b/html5/thumbnails/19.jpg)
193 vytažených features
Energic - AudioPower = čtverec waveformHarmonic - stupeň harmoničnosti v nahrávcePerceptualSpectralTemporalJiné
![Page 20: Brainstorming session Whale detection - - Department of ...kti.mff.cuni.cz/~bartak/ui_seminar/talks/2013LS/WhalesIdeas.pdf · Signal processing, Sampling theorem Spojitý signál](https://reader031.vdocuments.net/reader031/viewer/2022022013/5b2cfd037f8b9ad76e8b938b/html5/thumbnails/20.jpg)
Referencies
BlockThresholdinghttp://www.cmap.polytechnique.fr/~yu/research/ABT/samples.htmlG. Yu, S. Mallat, E. Bacry, Audio Denoising by Time-Frequency Block Thresholding, IEEE Trans. on Signal Processing, vol 56, no. 5, pp. 1830-1839, May 2008.
Audio Descriptorshttp://www-sipl.technion.ac.il/Info/Teaching_Projects_MPEG-7-Audio-Descriptors_e.shtml
Sound Description ToolboxAssembled (and partially written) by Emmanouil Benetos with a little help by M. Kotti & C. Kotropoulos Inspired by: G. Peeters, "A large set of audio features for sound description in the CUIDADO project", IRCAM Technical Report, 2004.
![Page 21: Brainstorming session Whale detection - - Department of ...kti.mff.cuni.cz/~bartak/ui_seminar/talks/2013LS/WhalesIdeas.pdf · Signal processing, Sampling theorem Spojitý signál](https://reader031.vdocuments.net/reader031/viewer/2022022013/5b2cfd037f8b9ad76e8b938b/html5/thumbnails/21.jpg)
Referencies
Klapury, ISMIR Graduate School, October 4th-9th, 2004
![Page 22: Brainstorming session Whale detection - - Department of ...kti.mff.cuni.cz/~bartak/ui_seminar/talks/2013LS/WhalesIdeas.pdf · Signal processing, Sampling theorem Spojitý signál](https://reader031.vdocuments.net/reader031/viewer/2022022013/5b2cfd037f8b9ad76e8b938b/html5/thumbnails/22.jpg)
Neuronové sítě s extrahovanými příznaky
- použita klasifikační neuronová síť s jednou skrytou vrstvou a jedním neuronem ve výstupní vrstvě- náš nejlepší výsledek: úspěšnost 87%- benchmark: 72.18% (Cornell University)- vítěz: 98.384% (tým SluiceBox)
![Page 23: Brainstorming session Whale detection - - Department of ...kti.mff.cuni.cz/~bartak/ui_seminar/talks/2013LS/WhalesIdeas.pdf · Signal processing, Sampling theorem Spojitý signál](https://reader031.vdocuments.net/reader031/viewer/2022022013/5b2cfd037f8b9ad76e8b938b/html5/thumbnails/23.jpg)
Neuronové sítě s extrahovanými příznaky
![Page 24: Brainstorming session Whale detection - - Department of ...kti.mff.cuni.cz/~bartak/ui_seminar/talks/2013LS/WhalesIdeas.pdf · Signal processing, Sampling theorem Spojitý signál](https://reader031.vdocuments.net/reader031/viewer/2022022013/5b2cfd037f8b9ad76e8b938b/html5/thumbnails/24.jpg)
Random forests
Klasifikační metoda
Během trénovací fáze algoritmu se vytvoří několik rozpoznávacích stromů
Výsledek modelu je získán jako modus výsledků jednotlivých stromů
![Page 25: Brainstorming session Whale detection - - Department of ...kti.mff.cuni.cz/~bartak/ui_seminar/talks/2013LS/WhalesIdeas.pdf · Signal processing, Sampling theorem Spojitý signál](https://reader031.vdocuments.net/reader031/viewer/2022022013/5b2cfd037f8b9ad76e8b938b/html5/thumbnails/25.jpg)
Support vector machines
Metoda strojového učení - klasifikátor
Hledá se nadrovina, která v prostoru atributů rozdělí trénovací data do dvou skupin
Rozdělovací nadrovina je lineární funkcí prostoru atributů
![Page 26: Brainstorming session Whale detection - - Department of ...kti.mff.cuni.cz/~bartak/ui_seminar/talks/2013LS/WhalesIdeas.pdf · Signal processing, Sampling theorem Spojitý signál](https://reader031.vdocuments.net/reader031/viewer/2022022013/5b2cfd037f8b9ad76e8b938b/html5/thumbnails/26.jpg)
Data mining v programu Rapidminer
![Page 27: Brainstorming session Whale detection - - Department of ...kti.mff.cuni.cz/~bartak/ui_seminar/talks/2013LS/WhalesIdeas.pdf · Signal processing, Sampling theorem Spojitý signál](https://reader031.vdocuments.net/reader031/viewer/2022022013/5b2cfd037f8b9ad76e8b938b/html5/thumbnails/27.jpg)
Evolutionary algorithms
● pokus o řešení problému s příliš mnoha příznaky
● nevedlo to k dobrým výsledkům
![Page 28: Brainstorming session Whale detection - - Department of ...kti.mff.cuni.cz/~bartak/ui_seminar/talks/2013LS/WhalesIdeas.pdf · Signal processing, Sampling theorem Spojitý signál](https://reader031.vdocuments.net/reader031/viewer/2022022013/5b2cfd037f8b9ad76e8b938b/html5/thumbnails/28.jpg)
Další
● rozpoznávání obrazu● jpeg / mp3● deep learning