music information retrievalhruskova/musicir_hruskova_2011.pdf · music information retrieval...
TRANSCRIPT
Music Information Retrieval
Mgr. Nikoleta HruškováFIIT STU
Music InformationRetrieval
� Získavanie hudobných informácií / Dolovanie hudobných znalostí� Založené na metadátach: autor, názov diela, interpret, text piesne a pod.� V 90.r. 20.st. prvotné systémy - vyhľadávanie podľa melódie (spievanie, hra na
klaviatúre, notový zápis)
Ciele súčasného výskumu:
21.11.2011 Music Information Retrieval
� zlepšiť vyhľadávanie hudby podľa melódie� automatické rozpoznanie hudobného štýlu skladby,� odhaľovanie hudobného plagiátorstva,� komponovanie cez počítač a pod.
Obsah
1. Hudobné formáty
2. Aplikácie� na symbolický hudobný zápis� vyhľadávanie (audionahrávky alebo notovej partitúry) podľa hudobného
motívu
21.11.2011 Music Information Retrieval
motívu
3. Získavanie hudobných znalostí (MusicIR)� Reprezentácia hudobnej melódie
� JednohlasPríklad 1: Klasifikácia a vyhodnotenie hudobných dát
Príklad 2: Aplikácia na vyhľadanie a vyhodnotenie hudob. motívu (Melody Comparator)
� Viachlas
Obsah
1. Hudobné formáty
2. Aplikácie� na symbolický hudobný zápis� vyhľadávanie (audionahrávky alebo notovej partitúry) podľa hudobného
motívu
21.11.2011 Music Information Retrieval
motívu
3. Získavanie hudobných znalostí (MusicIR)� Reprezentácia hudobnej melódie
� JednohlasPríklad 1: Klasifikácia a vyhodnotenie hudobných dát
Príklad 2: Aplikácia na vyhľadanie a vyhodnotenie hudob. motívu (Melody Comparator)
� Viachlas
Elektronické hudobné formáty
� Audio: .wav, .mp3
� Symbolický zápis (notový): MIDI, MusicXML
21.11.2011 Music Information Retrieval
� Time-stamped events
Elektronické hudobné formáty
MIDI (Music Instrument Digital Interface)Štandard pre odosielanie a prijímanie dát medzi
MIDI-zariadeniami (gitara, keyboard a pod.)Zvukové, svetelné zariadenia – komunikácia,
synchronizáciaĎalšie štandardy: GM, GS, XG, SMF
Symbolický zápis hudby v MIDI:
MusicXML� Základ: technológia značkovacieho jazyka XML� Formát pre hudobnú reprezentáciu a zdieľanie
medzi používateľmi� Vývoj od r. 2000, M.Good, Recordare� Západná hudobná notácia od 17.st.
SMDL(Standard Music Description Language)� Základ – SGML formát
Časti: logická, vizuálna, gestikulačná, analytická
21.11.2011 Music Information Retrieval
Symbolický zápis hudby v MIDI:� 128 MIDI-nôt v 128 hlasitostiach� MIDI udalosti:
� Note On, � Note Off, � výška tónu, � rýchlosť stisku, � rýchlosť uvoľnenia, � ďalšie...
Neposkytuje dostatočnú hudobnú sémantickú informáciu (dynamika, agogika, nástroj, prstoklad, smyky, grafika nôt ...)
Nie je vhodný pre plnohodnotnú hudobnú reprezentáciu
� Časti: logická, vizuálna, gestikulačná, analytická
NIFF(Notation Interchange File Format)� Prenos hudobnej notácie medzi používateľmi
Iné� MusiCat, MusiXML, ChordML, Humdrum...
„Obrázkové“� pdf, jpg, tiffVhodné na vytlačenie, zdieľanie, výmenu.Neumožňujú získavanie hud. informácií,
muzikolog. spracovanie elektr. spôsobom.
MusicXML
„Hello world“Najjednoduchší hudobný notový zápis:� jeden hudobný nástroj� jeden takt� metrum 4/4� jedna nota : výška: C1
dĺžka: celá nota
<score-partwise><part-list><score-part id="P1"><part-name>Music</part-name>
</score-part></part-list><part id="P1"><measure number="1"><attributes><divisions>1</divisions><key><fifths>0</fifths>
</key><time><beats>4</beats><beat-type>4</beat-type>
</time>
21.11.2011 Music Information Retrieval
dĺžka: celá nota
� Ďalšie atribúty: kvintový kruh, 0. pozícia (C-dur), husľový G-kľúč na 2. pozícii
</time><clef><sign>G</sign><line>2</line>
</clef></attributes><note><pitch><step>C</step><octave>4</octave>
</pitch><duration>4</duration><type>whole</type>
</note></measure>
</part></score-partwise>
Aplikácie
21.11.2011 Music Information Retrieval
Obsah
1. Hudobné formáty
2. Aplikácie� na symbolický hudobný zápis� vyhľadávanie (audionahrávky alebo notovej partitúry) podľa hudobného
motívu
21.11.2011 Music Information Retrieval
motívu
3. Získavanie hudobných znalostí (MusicIR)� Reprezentácia hudobnej melódie
� JednohlasPríklad 1: Klasifikácia a vyhodnotenie hudobných dát
Príklad 2: Aplikácia na vyhľadanie a vyhodnotenie hudob. motívu (Melody Comparator)
� Viachlas
Aplikáciepre notový zápis
� Tvorba a spracovanie
Sibelius, Finale, Guitar Pro, MuseScore, Noteflight, WikiComposer ...
Funkcionalita:� Editovanie notového zápisu (myš, klávesnica, klaviatúra)
Prehranie notového zápisu
21.11.2011 Music Information Retrieval
� Prehranie notového zápisu� Transponovanie do iných tónin� Skenovanie� Tlač� Export/import do formátov: MIDI, MusicXML,PDF...� Zdieľanie nôt s používateľmi� Vyhľadávanie hudobných značiek v rámci not. zápisu
Aplikáciepre notový zápis
� Rozpoznávanie
Audiveris, Capella-scan, OpenOMR, PDFtoMusic, PhotoScore, ScoreScan...
Funkcionalita:
21.11.2011 Music Information Retrieval
Funkcionalita:� Skenovanie notového zápisu – transformácia do elektronickej podoby� Princíp OMR (Optical music recognition)� Editovanie notového zápisu� Tlač� Export do formátov: MIDI, MusicXML, PDF...
Aplikáciepre notový zápis a audio
� Vyhľadávanie, získanie a zdieľanie
Wikifonia, Misicnotes, Musipedia, Midomi ...Google, Yahoo, Zoznam...
Funkcionalita:
21.11.2011 Music Information Retrieval
Funkcionalita:
� Vyhľadávanie not. zápisu , audionahrávok, videonahrávok� Miesto: databáza, web
� Dopyt: Metadáta: meno autora, názov skladby, hudobný nástroj, štýl, úroveň interpreta, text piesne ...
Digitálny formát (MusicXML, MIDI, PDF, JPG ...)
Melódia (jednohlasná): spev – mikrofón, flash klavír, notový zápis, MIDI keyboard
� Výsledky: odkazy na video-audio nahrávky na YouTube + úryvok notového zápisu
súbory s notovým zápisom (odkaz na Sheetmusicplus.com)
MIDI súbory s ukážkou (Amazon, Nokia ringtones)
Odkaz na ‘Search the web'
� Zdieľanie nôt s používateľmi� Sťahovanie nôt � Zakúpenie notového zápisu
Musipedia.org
21.11.2011 Music Information Retrieval
Iné aplikácie
� BrailleMUSEhttp://gotoh-lab.jks.ynu.ac.jp/braille_music_score_english/e-top-new.htmlPrevod hudobného notového zápisu v MusicXML do Braillovho písmaZnaky ako pre čítanie a písanie
21.11.2011 Music Information Retrieval
Obsah
1. Hudobné formáty
2. Aplikácie� na symbolický hudobný zápis� vyhľadávanie (audionahrávky alebo notovej partitúry) podľa hudobného
motívu
21.11.2011 Music Information Retrieval
motívu
3. Získavanie hudobných znalostí (MusicIR)� Reprezentácia hudobnej melódie
� JednohlasPríklad 1: Klasifikácia a vyhodnotenie hudobných dát
Príklad 2: Aplikácia na vyhľadanie a vyhodnotenie hudob. motívu (Melody Comparator)
� Viachlas
Music Information RetrievalZískavanie hudobných znalostí
� Jednohlasná, viachlasná (polyfonická) hudba� Analógia s dolovaním znalostí z textov� Segmentácia jazyka – medzery, interpukčné znamienka� Segmentácia hudby – Takt? Refrén? Hudobný motív? Hudobná fráza?� Algoritmy na porovnávanie melodických reťazcov
� Longest Common Subsequence Algorithm (LCS)� Dynamic Programming Algorithm – štandard v MusicIR
21.11.2011 Music Information Retrieval
� Dynamic Programming Algorithm – štandard v MusicIR� Boyer-Moore Algorithm
� Hudba západného sveta od 17.st.� Tóny definovanej výšky (12 tónov oktávy stupnice)� Noty reprezentované cez: výšku, dĺžku, silu (dynamiku), kvalitu (farbu)
� Dopyt� Audio forma� Forma notového zápisu
Music Information RetrievalZískavanie hudobných znalostí
Dopyt (query)� Audio forma (spievanie, hmkanie, pískanie, hranie na hud. nástroj / MIDI zariadenie ...)� Forma notového zápisu (súbor s not. zápisom, editovanie nôt do not. osnovy)
Query by Humming (QBH)Typy chýb� Expanzia malých intervalov (1-4 poltóny)
Kompresia veľkých intervalov (nad 5 poltónov)
21.11.2011 Music Information Retrieval
� Kompresia veľkých intervalov (nad 5 poltónov)� Opakovanie intervalov je nekorektné� Vynechanie tónov
Query by Symbolic Notation (QBSN)� digitálny formát (MIDI, MusicXML ...)� editovanie nôt do not. osnovyUmožňuje vstup – polyfonická hudby (na rozdiel od QBH)
Query by Example (QBE) – nový typ� Súbor s hudobnou nahrávkouTypy chýb� Interpretácia (nástrojové obsadenie...)� Prevedenie (žáner, výška, tempo, rytmus ...)� Transkripcia
Reprezentáciamelódie pre PC
Hudobná melódia – zvuk, notový zápisSpracovanie počítačomAtribúty hudobnej skladby:
� výška noty/tónu, � dĺžka noty/tónu, � tempo skladby,
21.11.2011 Music Information Retrieval
� tempo skladby, � rytmus skladby, � text (piesne), � agogika, � dynamika, � nástroj, � prstoklad...
Melodická kontúra: - výšková
- dĺžková
1. Textový reťazec2. Vektor3. Polynóm4. N-gram5. Matica6. ...
Reprezentáciamelódie - jednohlas
1. Textový reťazec
Parsons codeDDRRUUURD (Down, Up, Repeat)
RLRSRRRLR (Longer, Shorter, Repeat)
21.11.2011 Music Information Retrieval
G2|E2|C4|C4|C2|E2|G2|C2|C4|B4
Rho, S., Hwang, E.: FMF (Fast Melody Finder): A Web-Based Music Retrieval System, Elsevier Inc., (2004).
Reprezentáciamelódie - jednohlas
(Textový reťazec)
Symbol Dĺžka noty
A (0,1/4]
B (1/4,2/4]
C (2/4,3/4]
D (3/4,4/4]
E (4/4,5/4]
Symbol Výškový interval
A 0
B 2
C 4
D 5
E 7
F 9
21.11.2011 Music Information Retrieval
(Textový reťazec)
-b–C+A+A+C+b+D+A–aBBDDBBBBDD
Rho, S., Hwang, E.: FMF (Fast Melody Finder): A Web-Based Music Retrieval System, Elsevier Inc., (2004).
F (5/4,6/4]
G (6/4,7/4]
H (7/4,8/4]
I nad 2 doby
G 11
H iný
a 1
b 3
d 6
e 8
f 10
+ hore
- dole
Reprezentáciamelódie - jednohlas
2. Vektor
� Vektor výšok (melodický): � Vektor dĺžok (rytmický) :
( )1,0,5,3,4,0,0,4,3 −−−=Mr
( )2,2,1,1,1,1,2,2,1,1=Rr
21.11.2011 Music Information Retrieval
Habudová, N., Representation and Pattern Matching Techniques for Music Data. Student Research Conference in Informatics and InformationTechnologies Bratislava, 2011 Proceedings. - Bratislava : STU v Bratislave FIIT, 2011. - ISBN 978-80-227-3484-4. - S. 125-131.
Reprezentáciamelódie - jednohlas
3. Polynóm
21.11.2011 Music Information Retrieval
Müllensiefen,D., Wiggins, G.: Polynomial functions as a representation of melodic phrase contour, 2011
Reprezentáciamelódie - jednohlas
4. N-gramyČo je v hudbe ekvivalentné slovám v texte?Melódia rozdelená na n-notové slová/termy (hudobné slová), stop slová – pomlčky?Aplikovanie techník pre klasifikáciu textu
21.11.2011 Music Information Retrieval
Príklad 1 - klasifikácia hudobných dát
� Klasifikácia hudobných dát podľa obsahu� Jednohlasný hudobný motív� Využitie melodického a rytmického vektora� Hľadanie podobných hudobných motívov� Vyhodnocovanie podobnosti
� Jednohlasná pieseň, � 16 taktov (16+1),� 8 hud. motívov (2-
taktových),� manuálne rozdelenie,
21.11.2011 Music Information Retrieval
Habudová, N., Representation and Pattern Matching Techniques for Music Data: Student Research Conference in Informatics and InformationTechnologies Bratislava, 2011 Proceedings. - Bratislava : STU v Bratislave FIIT, 2011. - ISBN 978-80-227-3484-4. - S. 125-131.
Príklad 1 – vyhodnotenie hudobných dát
� Vector Space model – kosínusová miera
||||),(
ba
babasim
i
ii rr
rrrr
ו
=
21.11.2011 Music Information Retrieval
Habudová, N., Representation and Pattern Matching Techniques for Music Data: Student Research Conference in Informatics and InformationTechnologies Bratislava, 2011 Proceedings. - Bratislava : STU v Bratislave FIIT, 2011. - ISBN 978-80-227-3484-4. - S. 125-131.
Matica podobnosti pre melódiu Matica podobnosti pre rytmus
Klasifikácia hudobných dát
Ďalší výskum� Hranica podobnosti� Maximálna rozdielnosť v melódii:
� Identická postupnosť tónov CDE (rastúca, klesajúca)� Opačná postupnosť tónov CDE(rastúca), EDC(klesajúca)
Je to muzikologicky zaujímavé?
1),( −=basimrr
21.11.2011 Music Information Retrieval
Príklad 2 – MelodyComparator
BP: J. Hvolka: Porovnanie hudobných zápisov, 2011� Porovnanie hudobných dát podľa obsahu� Dopyt: súbor MusicXML, melódia� Využitie melodického vektora� Hľadanie zhodných hudobných motívov� Vyhodnotenie podobnosti resp. zhodnosti
21.11.2011 Music Information Retrieval
Videoukážka :� Hľadám refrén „ Reklama na ticho“ v skladbe P. Haberu: Reklama na ticho� Originálny refrén: od tónu e4� Dopyt: melódia refrénu: f4 f4 f4 f4 e4 f4 f4 f4 g4 e4
Hrušková, N., Hvolka, J.: Representing, comparing and evaluating of music files, Proceedings of the International Conference on E-learningand the Knowledge Society, ASE Publishing House, ISBN 978-606-505-459-2. pp. 213-218, (2011).
21.11.2011 Music Information Retrieval
Reprezentáciamelódie -viachlas
21.11.2011 Music Information Retrieval
Reprezentáciamelódie -viachlas
4. N-gramyMelódia rozdelená na 3-notové slová/termy
21.11.2011 Music Information Retrieval
Reprezentáciamelódie -viachlas
5. Vektory resp. maticeMelodický vektor (soprán, alt, tenor, bas)
)...,( ,21 kikkk ssss =r
)...,( ,21 kikkk aaaa =r
)...,( ,21 kikkk tttt =r
)...,( ,21 kikkk bbbb =r
21.11.2011 Music Information Retrieval
Melodická matica
=
k
k
k
k
k
b
t
a
s
M
r
r
r
r
−
=
0301020
0002020
0400000
5340000
1M
Hrušková, N.: Polyphonic Music Represented in Mathematical Vectors, Workshop on Intelligent and Knowledge oriented Technologies 2011
Reprezentáciamelódie -viachlas
5. Vektory resp. maticeHarmonický vektor
Harmonická matica
),...,( 121 −= iniii wwwhr
)...( 321 ik hhhhHrrrr
=
21.11.2011 Music Information Retrieval
=773344
17125578
004000
1H
Hrušková, N.: Polyphonic Music Represented in Mathematical Vectors, Workshop on Intelligent and Knowledge oriented Technologies 2011
Reprezentáciamelódie -viachlas
5. Vektory resp. maticeHarmonická matica
)...( 321 ik hhhhHrrrr
=
=773344
17125578
004000
1H
21.11.2011 Music Information Retrieval
Hrušková, N.: Polyphonic Music Represented in Mathematical Vectors, Workshop on Intelligent and Knowledge oriented Technologies 2011
Reprezentáciamelódie
Výber vhodnej reprezentácie hudobnej melódie:� Presnosť hudobného prepisu� Pamäťová náročnosť prepisu do elektronickej formy� Rýchlosť vyhľadávania� Cieľ výskumu...
21.11.2011 Music Information Retrieval
...
Výzvy
Výzvy pre ďalší výskum� Polyfonická hudba:
� dopytovanie, � vyhľadávanie, � muzikologická analýza v elektronickej podobe.
21.11.2011 Music Information Retrieval
Ďakujem za pozornosť
Mgr. Nikoleta HruškováFIIT STU