Témata prací (Výběr práce)Témata prací (Výběr práce)(verze: 336)
Detail práce
   Přihlásit přes CAS
Extrakce melodie pomocí hlubokého učení
Název práce v češtině: Extrakce melodie pomocí hlubokého učení
Název v anglickém jazyce: Melody Extraction with Deep Learning
Klíčová slova: Extrakce melodie, Hluboké učení, Počítačové zpracování hudby, Odhad F0, Harmonická konvoluční neuronová síť
Klíčová slova anglicky: Melody Extraction, Deep Learning, Music Information Retrieval, F0 estimation, Harmonic Convolutional Neural Network
Akademický rok vypsání: 2017/2018
Typ práce: bakalářská práce
Jazyk práce: čeština
Ústav: Ústav formální a aplikované lingvistiky (32-UFAL)
Vedoucí / školitel: Mgr. Jan Hajič, Ph.D.
Řešitel: skrytý - zadáno a potvrzeno stud. odd.
Datum přihlášení: 26.09.2017
Datum zadání: 03.10.2017
Datum potvrzení stud. oddělením: 22.11.2017
Datum a čas obhajoby: 27.06.2019 09:00
Datum odevzdání elektronické podoby:17.05.2019
Datum odevzdání tištěné podoby:17.05.2019
Datum proběhlé obhajoby: 27.06.2019
Oponenti: RNDr. Ladislav Maršík, Ph.D.
 
 
 
Zásady pro vypracování
Extrakce melodie je úloha, jejímž vstupem je vícehlasá hudba a výstupem je pro každý okamžik základní frekvence tónu, který je v daném okamžiku součástí melodie (za předpokladu, že melodie v onom okamžiku existuje). Melodie je definována jako „jednohlasá sekvence tónů, kterou posluchač nejspíše bude reprodukovat, pokud jej požádáme o zapískání či zabroukání příslušné skladby“. [1] Tím pádem je melodie vysoce relevantní pro vyhledávání v hudebních datech (Music Information Retrieval, MIR), neboť se jedná o jeden z nejvýraznějších rysů hudební skladby; zájem o melodii dokládá např. existence systémů na vyhledávání broukáním (query by humming). Extrakce melodie také může být užitečný krok v izolování zdrojů audia (source separation), např. pro automatické extrahování podkresů pro karaoke.

Extrakce melodie je jednou z dlouhodobě řešených úloh v oboru MIR. Každoročně se objevuje v sérii soutěží MIREX, které představují „páteř“ výzkumu v oboru, čímž je zaručena dostupnost dat a dobře zavedené metodologie pro evaluaci extrakčních metod. Typicky se extrakce melodie řeší pomocí metod zpracování signálu (Digital Signal Processing, DSP), pomocí strojového učení, a kombinacemi obou přístupů [2,3,4]. Zatímco DSP se typicky používalo buď pro úplné řešení úlohy, nebo pro extrakci poměrně vysokoúrovňového popisu signálu (např. melodické kontury) jako vstupu pro strojové učení, nově etablované paradigma tzv. hlubokého učení (Deep Learning) umožňuje pracovat s poměrně nízkoúrovňovými rysy, jako např. přímo s frekvenčním spektrogramem.

Řešitel prozkoumá současné nejúspěšnější přístupy k extrakci melodie, navrhne a implementuje nové metody (s důrazem na hluboké učení [2,5]), a experimentálně vyhodnotí úspěšnost svých návrhů pomocí zavedené metodologie MIREX. Demo vytvořených metod bude zpřístupněno online, s možností porovnat je s dosavadními přístupy.
Seznam odborné literatury
[1] G. E. Poliner, D. P. W. Ellis, F. Ehmann, E. Gómez, S. Steich, and B. Ong. „Melody transcription from music audio: Approaches and evaluation,“ IEEE Transactions on Audio, Speech and Language Processing, vol. 15, no. 4, pp. 1247-1256, 2007.

[2] Sangeun Kum, Changheun Oh, Juhan Nam. "Melody Extraction on Vocal Segments Using Multi-Column Deep Neural Networks." In: Proceedings of the 17th International Society for Music Information Retrieval Conference, ISMIR 2016, New York City, United States, August 7-11, 2016, pp. 819-825. 2016, ISBN 978-0-692-75506-8.

[3] Yukara Ikemiya, Katsutoshi Itoyama and Kazuyoshi Yoshii. "Singing Voice Separation and Vocal F0 Estimation Based on Mutual Combination of Robust Principal Component Analysis and Subharmonic Summation." IEEE/ACM Transactions on Audio, Speech, and Language Processing, vol. 24, no. 11, pp. 2084-2095, Nov. 2016.

[4] J. Bosch & E. Gómez. "Melody extraction based on a source-filter model using pitch contour selection." In: Proceedings of the 13th Sound and Music Computing Conference (SMC 2016), Hamburg, Germany, pp. 67-74, Aug. 2016.

[5] Ian Goodfellow, Yoshua Bengio and Aaron Courville. Deep Learning. MIT Press, 2016. [Online] http://www.deeplearningbook.org
 
Univerzita Karlova | Informační systém UK