Controlled Music Generation with Deep Learning

• Název práce v češtině: Ovladatelné generování hudby pomocí hlubokého učení
• Název v anglickém jazyce: Controlled Music Generation with Deep Learning
• Klíčová slova: Generování hudby, hluboké učení, komputační kreativita, strojové učení, hudební podobnost
• Klíčová slova anglicky: Music generation, Deep learning, Computational creativity, Machine learning, Music similarity
• Akademický rok vypsání: 2017/2018
• Typ práce: diplomová práce
• Jazyk práce: angličtina
• Ústav: Ústav formální a aplikované lingvistiky (32-UFAL)
• Vedoucí / školitel: Mgr. Jan Hajič, Ph.D.
• Řešitel: skrytý - zadáno a potvrzeno stud. odd.
• Datum přihlášení: 27.09.2018
• Datum zadání: 27.09.2018
• Datum potvrzení stud. oddělením: 14.01.2020
• Datum a čas obhajoby: 03.02.2020 09:00
• Datum odevzdání elektronické podoby: 06.01.2020
• Datum odevzdání tištěné podoby: 07.01.2020
• Datum proběhlé obhajoby: 03.02.2020
• Oponenti: Mgr. Filip Matzner

Zásady pro vypracování

Generování hudebních skladeb pomocí statistických metod zaznamenalo pokrok díky použití technik hlubokého učení (Deep Learning, DL), jako například konvoluční či rekurentní neuronové sítě (Boulanger-Lewandowski et al., 2012; Hadjeres et al., 2016; Huang et al., 2017; přehledový článek Briot et al., 2017). Tyto metody mají potenciál výrazně rozšířit paletu pomůcek pro skladatelskou tvorbu. Generování hudby může v tomto procesu napomoci dvěma způsoby: jednak jako zdroj "surového materiálu" pro inspiraci, jednak jako nástroj pro elaboraci již existujícího hudebního materiálu. Jednou podstatnou překážkou v nasazování těchto metod do skladatelského provozu je však nepředvídatelná povaha generátorů založených na hlubokém učení. Jak při rozpracovávání hudební myšlenky, tak při hledání nové inspirace musí skladatel prokázat "dobrý vkus" při vyvažování odstředivých a dostředivých sil ve své tvorbě, avšak v rámci hlubokého učení nejsou zatím k dispozici dobré způsoby, jak tyto síly smysluplně ovládat -- jak generovat úsek perceptuálně podobný danému hudebnímu materiálu, či naopak úsek úměrně odlišný, nebo jak zajistit, aby se příslušná podobnost či odlišnost projevovala v uživatelem specifikovaných hudebních parametrech.

Tato práce zkoumá způsoby, jak generovat hudbu automaticky a zároveň ovladatelným způsobem. Vzhledem k tomu, že modely založené na neuronových sítích se notoricky špatně interpretují, neočekává se, že bude možné explicitně kontrolovat hudební parametry jako např. "úroveň disonantnosti". Primárně se v práci bude zkoumat ovladatelnost implicitní: modelu bude předložen příklad (např. hudební motiv) a jeho výstupem by měl být příslušně (ne)podobný vzorek. Jádro problému spočívá v tom, že pohyb v naučeném prostoru reprezentace hudby by měl odpovídat perceptuální podobnosti (a odlišnosti) reprezentovaných hudebních fragmentů. Toto lze aproximovat pomocí existujících metod výpočtu kognitivní podobnosti hudby jako Mongeau-Sankoffova vzdálenost (Mongeau & Sankoff, 1990) a jejích složitějších variant pro polyfonii (Allali et al., 2009), ačkoliv je třeba brát v potaz jejich omezenou platnost (Rizo Valero, 2010).

Jedná se o velmi náročný výzkumný problém, a od této práce se nečeká robustní řešení. Předpokládá se spíše, že hlavním přínosem práce bude sesbírat zkušenosti s výsledky různých přístupů k ovládání toho, co modely generování hudby založené na hlubokém učení produkují. K tomu je klíčové vytvořit příslušné analytické a evaluační postupy, jako například adaptace postupů používaných pro vyhodnocování úspěšnosti generativních adversariálních sítí (Lucic et al., 2017).

Seznam odborné literatury

Boulanger-Lewandowski, N., Bengio, Y., Vincent, P., 2012. Modeling Temporal Dependencies in High-Dimensional Sequences: Application to Polyphonic Music Generation and Transcription. Proceedings of the 29th International Conference on Machine Learning, Edinburgh, Scotland, UK, 2012.

Hadjeres, G., Pachet, F. and Nielsen, F., 2016. Deepbach: a steerable model for bach chorales generation. arXiv preprint arXiv:1612.01010.

Huang, C.-Z. A., Coojimans, T., Roberts, A., Courville, A., Eck, D., 2017. Counterpoint by Convolution. 18th International Society for Music Information Retrieval Conference, Suzhou, China, 2017.

Briot, J. P., Hadjeres, G. and Pachet, F., 2017. Deep learning techniques for music generation-a survey. arXiv preprint arXiv:1709.01620.

Mongeau, M., Sankoff, D.: Comparison of Musical Sequences. Computers and the Humanities 24 (1990) 161–175

Allali, Julien, Ferraro, Pascal, Hanna, Pierre, Iliopoulos, Costas & Robine, Matthias (2009). Toward a General Framework for Polyphonic Comparison. Fundam. Inf., 97, 331-346.

Rizo Valero, David. Symbolic music comparison with tree data structures. PhD thesis, Universidad de Alicante, August 2010.

Mario Lucic, Karol Kurach, Marcin Michalski, Sylvain Gelly, Olivier Bousquet. Are GANs Created Equal? A Large-Scale Study. arXiv preprint arXiv:1711.10337.