Identifikace cover verzí skladeb pomocí harmonických příznaků, modelu harmonie a harmonické složitosti

• Thesis title in Czech: Identifikace cover verzí skladeb pomocí harmonických příznaků, modelu harmonie a harmonické složitosti
• Thesis title in English: Cover Song Identification using Music Harmony Features, Model and Complexity Analysis
• Key words: music information retrieval, analýza hudební harmonie, identifikace cover verzí, extrakce příznaků, akordická vzdálenost, karaoke dataset, dynamic time warping, neurónové sítě
• English key words: music information retrieval, music harmony analysis, cover song identification, feature extraction, chord distance, karaoke dataset, dynamic time warping, neural networks
• Academic year of topic announcement: 2013/2014
• Thesis type: dissertation
• Thesis language: angličtina
• Department: Department of Software Engineering (32-KSI)
• Supervisor: prof. RNDr. Jaroslav Pokorný, CSc.

Guidelines

The aim of this dissertation thesis is to find new methods for music similarity tasks using music harmony. Within Music Information Retrieval(MIR) field, the use of music harmony is a key ingredient of many tasks, and this thesis elaborates on its impact on Cover Song Identification (CSI).

The model of music harmony based on music theory represent the domain of music. A well-developed model based on algebraic and graph structures can aid to define new music features for a song, as well as visualize the harmonic progression in a song. A special aim for the created model is to define the harmonic complexity of a song.

Based on such a model the next step is to analyze songs and extract features, for multiple musical datasets. Besides the created model, a comparison is needed with state-of-the-art models [1], as well as testing the new features against commonly used MIR features [2]. The hypothesis that music harmony aids particular MIR tasks, is to be tested on CSI task.
The traditional MIR methods (DTW [3]) are to be compared with machine learning techniques. As the next steps within MIR are towards deep learning techniques, the thesis compares these techniques and results for CSI task. Using machine learning techniques, another extensive comparison of musical features is performed, in order to create the basis for further research.

The thesis thus covers an end to end work with music harmony within MIR. The main focus of the thesis is on the retrieval performance, the usability in real-life applications, feature comparison, a proper creation of musical
datasets, and the new model of music harmony. A part of the thesis is creating a stand-alone application capable of music analysis of WAV files, and creation of a musical dataset for further research.

References

[1] Lerdahl, F. Tonal Pitch Space, Oxford University Press, 2001

[2] Ellis, D. P. W. & Poliner, G. E. Identifying `Cover Songs' with Chroma
Features and Dynamic Programming Beat Tracking, Proceedings of the IEEE
International Conference on Acoustics, Speech and Signal Processing, 2007

[3] Müller, M. Information Retrieval for Music and Motion, Springer Berlin
Heidelberg, 2007

[4] Chang, S.; Lee, J.; Choe, S. K. & Lee, K. Audio Cover Song
Identification using Convolutional Neural Network, Workshop on ML4Audio:
Machine Learning for Audio Signal Processing at NIPS 2017, 2017

Preliminary scope of work

Cieľom dizertačnej práce je nájsť nové postupy detekovania podobných skladieb pomocou hudobnej harmónie. V rámci odvetvia Music Information Retrieval (MIR) je použitie hudobnej harmónie kľúčové pre mnohé úlohy, a v tejto práci sa zameriame na vplyv harmónie na detekciu cover verzií skladieb. Tento náročný problém pozostáva z viacerých krokov.

Model harmónie založený na hudobnej teórii reprezentuje hudobnú doménu. Správne vytvorenie tohto modelu pomocou algebraických a grafových štruktúr pomôže k definovaniu hudobných príznakov špecifických pre danú skladbu, ako aj k vizualizácii harmonického diania v skladbe. Špeciálnym cieľom je zameranie sa na harmonickú zložitosť a jej správne definovanie.

Na základe tohto modelu je ďalším krokom analyzovať skladby a získať pre ne príznaky, a to pre rôzne databázy hudobných skladieb. Okrem nového modelu je potrebné použiť aj iné zavedené modely hudobnej harmónie [1] a okrem nových príznakov aj ostatné často používané príznaky v MIR [2]. Hypotézu, že harmónia pomáha k zlepšeniu MIR úloh následne otestovať na detekcii cover verzií v daných databázach. Využitie tradičných prístupov (DTW [3]) porovnať s možnosťami strojového učenia [4]. Ďalšie kroky v oblasti MIR smerujú k použitiu techník deep learning a preto práca porovná aj tieto metódy a ich výsledky pre detekciu cover verzií. Pohľadom strojového je vytvorené ďalšie porovnanie hudobných príznakov, aby ďalší výskum v oblasti mohol na týchto porovnaniach stavať experimenty.

Práca tak vytvára súvislú štúdiu pre prácu s harmóniou v MIR. Dôraz práce je kladený na výsledky experimentov a použiteľnosť v praxi, porovnanie príznakov, správnu tvorbu hudobných datasetov a nový model hudobnej harmónie. Súčasťou práce je vytvorenie aplikácie schopnej samostatnej analýzy skladieb vo WAV formáte a vytvorenie datasetu skladieb pre ďalší výskum.