velikost textu

Optical Recognition of Handwritten Music Notation

Upozornění: Informace získané z popisných dat či souborů uložených v Repozitáři závěrečných prací nemohou být použity k výdělečným účelům nebo vydávány za studijní, vědeckou nebo jinou tvůrčí činnost jiné osoby než autora.
Název:
Optical Recognition of Handwritten Music Notation
Název v češtině:
Rozpoznávání ručně psaného notopisu
Typ:
Disertační práce
Autor:
Bc. Jan Hajič
Školitel:
RNDr. Pavel Pecina, Ph.D.
Oponenti:
Ichiro Fujinaga
doc. Dr. Jan Černocký
Id práce:
153947
Fakulta:
Matematicko-fyzikální fakulta (MFF)
Pracoviště:
Ústav formální a aplikované lingvistiky (32-UFAL)
Program studia:
Informatika (P1801)
Obor studia:
Matematická lingvistika (4I3)
Přidělovaný titul:
Ph.D.
Datum obhajoby:
13. 6. 2019
Výsledek obhajoby:
Prospěl/a
Jazyk práce:
Angličtina
Klíčová slova:
Rozpoznávání notopisu, Graf hudební notace, Rekonstrukce notace, Detekce objektů, Strojové učení, Počítačové zpracování hudby
Klíčová slova v angličtině:
Optical Music Recognition, Music Notation Graph, Notation Assembly, Object Detection, Machine Learning, Music Information Retrieval
Abstrakt:
Abstrakt Rozpoznávání notopisu (Optical Music Recognition, OMR) je obor studující jak automaticky číst hudební notaci. Tato disertace prezentuje formou souboru publikovaných prací příspěvky k teorii, infrastruktuře a metodám OMR především pro ručně psanou notaci. Hlavními přínosy jsou (1) formální popis hudební notace pomocí notačního grafu (Music Notation Graph, MuNG), orientovaného grafu, ze kterého lze jednoznačně odvodit v notaci zakódovanou hudební sémantiku, (2) datová sada MUSCIMA++ hudebních rukopisů, které jsou anotovány pomocí MuNG, a lze ji tak využít pro trénování a evaluování libovolných systémů a podsystémů OMR, včetně extrakce hudební sémantiky a (3) systém rozpoznávání notopisu extrahující hudební sémantické informace z rukopisů, který používá strojové učení jak pro detekci notačních objektů, tak pro jejich usouvstažňování, a na základě takto automaticky vytvořené reprezentace pomocí MuNG deterministicky dopočítává sémantiku. Ačkoliv tento OMR systém stále dělá množství chyb, jedná se o první systém, který hudební rukopisy rozpoznává tak, že lze jeho výsledky využít na některé z úloh motivujících práci na OMR, a zpracovává libovolně komplikovanou notaci.
Abstract v angličtině:
Abstract Optical Music Recognition (OMR) is the field of computationally reading music notation. This thesis presents, in the form of dissertation by publication, contributions to the theory, resources, and methods of OMR especially for handwritten notation. The main contributions are (1) the Music Notation Graph (MuNG) formalism for describing arbitrarily complex music notation using an oriented graph that can be unambiguously interpreted in terms of musical semantics, (2) the MUSCIMA++ dataset of musical manuscripts with MuNG as ground truth that can be used to train and evaluate OMR systems and subsystems from the image all the way to extracting the musical semantics encoded therein, and (3) a pipeline for performing OMR on musical manuscripts that relies on machine learning both for notation symbol detection and the notation assembly stage, and on properties of the inferred MuNG representation to deterministically extract the musical semantics. While the the OMR pipeline does not perform flawlessly, this is the first OMR system to perform at basic useful tasks over musical semantics extracted from handwritten music notation of arbitrary complexity.
Dokumenty
Stáhnout Dokument Autor Typ Velikost
Stáhnout Text práce Bc. Jan Hajič 73.15 MB
Stáhnout Abstrakt v českém jazyce Bc. Jan Hajič 33 kB
Stáhnout Abstrakt anglicky Bc. Jan Hajič 27 kB
Stáhnout Posudek vedoucího RNDr. Pavel Pecina, Ph.D. 57 kB
Stáhnout Posudek oponenta Ichiro Fujinaga 136 kB
Stáhnout Posudek oponenta doc. Dr. Jan Černocký 151 kB
Stáhnout Záznam o průběhu obhajoby doc. Ing. Zdeněk Žabokrtský, Ph.D. 157 kB