Measuring readability of technical texts

• Název práce v češtině: Měření čitelnosti odborných textů
• Název v anglickém jazyce: Measuring readability of technical texts
• Klíčová slova: srozumitelnost|čitelnost|datová analýza|korpusová lingvistika
• Klíčová slova anglicky: readability|technical texts|data analytics|corpus linguistics|comprehensibility
• Akademický rok vypsání: 2021/2022
• Typ práce: diplomová práce
• Jazyk práce: angličtina
• Ústav: Ústav formální a aplikované lingvistiky (32-UFAL)
• Vedoucí / školitel: Mgr. Silvie Cinková, Ph.D.
• Řešitel: skrytý - zadáno a potvrzeno stud. odd.
• Datum přihlášení: 22.02.2022
• Datum zadání: 22.02.2022
• Datum potvrzení stud. oddělením: 23.03.2022
• Datum a čas obhajoby: 02.09.2022 09:00
• Datum odevzdání elektronické podoby: 20.07.2022
• Datum odevzdání tištěné podoby: 25.07.2022
• Datum proběhlé obhajoby: 02.09.2022
• Oponenti: doc. Mgr. Barbora Vidová Hladká, Ph.D.

Zásady pro vypracování

The student will examine an e-learning-related dataset that contains teaching texts about programming, tasks/quizzes, as well as user data. The user data contains traces of visited texts,user's performance in tasks, and, optionally, user's subjective evaluation of the texts. The student will 1) measure readability of the texts with already existing formulas (e.g. Flesch Reading Ease) and examine correlation between these formulas and user's performance in tasks/users' evaluations of the texts. 2) The student will explore the adaptation options of the formulas for practical use with this particular dataset.

Seznam odborné literatury

1. Case, Susan & Swanson, David. (2002). Constructing Written Test Questions For the Basic and Clinical Sciences. National Board of Examiners.
2. Martinková, Patrícia, and Adéla Drabinová. “ShinyItemAnalysis for Teaching Psychometrics and to Enforce Routine Analysis of Educational Tests.” The R Journal 10, no. 2 (2018): 503–15. https://doi.org/10.32614/RJ-2018-074.
3. Cohen-Schotanus, J., Vleuten, C.P.M. van der, 2010. A standard setting method with the best performing students as point of reference: Practical and affordable. Medical Teacher 32, 154–160. https://doi.org/10.3109/01421590903196979
4. Chersoni, E., Hollenstein, N., Jacobs, C., Oseki, Y., Prévot, L., Santus, E. (Eds.), 2021. Proceedings of the workshop on cognitive modeling and computational linguistics. Association for Computa tional Linguistics, Online.
5. https://aclanthology.org/2021.cmcl-1.0
6. Atvars, Aigars. 2017. “Eye Movement Analyses for Obtaining Readability Formula for Latvian Texts for Primary School.” Procedia Computer Science, ICTE2016 Riga, 104: 477–84
7. Chen, Xiaobin, and Detmar Meurers. “CTAP: A Web-Based Tool Supporting Automatic Complexity Analysis.” In Proceedings of the Workshop on Computational Linguistics for Linguistic Complexity (CL4LC), 113–19. Osaka, Japan: The COLING 2016 Organizing Committee, 2016. https://www.aclweb.org/anthology/W16-4113.
8. McNamara, D.S., Graesser, A.C., McCarthy, P.M., Zhiqiang, C., 2014. Automated Evaluation of Text and Discourse with Coh-Metrix. Cambridge University Press, Cambridge, UK.
9. Azpiazu, Ion Madrazo, and Maria Soledad Pera. “Multiattentive Recurrent Neural Network Architecture for Multilingual Readability Assessment.” Transactions of the Association for Computational Linguistics 7 (March 2019): 421–36. https://doi.org/10.1162/tacl_a_00278.
10. Howcroft, D.M., Demberg, V., 2017. Psycholinguistic models of sentence processing improve sentence readability ranking, in: Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers. Association for Computational Linguistics, Valencia, Spain, pp. 958–968. https://aclanthology.org/E17-1090.pdf

Předběžná náplň práce

Efektivní komunikace je klíčová ve výuce a výuce, zejména v e-learningu, kde je interakce učitel-žák omezená a většina materiálu se čte. Učební materiály musí obsahově i jazykovým stylem odpovídat určenému čtenáři. Zejména technické oblasti pracují s abstraktními a komplexními pojmy a nesmí přidávat další vrstvu složitosti nevhodným jazykovým stylem. Tím spíše, když čtenáři nejsou vždy rodilí mluvčí. Pro kontrolu jazykového stylu používají profesionální spisovatelé a učitelé vzorce čitelnosti, jako je Flesch Reading Ease. Existuje asi 200 takových vzorců.


Výzkumné téma se týká e-learningového datového souboru, který obsahuje výukové texty o programování, úkoly/kvízy a také uživatelská data. Uživatelská data obsahují stopy navštívených textů, plnění úkolů a volitelně i subjektivní hodnocení textů. Pokud některý z existujících koreluje s výkonem/úsudky uživatele, mohl by být použit pro řízení kvality učebních textů.

Předběžná náplň práce v anglickém jazyce

Efficient communication is key in teaching and instruction, especially in e-learning, where the teacher-student interaction is limited and most of the material is being read. The teaching materials must match their intended reader in terms of content as well as language style. Especially technical domains operate with abstract and complex concepts, and they must not add an additinal layer of complexity by inaproppriate language style. The more so, when the readers are not always native speakers. To control on the language style, professional writers and teachers use readability formulas, such as the Flesch Reading Ease. There are around 200 such formulas.


The research topic concerns an e-learning dataset that contains teaching texts about programming, tasks/quizzes, as well as user data. The user data contains traces of visited texts, performance in tasks, and, optionally, subjective evaluation of the texts. If any of the existing correlates with user's performance/judgments, it could be used to manage the quality of the teaching texts.