Korekce chyb měření v datech z výběrových šetření v praxi

• Thesis title in Czech: Korekce chyb měření v datech z výběrových šetření v praxi
• Thesis title in English: Correction of measurement errors in survey data in practice
• Key words: korekce chyb měření, metodologie výběrových šetření, STS
• English key words: measurement error correction, survey methodology, STS
• Academic year of topic announcement: 2022/2023
• Thesis type: diploma thesis
• Thesis language: čeština
• Department: Department of Sociology (23-KS)
• Supervisor: Mgr. Martin Tremčinský, Ph.D.
• Author: hidden - assigned by the advisor
• Date of registration: 23.06.2023
• Date of assignment: 23.06.2023

References

1. ALISE, Mark A. a Charles TEDDLIE, 2010. A Continuation of the Paradigm Wars? Prevalence Rates of Methodological Approaches Across the Social/Behavioral Sciences. Journal of Mixed Methods Research [online]. 2(4), 103–126. Dostupné z: doi:10.1177/1558689809360805

2. ALWIN, Duane F., 2007. Margins of Error: A Study of Reliability in Survey Measurement [online]. B.m.: Wiley.

3. BROWN, Andrew W., Kathryn A. KAISER a David B. ALLISON, 2018. Issues with data and analyses: Errors, underlying themes, and potential solutions. Proceedings of the National Academy of Sciences [online]. 115(11), 2563–2570. Dostupné z: doi:10.1073/pnas.1708279115

4. BURNS, Robert, 2000. Introduction to Research Methods.

5. GOBO, Giampietro a Sergio MAUCERI, 2014. Constructing Survey Data. B.m.: SAGE

6. GROVES, Robert M., 1984. Survey Errors and Survey Costs. B.m.: Wiley Series in Survey Methodology.

7. GUBA, Egon G. a Yvonna S. LINCOLN, 1994. Competing paradigms in qualitative research. Handbook of qualitative research. 2(163–194), 105.

8. HOLMWOOD, John, 2010. Sociology’s misfortune: disciplines, interdisciplinarity and the impact of audit culture. The British Journal of Sociology [online]. 61(4), 639–658. ISSN 1468-4446. Dostupné z: doi:10.1111/j.1468-4446.2010.01332.x

9. CHYLÍKOVÁ, Johana, 2017. Analytické metody odhadu chyb měření v datech z výběrových šetření. B.m. Univerzita Karlova, Fakulta sociálních věd, Institut sociologických studií, Katedra sociologie.

10. KIVUNJA, Charles a Ahmed Bawa KUYINI, 2017. Understanding and Applying Research Paradigms in Educational Contexts. International Journal of Higher Education [online]. 6(5), 26. ISSN 1927-6052, 1927-6044. Dostupné z: doi:10.5430/ijhe.v6n5p26

11. LAW, John, Evelyn RUPPERT a Mike SAVAGE, 2011. The double social life of methods. CRESC Working Paper Series. (Working Paper No. 95).

12. SARIS, Willem E a Irmtraud GALLHOFER, 2003. Report on the MTMM experiments in the pilot studies.

13. SARIS, Willem E. a Irmtraud N. GALLHOFER, 2007. Design, evaluation, and analysis of questionnaires for survey research [online]. Hoboken, NJ, US: Wiley-Interscience. Design, evaluation, and analysis of questionnaires for survey research. ISBN 978-0-470-11495-7. Dostupné z: doi:10.1002/9780470165195

14. SARIS, Willem E. a Melanie REVILLA, 2016. Correction for Measurement Errors in Survey Research: Necessary and Possible. Social Indicators Research [online]. 127(3), 1005–1020. ISSN 1573-0921. Dostupné z: doi:10.1007/s11205-015-1002-x

15. AL-ABABNEH, Mukhles, 2020. Linking Ontology, Epistemology and Research Methodology [online]. Dostupné z: doi:10.23756/sp.v8i1.500

16. BAKIOĞLU, Ayşen a Özlem KURNAZ, 2009. Quality criteria of research perceived by academics in social sciences at higher education. US-China Education Review. 6(3), 1–13. ISSN 1548-6613.

17. BOSCH, Oriol J., Melanie REVILLA, Anna DECASTELLARNAU a Wiebke WEBER, 2019. Measurement Reliability, Validity, and Quality of Slider Versus Radio Button Scales in an Online Probability-Based Panel in Norway. Social Science Computer Review [online]. 37(1), 119–132. ISSN 0894-4393. Dostupné z: doi:10.1177/0894439317750089

18. FELT, Ulrike, Rayvon FOUCHÉ, Clark MILLER a Laurel SMITH-DOERR, 2017. The Handbook of Science and Technology Studies, Fourth Edition. B.m.: MIT Press. ISBN 978-0-262-03568-2.

19. LATOUR, Bruno a Steve WOOLGAR, 2013. Laboratory Life: The Construction of Scientific Facts. B.m.: Princeton University Press. ISBN 978-1-4008-2041-2.

20. LAW, John, 2009. Seeing Like a Survey. Cultural Sociology [online]. 3(2), 239–256. ISSN 1749-9755. Dostupné z: doi:10.1177/1749975509105533

21. LORD, Frederic M. a Melvin R. NOVICK, 2008. Statistical Theories of Mental Test Scores. Charlotte, NC: Information Age Publishing. ISBN 978-1-59311-934-8.

22. OSBORNE, Thomas a Nabukeera ROSE, 1999. Do the social sciences create phenomena?: the example of public opinion research. British Journal of Sociology. 50(3), 367–396. ISSN 0007–1315.

23. PALMQUIST, Bradley a Donald P. GREEN, 1992. Estimation of Models with Correlated Measurement Errors from Panel Data. Sociological Methodology [online]. 22, 119–146. ISSN 0081-1750. Dostupné z: doi:10.2307/270994

24. SARIS, Willem E., Germà COENDERS a Albert SATORRA, 2004. A New Approach to Evaluating the Quality of Measurement Instruments: The Split-Ballot MTMM Design. Sociological Methodology.

25. STÖCKELOVÁ, Tereza, 2012. Nebezpečné známosti. O vztahu sociálních věd a společnosti. B.m.: SLON. ISBN 978-80-7419-095-7.

Preliminary scope of work

Sociologie je multiparadigmatická věda vyznačující se slabou vnitřní disciplinární integritou (Holmwood, 2010). Ono paradigma, respektive specifický soubor vnitřních přesvědčení, skrze která jedinec nahlíží na svět, řídí, kromě jiného, také výzkumnou činnost vědců (Guba and Lincoln, 1994). Tento sociální konstrukt utváří pohled, který následně ovlivňuje celý výzkumný proces od výběru tématu po interpretaci výsledků (Kivunja a Kuyini, 2017).
Výzkumná paradigmata v sociologii bychom mohli rozdělit do čtyř hlavních skupin: 1) pozitivistické paradigma, 2) interpretativní paradigma, 3) kritické paradigma a 4) pragmatické paradigma (Kivunja a Kuyini, 2017). V sociálních vědách, a to zejména v sociologickém výzkumu, převládá pozitivistické paradigma a z něj vyplývající kvantitativní výzkumné metody (Alise a Teddlie, 2010). Nejrozšířenější pozitivistickou metodou je výběrové šetření, jež je nejčastěji využívanou metodou sběru dat v sociologii, politologii, marketingovém výzkumu a výzkumu komunikačních studií (Saris a Gallhofer 2007). Standardizovaná výběrová šetření v sociologickém výzkumu dominují zhruba od 50. let minulého století, kdy se této metodě dostalo legitimity z řad tehdejších předních sociologů. V době, kdy výzkumníci nedisponovali robustní výpočetní technikou, byla přesnost sběru dat a jejich kvalita zárukou toho, že lidské zdroje věnované analýze a interpretaci dat nebudou promarněny. Později, současně s rozvojem počítačů, se snížila pozornost věnovaná kvalitě sběru dat. Nyní je možné relativně rychle a jednoduše provádět složité statistické analýzy a zdá se, že ona potřeba záruky kvalitního sběru vymizela (Gobo a Mauceri, 2014).
Kvalita pozitivistických výzkumných metod, a tedy i výběrového šetření, se obvykle ověřuje pomocí vnitřní a vnější validity, reliability a objektivity (Burns, 2000). S těmito kritérii úzce souvisí různé druhy chyb, které se v datech ze sociálně-vědních výběrových šetření objevují a jež by měly být společnou obavou výzkumníků, analytiků dat a jednoduše všech, kteří se na procesu tvorby průzkumů podílejí. Onou „chybou“ rozumíme odchylky ve výsledcích výběrových šetření od skutečného obrazu populace (Groves, 1989).
K odhadu a korekci chyb z výběrových šetření jsou dostupné metody, které mohou výrazně zvýšit validitu, reliabilitu a obecně kvalitu dat a následně i celé studie. Mezi nejrozšířenější formu korekce dat patří vážení. To ovšem upravuje pouze chybu nepozorování, zatímco jiné chyby měření bývají v mnoha studiích, i na české akademické půdě, ignorovány (Chylíková, 2017). Například v roce 2011 byly ze 184 sociologických a politologických článků (publikovaných ve vybraných prestižních časopisech), které využívaly data z výběrových šetření, jen ve 44 případech zmíněny chyby měření. Pouze v 17 případech byla data dle odhadnutých chyb měření upravena (Saris a Revilla, 2016).
Pokud nedochází k žádoucím korekcím chyb v datech, může to vést k nepřesným, či dokonce chybným závěrům, a posléze i k nesprávným rozhodnutím založeným na těchto výsledcích. Stejně tak se může stát obtížným až nemožným porovnávání výsledků mezi různými studiemi. Průměrně činí rozptyl proměnné z výběrových šetření odpovídající chybě měření zhruba mezi 30 – 50 % (Alwin, 2007, Saris a Gallhofer, 2003). To je velmi vysoké číslo, a to zejména v situaci, kdy si sociální vědy (a sociologie primárně) nárokují prvenství v analýze a interpretaci sociálního světa, a kdy je navíc toto vědění založeno právě na datech z dotazníkových šetření. Výzkumné metody navíc pouze nereprezentují „realitu“, jejíž jsou součástí, nýbrž jsou také performativním prvkem společnosti. Výběrové šetření tedy nepředstavuje neutrální nástroj, stejně tak, jako ostatní výzkumné metody. Má svůj vlastní společenský život, neboť utváří způsob, kterým je chápáno a reprodukováno vědění (Law, Savage, Ruppert, 2011).
Výzkumníci spolu s analytiky dat nyní disponují výzkumnými či analytickými nástroji více, než tomu bylo kdykoli předtím. Data z výběrových šetření jsou již desítky let využívána k popisování a pochopení jevů ve společnosti. Zdá se ale, že metody pro odhad a korekci chyb měření si k výzkumníkům a analytikům dat spíše cestu nenašly. Proč tomu tak je? Jaké u výzkumníků panují důvody k přehlížení chyb v datech z výběrových šetření?
V návaznosti na výše uvedené si práce klade za cíl odhalit, jaký mají akademičtí výzkumníci, zabývající se výhradě výběrovými šetřeními vztah k pozitivistické metodologii průzkumů. Jak vnímají a využívají výzkumné metody a data, která jsou jim k dispozici? V neposlední řadě si práce klade za cíl zjistit, jaký mají výzkumníci postoj k chybám měření, zda znají a využívají dostupné metody pro odhad a korekci těchto chyb. Jelikož produkce vědění není závislá pouze na jednotlivých vědcích, klade si práce za cíl přinést poznatky také o tom, jak jsou výzkumníci při procesu své práce ovlivněni jinými aktéry (např. jednotlivými institucemi) a různými společenskými faktory. Práce tedy bude stavět na metodologii výběrového šetření a přístupu vědních studií.

Hlavní výzkumné otázky:
• Jaký mají výzkumníci/analytici vztah k pozitivistické metodologii výzkumu?
• Jak se výzkumníci/analytici staví k chybám v datech z výběrových šetření?
• Jaký mají výzkumníci/analytici postoj k různým metodám odhadu a korekce chyb měření?
• Jakou roli hrají výzkumníci a jiní aktéři při volení výzkumných metod?

Mezi hlavní přínosy práce patří zodpovězení zásadní metodologické otázky: proč se v praxi společenskovědního průzkumu neaplikuje korekce chyb měření? Tyto znalosti nejen, že přispějí k pochopení zakotvené rutiny akademických metodologů a analytiků průzkumu. Práce především získá poznatky o důvodech, které výzkumníky/analytiky vedou k tomu, že metody pro korekci chyb měření – i přes svou dostupnost – na data z výběrových šetření neaplikují.
Identifikace a korekce chyb je zásadní pro každou vědní disciplínu: „Zůstávání v mezích zavedeného myšlení a metod omezuje rozvoj poznání“ (Brown et al., 2017, s. 2563). Předkládaná práce, resp. její poznatky mohou také napomoct k účinnému šíření znalostí ohledně technik korekce chyb měření a ve svém důsledku přispět k jejich častějšímu využívání. Cílem práce není momentální praxi společenskovědního výběrového šetření znehodnotit, nýbrž do ní získanými poznatky sebekriticky přispět.
Předkládaný projekt diplomové práce navazuje na výzkumný projekt dr. Johany Chylíkové, která se danou problematikou začala před několik lety zabývat. Dr. Chylíková bude v průběhu psaní této práce v pozici konzultantky.

Předpokládané metody zpracování
Pro zodpovězení výzkumných otázek budou sloužit hloubkové rozhovory s akademickými výzkumníky a analytiky dat. Hloubkové rozhovory se budou zabývat problematikou chybovosti výběrových šetření a korekce chyb. S respondenty bude hovořeno ohledně momentálně, či v poslední době zpracovávaného souboru dat, o proměnných a postupech, které dotazovaný výzkumník využívá, o vnímané validitě dat apod.

Etické souvislosti zvažovaného projektu
Účastníci výzkumu budou před rozhovorem důkladně informováni o povaze a cílech studie. Zároveň budou požádáni o poskytnutí informovaného souhlasu s účastí ve výzkumu. Akademičtí výzkumníci/analytici dat nebudou pouze účastníci studie, ale také její potenciální čtenáři. Je tedy zásadní, aby byla nashromážděná data důkladně anonymizována, a to nejen vzhledem k ochraně osobních údajů dotazovaných, ale především s účelem zamezení rizika neočekávaného poškození jejich osoby. Veškeré části rozhovorů, které budou v rámci textu práce použity, budou anonymizovány a zveřejněny až po schválení respondentem samotným, pokud tak bude chtít. K neanonymizovaným přepisům rozhovorů bude mít přístup pouze autorka práce, případně daný respondent.