This module provides an accessible introduction to modern research methods, focusing on widely applicable approaches that are shaping research practices internationally but remain underutilised in Czech psychology. It covers current trends in various research designs and psychometrics, including statistical techniques that are less commonly taught in other modules. The module emphasises understanding concepts, building intuition, and applying these methods, rather than focusing on formal theory. The teaching is split into three main blocks, each centred on different research designs. Block 1 covers advanced experimental designs, modern systematic reviews and meta-analyses. Block 2 focuses on studying causal relationships using non-experimental designs. Block 3 focuses on current approaches to analysing latent data structures and interpreting scale scores. To keep the module accessible, each block starts with a brief refresher on traditional methods before progressing to more advanced topics.<br>
Last update: Danka Martin, M.Sc. (13.01.2025)
Předmět srozumitelným a přístupným jazykem představuje vybrané metodologické přístupy, které zásadním způsobem mění a obohacují stávající výzkumnou praxi na zahraničních pracovištích, ale v české psychologii jsou méně rozšířené. Zabývá se moderními trendy v psychologické metodologii a psychometrice, včetně nových či v jiných předmětech neprobíraných statistických metod. Důraz je kladen na základní principy, intuitivní porozumění a praktické příklady. Výuka je rozdělena do tří základních bloků dle výzkumných designů. Blok 1 se zabývá pokročilými experimentálními designy a základy moderních meta-studií. Blok 2 se věnuje neexperimentálním přístupům pro výzkum příčinných vztahů. Blok 3 se zabývá současnými přístupy k analýze latentní struktury dat a interpretaci skórů škál. Pro přístupnost předmětu budou v každém z bloků stručně zopakovány již známé klasické přístupy, na které bude navázáno pokročilými metodami.
Last update: Danka Martin, M.Sc. (13.01.2025)
Aim of the course -
Aim: This module aims to introduce emerging perspectives and new methods in psychological research, focusing on conceptual understanding and practical applications in modern psychological studies.
Knowledge: By the end of this module, students will understand the fundamental principles of experimental, observational, and meta-analytic research designs, as well as the analysis of psychological scales. They can describe the limitations of standard methods and appreciate the advantages and underlying assumptions of more advanced alternatives.
Skills: By the end of this module, students will be able to apply the research methods covered to their own projects, interpret the results of studies that use these methods, and critically evaluate their strengths and limitations.
Last update: Danka Martin, M.Sc. (13.01.2025)
Cíl předmětu: Cílem předmětu je představit vybrané nové a pokročilé přístupy v psychologické metodologii a psychometrice se zaměřením na jejich využití v současném výzkumu.
Získané znalosti: Student rozumí metodologickým principům experimentálních, observačních a meta-analytických studií a orientuje se v základech psychometrické analýzy škál. Dokáže popsat slabé stránky běžně užívaných metod a rozumí výhodám a předpokladům nových či pokročilejších alternativ.
Získané dovednosti: Student dokáže implementovat základní principy představených přístupů do vlastních výzkumných projektů. Dokáže interpretovat výsledky studií, které využívají probírané metody, a umí kriticky zhodnotit jejich přednosti a slabé stránky.
Last update: Danka Martin, M.Sc. (13.01.2025)
Course completion requirements -
Assessment:
Practical assignment: Students will choose and complete an independent practical assignment. Three assignments are available, each corresponding to the methods covered in the three module blocks. Students are required to complete only one of these assignments.
Attendance: The module consists of eight lectures. Students should attend at least five, with attendance counted only if they are present for at least half of the lecture. Those who attend only three or four lectures can complete an additional practical assignment to make up for the missed sessions. Thus, while attending at least three lectures is mandatory, students attending fewer than five must do extra work.
Open-book quizzes: After each block or lecture, students will independently complete a practice quiz. These quizzes are designed to help reinforce the material, so the results do not count towards passing the module. The only requirement is that they are completed and submitted. Students are free to use their own materials, such as notes, textbooks, and slides, when completing the quizzes.
Last update: Danka Martin, M.Sc. (13.01.2025)
Pro udělení zápočtu je nutno splnit následující požadavky:
Praktická úloha: Studenti vypracují závěrečnou úlohu k jednomu ze tří bloků dle vlastního výběru.
Prezence: Kurz se skládá z osmi přednášek/workshopů. Prezence je zaznamenána, pokud je student přítomen alespoň na polovině dané přednášky. Celkově je požadována prezence na pěti přednáškách. Pokud bude student přítomen pouze na třech až čtyřech přednáškách, je možné absenci nahradit vypracováním druhé praktické úlohy. Minimální nenahraditelná účast je tak požadována na třech přednáškách.
Průběžné “open-book” kvízy: Po zakončení každého bloku či přednášky studenti vyplní průběžný kvíz sloužící k procvičení probírané látky. Kvízy nebudou hodnoceny, jediným požadavkem je kvíz vyplnit a odevzdat. Pro vyplnění je povoleno použití jakýchkoli vlastních materiálů včetně výpisků, učebnic, prezentací apod.
Last update: Danka Martin, M.Sc. (13.01.2025)
Literature -
Key Reading:
Block 1: Experimental Studies, Systematic Reviews and Meta-Analyses
Karyotaki, E., Klein, A. M., Ciharova, M., Bolinski, F., Krijnen, L., De Koning, L., De Wit, L., Van Der Heijde, C. M., Ebert, D. D., Riper, H., Batelaan, N., Vonk, P., Auerbach, R. P., Kessler, R. C., Bruffaerts, R., Struijs, S., Wiers, R. W., & Cuijpers, P. (2022). Guided internet-based transdiagnostic individually tailored Cognitive Behavioral Therapy for symptoms of depression and/or anxiety in college students: A randomized controlled trial. Behaviour Research and Therapy, 150, 104028. https://doi.org/10.1016/j.brat.2021.104028
Block 2: Causal Inference in Observational Studies
Hernán, M. A. (2018). The C-word: Scientific euphemisms do not improve causal inference from observational data. American Journal of Public Health, 108(5), 616-619. https://doi.org/10.2105/AJPH.2018.304337
Block 3: Sum Scores as a Central Concept in Psychometrics
Sijtsma, K., Ellis, J. L., & Borsboom, D. (2024). Recognize the Value of the Sum Score, Psychometrics’ Greatest Accomplishment. Psychometrika, 89(1), 84-117. https://doi.org/10.1007/s11336-024-09964-7
Recommended:
Block 1: Experimental Studies, Systematic Reviews and Meta-Analyses
Everitt, B. S., & Wessely, S. (2008). Clinical trials in psychiatry (2nd ed). J. Wiley & Sons.
Miguel, C., Karyotaki, E., Ciharova, M., Cristea, I. A., Penninx, B. W. J. H., & Cuijpers, P. (2023). Psychotherapy for comorbid depression and somatic disorders: A systematic review and meta-analysis. Psychological Medicine, 53(6), 2503-2513. https://doi.org/10.1017/S0033291721004414
Block 2: Causal Inference in Observational Studies
Barrett, M., D’Agostino McGowan, L., & Gerke, T. (2024). Causal Inference in R [Work in progress]. https://www.r-causal.org/
Poppe, L., Steen, J., Loh, W. W., Crombez, G., De Block, F., Jacobs, N., Tennant, P. W. G., Cauwenberg, J. V., & Paepe, A. L. D. (2024). How to develop causal directed acyclic graphs for observational health research: A scoping review. Health Psychology Review, 1-21.https://doi.org/10.1080/17437199.2024.2402809
Block 3: Sum Scores as a Central Concept in Psychometrics
Epskamp, S., Borsboom, D., & Fried, E. I. (2018). Estimating psychological networks and their accuracy: A tutorial paper. Behavior Research Methods, 50(1), 195-212. https://doi.org/10.3758/S13428-017-0862-1/FIGURES/9
Revelle, W., & Condon, D. M. (2019). Reliability from α to ω: A tutorial. Psychological Assessment, 31(12). https://doi.org/10.1037/pas0000754
Gary, S., Lenhard, W., Lenhard, A., & Robitzsch, A. (2021). Modelling Norm Scores with the cNORM Package in R. Psych 2021, Vol. 3, Pages 501-521, 3(3), 501-521. https://doi.org/10.3390/PSYCH3030033
Karyotaki, E., Klein, A. M., Ciharova, M., Bolinski, F., Krijnen, L., De Koning, L., De Wit, L., Van Der Heijde, C. M., Ebert, D. D., Riper, H., Batelaan, N., Vonk, P., Auerbach, R. P., Kessler, R. C., Bruffaerts, R., Struijs, S., Wiers, R. W., & Cuijpers, P. (2022). Guided internet-based transdiagnostic individually tailored Cognitive Behavioral Therapy for symptoms of depression and/or anxiety in college students: A randomized controlled trial. Behaviour Research and Therapy, 150, 104028. https://doi.org/10.1016/j.brat.2021.104028
Blok 2: Observační studie a kauzální inference
Hernán, M. A. (2018). The C-word: Scientific euphemisms do not improve causal inference from observational data. American Journal of Public Health, 108(5), 616-619. https://doi.org/10.2105/AJPH.2018.304337
Blok 3: Součtové skóry jako centrální koncept psychometriky
Sijtsma, K., Ellis, J. L., & Borsboom, D. (2024). Recognize the Value of the Sum Score, Psychometrics’ Greatest Accomplishment. Psychometrika, 89(1), 84-117. https://doi.org/10.1007/s11336-024-09964-7
Doporučené:
Blok 1: Experimentální studie a meta-studie
Everitt, B. S., & Wessely, S. (2008). Clinical trials in psychiatry (2nd ed). J. Wiley & Sons.
Miguel, C., Karyotaki, E., Ciharova, M., Cristea, I. A., Penninx, B. W. J. H., & Cuijpers, P. (2023). Psychotherapy for comorbid depression and somatic disorders: A systematic review and meta-analysis. Psychological Medicine, 53(6), 2503-2513. https://doi.org/10.1017/S0033291721004414
Blok 2: Observační studie a kauzální inference
Barrett, M., D’Agostino McGowan, L., & Gerke, T. (2024). Causal Inference in R [Work in progress]. https://www.r-causal.org/
Poppe, L., Steen, J., Loh, W. W., Crombez, G., De Block, F., Jacobs, N., Tennant, P. W. G., Cauwenberg, J. V., & Paepe, A. L. D. (2024). How to develop causal directed acyclic graphs for observational health research: A scoping review. Health Psychology Review, 1-21. https://doi.org/10.1080/17437199.2024.2402809
Blok 3: Součtové skóry jako centrální koncept psychometriky
Epskamp, S., Borsboom, D., & Fried, E. I. (2018). Estimating psychological networks and their accuracy: A tutorial paper. Behavior Research Methods, 50(1), 195-212. https://doi.org/10.3758/S13428-017-0862-1/FIGURES/9
Revelle, W., & Condon, D. M. (2019). Reliability from α to ω: A tutorial. Psychological Assessment, 31(12). https://doi.org/10.1037/pas0000754
Gary, S., Lenhard, W., Lenhard, A., & Robitzsch, A. (2021). Modelling Norm Scores with the cNORM Package in R. Psych 2021, Vol. 3, Pages 501-521, 3(3), 501-521. https://doi.org/10.3390/PSYCH3030033
Last update: Danka Martin, M.Sc. (23.01.2025)
Syllabus -
Block 1: Experimental Studies, Systematic Reviews and Meta-Analyses
Part 1: Experimental studies
Refresher: randomisation, between-subjects and within-subjects designs, sources of bias
Intention-to-treat and per-protocol effects
Advanced randomisation techniques
Advanced experimental designs (e.g., MOST, adaptive and sequential designs)
Reporting standards
Missing data (mechanisms of missingness, complete-case analysis, methods assuming missing at random)
Part 2: Systematic Reviews and Meta-Analyses
A step-by-step guide to systematic reviews, reporting standards (PRISMA)
Standard approaches to meta-analysis
Publication bias (how to assess and address publication bias)
New approaches (multilevel, network, and individual participant data meta-analysis)
Block 2: Causal Inference for Observational Studies
Refresher: correlation vs causation, the third variable problem, observational designs (cross-sectional, longitudinal, and case-control studies)
Reporting standards (STROBE)
Challenging the taboo: causation in observational studies
Defining causal effects using the potential outcomes framework
Assumptions for identifying and estimating causal effects
Using causal diagrams to understand relationships: confounders, colliders, mediators, effect modifiers, and interactions between causes
Causal analysis of observational studies
Methods invoking the “no unmeasured confounding“ (NUC) assumption
Methods replacing NUC with other assumptions (e.g., instrumental variables and natural experiments)
Block 3: Sum Scores as the Central Concept in Psychometrics
Part 1: From Items to Sum Scores
Refresher: Measurement in psychology, measurement error, scales and latent structures, common and partial correlations.
A review or introduction to basic psychometric methods, focusing on the role of sum scores:
Classical Test Theory (CTT)
Exploratory and Confirmatory Factor Analysis (EFA/CFA)
Item Response Theory (IRT)
Network psychometrics.
Part 2: From Sum Scores to Percentiles
Quantiles and standard scores.
Practical issues in norming: ceiling and floor effects, granularity of scores, “continuity correction”, indistinguishable percentile levels.
Age-based norming
Basic approaches
Simple regression norms and advanced approaches using GAMLSS
IRT for continuous norming.
Last update: Danka Martin, M.Sc. (13.01.2025)
Blok 1: Experimentální studie a meta-studie
Část 1: Experimentální studie
Opakování: randomizace, mezisubjektové a vnitrosubjektové designy, nežádoucí proměnné
Intention-to-treat a per-protocol efekty
Pokročilé způsoby randomizace
Pokročilé experimentální designy (např. MOST, adaptivní a sekvenční designy)
Reportovací standardy
Analýza dat s chybějícími hodnotami (mechanismy vzniku chybějících údajů, analýza kompletních případů, metody předpokládající missing at random)
Část 2: Meta-studie
Systematické rešerše krok za krokem, reportovací standardy (PRISMA)
Klasické přístupy v meta-analýzách
Publikační zkreslení (vyhodnocení, korekce)
Nové přístupy (multilevel, network, and individual participant data meta-analysis)
Blok 2: Observační studie a kauzální inference
Opakování: korelace vs kauzalita, problém třetí proměnné, observační designy (průřezové a longitudinální designy, studie případů a kontrol)
Reportovací standardy (STROBE)
Problém tabuizace kauzality v observačních studiích
Definice kauzálních efektů pomocí kontrafaktuálů (potential outcomes framework)
Předpoklady pro identifikaci a odhadování kauzálních efektů
Kauzální diagramy a jejich využití k porozumění vztahům mezi proměnnými: matoucí proměnné, colliders, mediátory, modifikátory efektu, interakce příčin
Kauzální analýza observačních studií
Vyžadující zohlednění matoucích proměnných
Vyžadující jiné předpoklady (instrumentální proměnné, přirozené experimenty)
Blok 3: Součtové skóry jako centrální koncept psychometriky
Část 1: Od položek k součtovým skórům
Opakování: Měření v psychologii, chyba měření, škály a latentní struktura, běžné a parciální korelace
Opakování či úvod do základních psychometrických metod s důrazem na roli součtových skórů
Klasická testová teorie (CTT)
Explorační a konfirmační faktorová analýza (EFA, CFA)
Teorie odpovědi na položku (IRT)
Network psychometrics
Část 2: Od součtových skórů k percentilům
Kvantily a standardní skóry
Praktické problémy norem: efekt stropu a podlahy, granularita skórů, “korekce na spojitost”, odlišitelnost percentilových hladin
Normování v závislosti na věku
Základní přístupy
Jednoduché regresní normy a pokročilé s využitím GAMLSS
Využití IRT pro spojité normování
Last update: Danka Martin, M.Sc. (13.01.2025)
Entry requirements -
Entry requirements: This module is open to all students interested in recent developments in psychological research methods. It assumes a basic understanding of statistics, research methods, and psychometrics, as typically covered in undergraduate psychology modules. However, students are not required to have formally completed any specific prior modules, as each block will begin with a refresher on essential concepts.
Last update: Dragomirecká Eva, PhDr., Ph.D. (29.10.2024)
Předmět je otevřen všem zájemcům o nové přístupy v psychologické metodologii. Kurz předpokládá základní znalost statistiky, metodologie a psychometriky na úrovni bakalářského studia psychologie. Splnění těchto předmětů však není vyžadováno a na začátku jednotlivých bloků proběhne opakování nutných základů.
Last update: Dragomirecká Eva, PhDr., Ph.D. (29.10.2024)