Předměty

Fungují veřejné politiky tak, jak bylo zamýšleno? Jaké jsou jejich reálné efekty? A naplňují tyto efekty očekávání, nebo by mohly být vynaložené prostředky využity lépe? Tyto a další otázky si klade relativně mladý obor společenských věd zvaný evaluace. Evaluace jako praktická činnost patří mezi klíčové součásti tvorby a realizace veřejných politik a programů. Jejím hlavním úkolem je poskytování spolehlivých a užitečných informací manažerům, politikům, úředníkům a dalším aktérům veřejné politiky. Evaluace poskytuje zpětnou vazbu, podává informace o tom, co a za jakých podmínek funguje, a jaké činnosti je nutné změnit popř. ukončit. Tento kurz slouží jako úvod do teorie a praxe evaluace programů financovaných z veřejných zdrojů. Studenti se seznámí s hlavními koncepty, evaluačními designy (plány) a metodami evaluačního výzkumu počínaje teorií programu až po hodnocení efektivity jeho účinků a prezentace výsledků evaluace.

Nabité dovednosti využijí při práci jak ve veřejném, tak soukromém nebo neziskovém sektoru (např. u projektů financovaných z Evropského sociálního fondu je evaluace povinnou součástí). Na výuce se podílí zkušení evaluátoři z praxe a studenti se učí na reálných evaluačních projektech. Absolventi kurzu by měli být schopni:
• diskutovat různé účely a typy evaluace veřejných programů;
• vytvořit kompletní návrh evaluačního projektu pro vyhodnocení účinku konkrétního veřejného programu;
• aplikovat základní metody evaluace účinku a vyhodnotit efektivitu programu;
• shrnout a interpretovat výsledky evaluace;
• identifikovat společenské, politické a etické otázky spojené s evaluací.

Poslední úprava: Nekola Martin, Mgr., Ph.D. (16.09.2015)

Povinná literatura:

Rossi, P. H., Lipsey, M. W., & Henry, G. T. (2019). Evaluation: A systematic approach (Eighth edition). SAGE. (dále pouze jako RLH 2019).

Nekola, M. 2007. Evaluace a monitoring realizovaných politik. In Veselý, A. a Nekola, M. (eds). Analýza a tvorba veřejných politik: přístupy, metody a praxe. Praha: SLON.

Ochrana, F. 2004. Hodnocení veřejných projektů a zakázek. Třetí přepracované a aktualizované vydání. Praha. ASPI Publishing. ISBN 80-7357-033-5.

Doporučená literatura:

Hendl, J., & Remr, J. (2017). Metody výzkumu a evaluace. Praha. Portál.

Ochrana, F. 2005. Nákladově výstupové metody ve veřejném sektoru. Praha. Ekopress. ISBN 80-86119-96-3.

Poslední úprava: Kot Pavel, Ing. (03.12.2021)

Nezbytnými předpoklady pro absolvování kurzu jsou (1) příprava na přednášky a účast na diskusích. Studenti musí mít přečtené texty a články určené k diskusi na daný blok výuky a v předstihu poslat vyučujícím své otázky vztahující se k tématu. Mimo to je každý student povinen (2) napsat jeden kritický komentář ke zvolenému odbornému článku schváleného garantem kurzu a (3) vypracovat individuální nebo týmový evaluační projekt.

Klasifikace probíhá v souladu s opatřením děkanky č. 17/2018 “Užívání klasifikace A-F na UK FSV" (https://fsv.cuni.cz/opatreni-dekanky-c-172018).

Bodové hodnocení Klasifikační stupnice

Aktivita / Výstup	Max. bodů	Stupeň	Body
Kritický komentář	30	A – výtečně	91 – 100
Podklady k prvním třem krokům	30	B – velmi dobře	81 – 90
Evaluační plán (finální projekt)	40	C – dobře	71 – 80
		D – uspokojivě	61 – 70
		E – dostatečně	51 – 60
Celkem	100	F – nedostatečně	0 – 50

Poslední úprava: Nekola Martin, Mgr., Ph.D. (28.10.2019)

Struktura a náplň kurzu
Kurz je složen ze tří hlavních částí – přednášek, domácí četby doporučené literatury a diskuse/prezentace při hodinách – a není věcně zaměřený na konkrétní politiku nebo sektor. Důraz je kladen na obecnou uplatnitelnost probíraných přístupů a metod, jejichž aplikace bude ilustrována na příkladech rozmanitých zahraničních i tuzemských veřejných programů. Uvítáme také, pokud se studenti ve svých projektech zaměří na specifickou oblast svého zájmu.

Forma kontroly studia (požadavky na ukončení předmětu)
Nezbytnými předpoklady pro absolvování kurzu jsou (1) příprava na přednášky a účast na diskusích. Studenti musí mít přečtené texty a články určené k diskusi na daný blok výuky a v předstihu poslat vyučujícím své otázky vztahující se k tématu. Mimo to je každý student povinen (2) napsat jeden kritický komentář ke zvolenému odbornému článku schváleného garantem kurzu a (3) vypracovat individuální nebo týmový evaluační projekt. Postup přípravy projektu, jehož finální verze bude odevzdána v elektronické podobě, je popsán níže.

Ad 1) Příprava na diskusi
Ke každému výukovému bloku je připravený seznam povinné a doporučené literatury k domácímu studiu. Výběr literatury se snaží pokrýt klíčové aspekty probíraného tématu a ilustrovat různé metodologické přístupy a problémy spojené s evaluací. Metodologické texty budou diskutovány na setkáních, je proto bezpodmínečně nutné je přečíst předem a připravit si případné dotazy a náměty k diskusi. Případové studie není nutné číst všechny, slouží především jako ilustrace probíraného tématu a inspirace pro studentské projekty.

Ad 2) Kritický komentář
Každý ze studentů si vybere jeden odborný text, který se zabývá evaluací konkrétní intervence. Může to být článek z recenzovaného časopisu nebo evaluační zpráva, v ideálním případě by měl mít zvolený text vztah k týmovému evaluačnímu projektu (po věcné a/nebo metodologické stránce). Po schválení výběru garantem zpracuje každý student kritický komentář (cca 5 NS). Ten má formu plynulého strukturovaného textu (podobně jako např. odborná knižní recenze) ve kterém se zaměří především na následující aspekty posuzovaného textu:
•   účel textu, výzkumné cíle a otázky, popř. hypotézy;
•   typ evaluace (formativní / souhrnná; vnitřní / vnější atd.);
•   metodologie (design, metody sběru a analýzy dat atd.);

Hlavním účelem komentáře není výtah z textu, nýbrž jeho celkové kritické zhodnocení z hlediska hlavních závěrů studie, její vypovídací hodnoty, silných a slabých stránek zvoleného přístupu a možností zobecnění výsledků. Komentář se odevzdává v elektronické podobě na adresu garanta předmětu.

Ad 3) Příprava týmového evaluačního projektu
•   Krok 1: Specifikace programu
popis vybraného programu (3-4 strany) – problém, který intervence řeší, zamýšlené cílové skupiny, předpokládané přínosy a kauzální model, na němž je program založen. Součástí je také kritické zhodnocení teorie programu. V případě, že pracujete se vzorovým projektem, specifikujte, které části byly upraveny/doplněny.
•   Krok 2: Cíle evaluace a metodologie dopadové evaluace
S využitím vytvořeného modelu navrhněte vhodný evaluační design se zaměřením na dopadovou evaluaci. Jeho součástí je formulace evaluačních otázek, operacionalizace klíčových proměnných pro hodnocení dopadů.
•   Krok 3: Hodnocení efektivity
Popis způsobu, jak budou získané výsledky vyhodnoceny z hlediska efektivity, tj. určování, měření a ohodnocování nákladů a přínosů a jejich analýza.
•   Krok 4: Finalizace projektu a jeho prezentace
Na základě předchozích kroků navrhnou jednotlivé týmy srozumitelný a přesvědčivý evaluační plán pro zvolený program. Součástí projektu je i diskuse výhod a nevýhod (silných a slabých stránek) zvoleného designu a důvodů pro jeho volbu.

Témata:
Téma 1: Úvodní informace o kurzu a evaluaci veřejných programů
Téma 2: Plánování evaluací
Téma 3: Vyjádření a vyhodnocení teorie programu
Téma 4: Monitoring programu a evaluace procesu
Téma 5: Úvod do evaluace efektů: design, vnitřní a vnější validita
Téma 6: Evaluace efektů: experimenty ve veřejné politice
Téma 7: Evaluace efektů: kvazi-experimentální uspořádání
Téma 8: Analýza a interpretace efektů programu
Téma 9: Hodnocení efektivity: analýza nákladů a přínosů
Téma 10: Evaluace v reálném světě: společenský kontext, politika a etika

Poslední úprava: Nekola Martin, Mgr., Ph.D. (01.09.2022)