Poslední úprava: Mgr. Martin Nekola, Ph.D. (16.09.2015)
Fungují veřejné politiky tak, jak bylo zamýšleno? Jaké jsou jejich reálné efekty? A naplňují tyto efekty očekávání, nebo by mohly být vynaložené prostředky využity lépe? Tyto a další otázky si klade relativně mladý obor společenských věd zvaný evaluace. Evaluace jako praktická činnost patří mezi klíčové součásti tvorby a realizace veřejných politik a programů. Jejím hlavním úkolem je poskytování spolehlivých a užitečných informací manažerům, politikům, úředníkům a dalším aktérům veřejné politiky. Evaluace poskytuje zpětnou vazbu, podává informace o tom, co a za jakých podmínek funguje, a jaké činnosti je nutné změnit popř. ukončit. Tento kurz slouží jako úvod do teorie a praxe evaluace programů financovaných z veřejných zdrojů. Studenti se seznámí s hlavními koncepty, evaluačními designy (plány) a metodami evaluačního výzkumu počínaje teorií programu až po hodnocení efektivity jeho účinků a prezentace výsledků evaluace.
Nabité dovednosti využijí při práci jak ve veřejném, tak soukromém nebo neziskovém sektoru (např. u projektů financovaných z Evropského sociálního fondu je evaluace povinnou součástí). Na výuce se podílí zkušení evaluátoři z praxe a studenti se učí na reálných evaluačních projektech. Absolventi kurzu by měli být schopni:
• diskutovat různé účely a typy evaluace veřejných programů;
• vytvořit kompletní návrh evaluačního projektu pro vyhodnocení účinku konkrétního veřejného programu;
• aplikovat základní metody evaluace účinku a vyhodnotit efektivitu programu;
• shrnout a interpretovat výsledky evaluace;
• identifikovat společenské, politické a etické otázky spojené s evaluací.
Literatura
Poslední úprava: Ing. Pavel Kot (03.12.2021)
Povinná literatura:
Rossi, P. H., Lipsey, M. W., & Henry, G. T. (2019). Evaluation: A systematic approach (Eighth edition). SAGE. (dále pouze jako RLH 2019).
Nekola, M. 2007. Evaluace a monitoring realizovaných politik. In Veselý, A. a Nekola, M. (eds). Analýza a tvorba veřejných politik: přístupy, metody a praxe. Praha: SLON.
Ochrana, F. 2004. Hodnocení veřejných projektů a zakázek. Třetí přepracované a aktualizované vydání. Praha. ASPI Publishing. ISBN 80-7357-033-5.
Doporučená literatura:
Hendl, J., & Remr, J. (2017). Metody výzkumu a evaluace. Praha. Portál.
Ochrana, F. 2005. Nákladově výstupové metody ve veřejném sektoru. Praha. Ekopress. ISBN 80-86119-96-3.
Požadavky ke zkoušce
Poslední úprava: Mgr. Martin Nekola, Ph.D. (28.10.2019)
Nezbytnými předpoklady pro absolvování kurzu jsou (1) příprava na přednášky a účast na diskusích. Studenti musí mít přečtené texty a články určené k diskusi na daný blok výuky a v předstihu poslat vyučujícím své otázky vztahující se k tématu. Mimo to je každý student povinen (2) napsat jeden kritický komentář ke zvolenému odbornému článku schváleného garantem kurzu a (3) vypracovat individuální nebo týmový evaluační projekt.
Poslední úprava: Mgr. Martin Nekola, Ph.D. (01.09.2022)
Struktura a náplň kurzu Kurz je složen ze tří hlavních částí – přednášek, domácí četby doporučené literatury a diskuse/prezentace při hodinách – a není věcně zaměřený na konkrétní politiku nebo sektor. Důraz je kladen na obecnou uplatnitelnost probíraných přístupů a metod, jejichž aplikace bude ilustrována na příkladech rozmanitých zahraničních i tuzemských veřejných programů. Uvítáme také, pokud se studenti ve svých projektech zaměří na specifickou oblast svého zájmu.
Forma kontroly studia (požadavky na ukončení předmětu) Nezbytnými předpoklady pro absolvování kurzu jsou (1) příprava na přednášky a účast na diskusích. Studenti musí mít přečtené texty a články určené k diskusi na daný blok výuky a v předstihu poslat vyučujícím své otázky vztahující se k tématu. Mimo to je každý student povinen (2) napsat jeden kritický komentář ke zvolenému odbornému článku schváleného garantem kurzu a (3) vypracovat individuální nebo týmový evaluační projekt. Postup přípravy projektu, jehož finální verze bude odevzdána v elektronické podobě, je popsán níže.
Ad 1) Příprava na diskusi Ke každému výukovému bloku je připravený seznam povinné a doporučené literatury k domácímu studiu. Výběr literatury se snaží pokrýt klíčové aspekty probíraného tématu a ilustrovat různé metodologické přístupy a problémy spojené s evaluací. Metodologické texty budou diskutovány na setkáních, je proto bezpodmínečně nutné je přečíst předem a připravit si případné dotazy a náměty k diskusi. Případové studie není nutné číst všechny, slouží především jako ilustrace probíraného tématu a inspirace pro studentské projekty.
Ad 2) Kritický komentář Každý ze studentů si vybere jeden odborný text, který se zabývá evaluací konkrétní intervence. Může to být článek z recenzovaného časopisu nebo evaluační zpráva, v ideálním případě by měl mít zvolený text vztah k týmovému evaluačnímu projektu (po věcné a/nebo metodologické stránce). Po schválení výběru garantem zpracuje každý student kritický komentář (cca 5 NS). Ten má formu plynulého strukturovaného textu (podobně jako např. odborná knižní recenze) ve kterém se zaměří především na následující aspekty posuzovaného textu: • účel textu, výzkumné cíle a otázky, popř. hypotézy; • typ evaluace (formativní / souhrnná; vnitřní / vnější atd.); • metodologie (design, metody sběru a analýzy dat atd.);
Hlavním účelem komentáře není výtah z textu, nýbrž jeho celkové kritické zhodnocení z hlediska hlavních závěrů studie, její vypovídací hodnoty, silných a slabých stránek zvoleného přístupu a možností zobecnění výsledků. Komentář se odevzdává v elektronické podobě na adresu garanta předmětu.
Ad 3) Příprava týmového evaluačního projektu • Krok 1: Specifikace programu popis vybraného programu (3-4 strany) – problém, který intervence řeší, zamýšlené cílové skupiny, předpokládané přínosy a kauzální model, na němž je program založen. Součástí je také kritické zhodnocení teorie programu. V případě, že pracujete se vzorovým projektem, specifikujte, které části byly upraveny/doplněny. • Krok 2: Cíle evaluace a metodologie dopadové evaluace S využitím vytvořeného modelu navrhněte vhodný evaluační design se zaměřením na dopadovou evaluaci. Jeho součástí je formulace evaluačních otázek, operacionalizace klíčových proměnných pro hodnocení dopadů. • Krok 3: Hodnocení efektivity Popis způsobu, jak budou získané výsledky vyhodnoceny z hlediska efektivity, tj. určování, měření a ohodnocování nákladů a přínosů a jejich analýza. • Krok 4: Finalizace projektu a jeho prezentace Na základě předchozích kroků navrhnou jednotlivé týmy srozumitelný a přesvědčivý evaluační plán pro zvolený program. Součástí projektu je i diskuse výhod a nevýhod (silných a slabých stránek) zvoleného designu a důvodů pro jeho volbu.
Témata: Téma 1: Úvodní informace o kurzu a evaluaci veřejných programů Téma 2: Plánování evaluací Téma 3: Vyjádření a vyhodnocení teorie programu Téma 4: Monitoring programu a evaluace procesu Téma 5: Úvod do evaluace efektů: design, vnitřní a vnější validita Téma 6: Evaluace efektů: experimenty ve veřejné politice Téma 7: Evaluace efektů: kvazi-experimentální uspořádání Téma 8: Analýza a interpretace efektů programu Téma 9: Hodnocení efektivity: analýza nákladů a přínosů Téma 10: Evaluace v reálném světě: společenský kontext, politika a etika
