Lineární regrese - NMSA407

• Anglický název: Linear Regression
• Zajišťuje: Katedra pravděpodobnosti a matematické statistiky (32-KPMS)
• Fakulta: Matematicko-fyzikální fakulta
• Platnost: od 2018 do 2019
• Semestr: zimní
• E-Kredity: 8
• Rozsah, examinace: zimní s.:4/2, Z+Zk [HT]
• Počet míst: neomezen
• Minimální obsazenost: neomezen
• 4EU+: ne
• Virtuální mobilita / počet míst pro virtuální mobilitu: ne
• Stav předmětu: vyučován
• Jazyk výuky: angličtina, čeština
• Způsob výuky: prezenční
• Způsob výuky: prezenční
• Další informace: http://msekce.karlin.mff.cuni.cz/~komarek/vyuka/2018_19/nmsa407-2018.html
• Garant: doc. RNDr. Arnošt Komárek, Ph.D.
• Třída: M Mgr. PMSE; M Mgr. PMSE > Povinné
• Kategorizace předmětu: Matematika > Pravděpodobnost a statistika
• Je prerekvizitou pro: NMST432, NMST531, NMST438, NMFM404, NMST434, NMEK432, NMST450, NMST431, NMEK450
• Je záměnnost pro: NSTP194, NSTP195

Anotace

čeština

Poslední úprava: T_KPMS (02.05.2014)

Lineární regresní model, též bez splnění klasických předpokladů (normalita, konstantní rozptyl, nekorelované chyby), simultánní testování, reziduální analýza a regresní diagnostika.

angličtina

Poslední úprava: T_KPMS (02.05.2014)

Linear regression model, also without classical assumptions (normality, constant variance, uncorrelated errors), simultaneous testing, residual analysis and regression diagnostics.

Cíl předmětu

čeština

Poslední úprava: T_KPMS (16.05.2013)

Naučit studenty modelovat závislost střední hodnoty spojitých náhodných veličin na kvantitativních i kvalitativních proměnných.

angličtina

Poslední úprava: T_KPMS (16.05.2013)

To teach students how to model the dependence of the expected value of continuous random variables on both quantitative and qualitative variables.

Podmínky zakončení předmětu

čeština

Poslední úprava: doc. RNDr. Arnošt Komárek, Ph.D. (02.10.2020)

Předmět je zakončen zápočtem a zkouškou. Konání zkoušky je podmíněno předchozím získáním zápočtu.

Požadavky na zápočet:

• Domácí úlohy: zapotřebí v termínech specifikovaných vyučujícím odevzdat vypracování 3 úloh. Všechny tři úlohy musejí být vypracovány v dostatečné kvalitě.

• Písemný test: zapotřebí získat alespoň 60% bodů. Pro tuto část zápočtové povinnosti má každý student k dispozici právě dva termíny v okamžicích specifikovaných vyučujícím. Neúčast na libovolném z těchto dvou termínů (z jakéhokoliv důvodu) nezadává právo na vypsání dalších termínů zápočtové písemky.

Povaha kontroly studia předmětu vylučuje opakování této kontroly.

angličtina

Poslední úprava: doc. RNDr. Arnošt Komárek, Ph.D. (02.10.2020)

The subject is finalized by a course credit and exam. To be able to take exam, it is necessary to obtain a course credit first.

Course credit requirements:

• Homework assignments: Each student needs to submit, within pre-specified deadlines, solutions to three homework assignments. All three solutions must be graded as "acceptable" by the lecturer.

• Final test: Each student needs to get at least 60% of the points from the final test. Each student gets exactly two possibilities to write the final test at moments being pre-specified by the lecturer. Absence to any of those two occasions (for arbitrary reasons) does not imply possibility to write the test during additional occasion.

The nature of these requirements precludes any possibility of additional attempts to obtain the exercise class credit.

Literatura

Poslední úprava: T_KPMS (20.04.2016)

Základní
KHURI, A. I. Linear Model Methodology. Chapman & Hall/CRC: Boca Raton, 2010, xx+542 s. ISBN: 978-1-58488-481-1.

ZVÁRA, K. Regrese. Matfyzpress: Praha, 2008, 253 s. ISBN: 978-80-7378-041-8.

Doporučená doplňková
DRAPER, N. R., SMITH, H. Applied Regression Analysis, Third Edition. John Wiley & Sons: New York, 1998, xx+706 s. ISBN: 0-471-17082-8.

SEBER, G. A. F., LEE, A. J. Linear Regression Analysis, Second Edition. John Wiley 7 Sons: Hoboken, 2003, xvi+557 s. ISBN: 0-471-41540-5.

WEISBERG, S. Applied Linear Regression, Third Edition. John Wiley & Sons: Hoboken, 2005, xvi+310 s. ISBN: 0-471-66379-4.

ANDĚL, J. Základy matematické statistiky, druhé opravené vydání. Matfyzpress: Praha, 2007, 358 s. ISBN: 80-7378-001-1.

CIPRA, T. Finanční ekonometrie. Ekopress: Praha, 2008, 538 s. ISBN: 978-80-86929-43-9.

ZVÁRA, K. Regresní analýza. Academia: Praha, 1989, 245 s. ISBN: 80-200-0125-5.

Metody výuky

čeština

Poslední úprava: doc. RNDr. Arnošt Komárek, Ph.D. (02.10.2020)

Přednáška+cvičení.

angličtina

Poslední úprava: doc. RNDr. Arnošt Komárek, Ph.D. (02.10.2020)

Lecture+exercises.

Požadavky ke zkoušce

čeština

Poslední úprava: doc. RNDr. Arnošt Komárek, Ph.D. (27.09.2018)

Zkouška sestává ze dvou částí

• písemná část sestávající z teoretických a semi-praktických problémů (bez použití počítače);

• ústní část sestávající z otázek pokrývajících látku probíranou během přednášek i cvičení.

Problémy zadané u zkoušky vycházejí z odpřednesené látky a současně odpovídají tomu, co bylo procvičováno na cvičení. Zadané problémy odpovídají sylabu předmětu v rozsahu, který byl prezentován na přednášce.

Známka ze zkoušky se stanoví na základě bodového ohodnocení písemné části a hodnocení výkonu u ústní části.

angličtina

Poslední úprava: doc. RNDr. Arnošt Komárek, Ph.D. (27.09.2018)

Exam is composed of two parts

• written part composed of theoretical and semi-practical assignments (no computer analysis);

• oral part with questions corresponding to topics covered by lecture and exercise classes.

Problems assigned during exam are based on topics presented during lectures and also correspond to topics covered by exercise classes. Assigned problems correspond to the syllabus into extent covered by lectures.

Exam grade will be based on point evaluation of the written part and evaluation of the oral part.

Sylabus

čeština

Poslední úprava: doc. RNDr. Arnošt Komárek, Ph.D. (03.12.2020)

1. Lineární model: projekce a odhady metodou nejmenších čtverců (LSE), Gaussova-Markovova věta, odhadnutelné parametry.

2. Normální lineární model: vlastnosti LSE za normality, testy lineárních hypotéz, intervaly a oblasti spolehlivosti, predikce.

3. Podmodel, testy o podmodelech, koeficient determinace.

4. Obecný lineární model, metoda zobecněných nejmenších čtverců (GLS).

5. Parametrizace kvantitativních a kategoriálních regresorů, interpretace lineárního regresního modelu.

6. Reziduální analýza a regresní diagnostika: reziduální grafy, standardizovaná, studentizovaná a parciální rezidua, vzdálená, odlehlá a vlivná pozorování, vybrané testy o předpokladech lineárního modelu.

7. Následky problematicky zvoleného regresního prostoru, multikolinearita, důsledky chybné specifikace modelu.

8. Strategie budování modelu.

9. Vybrané modely analýzy rozptylu.

10. Simultánní testování: mnohonásobná porovnání, Tukeyova metoda, Hothorn-Bretzova-Wetfallova metoda, pásy spolehlivosti pro regresní funkci.

11. Odhad metodou maximální věrohodnosti (MLE) v normálním lineárním modelu: vlastnosti MLE, souvislost s LSE.

12. Metoda nejmenších čtverců bez splněných klasických předpokladů: asymptotické vlastnosti LSE bez předpokladů normality a homoskedasticity, sandwichový (Whiteův) odhad rozptylu LSE, robustnost klasických intervalů spolehlivosti a testů.

angličtina

Poslední úprava: doc. RNDr. Arnošt Komárek, Ph.D. (03.12.2020)

1. Linear model: projection and least squares estimates (LSE), Gauss-Markov theorem, estimable parameters.

2. Normal linear model: LSE properties under the normality, tests of linear hypotheses, confidence intervals and regions, prediction.

3. Submodel, tests on submodels, coefficient of determination.

4. General linear model and generalized least squares (GLS).

5. Parameterizations of numeric and categorical regressors, interpretation of a linear regression model.

6. Residual analysis and regression diagnostics: residual plots, standardized, studentized and partial residuals, leverage, outlying and influential observations, selected tests on assumptions of a linear model.

7. Consequences of a problematic regression space, multicollinearity, effect of model misspecification.

8. Strategies of model building.

9. Selected models of analysis of variance.

10.Simultaneous inference: multiple comparison procedures, methods of Tukey, Hothorn-Bretz-Westfall, confidence bands for the regression function.

11. Maximum likelihood estimates (MLE) in the normal linear model: properties of MLE, relationship to LSE.

12. Method of least squares without satisfied classical assumptions: asymptotic properties of the LSE without assumed normality and without homoscedasticity, sandwich (White) estimate of the variance of the LSE, robustness of classical confidence intervals and tests.

Vstupní požadavky

čeština

Poslední úprava: doc. RNDr. Arnošt Komárek, Ph.D. (25.05.2018)

• Vektorové prostory, maticový počet;

• Pravděpodobnostní prostor, podmíněná pravděpodobnost, podmíněné rozdělení, podmíněná střední hodnota;

• Základní asymptotické výsledky (zákony velkých čísel, centrální limitní věta pro i.i.d. náhodné veličiny a vektory, Cramér-Woldova věta, Cramér-Slutského věta);

• Základy statistické inference (statistický test, interval spolehlivosti, směrodatná chyba, konzistence);

• Základní postupy statistické inference (asymptotické testy o střední hodnotě, jedno a dvouvýběrový t-test, analýza rozptylu jednoduchého třídění, chí-kvadrát test nezávislosti);

• Teorie maximální věrohodnosti včetně asymptotických výsledků a delta metody;

• Pracovní znalost prostředí R, volně šiřitelného prostředí pro statistické výpočty a grafiku (https://www.r-project.org).

angličtina

Poslední úprava: doc. RNDr. Arnošt Komárek, Ph.D. (25.05.2018)

• Vector spaces, matrix calculus;

• Probability space, conditional probability, conditional distribution, conditional expectation;

• Elementary asymptotic results (laws of large numbers, central limit theorem for i.i.d. random variables and vectors, Cramér-Wold theorem, Cramér-Slutsky theorem);

• Foundations of statistical inference (statistical test, confidence interval, standard error, consistency);

• Basic procedures of statistical inference (asymptotic tests on expected value, one- and two-sample t-test, one-way analysis of variance, chi-square test of independence);

• Maximum-likelihood theory including asymptotic results and the delta method;

• Working knowledge of R, a free software environment for statistical computing and graphics (https://www.r-project.org).