Optimization and minimization techniques. Optimization method, global convergence, speed of convergence.
Minimization of a functional, descent techniques, nonlinear conjugate gradient method, Quasi-Newton methods,
trust-region methods. Least-squares problems, the Gauss-Newton method. Theory of constrained optimization,
Lagrange multipliers, convex optimization, penalty and barrier methods, projection and dual methods. The course
is suitable for students focused on industrial mathematics and numerical analysis.
Last update: T_KNM (11.09.2013)
Optimalizační a minimalizační postupy. Základní optimalizační metoda, Globální konvergence, rychlost konvergence.
Minimalizace funkcionálu, spádové postupy, nelineární metoda sdružených gradientů, metody s proměnnou metrikou, aplikace metody s lokálně omezeným krokem na funkcionály.
Úlohy podmíněné optimalizace. Metoda Lagrangeových multiplikátorů, konvexní optimalizace, metody penaltových funkcí, metody projekce a metody duální.
Minimalizace součtu čtverců, Gaussova - Newtonova metoda, aplikace pro určení hodnosti obdélníkové matic.
Předmět je vhodný pro zaměření Průmyslová matematika.
Předmět je vhodný pro zaměření Numerická analýza.
Course completion requirements -
Last update: doc. RNDr. Petr Tichý, Ph.D. (23.04.2020)
It is not necessary to obtain a course-credit before passing the exam.
The course-credit will be granted for a presentation of results of numerical experiments.
There are two additional attempts to obtain the course-credit.
Last update: doc. RNDr. Petr Tichý, Ph.D. (23.04.2020)
Ke zkoušce není nutný zápočet.
Zápočet bude udělen za prezentaci výsledků numerických experimentů.
Budou umožněny dva opravné pokusy získání zápočtu.
Literature -
Last update: doc. RNDr. Petr Tichý, Ph.D. (23.04.2020)
J. E. Dennis and R. B. Schnabel, Numerical Methods for Unconstrained Optimization and Nonlinear Equations, SIAM 1996, originally published in 1983.
R. Fletcher, Practical Methods of Optimization, 2nd edition Wiley 1987, (republished 2000).
D. G. Luenberger and Y. Ye, Linear and Nonlinear Programming, Third edition. Springer, New York, MA, 2008.
J. Nocedal and S. Wright, Numerical Optimization, Second edition, Springer Verlag 2006.
W. Sun and Y-X. Yuan, Optimization theory and methods. Nonlinear programming. Springer Optimization and Its Applications, 1. Springer, New York, 2006.
Last update: doc. RNDr. Petr Tichý, Ph.D. (23.04.2020)
J. E. Dennis and R. B. Schnabel, Numerical Methods for Unconstrained Optimization and Nonlinear Equations, SIAM 1996, originally published in 1983.
R. Fletcher, Practical Methods of Optimization, 2nd edition Wiley 1987, (republished 2000).
D. G. Luenberger and Y. Ye, Linear and Nonlinear Programming, Third edition. Springer, New York, MA, 2008.
J. Nocedal and S. Wright, Numerical Optimization, Second edition, Springer Verlag 2006.
W. Sun and Y-X. Yuan, Optimization theory and methods. Nonlinear programming. Springer Optimization and Its Applications, 1. Springer, New York, 2006.
Requirements to the exam -
Last update: doc. RNDr. Petr Tichý, Ph.D. (16.02.2018)
The exam is oral. Requirements for the oral exam correspond to the syllabus of the course, presented at the lectures.
Last update: doc. RNDr. Petr Tichý, Ph.D. (16.02.2018)
Zkouška je ústní. Požadavky ke zkoušce odpovídají sylabu předmětu v rozsahu, který byl prezentován na přednášce.
Syllabus -
Last update: doc. RNDr. Petr Tichý, Ph.D. (23.04.2020)
Theory of unconstrained optimization (necessary and sufficient conditions, the role of convexity, classification of convergence), minimization in a given direction (Golden section search, curve fitting, Newton), inexact line search (Goldstein, Armijo, and Wolfe conditions), basic descent methods (the method of steepest descent and the Newton method), conjugate direction methods (the nonlinear conjugate gradient method), Quasi-Newton methods (the quasi-Newton condition, rank-one update, DFP, BFGS, the Broyden family), trust-region methods, least-squares problems (the Gauss-Newton and the Levenberg-Marquart method). Theory of constrained optimization (Lagrange multipliers, necessary and sufficient conditions).
Last update: doc. RNDr. Petr Tichý, Ph.D. (23.04.2020)
Teorie nepodmíněné optimalizace (nutné a postačující podmínky, role konvexity, klasifikace konvergence), úlohy hledání minima v daném směru (metoda zlatého řezu, využití interpolace, Newton) a hledání dostatečného poklesu v daném směru (Goldsteinovy, Armijovy, Wolfeho podmínky), základní spádové metody (největšího spádu a Newtonova), metody sdružených směrů (nelineární metoda sdružených gradientů), kvazi-Newtonovské metody (kvazi-Newtonovská podmínka, update hodnosti 1, DFP, BFGS, Broydenovy metody), metody důvěryhodné oblasti, problém nejmenších čtverců (Gauss-Newtonova a Levenberg-Marquartova metoda). Teorie nepodmíněné optimalizace (Lagrangeovy multiplikátory, nutné a postačující podmínky).
Entry requirements -
Last update: doc. RNDr. Petr Tichý, Ph.D. (02.05.2018)
Fundamentals of multivariable calculus and numerical linear algebra. Basic knowledge of the Matlab programming language.
Last update: doc. RNDr. Petr Tichý, Ph.D. (23.04.2020)
Základy kalkulu funkcí více proměnných a numerické lineární algebry. Základní znalost Matlabu.
