Optimization and minimization techniques. Optimization method, global convergence, speed of convergence.
Minimization of a functional, descent techniques, nonlinear conjugate gradient method, Quasi-Newton methods,
trust-region methods. Least-squares problems, the Gauss-Newton method. Theory of constrained optimization,
Lagrange multipliers, convex optimization, penalty and barrier methods, projection and dual methods. The course
is suitable for students focused on industrial mathematics and numerical analysis.
Last update: T_KNM (11.09.2013)
Optimalizační a minimalizační postupy. Základní optimalizační metoda, Globální konvergence, rychlost konvergence.
Minimalizace funkcionálu, spádové postupy, nelineární metoda sdružených gradientů, metody s proměnnou metrikou, aplikace metody s lokálně omezeným krokem na funkcionály.
Úlohy podmíněné optimalizace. Metoda Lagrangeových multiplikátorů, konvexní optimalizace, metody penaltových funkcí, metody projekce a metody duální.
Minimalizace součtu čtverců, Gaussova - Newtonova metoda, aplikace pro určení hodnosti obdélníkové matic.
Předmět je vhodný pro zaměření Průmyslová matematika.
Předmět je vhodný pro zaměření Numerická analýza.
Literature - Czech
Last update: doc. RNDr. Petr Tichý, Ph.D. (23.04.2020)
R. Fletcher, Practical Methods of Optimization, 2nd edition Wiley 1987, (republished 2000).
D. G. Luenberger and Y. Ye, Linear and Nonlinear Programming, Third edition. Springer, New York, MA, 2008.
J. Nocedal and S. Wright, Numerical Optimization, Second edition, Springer Verlag 2006.
J. E. Dennis, Jr. and Robert B. Schnabel, Numerical Methods for Unconstrained Optimization and Nonlinear Equations, SIAM 1996, originally published in 1983.
Syllabus -
Last update: doc. RNDr. Petr Tichý, Ph.D. (23.04.2020)
Theory of unconstrained optimization (necessary and sufficient conditions, the role of convexity, classification of convergence), minimization in a given direction (Golden section search, curve fitting, Newton), inexact line search (Goldstein, Armijo, and Wolfe conditions), basic descent methods (the method of steepest descent and the Newton method), conjugate direction methods (the nonlinear conjugate gradient method), Quasi-Newton methods (the quasi-Newton condition, rank-one update, DFP, BFGS, the Broyden family), trust-region methods, least-squares problems (the Gauss-Newton and the Levenberg-Marquart method). Theory of constrained optimization (Lagrange multipliers, necessary and sufficient conditions), penalty and barrier methods, linear programming and the Simplex method.
Last update: doc. RNDr. Petr Tichý, Ph.D. (23.04.2020)
Teorie nepodmíněné optimalizace (nutné a postačující podmínky, role konvexity, klasifikace konvergence), úlohy hledání minima v daném směru (metoda zlatého řezu, využití interpolace, Newton) a hledání dostatečného poklesu v daném směru (Goldsteinovy, Armijovy, Wolfeho podmínky), základní spádové metody (největšího spádu a Newtonova), metody sdružených směrů (nelineární metoda sdružených gradientů), kvazi-Newtonovské metody (kvazi-Newtonovská podmínka, update hodnosti 1, DFP, BFGS, Broydenovy metody), metody důvěryhodné oblasti, problém nejmenších čtverců (Gauss-Newtonova a Levenberg-Marquartova metoda). Teorie nepodmíněné optimalizace (Lagrangeovy multiplikátory, nutné a postačující podmínky), penaltová a bariérová metoda, lineární programování a simplexová metoda.
