Участник:Slimper/Песочница

Материал из MachineLearning.

Содержание [убрать] 1 Постановка задачи оптимизации 2 Метод сопряжённых направлений 3 Минимизация квадратичного функционала 3.1 Общий случай 4 Литература

Постановка задачи оптимизации

Пусть задано множество и на этом множестве определена целевая функция (objective function) . Задача оптимизации состоит в нахождении на множестве точной верхней или точной нижней грани целевой функции. Множество точек, на которых достигается нижняя грань целевой функции обозначается .

Если , то задача оптимизации называется безусловной (unconstrained). Если , то задача оптимизации называется условной (constrained).

Метод сопряжённых направлений

Метод сопряжённых направлений (conjugate direction method) первоначально был разработан для решения систем линейных уравнений с положительно определённой матрицей. Позже этот метод обобщили для решения безусловных задач оптимизации в

Минимизация квадратичного функционала

Рассмотрим сначала метод сопряжённых градиентов для решения следующей задачи оптимизации:
- симметричная положительно определённая матрица размера . Такая задача оптимизации называется квадратичной. Функция достигает своей нижней грани в единственной точке , определяемой уравнением . Таким образом, данная задача оптимизации сводится к решению линейной системы

Общий случай

Литература

Васильев Ф. П. Методы оптимизации - Издательство «Факториал Пресс», 2002 Nocedal J., Wright S.J. Numerical Optimization ,Springer, 1999