Алгоритм Trust-Region

Материал из MachineLearning.

Версия от 20:59, 18 ноября 2008; М.А.Задонский (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Содержание

1 Введение
2 Безусловная оптимизация
- 2.1 Алгоритмы для нелинейной задачи метода наименьших квадратов
  - 2.1.1 Метод Гаусса-Ньютона
3 Условная оптимизация
4 Примеры
5 Рекомендации программисту
6 Выводы
7 Литература

Введение

Безусловная оптимизация

Среди задач на поиск безусловного минимума особое место занимают задачи минимизации функции вида:
$F(x) = \frac{1}{2}\sum_i{r_i^m(x)^2}$
где $r_i(x)$ - гладкая нелинейная функция из $R^n$ в $R$ . Будем считать, что m ≥ n.
Если обозначить $r_i(x) = (r_1(x),\dots,r_m(x))^T$
то $F(x) = \frac{1}{2}||r(x)||_2^2$
Обозначим якобиан функции r: $J(x) = \frac{\delta r_j}{\delta x_i}$
Тогда производные функции f(x) можно вычислить с помощью формул:
$\nabla f(x) = \sum_{j = 1}^m{r_j(x)\nabla r_j(x) = J(x)^Tr(x)}$
$\nabla^2 f(x) = \sum_{j = 1}^m{\nabla r_j(x)\nabla r_j(x) + \sum_{j = 1}^m{\nabla^2 r_j(x)r_j(x)= J(x)^TJ(x) + \sum_{j = 1}^m{\nabla^2 r_j(x)r_j(x)}$