Алгоритм Trust-Region
Материал из MachineLearning.
(Различия между версиями)
Строка 1: | Строка 1: | ||
- | == | + | == Введение == |
- | + | == Безусловная оптимизация == | |
- | Среди задач на поиск безусловного минимума особое место занимают задачи минимизации функции вида:<br> | + | Среди задач на поиск безусловного минимума особое место занимают задачи минимизации функции вида:<br> |
<tex>F(x) = \frac{1}{2}\sum_i{r_i^m(x)^2}</tex><br> | <tex>F(x) = \frac{1}{2}\sum_i{r_i^m(x)^2}</tex><br> | ||
где <tex>r_i(x)</tex> - гладкая нелинейная функция из <tex>R^n</tex> в <tex>R</tex>. Будем считать, что m ≥ n.<br> | где <tex>r_i(x)</tex> - гладкая нелинейная функция из <tex>R^n</tex> в <tex>R</tex>. Будем считать, что m ≥ n.<br> | ||
Строка 10: | Строка 10: | ||
<tex>\nabla f(x) = \sum_{j = 1}^m{r_j(x)\nabla r_j(x) = J(x)^Tr(x)}</tex><br> | <tex>\nabla f(x) = \sum_{j = 1}^m{r_j(x)\nabla r_j(x) = J(x)^Tr(x)}</tex><br> | ||
<tex>\nabla^2 f(x) = \sum_{j = 1}^m{\nabla r_j(x)\nabla r_j(x) + \sum_{j = 1}^m{\nabla^2 r_j(x)r_j(x)= J(x)^TJ(x) + \sum_{j = 1}^m{\nabla^2 r_j(x)r_j(x)}</tex><br> | <tex>\nabla^2 f(x) = \sum_{j = 1}^m{\nabla r_j(x)\nabla r_j(x) + \sum_{j = 1}^m{\nabla^2 r_j(x)r_j(x)= J(x)^TJ(x) + \sum_{j = 1}^m{\nabla^2 r_j(x)r_j(x)}</tex><br> | ||
- | == Алгоритмы для нелинейной задачи метода наименьших квадратов == | + | === Алгоритмы для нелинейной задачи метода наименьших квадратов === |
- | === Метод Гаусса-Ньютона === | + | ==== Метод Гаусса-Ньютона ==== |
- | == | + | == Условная оптимизация == |
+ | == Примеры == | ||
== Рекомендации программисту == | == Рекомендации программисту == | ||
== Выводы == | == Выводы == | ||
== Литература == | == Литература == | ||
Philip E. Gill Practical Otpimization 1981.<br> | Philip E. Gill Practical Otpimization 1981.<br> |
Версия 20:59, 18 ноября 2008
Содержание |
Введение
Безусловная оптимизация
Среди задач на поиск безусловного минимума особое место занимают задачи минимизации функции вида:
где - гладкая нелинейная функция из в . Будем считать, что m ≥ n.
Если обозначить
то
Обозначим якобиан функции r:
Тогда производные функции f(x) можно вычислить с помощью формул:
Алгоритмы для нелинейной задачи метода наименьших квадратов
Метод Гаусса-Ньютона
Условная оптимизация
Примеры
Рекомендации программисту
Выводы
Литература
Philip E. Gill Practical Otpimization 1981.