Метод Ньютона. Проблема области сходимости. Метод парабол. Совмещение методов Ньютона и парабол
Материал из MachineLearning.
(Различия между версиями)
Строка 1: | Строка 1: | ||
== Постановка задачи одномерной оптимизации == | == Постановка задачи одномерной оптимизации == | ||
Задача одномерной оптимизации определяется следующим образом: | Задача одномерной оптимизации определяется следующим образом: | ||
- | # ''Допустимое множество'' — множество < | + | # ''Допустимое множество'' — множество <tex>\mathbb{X}=\{\vec{x}:\;g_i(\vec{x})\leq 0,\;i=1,\ldots,n_1;\;g_j(\vec{x})=0,\;j=1,\ldots,n_2;\;g_k(\vec{x})\geq 0,\;k=1,\dots,n_3;\;m=n_1+n_2+n_3 \} \subset \mathbb{R}^n(\mathbb{C}^n)</tex>; |
- | # ''Целевую функцию'' — отображение < | + | # ''Целевую функцию'' — отображение <tex>f:\;\mathbb{X}\to\mathbb{R}</tex>; |
# ''Критерий поиска'' (max или min). | # ''Критерий поиска'' (max или min). | ||
- | Тогда решить задачу < | + | Тогда решить задачу <tex>f(x)\to \min_{\vec{x}\in\mathrm{X}}</tex> означает одно из: |
- | # Показать, что < | + | # Показать, что <tex>\mathbb{X}=\varnothing</tex>. |
- | # Показать, что целевая функция < | + | # Показать, что целевая функция <tex>f(\vec{x})</tex> не ограничена. |
- | # Найти < | + | # Найти <tex>\vec{x}^*\in\mathbb{X}:\;f(\vec{x}^*)=\min_{\vec{x}\in\mathbb{X}}f(\vec{x})</tex>. |
- | # Если < | + | # Если <tex>\nexists \vec{x}^* </tex>, то найти <tex>\inf_{\vec{x}\in\mathbb{X}}f(\vec{x})</tex>. |
- | Если минимизируемая функция не является выпуклой, то часто ограничиваются поиском локальных минимумов и максимумов: точек < | + | Если минимизируемая функция не является выпуклой, то часто ограничиваются поиском локальных минимумов и максимумов: точек <tex>x_0</tex> таких, что всюду в некоторой их окрестности <tex>f(x)\ge f(x_0)</tex> для минимума и <tex>f(x)\le f(x_0)</tex> для максимума. |
- | Если допустимое множество < | + | Если допустимое множество <tex>\mathbb{X}=\mathbb{R}</tex>, то такая задача называется ''задачей безусловной оптимизации'', в противном случае — ''задачей условной оптимизации''. |
== Метод Ньютона == | == Метод Ньютона == | ||
== Метод Парабол == | == Метод Парабол == |
Версия 20:41, 16 ноября 2008
Содержание |
Постановка задачи одномерной оптимизации
Задача одномерной оптимизации определяется следующим образом:
- Допустимое множество — множество ;
- Целевую функцию — отображение ;
- Критерий поиска (max или min).
Тогда решить задачу означает одно из:
- Показать, что .
- Показать, что целевая функция не ограничена.
- Найти .
- Если , то найти .
Если минимизируемая функция не является выпуклой, то часто ограничиваются поиском локальных минимумов и максимумов: точек таких, что всюду в некоторой их окрестности для минимума и для максимума.
Если допустимое множество , то такая задача называется задачей безусловной оптимизации, в противном случае — задачей условной оптимизации.