Метод Ньютона. Метод Стеффенсена

Материал из MachineLearning.

Если минимизируемая функция дважд непрерывно дифференцируема и производные просто вычисляются, то можно применять методы минимизации второго порядка, которые используют квадратичную часть разложения функции в ряд Тейлора. Поскольку квадратичная часть разложения аппроксимирует функцию гораздо точнее, чем линейная, то естесвенно ожидать, что методв второго порядка сходятся быстрее, чем методы первого. Метод Ньютона, имеющий квадратичную скорость сходимости на классе сильно выпуклых функций. Говорят, что последовательность сходитcz к с линейной скоростью или со скоростью геометрической прогресси (со знаменателем q), если начиная с некоторго номера, выполняется неравенство при выполнении неравенства , где , говорят о сверхлинейной скорости сходимости последованояти к , а если здесь