Материал из MachineLearning.
Введение
Постановка математической задачи
Допустим, что в некоторой точке 
у функции )
существует производная 2-го порядка )
, которую точно вычислить либо не удается, либо слишком сложно. В этом случае для приближенного нахождения производной функции требуется использовать методы численного дифференцирования.
Изложение метода
Полиномиальные формулы
При численном дифференцировании функцию аппроксимируют легко вычисляемой функцией )
и приближенно полагают }(x)\approx\varphi^{(k)}(x))
. При этом можно использовать различные способы аппроксимации. Рассмотрим простейший случай - аппроксимацию интерполяционным многочленом Ньютона. Вводя обозначение 
, запишем это многочлен и продифференцируем его почленно:
=y(x_0)+\xi_0 y(x_0,x_1)+\xi_0\xi_1 y(x_0,x_1,x_2) + \xi_0\xi_1\xi_2 y(x_0,x_1,x_2,x_3)+\dots)
=y(x_0,x_1)+(\xi_0+\xi_1) y(x_0,x_1,x_2) + (\xi_0\xi_1+\xi_0\xi_2 +\xi_1\xi_2) y(x_0,x_1,x_2,x_3)+\dots)
=2 y(x_0,x_1,x_2) + 2(\xi_0+\xi_1 +\xi_2) y(x_0,x_1,x_2,x_3)+\dots)
Общая формула примет следующий вид:
( 1 )
![\varphi^{(k)}(x)=k!\left[ y(x_0,x_1,\dots,x_k) + \left( \sum_{i=0}^k \xi_i \right) y(x_0,x_1,\dots,x_{k+1}) + \left( \sum_{i>j\geq 0}^{i=k+1}\xi_i\xi_j\right)y(x_0,x_1,\dots,x_{k+2}) + \left( \sum_{i>j>l\geq 0}^{i=k+2}\xi_i\xi_j\xi_l\right)y(x_0,x_1,\dots,x_{k+3}) +\dots\right]](../mimetex/? \varphi^{(k)}(x)=k!\left[ y(x_0,x_1,\dots,x_k) + \left( \sum_{i=0}^k \xi_i \right) y(x_0,x_1,\dots,x_{k+1}) + \left( \sum_{i>j\geq 0}^{i=k+1}\xi_i\xi_j\right)y(x_0,x_1,\dots,x_{k+2}) + \left( \sum_{i>j>l\geq 0}^{i=k+2}\xi_i\xi_j\xi_l\right)y(x_0,x_1,\dots,x_{k+3}) +\dots\right] )
Обрывая ряд на некотором числе членов, получим приближенное выражение для соответсвующей производной. Наиболее простые выражения получим, оставляя в формуле (1) только первый член:
\approx y(x_0,x_1) = \frac{y(x_0)-y(x_1)}{x_0-x_1})
,
( 2 )
\approx y(x_0,x_1,x_2) = \frac{1}{x_0-x_2}\left( \frac{y_0-y_1}{x_0-x_1}- \frac{y_1-y_2}{x_1-x_2}\right))
,
}(x) \approx y(x_0,x_1,\dots,x_k) = \sum_{p=0}^{k}y_p \prod_{i=0, i\neq p}^k {(x_p-x_i)}^{-1})
Исследование точности полученных выражений при численных расчетах удобно делать при помощи апостериорной оценки, по скорости убывания членов ряда (1). Если шаг сетки достаточно мал, то погрешность близка к первому отброшенному члену. Пусть мы используем узлы 
. Тогда первый отброшенный член содержит разделенную разность )
, которая согласно (2) примерно равна }(x)/(n+1)!)
. Перед ней стоит сумма произведений различных множителей 
; каждое произведение содержит 
множителей, а вся сумма состоит из 
слагаемых. Отсюда следует оценка погрешности формулы (1) с 
узлами:
(3)
}\leq\frac{M_{n+1}}{(n+1-k)!}\max_i {|\xi_i|}^{n+1-k})
, }|})
В частности, если сетка равномерная, то 
, откуда
(4)
}<M_{n+1} {\left( \frac{en}{n+1-k}h \right)}^{n+1-k}=O(h^{n+1-k}) )
.
Стоит заметить, что строгое априорное исследование погрешности формулы (1), аналогичное выводу остаточного члена многочлена Ньютона в форме Коши, для произвольного расположения узлов приводит к той же оценке (3).
Таким образом, порядок точности формулы (1) по отношению к шагу сетки равен числу оставленных в ней членов, или, что то же самое, он равен числу узлов интерполяции минус порядок производной. Поэтому минимальное число узлов, необходимое для вычисления 
-й производной, равно 
; оно приводит к формулам (2) и обеспечивает первый порядок точности. Эти выводы соответсвуют общему принципу: при почленном дифференцировании рдяа скорость его сходимости уменьшается.
Простейшие формулы
Чаще всего используются равномерные сетки, на которых вид формул (1) заметно упрощается, а точность нередко повышается.
Рассмотрим сначала причину повышения точности. Остаточный член общей формулы (1) - это чногочлен )
степени относительно . Если равен корню этого многочлена, то главный остаточный член обращается в нуль, то есть в этой точке формула имеет порядок точности на еденицу больше, чем согласно оценке (4). Эти точки повышенной точности будем обозначать })
, где - порядок производной, а 
- число оставленных в формуле (1) членов. Очевидно, 
-членная формула имеет p точек повышенноу точности.
У одночленной формулы (2) для -й производной точка повышенной точности на произвольной сетке определяется учловием =0)
, что дает
(5)
}=(x_0+x_1+\dots+x_k)/(k+1))
;
в этой точке одночленная формула имеет погрешность )
вместо обычной )
. Для двучленной формулы задача нахождения точек повышенной точности приводит к квадратному уравнению, корни которого действительны, но формула для их нахождения громоздка. Если 
, то найти точки повышенной точности очень сложно, за исключением одного частного случая, который мы сейчас и рассмотрим.
Утверждение. Пусть нечетно, а узлы в формуле (2) выбраны так, что они расположены симметрично относительно точки ; тогда является одной из точек повышенной точности .
Доказательство. В самом деле, при этом величины имеюи попарно равные абсолютные величины, но противоположные знаки. В остаточном члене множитель 
имеет нечетную степень, и при одномерном изменении знаков всех 
он должен изменить знак. Но поскольку одновременное изменение знаков сводится при таком расположении узлов лишь к перемене их нумерации, то величина 
должна сохраниться, что возможно только при 
. Утверждение доказано.
Числовой пример
Рекомендации программисту
Заключение
Список литературы
- А.А.Самарский, А.В.Гулин. Численные методы. Москва «Наука», 1989.
- Н.С.Бахвалов, Н.П.Жидков, Г.М.Кобельков. Численные методы. Лаборатория Базовых Знаний, 2003.
- Н.Н.Калиткин. Численные методы. Москва «Наука», 1978.
