Нелинейная регрессия

Материал из MachineLearning.

(Различия между версиями)

Текущая версия

Содержание

1 Постановка задачи
2 Литература
3 Примечания
4 Смотри также

Нелинейная регрессия — частный случай регрессионного анализа, в котором рассматриваемая регрессионная модель есть функция, зависящая от параметров и от одной или нескольких свободных переменных. Зависимость от параметров предполагается нелинейной.

Постановка задачи

Задана выборка из $m$ пар $(\mathbf{x}_i,y_i)$ . Задана регрессионная модель $f(\mathbf{w},\mathbf{x})$ , которая зависит от параметров $\mathbf{w}=(w_1,...,w_W)$ и свободной переменной $x$ . Требуется найти такие значения параметров, которые доставляли бы минимум сумме квадратов регрессионных остатков

$S=\sum_{i=1}^mr_i^2,$

где остатки $r_i=y_i-f(\mathbf{w},\mathbf{x}_i)$ для $i=1,\ldots,m$ .

Для нахождения минимума функции $S$ , приравняем к нулю её первые частные производные параметрам $\mathbf{w}$ :

$\frac{\partial S}{\partial w_j}=2\sum_i r_i\frac{\partial r_i}{\partial w_j}=0 \ (j=1,\ldots,n). (*)$

Так как функция $S$ в общем случае не имеет единственного минимума^[1], то предлагается назначить начальное значение вектора параметров $w_0$ и приближаться к оптимальному вектору по шагам:

$w_j \approx w_j^{k+1} =w^k_j+\Delta w_j.$

Здесь $k$ - номер итерации, $\Delta w_j$ - вектор шага.

На каждом шаге итерации линеаризуем модель с помощью приближения рядом Тейлора относительно параметров $\mathbf{w}^k$

$f(x_i,\mathbf{w})\approx f(x_i,\mathbf{w}^k) +\sum_j \frac{\partial f(x_i,\mathbf{w}^k)}{\partial w_j} \left(w_j -w^{k}_j \right) \approx f(x_i,\mathbf{w}^k) +\sum_j J_{ij} \Delta w_j.$

Здесь элемент матрицы Якоби $J_{ij}$ - функция параметра $w_j$ ; значение свободной переменной $\mathbf{x}_i$ фиксировано. В терминах линеаризованной модели

$\frac{\partial r_i}{\partial w_j}=-J_{ij}$

и регрессионные остатки определены как

$r_i=\Delta y_i- \sum_{j=1}^{n} J_{ij}\Delta w_j; \ \Delta y_i=y_i- f(x_i,\mathbf{w}^k).$

Подставляя последнее выражение в выражение (*), получаем

$-2\sum_{i=1}^{m}J_{ij} \left( \Delta y_i-\sum_{s=1}^{n} J_{is}\Delta w_s \right)=0.$

Преобразуя, получаем систему из $n$ линейных уравнений, которые называются нормальным уравнением

$\sum_{i=1}^{m}\sum_{s=1}^{n} J_{ij}J_{is}\Delta w_s=\sum_{i=1}^{m} J_{ij}\Delta y_i (j=1,n).$

Запишем нормальное уравнение в матричном обозначении как

$\mathbf{\left(J^TJ\right)\Delta \mathbf{w}=J^T\Delta y}.$

В том случае, когда критерий оптимальности регрессионой модели задан как взвешенная сумма квадратов остатков

$S=\sum_{i=1}^{m}W_{ii}r_i^2,$

нормальное уравнение будет иметь вид

$\mathbf{\left(J^TWJ\right)\Delta \mathbf{w}=J^TW\Delta y}.$

Для нахождения оптимальных параметров нелинейных регрессионных моделей используются метод сопряжённых градиентов, метод Ньютона-Гаусса или алгоритм Левенберга-Марквардта.

Литература

Seber G.A.F Wild C.J. Nonlinear Regression. New York: John Wiley and Sons, 1989.

Примечания

Смотри также

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9D%D0%B5%D0%BB%D0%B8%D0%BD%D0%B5%D0%B9%D0%BD%D0%B0%D1%8F_%D1%80%D0%B5%D0%B3%D1%80%D0%B5%D1%81%D1%81%D0%B8%D1%8F»

Категории: Нелинейная регрессия | Регрессионный анализ | Энциклопедия анализа данных

@@ Строка 1: / Строка 1: @@
-'''Нелинейная регрессия'''&nbsp;- частный случай [[регрессионный анализ|регрессионного анализа]],
+{{TOCright}}
+'''Нелинейная регрессия''' — частный случай [[регрессионный анализ|регрессионного анализа]],
 в котором рассматриваемая [[регрессионная модель|регрессионная модель]] есть функция,
 зависящая от параметров и от одной или нескольких свободных переменных.
@@ Строка 5: / Строка 6: @@
 == Постановка задачи ==
 Задана [[выборка|выборка]] из <tex>m</tex> пар <tex>(\mathbf{x}_i,y_i)</tex>. Задана [[регрессионная модель|регрессионная модель]] <tex>f(\mathbf{w},\mathbf{x})</tex>,
 которая зависит от параметров&nbsp;<tex>\mathbf{w}=(w_1,...,w_W)</tex> и свободной переменной&nbsp;<tex>x</tex>.
 Требуется найти такие значения параметров, которые доставляли бы минимум сумме квадратов [[анализ регрессионных остатков|регрессионных остатков]]
-<center><tex>S=\sum_{i=1}^mr_i,</tex></center>
+<center><tex>S=\sum_{i=1}^mr_i^2,</tex></center>
 где остатки&nbsp;<tex>r_i=y_i-f(\mathbf{w},\mathbf{x}_i)</tex> для <tex>i=1,\ldots,m</tex>.
@@ Строка 43: / Строка 43: @@
 Для нахождения оптимальных параметров нелинейных регрессионных моделей используются
-[[метод сопряженных градиентов|метод сопряженных градиентов]],
+[[метод сопряжённых градиентов]],
-[[алгоритм Гаусса-Ньютона|алгоритм Гаусса-Ньютона]] или
+[[метод Ньютона-Гаусса]] или
-[[алгоритм Левенберга-Марквардта|алгоритм Левенберга-Марквардта]].
+[[алгоритм Левенберга-Марквардта]].
 == Литература ==
-* Демиденко, Е. З. Оптимизация и регрессия. М.: Наука. 1989. 296 с.
+* Seber G.A.F Wild C.J. Nonlinear Regression. New York: John Wiley and Sons, 1989.
+== Примечания ==
+<references/>
 == Смотри также ==
+* [[Метод Ньютона-Гаусса]]
 * [[Метод наименьших квадратов]]
 * [[Алгоритм Левенберга-Марквардта]]
@@ Строка 58: / Строка 62: @@
 * [[Нелинейная регрессия (пример)]]
+[[Категория: Нелинейная регрессия]]
 [[Категория: Регрессионный анализ]]
 [[Категория: Энциклопедия анализа данных]]

Нелинейная регрессия

Материал из MachineLearning.

Текущая версия

Содержание

Постановка задачи

Литература

Примечания

Смотри также

Просмотры

Личные инструменты

Навигация

Поиск

Инструменты