Порождение линейных регрессионных моделей (постановка задачи)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Новая: Рассмотрим задачу восстановления линейной регрессии одной свободной п...)
(→См. также)
Строка 58: Строка 58:
* [[Линейная регрессия (пример)]]
* [[Линейная регрессия (пример)]]
* [[Конструктивное построение множества суперпозиций]]
* [[Конструктивное построение множества суперпозиций]]
 +
* [[Символьная регрессия]]
* [[Часто используемые регрессионные модели]]
* [[Часто используемые регрессионные модели]]
[[Категория:Регрессионный анализ]]
[[Категория:Регрессионный анализ]]

Версия 09:46, 17 апреля 2009

Рассмотрим задачу восстановления линейной регрессии одной свободной переменной.

Содержание

Дано

Задана выборка \{(\xi_i, y_i)\} - множество пар значений свободной и зависимой переменной, i=1,\ldots,m. Свободная переменная \xi\in\mathbf{R}^1, зависимая переменная y\in\mathbf{R}^1. Принята модель регрессионной зависимости - параметрическое семейство функций

y=f(\mathbf{w},\xi)+\varepsilon,

в которой аддитивная случайная величина \varepsilon\sim\mathcal{N}(0,\sigma^2_\varepsilon) имеет Гауссово распределение с нулевым математическим ожиданием и дисперсией \sigma^2_\varepsilon.

Модель f принадлежит множеству моделей F=\{f_k\}, которое задается следующим образом. Экспертно задано конечное множество функций G=\{g_1,\ldots,g_N\}. Обозначим \kappa\subseteq\mathcal{K}=\{1,\ldots,k\} некоторое подмножество множества индексов функций из G. Пусть k=k(\kappa) - порядковый номер подмножества \kappa, k=1,\ldots,2^N. Модель f_{k(\kappa)} есть линейная комбинация функций g_j\in G с индексом j\in\kappa,

f_{k(\kappa)} = w_1 g_{\kappa_1}(\xi)+\ldots+w_l g_{\kappa_l}(\xi).

Индекс l есть мощность множества \kappa индексов функций из G, другими словами, число элементов в линейной комбинации f_{k(\kappa)}.

Найти

Требуется решить задачу восстановления линейной регрессии методом наименьших квадратов и выбрать такую модель f_{k(\kappa)}, которая бы доставляла минимум сумме квадратов регрессионных остатков

k=\arg\min\limits_{\kappa\subseteq\mathcal{K}}\min\limits_{\mathbf{w\in\mathbb{R}^l}}\sum_{i=1}^m \left( f_{k(\kappa)}(\mathbf{w},\xi_i)-y_i \right).

Замечание. В данной постановке не рассматриваются вопросы сложности модели и вопросы переобучения, они рассматриваются в задаче выбора моделей.

Постановка задачи в векторной форме. Представим предыдущую задачу в виде задачи восстановления регрессии многих переменных. Обозначим множество элементов выборки как векторы \mathbf{\xi}=[\xi_1,\ldots,\xi_m]^T и \mathbf{y}=[y_1,\ldots,y_m]^T. Обозначим вектор

\mathbf{f} = \mathbf{f}(\mathbf{w},\mathbf{\xi}).

Обозначим вектор-функцию

\mathbf{f}_{k(\kappa)} = \mathbf{f}_{k(\kappa)}(\mathbf{w},\mathbf{\xi})= \left( \begin{array}{ccc} g_{\kappa(1)}(\xi_1) & \ldots & g_{\kappa(l)}(\xi_1) \\ \vdots & \ddots & \vdots \\ g_{\kappa(1)}(\xi_m) & \ldots & g_{\kappa(l)}(\xi_m) \\ \end{array} \right) \left( \begin{array}{c} w_1 \\ \vdots \\ w_{\kappa(l)}\\ \end{array} \right) = X_{k(\kappa)}\mathbf{w}_{k(\kappa)}.

Матрица X_k(\kappa) состоит из векторов-столбцов \mathbf{g}_j, j\in\kappa, где

\mathbf{g}_j= \left( \begin{array}{ccc} g_j(\xi_1)\\ \vdots \\ g_j(\xi_m)\\ \end{array} \right).

Требуется выбрать такую модель f_{k(\kappa)}, которая бы доставляла минимум сумме квадратов регрессионных остатков

k=\arg\min\limits_{\kappa\subseteq\mathcal{K}}\min\limits_{\mathbf{w}s\in\mathbb{R}^l}\|\mathbf{f}_{k(\kappa)}(\mathbf{w},\mathbf{\xi})-\mathbf{y}\|_2^2.

Пример

Задана выборка \{(\xi_i, y_i)\}:

\begin{array}{c|c} \xi & y\\ \hline 0.10,& 0.56;\\ 0.20,& 0.50;\\ 0.30,& 0.50;\\ 0.40,& 0.53;\\ 0.50,& 0.58;\\ 0.60,& 0.65;\\ 0.70,& 0.72;\\ 0.80,& 0.81;\\ 0.90,& 0.90;\\ 1.00,& 1.00.\\ \end{array}

Задано множество функций G:

G=\left\{ \begin{array}{ccc} g_1 &=& \xi^0,\\ g_2 &=& \xi^\frac{1}{2},\\ g_3 &=& \xi^1,\\ g_4 &=& \xi^\frac{3}{2},\\ g_5 &=& \xi\log(\xi).\\ \end{array}\right.

Множество регрессионных моделей - линейных комбинаций функций из G имеет вид:

G=\left\{ \begin{array}{ccl} f_1 &=& w_1 g_1,\\ &\ldots& \\ f_{30}&=&w_2 g_2+w_3 g_3+w_4 g_4+w_5 g_5,\\ f_{31}&=&w_1 g_1+w_2 g_2+w_3 g_3+w_4 g_4+w_5 g_5.\\ \end{array}\right.

Модель, доставляющая наименьшую среднеквадратичную ошибку, имеет вид

f_{28} = w_1 \xi^0 +w_2 \xi^\frac{1}{2} +w_3 \xi^1.
Синтетические данные и их аппроксимация. Показано приближение данных линейной регрессионной моделью, параметры которой получены методом наименьших квадратов. Ось абсцисс - свободная переменная , по оси ординат - зависимая переменная .
Синтетические данные и их аппроксимация. Показано приближение данных линейной регрессионной моделью, параметры которой получены методом наименьших квадратов. Ось абсцисс - свободная переменная \xi, по оси ординат - зависимая переменная y.


См. также

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9F%D0%BE%D1%80%D0%BE%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D0%BB%D0%B8%D0%BD%D0%B5%D0%B9%D0%BD%D1%8B%D1%85_%D1%80%D0%B5%D0%B3%D1%80%D0%B5%D1%81%D1%81%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D1%85_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B5%D0%B9_%28%D0%BF%D0%BE%D1%81%D1%82%D0%B0%D0%BD%D0%BE%D0%B2%D0%BA%D0%B0_%D0%B7%D0%B0%D0%B4%D0%B0%D1%87%D0%B8%29»
Личные инструменты