Многомерная линейная регрессия

Материал из MachineLearning.

Версия от 12:05, 11 января 2009; SL (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Статья в настоящий момент дорабатывается.
SL 20:42, 10 января 2009 (MSK)

Многомерная линейная регрессия по сути есть линейная регрессия, в которой объекты $x$ и ответы $y$ являются векторами.

Содержание

1 Примеры задач
2 Обозначения
3 Метод наименьших квадратов как функционал качества
4 Литература
5 См. также

Примеры задач

Многомерная линейная регрессия широко применяется в задачах прогнозирования временных рядов, где объекты и ответы являются рядами. В частности, в методе рукуррентной нейросети с откликом.

Обозначения

Пусть имеется набор $n$ вещественнозначных признаков $f_j(x), j=1,...,n$ . Введём матричные обозначения: матрицу информации $F$ , целевой вектор $y$ , вектор параметров $\alpha$ и диагональную матрицу весов $W$ :

$F=$f_1(x_1)\ \ \ldots\ \ f_n(x_1) \ \vdots\ \ \ \ \ \ \ \ \ \ \ddots\ \ \ \ \vdots f_1(x_l)\ \ \ldots\ \ f_n(x_l)$\;, \ \ \ y=$y_1 \ \vdots y_l$\;, \ \ \ \alpha=$\alpha_1 \ \vdots \alpha_n$\;, \ \ \ W=$\sqrt{w_1}\ \ \ \ \ \ \ \ 0\ \ \ \ \ \ \ \ddots \ 0\ \ \ \ \ \ \ \ \sqrt{w_l}$\;.$

Метод наименьших квадратов как функционал качества

Задача минимизации функционала качества метода наименьших квадратов

$Q(\alpha, X^l) = \sum_{i=1}^l\mathbf{w}_i(f(x_i, \alpha)-y_i)^2\longrightarrow\min$

существенно упрощается, если модель алгоритмов линейна по параметрам $\alpha \in \mathbb{R}^n$ :

$f(x,\alpha) = \sum_{j=1}^n\alpha_jf_j(x)$ .

В матричных обозначениях функционал среднего квадрата ощибки принимает вид

$Q(\alpha)\ =\ \parallel W(F\alpha\ -\ y)\parallel^2$ .

Функционал с произвольными весами легко преводится к функционалу с единичными весами путём несложной предванительной обработки данных $F' = WF\ ,\ y' = Wy\$ :