МЛР

Материал из MachineLearning.

(Различия между версиями)

Перейти к: навигация, поиск

Версия 23:07, 4 января 2010

Данная статья является непроверенным учебным заданием.

Студент: Участник:Касперский Иван

Преподаватель: Участник:Константин Воронцов

Срок: 6 января 2009, а сейчас 25 ноября 2024

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.

Многомерная линейная регрессия

Имеется множество объектов $X = \mathbb{R} ^n$ и множество ответов $Y = \mathbb{R}$ . Также имеется набор $n$ вещественнозначных признаков $f_j(x), \ j=1, \ \ldots , \ n$ . Введём матричные обозначения: матрицу информации $F$ , целевой вектор $y$ и вектор параметров $\alpha$ :

$F=$f_1\ \dots\ f_n$\;,\ \ f_i=$f_i(x_1) \ \vdots f_i(x_l)$\;, \ \ y=$y_1 \ \vdots y_l$\;, \ \ \ \alpha=$\alpha_1 \ \vdots \alpha_n$\ .$

Алгоритм:

$a(x) = \sum_{j=1}^n\alpha_jf_j(x)$ .

Оценим качество его работы на выборке $X^l = (x_i,\ y_i)_{i=1}^l \in X*Y$ методом наименьших квадратов:

$Q(\alpha, X^l) = \sum_{i=1}^l(a(x_i) - y_i)^2 \rightarrow \min_{\alpha \in \mathbb{R}^n}$ , или, в матричных обозначениях,

$Q(\alpha)\ =\ \parallel (F\alpha\ -\ y)\parallel^2 \rightarrow \min_{\alpha \in \mathbb{R}^n}$ .

Найдём минимум $Q(\alpha)$ по α:

$\frac{\partial Q (\alpha)}{\partial \alpha} = 2 F^T (F\alpha - y) = 0\ \Rightarrow\ (F^TF)\alpha = F^Ty$ .

Если $rank(F^TF) = n$ , то можно обращать матрицу $F^TF\ \text{:}\ \alpha^* = (F^TF)^{-1}F^Ty = F^+y$ , где введено обозначение $F^+ = (F^TF)^{-1}F^T$ .

В таком случае функционал качества записывается в более удобной форме:

$Q(\alpha^*) = \parallel F(F^TF)^{-1}F^Ty - y \parallel ^2 = \parallel P_{_F}y - y \parallel^2$ , где $P_F$ — проекционная матрица:

$P_{_F} y$ — вектор, являющийся проекцией $y$ на $\mathfrak{L}(f_1,\ \dots,\ f_n)$ .
как нарисовать значок проекционной матрицы, чтобы его можно было отличить от того, на что матрица умножается?!

Теперь рассмотрим сингулярное разложение матрицы F:

Сингулярное разложение

Пусть $F \in \mathbb{R}^{l x n}:\ rank(F) = n;\ l \ge n$ , тогда F представима в виде $F = VDU^T$ , где:

$D = diag(\sqrt{\lambda _1},\ \dots,\ \sqrt{\lambda _n}),\ \lambda _j$ — собственные значения матрицы $F^TF,\ \lambda _j \ >\ 0, j=1,\ \dots,\ n$ .^[1]
$V = (v_1,\ \ldots,\ v_n),\ v_i$ — собственные вектора $FF^T$ , причём $V^TV = I_n$ .
$U = (u_1,\ \ldots,\ u_n),\ u_i$ — собственные вектора $F^TF$ , причём $U^TU = I_n$ .

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9C%D0%9B%D0%A0»

Категория: Непроверенные учебные задания

@@ Строка 20: / Строка 20: @@
 <tex>P_{_F} y</tex> — вектор, являющийся проекцией <tex>y</tex> на <tex>\mathfrak{L}(f_1,\ \dots,\ f_n)</tex>.<br />
 {{бледно|<small>как нарисовать значок проекционной матрицы, чтобы его можно было отличить от того, на что матрица умножается?!</small>}}
+Теперь рассмотрим [[МЛР#Сингулярное разложение|сингулярное разложение]] матрицы F:
 == Сингулярное разложение ==
-Пусть <tex>F_{l \mathrm{*} n}:\ rank(F) = n;\ l \ge n</tex>, тогда F представима в виде <tex>F = VDU^T</tex>, где:
+Пусть <tex>F \in \mathbb{R}^{l x n}:\ rank(F) = n;\ l \ge n</tex>, тогда F представима в виде <tex>F = VDU^T</tex>, где:
 # <tex>D = diag(\sqrt{\lambda _1},\ \dots,\ \sqrt{\lambda _n}),\ \lambda _j</tex> &mdash; собственные значения матрицы <tex>F^TF,\ \lambda _j \ >\ 0, j=1,\ \dots,\ n</tex>.<ref>Или, что то же самое, ненулевые собственные значения матрицы <tex>FF^T</tex>.</ref>
 # <tex>V = (v_1,\ \ldots,\ v_n),\ v_i</tex> &mdash; собственные вектора <tex>FF^T</tex>, причём <tex>V^TV = I_n</tex>.

МЛР

Материал из MachineLearning.

Версия 23:07, 4 января 2010

Многомерная линейная регрессия

Сингулярное разложение

Просмотры

Личные инструменты

Навигация

Поиск

Инструменты