МЛР

Материал из MachineLearning.

(Различия между версиями)

Перейти к: навигация, поиск

Версия 08:08, 5 января 2010

Данная статья является непроверенным учебным заданием.

Студент: Участник:Касперский Иван

Преподаватель: Участник:Константин Воронцов

Срок: 6 января 2009, а сейчас 22 ноября 2024

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.

Многомерная линейная регрессия

Имеется множество объектов $X = \mathbb{R} ^n$ и множество ответов $Y = \mathbb{R}$ . Также имеется набор $n$ вещественнозначных признаков $f_j(x), \ j=1, \ \ldots , \ n$ . Введём матричные обозначения: матрицу информации $F$ , целевой вектор $y$ и вектор параметров $\alpha$ :

$F=$f_1\ \dots\ f_n$\;,\ \ f_i=$f_i(x_1) \ \vdots f_i(x_l)$\;, \ \ y=$y_1 \ \vdots y_l$\;, \ \ \ \alpha=$\alpha_1 \ \vdots \alpha_n$\ .$

Алгоритм:

$a(x) = \sum_{j=1}^n\alpha_jf_j(x)$ .

Оценим качество его работы на выборке $X^l = (x_i,\ y_i)_{i=1}^l \in X*Y$ методом наименьших квадратов:

$Q(\alpha, X^l)\ =\ \sum_{i=1}^l(a(x_i) - y_i)^2 \rightarrow \min_{\alpha \in \mathbb{R}^n}$ , или, в матричных обозначениях,

$Q(\alpha)\ =\ \parallel (F\alpha\ -\ y)\parallel^2 \rightarrow \min_{\alpha \in \mathbb{R}^n}$ .

Найдём минимум $Q(\alpha)$ по α:

$\frac{\partial Q (\alpha)}{\partial \alpha} = 2 F^T (F\alpha - y) = 0\ \Rightarrow\ (F^TF)\alpha = F^Ty$ .

Если $rank(F^TF) = n$ , то можно обращать матрицу $F^TF\ \text{:}\ \alpha^* = (F^TF)^{-1}F^Ty = F^+y$ , где введено обозначение $F^+ = (F^TF)^{-1}F^T$ .

В таком случае функционал качества записывается в более удобной форме:

$Q(\alpha^*) = \parallel F(F^TF)^{-1}F^Ty - y \parallel ^2 = \parallel P_{_F}y - y \parallel^2$ , где $P_F$ — проекционная матрица:

$P_{_F} y$ — вектор, являющийся проекцией $y$ на $\mathfrak{L}(f_1,\ \dots,\ f_n)$ .
как нарисовать значок проекционной матрицы, чтобы его можно было отличить от того, на что матрица умножается?!

Теперь рассмотрим сингулярное разложение матрицы F:

$F\ =\ VDU^T$ .

В таких обозначениях:

$F^+\ =\ (F^TF)^{-1}F^T\ =\ (UDV^TVDU^T)^{-1}UDV^T\ =\ (UDDU^T)^{-1}UDV^T\ =\ U^{-T}D^{-2}U^{-1}UDV^T\ =\ U^{-T}D^{-2}DV^T$ , а так как $U^{-1}\ =\ U^T$ , то $F^+\ =\ UD^{-1}V^T\ =\ \sum_{j=1}^{n}{ \frac{1}{\sqrt{\lambda _j}}u_j v_j^T }$ в силу диагональности матрицы D.

Сингулярное разложение

Пусть $F \in \mathbb{R}^{l x n}$ , тогда F представима в виде $F = VDU^T$ , где:

$D = diag(\sqrt{\lambda _1},\ \dots,\ \sqrt{\lambda _n}),\ \lambda _j$ — общие собственные значения матриц $F^TF$ и $FF^T$ , количество ненулевых собственных значений совпадает с рангом матриц $F,\ FF^T,\ F^TF$
$V = (v_1,\ \ldots,\ v_n),\ v_i$ — собственные вектора $FF^T$ , причём $V^TV = I_n$ .
$U = (u_1,\ \ldots,\ u_n),\ u_i$ — собственные вектора $F^TF$ , причём $U^TU = I_n$ .

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9C%D0%9B%D0%A0»

Категория: Непроверенные учебные задания

@@ Строка 27: / Строка 27: @@
 == Сингулярное разложение ==
-Пусть <tex>F \in \mathbb{R}^{l x n}:\ rank(F) = n;\ l \ge n</tex>, тогда F представима в виде <tex>F = VDU^T</tex>, где:
+Пусть <tex>F \in \mathbb{R}^{l x n}</tex>, тогда F представима в виде <tex>F = VDU^T</tex>, где:
-# <tex>D = diag(\sqrt{\lambda _1},\ \dots,\ \sqrt{\lambda _n}),\ \lambda _j</tex> &mdash; собственные значения матрицы <tex>F^TF,\ \lambda _j \ >\ 0, j=1,\ \dots,\ n</tex>.<ref>Или, что то же самое, ненулевые собственные значения матрицы <tex>FF^T</tex>.</ref>
+# <tex>D = diag(\sqrt{\lambda _1},\ \dots,\ \sqrt{\lambda _n}),\ \lambda _j</tex> &mdash; общие собственные значения матриц <tex>F^TF</tex> и <tex>FF^T</tex>, количество ненулевых собственных значений совпадает с рангом матриц <tex>F,\ FF^T,\ F^TF</tex>
 # <tex>V = (v_1,\ \ldots,\ v_n),\ v_i</tex> &mdash; собственные вектора <tex>FF^T</tex>, причём <tex>V^TV = I_n</tex>.
 # <tex>U = (u_1,\ \ldots,\ u_n),\ u_i</tex> &mdash; собственные вектора <tex>F^TF</tex>, причём <tex>U^TU = I_n</tex>.
 <references/>

МЛР

Материал из MachineLearning.

Версия 08:08, 5 января 2010

Многомерная линейная регрессия

Сингулярное разложение

Просмотры

Личные инструменты

Навигация

Поиск

Инструменты