МЛР
Материал из MachineLearning.
(→Многомерная линейная регрессия) |
|||
Строка 8: | Строка 8: | ||
Оценим качество его работы на выборке <tex>X^l = (x_i,\ y_i)_{i=1}^l \in X*Y</tex> [[Метод наименьших квадратов| методом наименьших квадратов]]: | Оценим качество его работы на выборке <tex>X^l = (x_i,\ y_i)_{i=1}^l \in X*Y</tex> [[Метод наименьших квадратов| методом наименьших квадратов]]: | ||
- | :<tex>Q(\alpha, X^l) = \sum_{i=1}^l(a(x_i) - y_i)^2 \rightarrow \min_{\alpha \in \mathbb{R}^n}</tex>, или, в матричных обозначениях,<br /> | + | :<tex>Q(\alpha, X^l)\ =\ \sum_{i=1}^l(a(x_i) - y_i)^2 \rightarrow \min_{\alpha \in \mathbb{R}^n}</tex>, или, в матричных обозначениях,<br /> |
:<tex>Q(\alpha)\ =\ \parallel (F\alpha\ -\ y)\parallel^2 \rightarrow \min_{\alpha \in \mathbb{R}^n}</tex>. | :<tex>Q(\alpha)\ =\ \parallel (F\alpha\ -\ y)\parallel^2 \rightarrow \min_{\alpha \in \mathbb{R}^n}</tex>. | ||
Строка 21: | Строка 21: | ||
{{бледно|<small>как нарисовать значок проекционной матрицы, чтобы его можно было отличить от того, на что матрица умножается?!</small>}} | {{бледно|<small>как нарисовать значок проекционной матрицы, чтобы его можно было отличить от того, на что матрица умножается?!</small>}} | ||
- | Теперь рассмотрим [[МЛР#Сингулярное разложение|сингулярное разложение]] матрицы F: | + | Теперь рассмотрим [[МЛР#Сингулярное разложение|сингулярное разложение]] матрицы F:<br /> |
+ | :<tex>F\ =\ VDU^T</tex>. | ||
+ | В таких обозначениях:<br /> | ||
+ | :<tex>F^+\ =\ (F^TF)^{-1}F^T\ =\ (UDV^TVDU^T)^{-1}UDV^T\ =\ (UDDU^T)^{-1}UDV^T\ =\ U^{-T}D^{-2}U^{-1}UDV^T\ =\ U^{-T}D^{-2}DV^T\ =\ U^{-T}D^{-1}V^T\ =\ UD^{-1}V^T</tex> | ||
== Сингулярное разложение == | == Сингулярное разложение == |
Версия 23:13, 4 января 2010
![]() | Данная статья является непроверенным учебным заданием.
До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}. См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе. |
Многомерная линейная регрессия
Имеется множество объектов и множество ответов
. Также имеется набор
вещественнозначных признаков
. Введём матричные обозначения: матрицу информации
, целевой вектор
и вектор параметров
:
Алгоритм:
.
Оценим качество его работы на выборке методом наименьших квадратов:
, или, в матричных обозначениях,
.
Найдём минимум по α:
.
Если , то можно обращать матрицу
, где введено обозначение
.
В таком случае функционал качества записывается в более удобной форме:
, где
— проекционная матрица:
— вектор, являющийся проекцией
на
.
как нарисовать значок проекционной матрицы, чтобы его можно было отличить от того, на что матрица умножается?!
Теперь рассмотрим сингулярное разложение матрицы F:
.
В таких обозначениях:
Сингулярное разложение
Пусть , тогда F представима в виде
, где:
-
— собственные значения матрицы
.[1]
-
— собственные вектора
, причём
.
-
— собственные вектора
, причём
.