МЛР
Материал из MachineLearning.
Строка 20: | Строка 20: | ||
<tex>P_{_F} y</tex> — вектор, являющийся проекцией <tex>y</tex> на <tex>\mathfrak{L}(f_1,\ \dots,\ f_n)</tex>.<br /> | <tex>P_{_F} y</tex> — вектор, являющийся проекцией <tex>y</tex> на <tex>\mathfrak{L}(f_1,\ \dots,\ f_n)</tex>.<br /> | ||
{{бледно|<small>как нарисовать значок проекционной матрицы, чтобы его можно было отличить от того, на что матрица умножается?!</small>}} | {{бледно|<small>как нарисовать значок проекционной матрицы, чтобы его можно было отличить от того, на что матрица умножается?!</small>}} | ||
+ | |||
+ | == Сингулярное разложение == | ||
+ | Пусть <tex>F_{l \mathbf{x} n}: rank(F) = n; l \ge n</tex>, тогда F представима в виде <tex>F = VDU^T</tex>, где: | ||
+ | # <tex>D = diag(\sqrt{\lambda _1},\ \dots,\ \sqrt{\lambda _n}),\ \lambda _j</tex> — собственные значения матриц <tex>F^TF \text(и) FF^T, \labmda _j > 0, j=1,\ \dots,\ n<tex>. | ||
+ | # | ||
+ | # |
Версия 22:47, 4 января 2010
![]() | Данная статья является непроверенным учебным заданием.
До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}. См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе. |
Многомерная линейная регрессия
Имеется множество объектов и множество ответов
. Также имеется набор
вещественнозначных признаков
. Введём матричные обозначения: матрицу информации
, целевой вектор
и вектор параметров
:
Алгоритм:
.
Оценим качество его работы на выборке методом наименьших квадратов:
, или, в матричных обозначениях,
.
Найдём минимум по α:
.
Если , то можно обращать матрицу
, где введено обозначение
.
В таком случае функционал качества записывается в более удобной форме:
, где
— проекционная матрица:
— вектор, являющийся проекцией
на
.
как нарисовать значок проекционной матрицы, чтобы его можно было отличить от того, на что матрица умножается?!
Сингулярное разложение
Пусть , тогда F представима в виде
, где:
-
— собственные значения матриц