Многомерная линейная регрессия
Материал из MachineLearning.
Многомерная линейная регрессия по сути есть линейная регрессия, в которой объекты и ответы являются векторами.
Содержание |
Примеры задач
Многомерная линейная регрессия широко применяется в задачах прогнозирования временных рядов, где объекты и ответы являются рядами. В частности, в методе рекуррентной нейросети с откликом.
Обозначения
Пусть имеется набор вещественнозначных признаков . Введём матричные обозначения: матрицу информации , целевой вектор , вектор параметров и диагональную матрицу весов :
Метод наименьших квадратов как функционал качества
Задача минимизации функционала качества метода наименьших квадратов
существенно упрощается, если модель алгоритмов линейна по параметрам :
- .
В матричных обозначениях функционал среднего квадрата ощибки принимает вид
- .
Функционал с произвольными весами легко преводится к функционалу с единичными весами путём несложной предварительной обработки данных :
Литература
- Воронцов К.В. Лекции по алгоритмам восстановления регрессии. — 2007.