Статистический отчет при создании моделей

Материал из MachineLearning.

Перейти к: навигация, поиск

Содержание

В данной работе приведен обзор статистических методов оценивания качества регрессионных моделей, используемых популярными программами машинного обучения и статистической обработки данных. Приведены примеры вычисления и анализа полученных оценок.

Постановка задачи

Имеется пространство объектов-строк \mathbb{X} = \mathbb{R}^n и пространство ответов \mathbb{Y} = \mathbb{R}. Задана выборка (x_i,\ y_i)_{i=1}^l \in \mathbb{X} \times \mathbb{Y}. Обозначеним:

  •  X = \(x_1 <br> \ \vdots\ <br> x_l\)  — матрица информации или матрица плана;
  •  w = \(w_1<br> \ \vdots <br> w_n\)  — вектор параметров;
  •  y = \(y_1<br>\ \vdots<br>y_l\)  — целевой вектор.

Будем считать, что зависимость

y(x) = f(x) + \varepsilon(x),

где f(x)  — некоторая неслучайная функция, \varepsilon(x)  — случайная величина, с нулевым математически ожиданием. В моделях многомерной линейной регрессии предполагается, что неслучайная составляющая имеет вид:

 f(x) = <w, \ x> .

Требуется численно оценить качество модели при заданном векторе параметров  w.

Описание решения

Предполагая, что матрица ковариации вектора ошибки \varepsilon = \(\varepsilon_1 <br> \ \vdots\ <br> \varepsilon_l\) имеет вид \sigma^2 V , где  V = diag (v_1, \dots, v_l) , получаем выражение для оценки параметров w взвешенным методом наименьших квадратов:

 \hat w = (X^T V^{-1} X)^{-1} X^T V^{-1} y.

Основными инструментами оценки качества линейной модели является анализ:

Вычислительный эксперимент

Исходный код и полный текст работы

Смотри также

Литература

Данная статья является непроверенным учебным заданием.
Студент: Юрий Янович
Преподаватель: В.В. Стрижов
Срок: 28 мая 2009

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.

Личные инструменты