Материал из MachineLearning.
(Различия между версиями)
Текущая версия
Одномерная (простая) линейная регрессия — линейная регрессия с одной независимой скалярной переменной (объясняющей переменной).
Под одномерной линейной регрессией также понимают и сопряженный модели метод наименьших квадратов, оценивающий параметры регрессии.
Данную модель называют простой, так как это одна из самых простых моделей регрессии. На двумерной плоскости функция регрессии является прямой. Модель характеризуется двумя параметрами: угловым коэффициентом и свободным членом прямой.
Модель одномерной линейной регрессии
Дана выборка ,\ldots, (x_m, y_m), x_i, y_i \in \mathbb{R}\})
.
Модель описывается уравнением:
где
— зависимая переменная (отклик)
— известная константа (значение объясняющей переменной, измерянной в 
-ом эксперименте)
, 
— параметры модели (свободный член и угловой коэффициент).
— случайная ошибка со средним =0)
и дисперсией =\sigma^2)
. Ошибки 
некоррелированны:  = 0)
- Свойства модели
-
- Отклик в -м эксперименте получается суммированием двух компонент: (1) константным слагаемым
и (2) случайным слагаемым
- Ввиду верно
=\beta_0 + \beta_1 x_i)
- Отклик превышает значение функции регрессии в точке на случайную величину
- Из свойств дисперсии и из равенства
=\sigma^2, i=1 \ldots m)
, следует равенство =\sigma^2)
. Другими словами, дисперсия зависимой переменной константна и равна дисперсии случайного слагаемого.
- Отклики и
, 
, также как и ошибки и 
, некорреллированны.
Метод наименьших квадратов
Метод наименьших квадратов минимизирует сумму квадратов регрессионных остатков.
 = \arg \min_{\beta_0, \beta_1} F(\beta_0, \beta_1)= \arg \min_{\beta_0,\beta_1}\sum_i (y_i - \beta_0 - \beta_1 x_i)^2)
Продифференцировав )
и прировняв частные производные к нулю, несложно получить точечные оценки параметров модели:
-
(Y_i - {\bar Y})}{\sum (X_i - {\bar X})^2} )
-
Свойства оценок 
и 
- Точечные оценки
являются несмещенными: =\beta_0, \mathbb{M}(b_1)=\beta_1)
- Из теоремы Гаусса-Маркова следует "оптимальность" оценки регрессионной модели методом наименьших квадратов. В классе линейных несмещенных оценок параметров и оценки и имеют наименьшую дисперсию.
- дисперсию
несмещенно оценивает статистика ^2}{m-2}=\frac{\sum e_i^2}{m-2})
. Стандартное отклонение оценивается величиной 
.
- Прямая
=b_0 + b_1 x)
проходит через центр масс выборки )
- Сумма регрессионных остатков равна нулю
 = \sum e_i = 0)
- Сумма откликов равна сумме оцененных значений зависимой переменной
Нормальное распределение
Формулы для и из предыдущего раздела являются точечными оценками неизвестных параметров и . Эти формулы не отражают точность этих оценок. Как сильно оценки и отклоняются от "реальных" значений и оценивают доверительные интервалы. Для построения доверительных интервалов необходимо дополнительное допущение о распределении случайной составляющей (и как следствие, отклика ). Чаще всего, предполагают нормальность распределения .
Построение доверительных интервалов
При условии нормальности распределения случайных величин можно показать, что выборочное распределение также нормально с математическим ожиданием =\beta_1)
и дисперсией =\frac{\sigma^2}{\sum (x_i-{\bar x})^2})
. С заменой дисперсии на ее несмещенную оценку 
, получается несмещенная оценка для )
:
=\frac{s^2}{\sum (x_i-{\bar x})^2})
.
Стандартная ошибка )
получается взятием корня квадратного.
Так как имеет нормальное распределение, то ее стандартизированная статистика 
имеет стандартное нормальное распределение. Стандартизированная статистика, в которой стандартное отклонение в знаменателе заменяется на ее оценку, называется студентизированной статистикой. В статистической теории доказывается важный факт о студентизированной статистики })
.
Статистика имеет распределение Стьюдента с 
степенями свободы.
Доверительный интервал с уровнем значимости 
для параметра принимает вид  s(b_1))
, где )
— -квантиль распределения Стьюдента с 
степенями свободы.
Аналогично, доверительный интервал для параметра записывается ввиде  s(b_0))
, где ![s^2(b_0)=s^2\big[\frac{1}{m} + \frac{{\bar X}^2}{\sum (x_i - {\bar X})^2}\big]](../mimetex/?s^2(b_0)=s^2\big[\frac{1}{m} + \frac{{\bar X}^2}{\sum (x_i - {\bar X})^2}\big])
Ассимптотическая нормальность
Доверительные интервалы, полученные при допущении нормальности распределения случайной ошибки 
, применяются и в случае если допущение неверно. Из центральной предельной теоремы и закона больших чисел следует, что при "достаточно больших" размерах выборки, оценки и распределены "почти" нормально и формулы доверительных интервалов применимы за тем исключением, что вместо квантилей распределения Стьюдента используются квантили нормального распределения.
См. также
