Просмотр

Материал из MachineLearning.

У вас нет прав на выполнение этой операции по следующим причинам:

• Запрошенное действие могут выполнять только участники из групп emailconfirmed, Администраторы.
• Вы должны подтвердить ваш адрес электронной почты перед правкой страниц. Пожалуйста, введите и подтвердите ваш адрес эл. почты на странице настроек.

Вы можете просмотреть и скопировать исходный текст этой страницы:

Одномерная (простая) линейная регрессия — [[линейная регрессия]] с одной независимой скалярной переменной (объясняющей переменной). Под одномерной линейной регрессией также понимают и сопряженный модели [[метод наименьших квадратов]], оценивающий параметры регрессии. Данную модель называют ''простой'', так как это одна из самых простых моделей [[регрессия|регрессии]]. На двумерной плоскости [[регрессия (функция)|функция регрессии]] является прямой. Модель характеризуется двумя параметрами: угловым коэффициентом и свободным членом прямой. == Модель одномерной линейной регрессии == Дана [[выборка]] <tex>x^m = \{(x_1, y_1),\ldots, (x_m, y_m), x_i, y_i \in \mathbb{R}\}</tex>. Модель описывается уравнением: :<tex> y_i = \beta_0 + \beta_1 x_i + \eps_i </tex> где :<tex>y_i</tex> — зависимая переменная (отклик) :<tex>x_i</tex> — известная константа (значение объясняющей переменной, измерянной в <tex>i</tex>-ом эксперименте) :<tex>\beta_0</tex>, <tex>\beta_1</tex> — параметры модели (свободный член и угловой коэффициент). :<tex>\eps_i</tex> — случайная ошибка со средним <tex>\mathbb{M}(\eps_i)=0</tex> и дисперсией <tex>\sigma^2(\eps_i)=\sigma^2</tex>. Ошибки <tex>\eps_i, \eps_j, i \not= j</tex> [[корреляция|некоррелированны]]: <tex>cov(\eps_i, \eps_j) = 0</tex> :<tex>i=1 \ldots m</tex> ;Свойства модели: # Отклик <tex>y_i</tex> в <tex>i</tex>-м эксперименте получается суммированием двух компонент: (1) константным слагаемым <tex>\beta_0 + \beta_1 x_i</tex> и (2) случайным слагаемым <tex>\eps_i</tex> # Ввиду <tex>\mathbb{M}(\eps_i)=0</tex> верно <tex>\mathbb{M}(y_i)=\beta_0 + \beta_1 x_i</tex> # Отклик <tex>y_i</tex> превышает значение функции регрессии в точке <tex>x_i</tex> на случайную величину <tex>\eps_i</tex> # Из свойств [[дисперсия|дисперсии]] и из равенства <tex>\sigma^2(\eps_i)=\sigma^2, i=1 \ldots m</tex>, следует равенство <tex>\sigma^2(y_i)=\sigma^2</tex>. Другими словами, дисперсия зависимой переменной константна и равна дисперсии случайного слагаемого. # Отклики <tex>y_i</tex> и <tex>y_j</tex>, <tex>i \not= j</tex>, также как и ошибки <tex>\eps_i</tex> и <tex>\eps_j</tex>, некорреллированны. == Метод наименьших квадратов == Метод наименьших квадратов минимизирует сумму квадратов [[регрессионный остаток|регрессионных остатков]]. <tex>(b_0,b_1) = \arg \min_{\beta_0, \beta_1} F(\beta_0, \beta_1)= \arg \min_{\beta_0,\beta_1}\sum_i (y_i - \beta_0 - \beta_1 x_i)^2</tex> Продифференцировав <tex>F(\beta_0, \beta_1)</tex> и прировняв частные производные к нулю, несложно получить точечные оценки параметров модели: # <tex> b_1 = \frac{\sum (X_i - {\bar X})(Y_i - {\bar Y})}{\sum (X_i - {\bar X})^2} </tex> # <tex> b_0 = {\bar Y} - b_1 {\bar X} </tex> '''Свойства оценок''' <tex>b_0</tex> и <tex>b_1</tex> # Точечные оценки <tex>b_0, b_1</tex> являются несмещенными: <tex>\mathbb{M}(b_0)=\beta_0, \mathbb{M}(b_1)=\beta_1</tex> # Из [[теорема Гаусса-Маркова| теоремы Гаусса-Маркова]] следует "оптимальность" оценки регрессионной модели методом наименьших квадратов. В классе линейных несмещенных оценок параметров <tex>\beta_0</tex> и <tex>\beta_1</tex> оценки <tex>b_0</tex> и <tex>b_1</tex> имеют наименьшую дисперсию. # дисперсию <tex>\sigma^2</tex> несмещенно оценивает статистика <tex>s^2=\frac{\sum (y_i - \hat{y}_i)^2}{m-2}=\frac{\sum e_i^2}{m-2}</tex>. [[Стандартное отклонение]] оценивается величиной <tex>s</tex>. # Прямая <tex>\hat{y}(x)=b_0 + b_1 x</tex> проходит через центр масс выборки <tex>({\bar x},{\bar y})</tex> # Сумма регрессионных остатков равна нулю <tex>\sum (y_i - \hat{y}_i) = \sum e_i = 0</tex> # Сумма откликов равна сумме оцененных значений зависимой переменной <tex>\sum y_i = \sum \hat{y}_i</tex> == Нормальное распределение == Формулы для <tex>b_0</tex> и <tex>b_1</tex> из предыдущего раздела являются [[точечная оценка|точечными оценками]] неизвестных параметров <tex>\beta_0</tex> и <tex>\beta_1</tex>. Эти формулы не отражают точность этих оценок. Как сильно оценки <tex>b_0</tex> и <tex>b_1</tex> отклоняются от "реальных" значений <tex>\beta_0</tex> и <tex>\beta_1</tex> оценивают [[доверительный интервал|доверительные интервалы]]. Для построения доверительных интервалов необходимо дополнительное допущение о распределении случайной составляющей <tex>\eps_i</tex> (и как следствие, отклика <tex>y_i</tex>). Чаще всего, предполагают [[нормальное распределение|нормальность]] распределения <tex>\eps_i</tex>. === Построение доверительных интервалов === При условии нормальности распределения случайных величин <tex>\eps_i</tex> можно показать, что [[выборочное распределение|выборочное распределение]] <tex>b_1</tex> также нормально с [[математическое ожидание|математическим ожиданием]] <tex>\mathbb{M}(b_1)=\beta_1</tex> и дисперсией <tex>\sigma^2(b_1)=\frac{\sigma^2}{\sum (x_i-{\bar x})^2}</tex>. С заменой дисперсии <tex>\sigma^2</tex> на ее несмещенную оценку <tex>s^2</tex>, получается несмещенная оценка для <tex>\sigma^2(b_1)</tex>: <tex>s^2(b_1)=\frac{s^2}{\sum (x_i-{\bar x})^2}</tex>. [[Стандартная ошибка]] <tex>s(b_1)</tex> получается взятием корня квадратного. Так как <tex>b_1</tex> имеет нормальное распределение, то ее [[стандартизированная случайная величина|стандартизированная статистика]] <tex>\frac{b_1 - \beta_1}{\sigma}</tex> имеет стандартное нормальное распределение. Стандартизированная статистика, в которой стандартное отклонение в знаменателе заменяется на ее оценку, называется ''студентизированной'' статистикой. В статистической теории доказывается важный факт о студентизированной статистики <tex>\frac{b_1 - \beta_1}{s(b_1)}</tex>. Статистика <tex>\frac{b_1 - \beta_1}{s(b_1)}</tex> имеет [[распределение Стьюдента]] с <tex>m-2</tex> степенями свободы. Доверительный интервал с [[уровень значимости|уровнем значимости]] <tex>\alpha</tex> для параметра <tex>\beta_1</tex> принимает вид <tex>b_1 \pm t(1-\frac{\alpha}{2},m-2) s(b_1)</tex>, где <tex>t(\alpha,n)</tex> — [[квантиль|<tex>\alpha</tex>-квантиль]] распределения Стьюдента с <tex>n</tex> степенями свободы. Аналогично, доверительный интервал для параметра <tex>\beta_0</tex> записывается ввиде <tex>b_0 \pm t(1-\frac{\alpha}{2},m-2) s(b_0)</tex>, где <tex>s^2(b_0)=s^2\big[\frac{1}{m} + \frac{{\bar X}^2}{\sum (x_i - {\bar X})^2}\big]</tex> === Ассимптотическая нормальность === Доверительные интервалы, полученные при допущении нормальности распределения случайной ошибки <tex>\eps</tex>, применяются и в случае если допущение неверно. Из [[центральная предельная теорема|центральной предельной теоремы]] и [[закон больших чисел|закона больших чисел]] следует, что при "достаточно больших" размерах выборки, оценки <tex>b_0</tex> и <tex>b_1</tex> распределены "почти" нормально и формулы доверительных интервалов применимы за тем исключением, что вместо квантилей распределения Стьюдента используются квантили нормального распределения. ==См. также== *[[регрессионный анализ]] *[[линейная регрессия]] *[[регрессия (функция)]] *[[Линейная регрессия (пример)]] [[Категория:Линейная регрессия]] [[Категория:Регрессионный анализ]]

Возврат к странице Одномерная линейная регрессия.