Просмотр

Материал из MachineLearning.

У вас нет прав на выполнение этой операции по следующим причинам:

• Запрошенное действие могут выполнять только участники из групп emailconfirmed, Администраторы.
• Вы должны подтвердить ваш адрес электронной почты перед правкой страниц. Пожалуйста, введите и подтвердите ваш адрес эл. почты на странице настроек.

Вы можете просмотреть и скопировать исходный текст этой страницы:

Проверка статистической '''значимости коэффициентов линейной регрессии''' заключается в проверке [[Нулевая гипотеза|гипотезы]] значимости или незначимости отличия оценок некоторых [[Многомерная линейная регрессия|регрессионных коэффициентов]] от нуля. Если в результате проверки оказывается, что отличие оценки каких-то регрессионных коэффициентов от нуля не влияет на качество модели, то соответствующие [[Многомерная линейная регрессия|предикторные переменные]] можно искличить из [[Многомерная линейная регрессия|регрессионной модели]]. ==Обозначения == Введем обозначения: *<tex> X_i= \left[ x_{i1} \\ ...\\ x_{in} \right] , i = 1,\dots,k </tex> - набор <tex>k</tex> предикторных переменных *<tex> \Theta= \left[\theta_1 \\ ...\\\theta_k \right] </tex> - коэффициенты линейной регрессии. *<tex> \hat{Y}= \left[ \hat{y}_1 \\ ...\\ \hat{y}_n\right] </tex> – зависимая переменная ([[Многомерная линейная регрессия|отклик]]) Модель линейной регрессии имеет вид: ::<tex>\hat{Y} = \sum_{i=1}^k \theta_i \cdot X_i</tex> Пусть <tex>k = k_1+k_2</tex>.Введём дополнительные обозначения: *<tex>X = \(X_1,\dots,X_k\) ,\;\; X^1 = (X_1,\dots, X_{k_1}), \;\; X^2 = (X_{k_1+1},\dots, X_k)</tex> Тогда <tex>X = (X^1 ,X^2)</tex>. *<tex> \Theta^1= \left[\theta_1 \\ ...\\\theta_{k1} \right],\;\; \Theta^2= \left[\theta_{k1+1} \\ ...\\\theta_k \right] </tex> Тогда <tex>\Theta = \left[\Theta^1 \\ \Theta^2\right]</tex>. == Анализ структкры модели == '''Утверждение 1:''' ''Если [[Многомерная линейная регрессия|основные предположения многомерной линейной регрессии]] верны для <tex>X = (X^1 ,X^2)</tex>, но [[Метод наименьших квадратов|МНК-оценка]] <tex>\hat{\Theta^1}</tex> построена только по <tex>X^1</tex>, то <tex>\hat{\Theta} = \left[\hat{\Theta^1} \\ \0\right]</tex> - [[Несмещённая оценка|смещённая]] и [[Состоятельная оценка|несостоятельная]] оценка для <tex>\theta</tex>.'' Утверждение 1 говорит о том, что если при построении модели регрессии мы недобрали признаков(предикторных переменных), то получим плохую МНК-оценку для параметров регрессии. '''Утверждение 2:''' ''Если [[Многомерная линейная регрессия|основные предположения многомерной линейной регрессии]] верны для <tex>X^1</tex>, но [[Метод наименьших квадратов|МНК-оценка]] <tex>\hat{\Theta}</tex> построена по <tex>X</tex>, то <tex>\hat{\Theta}</tex> - [[Несмещённая оценка|несмещённая]] и [[Состоятельная оценка|состоятельная]] оценка для <tex>\Theta = \left[\Theta^1 \\ \0\right]</tex>.'' ''При этом <tex> \tr\; cov\; \hat{\Theta} > \tr\; cov \;\hat{\Theta^1} </tex>.'' В утверждении 2 говорится, что если в регрессионной модели присутствуют лишние признаки, то возрастают дисперсии полученных МНК-оценок. Можно сделать вывод, что если не выполнять проверок на значимость предикторных переменных, то для получения хорошей МНК-оценки коэффициентов регрессии лучше взять предикторных переменных больше, нежели недобрать их. == Проверка значимости коэффициентов == Коэффициент линейной регрессии считается '''значимым''', если его МНК-оценка отлична от нуля. Опишем [[критерий Фишера]] проверки значимости коэффициентов линейной регрессии. '''Нулевая гипотеза''' <tex>H_0:\; \Theta^2 = 0</tex>. Нулевая гипотеза утверждает, что отклик <tex>Y</tex> не зависит от предикторных переменных <tex>X^2</tex>. '''Статистика критерия:''' ::<tex>F = \frac{\frac{1}{k - k_1} \| X\cdot\hat{\Theta} - X^1 \cdot \hat{\Theta^1}\|^2}{\frac{1}{n-k}\|Y - X\cdot\hat{\Theta}\|^2}</tex> имеет имеет [[распределение Фишера]] с <tex>k-k_1</tex> и <tex>n-k</tex> степенями свободы. Тогда [[критическая область критерия|критической областью критерия]] является правый хвост распределения Фишера, что соотвествует альтернативной гипотезе <tex>H_1</tex>. '''Критерий''' (при [[уровень значимости|уровне значимости]] <tex>\alpha</tex>) против альтернативы <tex>H_1:\; \Theta^2 \neq 0</tex>: *если <tex>F>F_{1-\alpha}(k-k_1,n-k)</tex>, то нулевая гипотеза <tex>H_0</tex> отвергается в пользу альтернативы <tex>H_1</tex>; *если <tex>F<=F_{1-\alpha}(k-k_1,n-k)</tex>, то принимаем нулевую гипотезу <tex>H_0</tex>; где <tex>F_{\alpha}(n-1,m-1)</tex> есть <tex>\alpha</tex>-[[квантиль]] распределения Фишера с <tex>n-1</tex> и <tex>m-1</tex> степенями свободы. == Литература == # {{книга |автор = Магнус Я. Р., Катышев П. К., Пересецкий А. А. |заглавие = Эконометрика. Начальный курс |издательство = М.: Дело |год = 2004 |страниц = 576 }} стр.124-132 == См. также == *[[Многомерная линейная регрессия]] *[[Шаговая регрессия]] == Ссылки == [[Категория: Прикладная статистика]] [[Категория: Регрессионный анализ]] [[Категория: Энциклопедия анализа данных]] {{UnderConstruction|[[Участник:Валентина Федорова|Валентина Федорова]] 20:15, 23 января 2009 (MSK)}}{{Stub|}}

• Шаблон:Eqno
• Шаблон:Eqref
• Шаблон:Книга
• Шаблон:Переводы

Возврат к странице Значимость коэффициентов линейной регрессии.