Анализ регрессионных остатков (пример)
Материал из MachineLearning.
| Строка 51: | Строка 51: | ||
Во всех этих тестах основной гипотезой <tex>H_0</tex> является равенство <tex>\sigma_1^2=\sigma_2^2=\dots=\sigma_n^2</tex> против альтернативной гипотезы <tex>H_1</tex>: не <tex>H_0</tex>. | Во всех этих тестах основной гипотезой <tex>H_0</tex> является равенство <tex>\sigma_1^2=\sigma_2^2=\dots=\sigma_n^2</tex> против альтернативной гипотезы <tex>H_1</tex>: не <tex>H_0</tex>. | ||
====Тест Уайта==== | ====Тест Уайта==== | ||
| + | Содержательный смысл теста в том, что часто гетероскедастичность модели вызвана зависимостью ( возможно довольно сложной ) дисперсий ошибок от признаков. Реализуя эту идею Уайт предложил метод тестирования гипотезы <tex>H_0</tex> без каких-либо предположений о структуре гетероскедастичности. Сначала к исходной модели применяется обычный [[метод наименьших квадратов]] и находятся остатки регрессии <tex>e_t, t=1,\dots\,n</tex> | ||
Версия 06:17, 17 июня 2010
Для получения информации об адекватности построенной модели многомерной линейной регрессии используется анализ регрессионных остатков.
Содержание |
Постановка задачи
Задана выборка откликов и признаков. Рассматривается множество линейных регрессионных моделей вида:
. Требуется создать инструмент анализа адекватности модели используя анализ регрессионных остатков и исследовать значимость признаков и поведение остатков в случае гетероскедастичности.
Описание алгоритма
Анализ регрессионных остатков
Анализ регрессионных остатков заключается в проверке нескольких гипотез:
- (1)
- (2)
- (3)
- (4)— независимы
где ,
— регрессионные остатки конкретной модели.
Для проверки первой гипотезы воспользуемся критерием знаков. Проверка второй гипотезы по сути является проверкой на гомоскедастичность, то есть на постоянство дисперсии, случай гетероскедастичности будет рассмотрен ниже. Для этого воспользуемся двумя статистическими тестами: тестом Ансари-Брэдли и критерием Голдфелда-Кванта. Так как тест Ансари-Брэдли фактически осуществляет проверку гипотезы, что у двух предоставленных выборок дисперсии одинаковы, а мы фактически имеем только один вектор остатков, то произведем несколько тестов, сравнивая в каждом две случайные выборки из нашего вектора остатков. Проверку нормальности распределения осуществим с помощью критерия согласия хи-квадрат, модифицированного для проверки на нормальность, то есть сравнивая данное нам распределение в остатках с нормальным распределением, имеющим моментные характеристики, вычисленные из вектора остатков. Наконец, проверку последнего условия реализуем с помощью статистики Дарбина-Уотсона.
Оценка значимости признаков
Задача состоит в проверке для каждого из признаков, дает ли нам учет этого признака в модели более хорошие результаты, нежели его отсутствие. Оценивать результаты будем с помощью коэффициента детерминации:
где — эмпирический отклик,
— отклик, посчитанный по модели, и
— математическое ожидание
.
Гетероскедастичность
Термин гетероскедастичность применяется в ситуации, когда ошибки в различных наблюдениях некоррелированы, но их дисперсии — разные. Соответственно термин гомоскедастичность применяется в случае постоянных дисперсий.
Визуальный анализ
Одним из основных методов предварительного исследования на гетероскедастичность является визуальный анализ графика остатков. Целью данного анализа является нахождение факторов влияющих на изменение дисперсии, номер измерения или значение одного из признаков. Для сравнения приведем несколько примеров.
Выше представлена госмоскедастичноая модель. Действительно, используя визуальный анализ, не получается найти какие-то признаки непостоянства дисперсии и тем более какие-то зависимости.
В данном случае визуально можно констатировать факт непостоянства дисперсии и даже связать это изменение с номером эксперимента (или возможно с одним из признаков, если он монотонно изменялся по номеру эксперимента).
Еще один пример визуально определимой гетероскедастичности.
Статистические методы детекции
Опишем суть нескольких общеупотребительных статистических тестов на гетероскедастичность.
Во всех этих тестах основной гипотезой является равенство
против альтернативной гипотезы
: не
.
Тест Уайта
Содержательный смысл теста в том, что часто гетероскедастичность модели вызвана зависимостью ( возможно довольно сложной ) дисперсий ошибок от признаков. Реализуя эту идею Уайт предложил метод тестирования гипотезы без каких-либо предположений о структуре гетероскедастичности. Сначала к исходной модели применяется обычный метод наименьших квадратов и находятся остатки регрессии
