Критерий Давидсона-Маккиннона

Материал из MachineLearning.

Критерий Давидсона-Маккиннона (также J-критерий Давидсона-Маккиннона, критерий невложенных моделей, англ. Davidson-MacKinnon J test, non-nested models test) — статистический критерий, используется для сравнения невложенных регрессионных моделей.

Основная идея

Пусть даны две невложенные регрессионные модели, т.е. ни одна из них не является частным случаем другой.

Идея критерия Давидона-Маккиннона состоит в следующем: если первая модель содержит верный набор свободных переменных, то включение восстановленных значений второй модели в этот набор не должно приводить к значимым улучшениям. Но если это так, то, возможно, первая модель не является верной.

Таким образом для сравнения обеих моделях необходимо добавить значения первой модели во вторую и наоборот. Тестовая статистика критерия проверяет значимость восстановленных значений в расширенной модели, обычно для этого используется t-статистика Стьюдента.

Определение

Пусть даны две регрессионные модели:

$y = f_1(w_1, x_1) + \varepsilon_1$ ,

$y = f_2(w_2, x_2) + \varepsilon_2$ ,

и пусть они невложенные, т.е. для некоторого $w_1$ справедливо $f_1(w_1, x_1) \neq f_2(w_2, x_2)$ при любых $w_2$ .

Обозначим восстановленные значения этих моделей через $\hat{y}$ и $\hat{\hat{y}}$ , соответственно.

Рассмотрим следующие модели:

$y = f_1(w_1, x_1) + \beta \hat{\hat{y}} + \varepsilon_3$ ,

$y = f_2(w_2, x_2) + \gamma \hat{y} + \varepsilon_4$ .

При помощи критерия Стьюдента проверим следующие нулевые гипотезы против соответствующих альтернатив:

$H_{01}$ : $\beta = 0$ , против альтернативы $H_{02}$ : $\beta \neq 0$ ,

$H_{02}$ : $\gamma = 0$ , против альтернативы $H_{02}$ : $\gamma \neq 0$ .

Вывод критерия определяется по таблице:

	$H_{02}$ принята	$H_{02}$ отвергнута
$H_{01}$ принята	Модели одинаково хороши	Первая модель значимо лучше
$H_{01}$ отвергнута	Вторая модель значимо лучше	Модели одинаково плохи

Пример

См. W. H. Greene. Econometric Analysis, 5th ed. New Jersey, Prentice Hall. 2003. Примеры 7.11 и 7.12.

# В системе R, используется дополнительный пакет lmtest.

# Загрузка данных
> data(USDistLag)
> usdl <- na.contiguous(cbind(USDistLag, lag(USDistLag, k = -1)))
> colnames(usdl) <- c("con", "gnp", "con1", "gnp1")

# Построение моделей
> fm1 <- lm(con ~ gnp + con1, data = usdl)
> fm2 <- lm(con ~ gnp + gnp1, data = usdl)

# Применение критерия
> jtest(fm1, fm2)
J test

Model 1: con ~ gnp + con1
Model 2: con ~ gnp + gnp1

                 Estimate  Std. Error  t value   Pr(>|t|)    
M1 + fitted(M2)   -2.7041     0.76273  -3.5454  0.0029371  ** 
M2 + fitted(M1)    2.7436     0.52710   5.2051  0.0001067  ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Реализации

В системе Matlab: встроенной реализации нет.
В системе R: функция jtest в пакете lmtest.

Свойства

При справедливости обозначенных выше нулевых гипотез J-статистика этой гипотезы имеет асимптотически нормальное распределение $\mathrm{N}(0,1)$ .

Область применения

Исследования показывают, что критерий хорошо применим в следующих случаях:

Выборка мала.
Модель плохо восстанавливается.
Наборы свободных переменных моделей сильно отличаются.

История

Критерий предложен Расселом Давидсоном (Russell Davidson) и Джеймсом Маккинноном (James G. MacKinnon) в статье Several Tests for Model Specification in the Presence of Alternative Hypotheses (журнал Econometrica, 1981 г., т. 49, с. 781-793).

Улучшения

Одно из улучшений данного критерия называется P-критерием. Является более эффективным в случае, если модель не является линейной.

Меняются рассматриваемые модели:

$y = f_1(w_1, x_1) + \beta (\hat{\hat{y}}-f_2(f^{-1}_1(\hat{y})))+\varepsilon_5$ ,

$y = f_2(w_2, x_2) + \gamma (\hat{y} - f_1(f^{-1}_2(\hat{\hat{y}})))+\varepsilon_6$ .

Далее алгоритм аналогичен J-критерию.

Литература

R. Davidson, J. MacKinnon. Several Tests for Model Specification in the Presence of Alternative Hypotheses. 1981. Econometrica, т. 49, с. 781-793.
R. Davidson, J. MacKinnon, H. White. Tests for Model Specification in the Presence of Alternative Hypotheses. Some Further Results. 1983. Journal of Econometrics 21, 53-70. North-Holland Publishing company.
R. Davidson, J. MacKinnon. Estimation and Inference in Econometrics. Oxford University Press. 1993.
R. Davidson, J. MacKinnon. Econometric Theory and Methods. Oxford University Press. 2004.
W. H. Greene. Econometric Analysis, 5th ed. New Jersey, Prentice Hall. 2003.
Dale S. Bremmer. J-Tests: To Nest Or Not To Nest, That Is The Question. “Quantitative Methods” Session of the 79th Annual Conference of the Western Economics Association International in Vancouver, British Columbia, Canada, on July 3, 2003

Ссылки

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9A%D1%80%D0%B8%D1%82%D0%B5%D1%80%D0%B8%D0%B9_%D0%94%D0%B0%D0%B2%D0%B8%D0%B4%D1%81%D0%BE%D0%BD%D0%B0-%D0%9C%D0%B0%D0%BA%D0%BA%D0%B8%D0%BD%D0%BD%D0%BE%D0%BD%D0%B0»

Категории: Прикладная статистика | Статистические критерии | Регрессионный анализ