Критерий Акаике

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
м
(→Особенности применения критерия)
Строка 8: Строка 8:
==Особенности применения критерия==
==Особенности применения критерия==
-
*Лучшая модель соответствует минимальному значению критерия Акаике.
 
-
*Абсолютное значение критерия не несет в себе полезной информации.
 
*Штрафование числа параметров ограничивает значительный рост сложности модели.
*Штрафование числа параметров ограничивает значительный рост сложности модели.
*Проверка критерия является трудоемкой операцией.
*Проверка критерия является трудоемкой операцией.
Строка 15: Строка 13:
*Может сравнивать модели только из одного пространства объектов.
*Может сравнивать модели только из одного пространства объектов.
*Критерий Акаике не может быть применен, если модели имеют пересечения по объектам.
*Критерий Акаике не может быть применен, если модели имеют пересечения по объектам.
 +
*Порядок выбора моделей неважен.
 +
==Модификации критерия==
==Модификации критерия==
*'''AIC<sub>c</sub>''' был предложен для использования в задач маленькой размерности, когда <tex>\frac{n}{k}\leq 40</tex>. При решении более общих задач большей размерности рекомендуется использовать AIC, при больших значениях <tex>\frac{n}{K}</tex> использование двух критериев равно возможно. Особенность критерия в том, что функция штрафа умножается на поправочный коэффициент. <br />
*'''AIC<sub>c</sub>''' был предложен для использования в задач маленькой размерности, когда <tex>\frac{n}{k}\leq 40</tex>. При решении более общих задач большей размерности рекомендуется использовать AIC, при больших значениях <tex>\frac{n}{K}</tex> использование двух критериев равно возможно. Особенность критерия в том, что функция штрафа умножается на поправочный коэффициент. <br />

Версия 16:59, 10 февраля 2010

Данная статья является непроверенным учебным заданием.
Студент: Участник:Mordasova
Преподаватель: Участник:Константин Воронцов
Срок: 15 февраля 2010

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.


Критерий Акаике (Akaike's information criterion, AIC) - критерий выбора из класса параметризованных моделей. Акаике (Akaike) предложил максимизировать критерий выбора, чтобы оценивать модели с разным числом параметров. При применении критерия лучшей считается модель, описывающая данные с наименьшим количеством параметров. Тесно связан с байесовским информационным критерием, но в отличие от него содержит функцию штрафа, линейно зависящую от числа параметров. Критерий Акаике оценивает расстояние между подходящей моделью и реальными данными.

Содержание

Описание критерия

Пусть k - число параметров модели, а L - функция правдоподобия.
AIC = 2k-\ln(L)
Можно записать критерий Акаике через RSS - остаточную сумму квадратов ошибок модели.
AIC = 2k+n\[\ln(RSS/n)\]

Особенности применения критерия

  • Штрафование числа параметров ограничивает значительный рост сложности модели.
  • Проверка критерия является трудоемкой операцией.
  • Применяется, если известен закон распределения шума.
  • Может сравнивать модели только из одного пространства объектов.
  • Критерий Акаике не может быть применен, если модели имеют пересечения по объектам.
  • Порядок выбора моделей неважен.

Модификации критерия

  • AICc был предложен для использования в задач маленькой размерности, когда \frac{n}{k}\leq 40. При решении более общих задач большей размерности рекомендуется использовать AIC, при больших значениях \frac{n}{K} использование двух критериев равно возможно. Особенность критерия в том, что функция штрафа умножается на поправочный коэффициент.

AIC_c=AIC+\frac{2k(k+1)}{n-k-1}
AIC_c=\ln\frac{RSS}{n}+\frac{n+k}{n-k-2}

  • QAIC следует использовать в случае, когда среднее отклонение превышает дисперсию. В таких ситуациях используется более общая модель, которая получается из рассматриваемой добавлением параметра c\in\[1;4\].

Если c<1, то его следует заменить на \tilde c = 1. При c=1 QAIC сводится к AIC.
QAIC = 2k-\frac{\ln(L)}{c}
QAIC_c = QAIC+\frac{2k(k+1)}{n-k-1}

См. также

Литература

  1. Akaike's information criterion on Wikipedia
  1. Akaike, H. A new look at the statistical model identification. — IEEE Transactions on Automatic Control. — 1974 T. 19. — 716--723 с.
  2. Liddle A. R. Information criteria for astrophysical model selection. — Advances in Neural Information Processing Systems. — Astronomy Centre, University of Sussex, 2008.
  3. Burnham K. P., Anderson D.R. Model selection and multimodel inference: a practical information-theoretic approach. — 2-е изд. — Springer, 2002. — 488 с. — ISBN 0387953647
  4. McQuarrie A. D. R., Tsai C. L. Regression and time series model selection. — World Scientific, 1998. — 455 с. — ISBN 981023242X
  5. Бидюк П.И., Зворыгина Т.Ф. Cтруктурный анализ методик построения регрессионных моделей по временным рядам наблюдений.
Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9A%D1%80%D0%B8%D1%82%D0%B5%D1%80%D0%B8%D0%B9_%D0%90%D0%BA%D0%B0%D0%B8%D0%BA%D0%B5»
Личные инструменты