Критерий Акаике

Материал из MachineLearning.

Версия от 17:04, 10 февраля 2010; Mordasova (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Перейти к: навигация, поиск

Данная статья является непроверенным учебным заданием.

Студент: Участник:Mordasova

Преподаватель: Участник:Константин Воронцов

Срок: 15 февраля 2010

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.

Критерий Акаике (Akaike's information criterion, AIC) - критерий выбора из класса параметризованных моделей. Акаике (Akaike) предложил максимизировать критерий выбора, чтобы оценивать модели с разным числом параметров. При применении критерия лучшей считается модель, описывающая данные с наименьшим количеством параметров. Тесно связан с байесовским информационным критерием, но в отличие от него содержит функцию штрафа, линейно зависящую от числа параметров. Критерий Акаике оценивает расстояние между подходящей моделью и реальными данными.

Описание критерия

Пусть $k$ - число параметров модели, а $L$ - функция правдоподобия.
$AIC = 2k-\ln(L)$
Можно записать критерий Акаике через RSS - остаточную сумму квадратов ошибок модели.
$AIC = 2k+n\[\ln(RSS/n)\]$
Лучшая модель соответствует минимальному значению критерия Акаике.Абсолютное значение критерия не несет в себе полезной информации.

Особенности применения критерия

Штрафование числа параметров ограничивает значительный рост сложности модели.
Проверка критерия является трудоемкой операцией.
Применяется, если известен закон распределения шума.
Может сравнивать модели только из одного пространства объектов.
Критерий Акаике не может быть применен, если модели имеют пересечения по объектам.
Порядок выбора моделей неважен.

Модификации критерия

AIC_c был предложен для использования в задач маленькой размерности, когда $\frac{n}{k}\leq 40$ . При решении более общих задач большей размерности рекомендуется использовать AIC. В то же время, при больших значениях $\frac{n}{K}$ использование двух критериев равно возможно. Особенность критерия AIC_c заключается в том, что функция штрафа умножается на поправочный коэффициент.

$AIC_c=AIC+\frac{2k(k+1)}{n-k-1}$
$AIC_c=\ln\frac{RSS}{n}+\frac{n+k}{n-k-2}$

QAIC следует использовать в тех случаях, когда среднее отклонение превышает дисперсию. В таких ситуациях используется более общая модель, которая получается из рассматриваемой добавлением параметра $c\in\[1;4\]$ .

Если $c<1$ , то его следует заменить на $\tilde c = 1$ . При $c=1$ QAIC сводится к AIC.
$QAIC = 2k-\frac{\ln(L)}{c}$
$QAIC_c = QAIC+\frac{2k(k+1)}{n-k-1}$