Критерий Акаике

Материал из MachineLearning.

(Различия между версиями)

Mordasova (Обсуждение | вклад)
(Новая: {{Задание|Mordasova|Константин Воронцов|15 февраля 2010}} '''Критерий Акаике''' ('''Akaike's information criterion''', '''AIC''') - крит...)
К следующему изменению →

Версия 16:53, 10 февраля 2010

Данная статья является непроверенным учебным заданием.

Студент: Участник:Mordasova

Преподаватель: Участник:Константин Воронцов

Срок: 15 февраля 2010

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.

Критерий Акаике (Akaike's information criterion, AIC) - критерий выбора из класса параметризованных моделей. Акаике (Akaike) предложил максимизировать критерий выбора, чтобы оценивать модели с разным числом параметров. При применении критерия лучшей считается модель, описывающая данные с наименьшим количеством параметров. Тесно связан с байесовским информационным критерием, но в отличие от него содержит функцию штрафа, линейно зависящую от числа параметров. Критерий Акаике оценивает расстояние между подходящей моделью и реальными данными.

Описание критерия

Пусть $k$ - число параметров модели, а $L$ - функция правдоподобия.
$AIC = 2k-\ln(L)$
Можно записать критерий Акаике через RSS - остаточную сумму квадратов ошибок модели.
$AIC = 2k+n\[\ln(RSS/n)\]$

Особенности применения критерия

Лучшая модель соответствует минимальному значению критерия Акаике.
Абсолютное значение критерия не несет в себе полезной информации.
Штрафование числа параметров ограничивает значительный рост сложности модели.
Проверка критерия является трудоемкой операцией.
Применяется, если известен закон распределения шума.

Модификации критерия

AIC_c был предложен для использования в задач маленькой размерности, когда $\frac{n}{k}\leq 40$ . При решении более общих задач большей размерности рекомендуется использовать AIC, при больших значениях $\frac{n}{K}$ использование двух критериев равно возможно. Особенность критерия в том, что функция штрафа умножается на поправочный коэффициент.

$AIC_c=AIC+\frac{2k(k+1)}{n-k-1}$
$AIC_c=\ln\frac{RSS}{n}+\frac{n+k}{n-k-2}$

QAIC следует использовать в случае, когда среднее отклонение превышает дисперсию. В таких ситуациях используется более общая модель, которая получается из рассматриваемой добавлением параметра $c\in\[1;4\]$ .

Если $c<1$ , то его следует заменить на $\tilde c = 1$ . При $c=1$ QAIC сводится к AIC.
$QAIC = 2k-\frac{\ln(L)}{c}$
$QAIC_c = QAIC+\frac{2k(k+1)}{n-k-1}$