Критерий Акаике

Материал из MachineLearning.

Версия от 17:12, 14 июля 2026; Ilia Vdovin (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Перейти к: навигация, поиск

Статья написана с использованием LLM DeepSeek-V3 и проверена участником ~~Ilia Vdovin~~

Содержание

1 Критерий Акаике (AIC)

Критерий Акаике (AIC)

Критерий Акаике (AIC — от англ. Akaike Information Criterion) — один из наиболее распространённых информационных критериев для выбора статистических моделей по принципу максимума правдоподобия с учётом их сложности. AIC оценивает, насколько хорошо модель будет предсказывать новые данные, и штрафует за излишнее количество параметров, предотвращая переобучение.

Определение и мотивация

При построении статистических моделей возникает фундаментальная проблема: увеличение числа параметров всегда улучшает качество подгонки на обучающей выборке, но может ухудшить предсказания на новых данных. Классические подходы (проверка гипотез) не дают единой меры для сравнения невложенных моделей, а кросс-валидация вычислительно затратна.

AIC решает эту проблему, предлагая теоретически обоснованную оценку расстояния Кульбака–Лейблера между истинным распределением данных и оцениваемой моделью. Ключевая идея: Акаике показал, что максимизация логарифмического правдоподобия эквивалентна минимизации информационной потери при предсказании новых наблюдений.

Историческая справка

Критерий был предложен японским статистиком Хиротогу Акаике в 1974 году в работе «A new look at the statistical model identification» (IEEE Transactions on Automatic Control) [1]. Акаике исходил из идей теории информации Клода Шеннона и использовал энтропию как меру неопределённости.

В своём подходе Акаике соединил две области — теорию информации и математическую статистику, показав, что максимизация логарифмического правдоподобия на обучающей выборке даёт смещённую оценку предсказательной способности модели, и это смещение можно скорректировать.

Теоретические основы

Вывод через KL-дивергенцию

Пусть $g(x)$ — истинное распределение данных (неизвестное), а $f(x \mid \theta)$ — кандидатная модель с вектором параметров $\theta$ размерности $K$ . Расстояние Кульбака–Лейблера (KL-дивергенция) между ними определяется как:

$D_{KL}(g \parallel f) = \int g(x) \ln \frac{g(x)}{f(x \mid \theta)} \, dx = \mathbb{E}_g[\ln g(x)] - \mathbb{E}_g[\ln f(x \mid \theta)].$

Важное замечание: KL-дивергенция $D_{KL}(g \parallel f)$ несимметрична: $D_{KL}(g \parallel f) \neq D_{KL}(f \parallel g)$ , поэтому она не является метрическим расстоянием в строгом смысле. Однако она служит естественной мерой того, насколько модель $f$ «удалена» от истинного распределения $g$ .

Первое слагаемое $\mathbb{E}_g[\ln g(x)]$ одинаково для всех моделей, поэтому минимизация $D_{KL}$ эквивалентна максимизации $\mathbb{E}_g[\ln f(x \mid \theta)]$ — среднего логарифма правдоподобия по истинному распределению.

Основная идея Акаике

Акаике рассуждал следующим образом. Если бы мы знали истинное распределение $g(x)$ , то лучшая модель соответствовала бы максимуму $\mathbb{E}_g[\ln f(x \mid \theta)]$ . Однако $g(x)$ неизвестна, и мы можем лишь оценить параметры $\theta$ по обучающей выборке $y = (y_1, \dots, y_n)$ , получая оценку $\hat{\theta}$ .

Логарифм правдоподобия на обучающей выборке $\ln L(\hat{\theta} \mid y)$ является смещённой оценкой величины $\mathbb{E}_g[\ln f(x \mid \theta)]$ : он систематически завышает качество модели, так как параметры подгонялись под те же данные. Акаике показал, что величина смещения асимптотически равна числу параметров $K$ :

$\mathbb{E}_y\left[ \ln L(\hat{\theta} \mid y) - \mathbb{E}_g[\ln f(x \mid \theta)] \right] \approx K.$

Отсюда получается несмещённая оценка ожидаемого логарифма правдоподобия на новых данных:

$\widehat{\mathbb{E}_g[\ln f]} = \ln L(\hat{\theta} \mid y) - K.$

Умножив на $-2$ (по историческим причинам, чтобы согласовать с распределением $\chi^2$ ), получают итоговую формулу:

$AIC = -2 \ln L(\hat{\theta} \mid y) + 2K.$

Интерпретация формулы

Первое слагаемое $-2 \ln L(\hat{\theta} \mid y)$ — характеризует качество подгонки модели на обучающих данных (чем меньше, тем лучше).
Второе слагаемое $2K$ — штраф за сложность модели (каждый дополнительный параметр увеличивает AIC на 2).

Таким образом, AIC балансирует между точностью подгонки и сложностью модели. Добавление нового параметра оправдано только в том случае, если оно уменьшает $-2 \ln L$ более чем на 2.

Интерпретация и применение

AIC является относительной мерой качества модели. Абсолютное значение AIC не интерпретируется; важны лишь различия между моделями. При сравнении нескольких моделей вычисляют разности:

$\Delta_i = AIC_i - AIC_{min},$

где $AIC_{min}$ — минимальное значение среди всех рассматриваемых моделей. Эмпирическое правило:

$\Delta_i \le 2$ — модели практически эквивалентны;
$4 \le \Delta_i \le 7$ — различие заметно;
$\Delta_i > 10$ — модель существенно хуже, её можно исключить из рассмотрения.

Также вычисляют веса Акаике:

$w_i = \frac{\exp(-\Delta_i/2)}{\sum_j \exp(-\Delta_j/2)},$

которые интерпретируются как вероятности того, что модель $i$ является наилучшей среди рассматриваемых (в смысле минимизации KL-дивергенции).

Важные ограничения при применении

AIC позволяет сравнивать только модели, построенные на одной и той же выборке с одинаковым набором наблюдений.
Зависимая переменная должна быть идентичной (нельзя сравнивать модели с разными преобразованиями $y$ ).
Модели должны быть оценены методом максимального правдоподобия.

Пример

Пусть для данных подбираются линейная регрессия с 2 параметрами ( $AIC=120$ ) и полиномиальная модель с 5 параметрами ( $AIC=115$ ). Разность $\Delta=5$ указывает на умеренное преимущество полиномиальной модели. Если бы $\Delta>10$ , выбор полиномиальной модели был бы однозначным.

Модификации

AICc (исправленный AIC для малых выборок)

При малых выборках стандартный AIC может давать смещённые оценки. Сугиура (1978) предложил поправку:

$AICc = AIC + \frac{2K(K+1)}{n - K - 1}.$

Рекомендуется использовать при $n/K < 40$ . При $n \to \infty$ поправка стремится к нулю, и $AICc \to AIC$ .

QAIC (Quasi-AIC)

Для данных с передисперсией (например, в экологических моделях) используется квази-правдоподобие. Вводится коэффициент дисперсии $\hat{c}$ :

$QAIC = -2 \ln L / \hat{c} + 2K.$

Применяется, когда распределение данных не соответствует стандартным семействам (например, биномиальное с избыточной вариативностью).

Ограничения

Несостоятельность: AIC не стремится к выбору истинной модели с вероятностью 1 при $n \to \infty$ (в отличие от BIC). Если истинная модель конечномерна и входит в множество кандидатов, AIC будет выбирать модели с избыточным числом параметров, дающие сколь угодно малое улучшение правдоподобия.
Неприменим для сравнения моделей с разными объёмами выборок или разными зависимыми переменными.
Чувствителен к выбору распределения; при неверной спецификации распределения выводы могут быть ошибочными.
Требует оценки методом максимального правдоподобия.

Сравнение с другими критериями

BIC (Байесовский информационный критерий)

Предложен Шварцем (1978): $BIC = -2 \ln L + K \ln n$ . Штраф растёт с объёмом выборки, поэтому BIC более консервативен и асимптотически состоятелен. При $n > 8$ BIC штрафует за параметры сильнее, чем AIC. BIC предпочтителен, когда цель — идентификация истинной структуры модели, а не прогнозирование.

DIC и WAIC

DIC (Deviance Information Criterion) — для байесовских моделей, использует апостериорное среднее отклонений.
WAIC (Widely Applicable Information Criterion) — полностью байесовский критерий, согласованный с кросс-валидацией leave-one-out.

Кросс-валидация

Даёт прямую оценку ошибки прогноза, но требует многократного переобучения. При больших данных может быть предпочтительнее AIC. Однако AIC является асимптотически эквивалентным кросс-валидации leave-one-out.

Практические рекомендации

Если цель — прогнозирование и размер выборки мал ( $n/K < 40$ ), используйте AICc.
Если цель — идентификация истинной структуры модели при большом $n$ , предпочтительнее BIC.
Всегда приводите значения AIC для всех сравниваемых моделей, а также $\Delta_i$ и веса Акаике.
Избегайте «драпировки» моделей (data dredging) — сравнение большого числа моделей без априорных гипотез повышает риск случайных находок.

Заключение

Критерий Акаике остаётся одним из самых цитируемых инструментов в статистическом моделировании благодаря своей простоте, теоретической прозрачности и универсальности. Несмотря на разработанные позднее альтернативы, AIC сохраняет актуальность в задачах прогнозирования, особенно при умеренных размерах выборки. Современные тенденции — интеграция AIC с методами регуляризации (LASSO, ридж-регрессия) и использование информационных критериев в глубоком обучении — расширяют область его применения.

Литература

Akaike, H. (1974). A new look at the statistical model identification. IEEE Transactions on Automatic Control, 19(6), 716–723.
Burnham, K. P., & Anderson, D. R. (2002). Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach. 2nd ed. Springer.
McQuarrie, A. D. R., & Tsai, C.-L. (1998). Regression and Time Series Model Selection. World Scientific.
Konishi, S., & Kitagawa, G. (2008). Information Criteria and Statistical Modeling. Springer.
Claeskens, G., & Hjort, N. L. (2008). Model Selection and Model Averaging. Cambridge University Press.

Полный промпт, использованный при создании этой статьи, доступен на странице обсуждения.

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9A%D1%80%D0%B8%D1%82%D0%B5%D1%80%D0%B8%D0%B9_%D0%90%D0%BA%D0%B0%D0%B8%D0%BA%D0%B5»

Категории: Статистические критерии | Выбор модели | Теория информации