Критерий Акаике

Материал из MachineLearning.

Перейти к: навигация, поиск
Статья написана с использованием LLM **DeepSeek-V3** и проверена участником ~~Ilia Vdovin~~


Содержание

Критерий Акаике (AIC)

Критерий Акаике (AIC — от англ. Akaike Information Criterion) — один из наиболее распространённых информационных критериев для выбора статистических моделей по принципу максимума правдоподобия с учётом их сложности. AIC позволяет сравнивать модели, оценивая, насколько хорошо они описывают наблюдаемые данные, и одновременно штрафуя за излишнее количество параметров, что предотвращает переобучение.

Определение и мотивация

При построении статистических моделей исследователь часто сталкивается с дилеммой: увеличение числа параметров всегда повышает качество подгонки на обучающей выборке, но может ухудшить предсказательную способность на новых данных (генерализующая способность). Традиционные подходы, такие как проверка гипотез, не дают единой меры для сравнения невложенных моделей, а кросс-валидация вычислительно затратна. AIC предлагает простую и теоретически обоснованную оценку расстояния Кульбака–Лейблера между истинной моделью и оцениваемой, что делает его удобным инструментом для выбора модели в задачах прогнозирования и объяснительного моделирования.

Историческая справка

Критерий был предложен японским статистиком Хиротогу Акаике в 1974 году в работе «A new look at the statistical model identification» (IEEE Transactions on Automatic Control). Акаике исходил из идей теории информации и энтропии Шеннона, показав, что максимизация логарифмического правдоподобия эквивалентна минимизации информационного расхождения между истинным распределением и оцениваемой моделью.

Теоретические основы

Пусть имеется истинная модель g(\mathbf{x}) и кандидатная модель f(\mathbf{x} \mid \boldsymbol{\theta}) с K параметрами. Расстояние Кульбака–Лейблера между ними:

D_{KL}(g \parallel f) = \int g(\mathbf{x}) \ln \frac{g(\mathbf{x})}{f(\mathbf{x} \mid \boldsymbol{\theta})} \, d\mathbf{x} = \mathbb{E}_g[\ln g(\mathbf{x})] - \mathbb{E}_g[\ln f(\mathbf{x} \mid \boldsymbol{\theta})].

Первое слагаемое одинаково для всех моделей, поэтому минимизация D_{KL} эквивалентна максимизации \mathbb{E}_g[\ln f(\mathbf{x} \mid \boldsymbol{\theta})] — среднего логарифма правдоподобия по истинному распределению. Акаике показал, что максимум логарифмического правдоподобия \ln L(\hat{\boldsymbol{\theta}} \mid \mathbf{y}) является смещённой оценкой этого математического ожидания, и смещение примерно равно числу параметров K. Отсюда получается несмещённая оценка:

\widehat{\mathbb{E}_g[\ln f]} = \ln L(\hat{\boldsymbol{\theta}} \mid \mathbf{y}) - K.

Умножив на -2 (по историческим причинам, чтобы согласовать с распределением \chi^2), получают:

AIC = -2 \ln L(\hat{\boldsymbol{\theta}} \mid \mathbf{y}) + 2K.

Штраф 2K — это плата за неопределённость оценки параметров; каждый дополнительный параметр увеличивает AIC на 2, что эквивалентно требованию улучшения логарифмического правдоподобия как минимум на 1 (поскольку -2\Delta \ln L > 2 означает \Delta \ln L > 1).

Интерпретация и применение

AIC является относительной мерой качества модели. Чем меньше значение AIC, тем лучше модель. При сравнении нескольких моделей вычисляют разности \Delta_i = AIC_i - AIC_{min}. Эмпирическое правило:

  • \Delta_i \le 2 — модели практически эквивалентны;
  • 4 \le \Delta_i \le 7 — различие заметно;
  • \Delta_i > 10 — модель существенно хуже, её можно исключить из рассмотрения.

Важно, что AIC позволяет сравнивать только модели, построенные на одной и той же выборке и с одинаковым набором наблюдений (зависимая переменная должна быть идентичной). При сравнении моделей с разным числом параметров предпочтение отдаётся модели с меньшим AIC.

Пример

Пусть для данных подбираются линейная регрессия с 2 параметрами (AIC=120) и полиномиальная модель с 5 параметрами (AIC=115). Разность \Delta=5 указывает на умеренное преимущество полиномиальной модели; если \Delta>10, выбор был бы очевидным.

Модификации

  • AICc (исправленный AIC для малых выборок) — вводит дополнительный штраф, зависящий от объёма выборки n: 
 AICc = AIC + \frac{2K(K+1)}{n - K - 1}.
 Рекомендуется использовать при n/K < 40. Разработан Сугиурой (1978).
  • QAIC (Quasi-AIC) — для данных с передисперсией (например, в экологических моделях). Заменяет логарифмическое правдоподобие на квази-правдоподобие и вводит коэффициент дисперсии \hat{c}: 
 QAIC = -2 \ln L / \hat{c} + 2K.
 Используется, когда распределение данных не соответствует стандартным семействам (например, биномиальное с избыточной вариативностью).

Ограничения

  • Несостоятельность: AIC не стремится к выбору истинной модели с вероятностью 1 при n \to \infty (в отличие от BIC), а склонен выбирать модели с избыточным числом параметров, если они дают сколь угодно малое улучшение правдоподобия. Это свойство называют асимптотической неэффективностью в смысле состоятельности.
  • Неприменим для сравнения моделей с разными объёмами данных или разными зависимыми переменными (например, с логарифмическим преобразованием).
  • Чувствителен к выбору распределения; если оно специфицировано неверно, выводы могут быть ошибочными.
  • Требует, чтобы модели были оценены методом максимального правдоподобия; для других методов оценки (например, метод моментов) использование AIC не обосновано.

Сравнение с другими критериями

  • BIC (Bayesian Information Criterion, Шварц, 1978): BIC = -2 \ln L + K \ln n. Штраф растёт с объёмом выборки, поэтому BIC более консервативен и асимптотически состоятелен. При n > 8 BIC сильнее штрафует за параметры, чем AIC. BIC предпочтителен, когда истинная модель предполагается конечномерной и входит в множество кандидатов.
  • DIC (Deviance Information Criterion) — для байесовских моделей, использует апостериорное среднее отклонений.
  • WAIC (Widely Applicable Information Criterion) — полностью байесовский критерий, согласованный с кросс-валидацией leave-one-out.
  • Кросс-валидация — даёт прямую оценку ошибки прогноза, но требует многократного переобучения; при больших данных может быть предпочтительнее AIC.

Практические рекомендации

  • Если цель — прогнозирование и размер выборки мал (n/K < 40), используйте AICc.
  • Если цель — идентификация истинной структуры модели (например, отбор значимых предикторов) при большом n, предпочтительнее BIC.
  • Всегда приводите значения AIC для всех сравниваемых моделей, а также \Delta_i и веса Акаике w_i = \frac{\exp(-\Delta_i/2)}{\sum_j \exp(-\Delta_j/2)}, которые интерпретируются как вероятности того, что модель i является лучшей среди рассматриваемых (в смысле KL-расстояния).
  • Избегайте «драпировки» моделей (data dredging) — сравнение большого числа моделей без априорных гипотез повышает риск случайных находок; используйте коррекцию на множественное тестирование.

Заключение

Критерий Акаике остаётся одним из самых цитируемых инструментов в статистическом моделировании благодаря своей простоте, теоретической прозрачности и универсальности. Несмотря на разработанные позднее альтернативы, AIC сохраняет актуальность в задачах, где приоритетом является предсказательная точность, особенно при умеренных размерах выборки. Современные тенденции — интеграция AIC с методами регуляризации (LASSO, ридж-регрессия) и использование информационных критериев в глубоком обучении для выбора архитектур — расширяют область его применения.

Литература

  1. Akaike, H. (1974). A new look at the statistical model identification. IEEE Transactions on Automatic Control, 19(6), 716–723.
  2. Burnham, K. P., & Anderson, D. R. (2002). Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach. 2nd ed. Springer.
  3. McQuarrie, A. D. R., & Tsai, C.-L. (1998). Regression and Time Series Model Selection. World Scientific.
  4. Konishi, S., & Kitagawa, G. (2008). Information Criteria and Statistical Modeling. Springer.
  5. Claeskens, G., & Hjort, N. L. (2008). Model Selection and Model Averaging. Cambridge University Press.

Полный промпт, использованный при создании этой статьи, доступен на странице обсуждения.

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9A%D1%80%D0%B8%D1%82%D0%B5%D1%80%D0%B8%D0%B9_%D0%90%D0%BA%D0%B0%D0%B8%D0%BA%D0%B5»
Личные инструменты