Критерий Акаике

Материал из MachineLearning.

(Различия между версиями)

Перейти к: навигация, поиск

Текущая версия

Статья написана с использованием LLM DeepSeek-V3 и проверена участником ~~Ilia Vdovin~~

Содержание

1 Критерий Акаике (AIC)

Критерий Акаике (AIC)

Критерий Акаике (AIC — от англ. Akaike Information Criterion) — один из наиболее распространённых информационных критериев для выбора статистических моделей по принципу максимума правдоподобия с учётом их сложности. AIC оценивает, насколько хорошо модель будет предсказывать новые данные, и штрафует за излишнее количество параметров, предотвращая переобучение.

Определение и мотивация

При построении статистических моделей возникает фундаментальная проблема: увеличение числа параметров всегда улучшает качество подгонки на обучающей выборке, но может ухудшить предсказания на новых данных. Классические подходы (проверка гипотез) не дают единой меры для сравнения невложенных моделей, а кросс-валидация вычислительно затратна.

AIC решает эту проблему, предлагая теоретически обоснованную оценку расстояния Кульбака–Лейблера между истинным распределением данных и оцениваемой моделью. Ключевая идея: Акаике показал, что максимизация логарифмического правдоподобия эквивалентна минимизации информационной потери при предсказании новых наблюдений.

Историческая справка

Критерий был предложен японским статистиком Хиротогу Акаике в 1974 году в работе «A new look at the statistical model identification» (IEEE Transactions on Automatic Control) [1]. Акаике исходил из идей теории информации Клода Шеннона и использовал энтропию как меру неопределённости.

В своём подходе Акаике соединил две области — теорию информации и математическую статистику, показав, что максимизация логарифмического правдоподобия на обучающей выборке даёт смещённую оценку предсказательной способности модели, и это смещение можно скорректировать.

Теоретические основы

Вывод через KL-дивергенцию

Пусть $g(x)$ — истинное распределение данных (неизвестное), а $f(x \mid \theta)$ — кандидатная модель с вектором параметров $\theta$ размерности $K$ . Расстояние Кульбака–Лейблера (KL-дивергенция) между ними определяется как:

$D_{KL}(g \parallel f) = \int g(x) \ln \frac{g(x)}{f(x \mid \theta)} \, dx = \mathbb{E}_g[\ln g(x)] - \mathbb{E}_g[\ln f(x \mid \theta)].$

Важное замечание: KL-дивергенция $D_{KL}(g \parallel f)$ несимметрична: $D_{KL}(g \parallel f) \neq D_{KL}(f \parallel g)$ , поэтому она не является метрическим расстоянием в строгом смысле. Однако она служит естественной мерой того, насколько модель $f$ «удалена» от истинного распределения $g$ .

Первое слагаемое $\mathbb{E}_g[\ln g(x)]$ одинаково для всех моделей, поэтому минимизация $D_{KL}$ эквивалентна максимизации $\mathbb{E}_g[\ln f(x \mid \theta)]$ — среднего логарифма правдоподобия по истинному распределению.

Основная идея Акаике

Акаике рассуждал следующим образом. Если бы мы знали истинное распределение $g(x)$ , то лучшая модель соответствовала бы максимуму $\mathbb{E}_g[\ln f(x \mid \theta)]$ . Однако $g(x)$ неизвестна, и мы можем лишь оценить параметры $\theta$ по обучающей выборке $y = (y_1, \dots, y_n)$ , получая оценку $\hat{\theta}$ .

Логарифм правдоподобия на обучающей выборке $\ln L(\hat{\theta} \mid y)$ является смещённой оценкой величины $\mathbb{E}_g[\ln f(x \mid \theta)]$ : он систематически завышает качество модели, так как параметры подгонялись под те же данные. Акаике показал, что величина смещения асимптотически равна числу параметров $K$ :

$\mathbb{E}_y\left[ \ln L(\hat{\theta} \mid y) - \mathbb{E}_g[\ln f(x \mid \theta)] \right] \approx K.$

Отсюда получается несмещённая оценка ожидаемого логарифма правдоподобия на новых данных:

$\widehat{\mathbb{E}_g[\ln f]} = \ln L(\hat{\theta} \mid y) - K.$

Умножив на $-2$ (по историческим причинам, чтобы согласовать с распределением $\chi^2$ ), получают итоговую формулу:

$AIC = -2 \ln L(\hat{\theta} \mid y) + 2K.$

Интерпретация формулы

Первое слагаемое $-2 \ln L(\hat{\theta} \mid y)$ — характеризует качество подгонки модели на обучающих данных (чем меньше, тем лучше).
Второе слагаемое $2K$ — штраф за сложность модели (каждый дополнительный параметр увеличивает AIC на 2).

Таким образом, AIC балансирует между точностью подгонки и сложностью модели. Добавление нового параметра оправдано только в том случае, если оно уменьшает $-2 \ln L$ более чем на 2.

Интерпретация и применение

AIC является относительной мерой качества модели. Абсолютное значение AIC не интерпретируется; важны лишь различия между моделями. При сравнении нескольких моделей вычисляют разности:

$\Delta_i = AIC_i - AIC_{min},$

где $AIC_{min}$ — минимальное значение среди всех рассматриваемых моделей. Эмпирическое правило:

$\Delta_i \le 2$ — модели практически эквивалентны;
$4 \le \Delta_i \le 7$ — различие заметно;
$\Delta_i > 10$ — модель существенно хуже, её можно исключить из рассмотрения.

Также вычисляют веса Акаике:

$w_i = \frac{\exp(-\Delta_i/2)}{\sum_j \exp(-\Delta_j/2)},$

которые интерпретируются как вероятности того, что модель $i$ является наилучшей среди рассматриваемых (в смысле минимизации KL-дивергенции).

Важные ограничения при применении

AIC позволяет сравнивать только модели, построенные на одной и той же выборке с одинаковым набором наблюдений.
Зависимая переменная должна быть идентичной (нельзя сравнивать модели с разными преобразованиями $y$ ).
Модели должны быть оценены методом максимального правдоподобия.

Пример

Пусть для данных подбираются линейная регрессия с 2 параметрами ( $AIC=120$ ) и полиномиальная модель с 5 параметрами ( $AIC=115$ ). Разность $\Delta=5$ указывает на умеренное преимущество полиномиальной модели. Если бы $\Delta>10$ , выбор полиномиальной модели был бы однозначным.

Модификации

AICc (исправленный AIC для малых выборок)

При малых выборках стандартный AIC может давать смещённые оценки. Сугиура (1978) предложил поправку:

$AICc = AIC + \frac{2K(K+1)}{n - K - 1}.$

Рекомендуется использовать при $n/K < 40$ . При $n \to \infty$ поправка стремится к нулю, и $AICc \to AIC$ .

QAIC (Quasi-AIC)

Для данных с передисперсией (например, в экологических моделях) используется квази-правдоподобие. Вводится коэффициент дисперсии $\hat{c}$ :

$QAIC = -2 \ln L / \hat{c} + 2K.$

Применяется, когда распределение данных не соответствует стандартным семействам (например, биномиальное с избыточной вариативностью).

Ограничения

Несостоятельность: AIC не стремится к выбору истинной модели с вероятностью 1 при $n \to \infty$ (в отличие от BIC). Если истинная модель конечномерна и входит в множество кандидатов, AIC будет выбирать модели с избыточным числом параметров, дающие сколь угодно малое улучшение правдоподобия.
Неприменим для сравнения моделей с разными объёмами выборок или разными зависимыми переменными.
Чувствителен к выбору распределения; при неверной спецификации распределения выводы могут быть ошибочными.
Требует оценки методом максимального правдоподобия.

Сравнение с другими критериями

BIC (Байесовский информационный критерий)

Предложен Шварцем (1978): $BIC = -2 \ln L + K \ln n$ . Штраф растёт с объёмом выборки, поэтому BIC более консервативен и асимптотически состоятелен. При $n > 8$ BIC штрафует за параметры сильнее, чем AIC. BIC предпочтителен, когда цель — идентификация истинной структуры модели, а не прогнозирование.

DIC и WAIC

DIC (Deviance Information Criterion) — для байесовских моделей, использует апостериорное среднее отклонений.
WAIC (Widely Applicable Information Criterion) — полностью байесовский критерий, согласованный с кросс-валидацией leave-one-out.

Кросс-валидация

Даёт прямую оценку ошибки прогноза, но требует многократного переобучения. При больших данных может быть предпочтительнее AIC. Однако AIC является асимптотически эквивалентным кросс-валидации leave-one-out.

Практические рекомендации

Если цель — прогнозирование и размер выборки мал ( $n/K < 40$ ), используйте AICc.
Если цель — идентификация истинной структуры модели при большом $n$ , предпочтительнее BIC.
Всегда приводите значения AIC для всех сравниваемых моделей, а также $\Delta_i$ и веса Акаике.
Избегайте «драпировки» моделей (data dredging) — сравнение большого числа моделей без априорных гипотез повышает риск случайных находок.

Заключение

Критерий Акаике остаётся одним из самых цитируемых инструментов в статистическом моделировании благодаря своей простоте, теоретической прозрачности и универсальности. Несмотря на разработанные позднее альтернативы, AIC сохраняет актуальность в задачах прогнозирования, особенно при умеренных размерах выборки. Современные тенденции — интеграция AIC с методами регуляризации (LASSO, ридж-регрессия) и использование информационных критериев в глубоком обучении — расширяют область его применения.

Литература

Akaike, H. (1974). A new look at the statistical model identification. IEEE Transactions on Automatic Control, 19(6), 716–723.
Burnham, K. P., & Anderson, D. R. (2002). Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach. 2nd ed. Springer.
McQuarrie, A. D. R., & Tsai, C.-L. (1998). Regression and Time Series Model Selection. World Scientific.
Konishi, S., & Kitagawa, G. (2008). Information Criteria and Statistical Modeling. Springer.
Claeskens, G., & Hjort, N. L. (2008). Model Selection and Model Averaging. Cambridge University Press.

Полный промпт, использованный при создании этой статьи, доступен на странице обсуждения.

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9A%D1%80%D0%B8%D1%82%D0%B5%D1%80%D0%B8%D0%B9_%D0%90%D0%BA%D0%B0%D0%B8%D0%BA%D0%B5»

Категории: Статистические критерии | Выбор модели | Теория информации

@@ Строка 1: / Строка 1: @@
-{{Задание|Mordasova|Константин Воронцов|15 февраля 2010}}
+{{well|Статья написана с использованием LLM '''DeepSeek-V3''' и проверена участником ~~Ilia Vdovin~~}}
-'''Критерий Акаике''' ('''Akaike's information criterion''', '''AIC''') - критерий выбора из класса параметризованных [[Регрессионная модель|регрессионных моделей]]. Акаике (Akaike) предложил критерий выбора, оценивающий модели с разным числом параметров. Критерий связан с понятием '''расстояния Кульбака — Лейблера''' (Kullback–Leibler), при помощи которого можно оценить расстояние между моделями. При применении критерия в соответствии с [[Бритва Оккама|принципом Оккама]] лучшей считается модель, в достаточной мере полно описывающая данные с наименьшим количеством параметров. Тесно связан с [[Байесовский информационный критерий|байесовским информационным критерием]], но в отличие от него содержит функцию штрафа, линейно зависящую от числа параметров.
-==Описание критерия==
-Расстояние Кульбака-Лейблера между двумя непрерывными функциями есть интеграл <tex>I(f,g)=\int{f(x)\ln{\frac{f(x)}{g(x|\theta)}}d(x)}</tex>.
-Акаике показал, что для оценки расстояния между моделями можно оценить величину <tex>E_{\hat{\theta}}\[I(f,\hat{g})\]</tex>, где <tex>\hat{\theta}</tex> - оценка вектора параметров, в который входят параметры модели и случайные величины; <tex>\hat{g}=g(\cdot|\hat{\theta})</tex>. При этом максимум логарифмической функции правдоподобия и оценка матожидания связаны следующим выражением: <tex>	\log(\mathcal{L}(\hat{\theta}|y))-K=Const-\hat{E}_{\hat{\theta}}\[I(f,\hat{g})\]</tex>,
-где <tex>K</tex> - число параметров модели, а <tex>\mathcal{L}</tex> -максимум логарифмической функция правдоподобия.
-Таким образом вместо вычисления расстояния между моделями можно ввести оценивающий критерий.<br />
-<tex>AIC = 2K-2\log(\mathcal{L}(\hat{\theta}|y))</tex><br />
+= Критерий Акаике (AIC) =
-В случае задачи [[Линейная регрессия|линейной регрессии]] можно записать критерий Акаике через SSE (Sum of Squared Errors) - сумму квадратов остатков.<br />
+'''Критерий Акаике''' ('''AIC''' — от англ. ''Akaike Information Criterion'') — один из наиболее распространённых [[информационный критерий|информационных критериев]] для [[выбор модели|выбора статистических моделей]] по принципу максимума [[функция правдоподобия|правдоподобия]] с учётом их сложности. AIC оценивает, насколько хорошо модель будет предсказывать новые данные, и штрафует за излишнее количество параметров, предотвращая [[переобучение]].
-<tex>AIC = 2K+n\[\ln(\hat{\sigma}^2)\]</tex> <br />
+== Определение и мотивация ==
-<tex>SSE=\|f(x_i)-y_i\|_2=\sum_{i=1}^N(y_i-f(w,x_i))^2</tex>;<br />
+При построении статистических моделей возникает фундаментальная проблема: увеличение числа параметров всегда улучшает качество подгонки на обучающей выборке, но может ухудшить предсказания на новых данных. Классические подходы (проверка гипотез) не дают единой меры для сравнения невложенных моделей, а [[кросс-валидация]] вычислительно затратна.
-<tex>\hat{\sigma}^2=\frac{SSE}{N-2}</tex> — дисперсия остатков;<br />
+AIC решает эту проблему, предлагая теоретически обоснованную оценку [[расстояние Кульбака–Лейблера|расстояния Кульбака–Лейблера]] между истинным распределением данных и оцениваемой моделью. Ключевая идея: Акаике показал, что максимизация логарифмического правдоподобия эквивалентна минимизации информационной потери при предсказании новых наблюдений.
-Лучшая модель соответствует минимальному значению критерия Акаике. Абсолютное значение критерия не несет в себе полезной информации.
-==Особенности применения критерия==
+== Историческая справка ==
-*Штрафование числа параметров ограничивает значительный рост сложности модели.
-*Проверка критерия является трудоемкой операцией.
-*Применяется, если известен закон распределения шума.
-*Может сравнивать модели только из одного пространства объектов.
-*Критерий Акаике не может быть применен, если модели имеют пересечения по объектам.
-*Порядок выбора моделей неважен.
-==Модификации критерия==
+Критерий был предложен японским статистиком [[Хиротогу Акаике]] в 1974 году в работе «A new look at the statistical model identification» (IEEE Transactions on Automatic Control) [1]. Акаике исходил из идей [[теория информации|теории информации]] Клода Шеннона и использовал [[энтропия|энтропию]] как меру неопределённости.
-*'''AIC<sub>c</sub>''' был предложен  для использования в задач маленькой размерности, когда <tex>\frac{n}{k}\leq 40</tex>. При решении более общих задач большей размерности рекомендуется использовать AIC. В то же время, при больших значениях <tex>\frac{n}{K}</tex> использование двух критериев равно возможно. Особенность критерия AIC<sub>c</sub> заключается в том, что функция штрафа умножается на поправочный коэффициент. <br />
-<tex>AIC_c=AIC+\frac{2k(k+1)}{n-k-1}</tex> <br /><br />
-<tex>AIC_c=\ln\frac{RSS}{n}+\frac{n+k}{n-k-2}</tex>
-*'''QAIC''' следует использовать в тех случаях, когда среднее отклонение превышает дисперсию. В таких ситуациях используется более общая модель, которая получается из рассматриваемой добавлением параметра <tex>c\in\[1;4\]</tex>. <br >
-Если <tex>c<1</tex>, то его следует заменить на <tex>\tilde c = 1</tex>. При <tex>c=1</tex> QAIC сводится к AIC.<br />
-<tex>QAIC = 2k-\frac{\ln(L)}{c}</tex><br /><br />
-<tex>QAIC_c = QAIC+\frac{2k(k+1)}{n-k-1}</tex>
-==См. также==
+В своём подходе Акаике соединил две области — теорию информации и математическую статистику, показав, что максимизация логарифмического правдоподобия на обучающей выборке даёт смещённую оценку предсказательной способности модели, и это смещение можно скорректировать.
-*[[Байесовский информационный критерий]]
-*[[Многомерная линейная регрессия]]
-*[[Линейная регрессия]]
-==Литература==
-#[http://en.wikipedia.org/wiki/Akaike_information_criterion Akaike's information criterion on Wikipedia]
-#{{книга
+== Теоретические основы ==
-|автор         = Akaike, H.
-|заглавие      = A new look at the statistical model identification
+=== Вывод через KL-дивергенцию ===
-|ссылка        = http://ieeexplore.ieee.org/search/wrapper.jsp?arnumber=1100705
-|издание       = IEEE Transactions on Automatic Control
+Пусть <tex>g(x)</tex> — истинное распределение данных (неизвестное), а <tex>f(x \mid \theta)</tex> — кандидатная модель с вектором параметров <tex>\theta</tex> размерности <tex>K</tex>. [[Расстояние Кульбака–Лейблера]] (KL-дивергенция) между ними определяется как:
-|год           = 1974
-|том           = 19
+<tex>D_{KL}(g \parallel f) = \int g(x) \ln \frac{g(x)}{f(x \mid \theta)} \, dx = \mathbb{E}_g[\ln g(x)] - \mathbb{E}_g[\ln f(x \mid \theta)].</tex>
-|страниц       = 716--723
-}}
+'''Важное замечание:''' KL-дивергенция <tex>D_{KL}(g \parallel f)</tex> несимметрична: <tex>D_{KL}(g \parallel f) \neq D_{KL}(f \parallel g)</tex>, поэтому она не является метрическим расстоянием в строгом смысле. Однако она служит естественной мерой того, насколько модель <tex>f</tex> «удалена» от истинного распределения <tex>g</tex>.
-#{{книга
-|автор         = Liddle A. R.
+Первое слагаемое <tex>\mathbb{E}_g[\ln g(x)]</tex> одинаково для всех моделей, поэтому минимизация <tex>D_{KL}</tex> эквивалентна максимизации <tex>\mathbb{E}_g[\ln f(x \mid \theta)]</tex> — среднего логарифма правдоподобия по истинному распределению.
-|заглавие      = Information criteria for astrophysical model selection
-|ссылка        = http://xxx.adelaide.edu.au/PS_cache/astro-ph/pdf/0701/0701113v2.pdf
+=== Основная идея Акаике ===
-|издание       = Advances in Neural Information Processing Systems
-|издательство  = Astronomy Centre, University of Sussex
+Акаике рассуждал следующим образом. Если бы мы знали истинное распределение <tex>g(x)</tex>, то лучшая модель соответствовала бы максимуму <tex>\mathbb{E}_g[\ln f(x \mid \theta)]</tex>. Однако <tex>g(x)</tex> неизвестна, и мы можем лишь оценить параметры <tex>\theta</tex> по обучающей выборке <tex>y = (y_1, \dots, y_n)</tex>, получая оценку <tex>\hat{\theta}</tex>.
-|год           = 2008
-}}
+Логарифм правдоподобия на обучающей выборке <tex>\ln L(\hat{\theta} \mid y)</tex> является ''смещённой'' оценкой величины <tex>\mathbb{E}_g[\ln f(x \mid \theta)]</tex>: он систематически завышает качество модели, так как параметры подгонялись под те же данные. Акаике показал, что величина смещения асимптотически равна числу параметров <tex>K</tex>:
-#{{книга
-|автор        = Burnham K. P., Anderson D.R.
+<tex>\mathbb{E}_y\left[ \ln L(\hat{\theta} \mid y) - \mathbb{E}_g[\ln f(x \mid \theta)] \right] \approx K.</tex>
-|заглавие     = Model selection and multimodel inference: a practical information-theoretic approach
-|издание      = 2-е изд
+Отсюда получается несмещённая оценка ожидаемого логарифма правдоподобия на новых данных:
-|издательство = Springer
-|год          = 2002
+<tex>\widehat{\mathbb{E}_g[\ln f]} = \ln L(\hat{\theta} \mid y) - K.</tex>
-|страниц      = 488
-|ссылка       = http://books.google.ru/books?id=BQYR6js0CC8C&dq=Model+selection+and+multimodel+inference&source=gbs_navlinks_s
+Умножив на <tex>-2</tex> (по историческим причинам, чтобы согласовать с [[хи-квадрат|распределением <tex>\chi^2</tex>]]), получают итоговую формулу:
-|isbn         = 0387953647
-}}
+<tex>AIC = -2 \ln L(\hat{\theta} \mid y) + 2K.</tex>
-#{{книга
-|автор        = McQuarrie A. D. R., Tsai C. L.
+=== Интерпретация формулы ===
-|заглавие     = Regression and time series model selection
-|издательство = World Scientific
+* Первое слагаемое <tex>-2 \ln L(\hat{\theta} \mid y)</tex> — характеризует качество подгонки модели на обучающих данных (чем меньше, тем лучше).
-|год          = 1998
+* Второе слагаемое <tex>2K</tex> — штраф за сложность модели (каждый дополнительный параметр увеличивает AIC на 2).
-|страниц      = 455
-|ссылка       = http://books.google.ru/books?id=INw5s0jA14wC&printsec=frontcover&dq=Regression+and+time+series+model+selectio&ei=6dVyS8jKI5C8yQTHy8WlBQ&cd=1#v=onepage&q=&f=false
+Таким образом, AIC балансирует между точностью подгонки и сложностью модели. Добавление нового параметра оправдано только в том случае, если оно уменьшает <tex>-2 \ln L</tex> более чем на 2.
-|isbn         = 981023242X
-}}
+== Интерпретация и применение ==
-#{{книга
-|автор         = Бидюк П.И., Зворыгина Т.Ф.
+AIC является ''относительной'' мерой качества модели. Абсолютное значение AIC не интерпретируется; важны лишь различия между моделями. При сравнении нескольких моделей вычисляют разности:
-|заглавие      = Cтруктурный анализ методик построения регрессионных моделей по временным рядам наблюдений
-|ссылка        = http://www.gmdh.net/articles/usim/Bidyuk.pdf
+<tex>\Delta_i = AIC_i - AIC_{min},</tex>
-}}
+где <tex>AIC_{min}</tex> — минимальное значение среди всех рассматриваемых моделей. Эмпирическое правило:
+* <tex>\Delta_i \le 2</tex> — модели практически эквивалентны;
+* <tex>4 \le \Delta_i \le 7</tex> — различие заметно;
+* <tex>\Delta_i > 10</tex> — модель существенно хуже, её можно исключить из рассмотрения.
+Также вычисляют '''веса Акаике''':
+<tex>w_i = \frac{\exp(-\Delta_i/2)}{\sum_j \exp(-\Delta_j/2)},</tex>
+которые интерпретируются как вероятности того, что модель <tex>i</tex> является наилучшей среди рассматриваемых (в смысле минимизации KL-дивергенции).
+=== Важные ограничения при применении ===
+* AIC позволяет сравнивать только модели, построенные на '''одной и той же''' выборке с одинаковым набором наблюдений.
+* Зависимая переменная должна быть идентичной (нельзя сравнивать модели с разными преобразованиями <tex>y</tex>).
+* Модели должны быть оценены [[метод максимального правдоподобия|методом максимального правдоподобия]].
+=== Пример ===
+Пусть для данных подбираются линейная регрессия с 2 параметрами (<tex>AIC=120</tex>) и полиномиальная модель с 5 параметрами (<tex>AIC=115</tex>). Разность <tex>\Delta=5</tex> указывает на умеренное преимущество полиномиальной модели. Если бы <tex>\Delta>10</tex>, выбор полиномиальной модели был бы однозначным.
+== Модификации ==
+=== AICc (исправленный AIC для малых выборок) ===
+При малых выборках стандартный AIC может давать смещённые оценки. Сугиура (1978) предложил поправку:
+<tex>AICc = AIC + \frac{2K(K+1)}{n - K - 1}.</tex>
+Рекомендуется использовать при <tex>n/K < 40</tex>. При <tex>n \to \infty</tex> поправка стремится к нулю, и <tex>AICc \to AIC</tex>.
+=== QAIC (Quasi-AIC) ===
+Для данных с [[передисперсия|передисперсией]] (например, в экологических моделях) используется квази-правдоподобие. Вводится коэффициент дисперсии <tex>\hat{c}</tex>:
+<tex>QAIC = -2 \ln L / \hat{c} + 2K.</tex>
+Применяется, когда распределение данных не соответствует стандартным семействам (например, [[биномиальное распределение|биномиальное]] с избыточной вариативностью).
+== Ограничения ==
+* '''Несостоятельность''': AIC не стремится к выбору истинной модели с вероятностью 1 при <tex>n \to \infty</tex> (в отличие от [[байесовский информационный критерий|BIC]]). Если истинная модель конечномерна и входит в множество кандидатов, AIC будет выбирать модели с избыточным числом параметров, дающие сколь угодно малое улучшение правдоподобия.
+* Неприменим для сравнения моделей с разными объёмами выборок или разными зависимыми переменными.
+* Чувствителен к выбору распределения; при неверной спецификации распределения выводы могут быть ошибочными.
+* Требует оценки методом максимального правдоподобия.
+== Сравнение с другими критериями ==
+=== BIC (Байесовский информационный критерий) ===
+Предложен Шварцем (1978): <tex>BIC = -2 \ln L + K \ln n</tex>. Штраф растёт с объёмом выборки, поэтому BIC более консервативен и асимптотически состоятелен. При <tex>n > 8</tex> BIC штрафует за параметры сильнее, чем AIC. BIC предпочтителен, когда цель — идентификация истинной структуры модели, а не прогнозирование.
+=== DIC и WAIC ===
+* '''[[DIC]]''' (Deviance Information Criterion) — для байесовских моделей, использует апостериорное среднее отклонений.
+* '''[[WAIC]]''' (Widely Applicable Information Criterion) — полностью байесовский критерий, согласованный с [[кросс-валидация|кросс-валидацией]] leave-one-out.
+=== Кросс-валидация ===
+Даёт прямую оценку ошибки прогноза, но требует многократного переобучения. При больших данных может быть предпочтительнее AIC. Однако AIC является асимптотически эквивалентным кросс-валидации leave-one-out.
+== Практические рекомендации ==
+* Если цель — прогнозирование и размер выборки мал (<tex>n/K < 40</tex>), используйте AICc.
+* Если цель — идентификация истинной структуры модели при большом <tex>n</tex>, предпочтительнее BIC.
+* Всегда приводите значения AIC для всех сравниваемых моделей, а также <tex>\Delta_i</tex> и веса Акаике.
+* Избегайте «драпировки» моделей (data dredging) — сравнение большого числа моделей без априорных гипотез повышает риск случайных находок.
+== Заключение ==
+Критерий Акаике остаётся одним из самых цитируемых инструментов в статистическом моделировании благодаря своей простоте, теоретической прозрачности и универсальности. Несмотря на разработанные позднее альтернативы, AIC сохраняет актуальность в задачах прогнозирования, особенно при умеренных размерах выборки. Современные тенденции — интеграция AIC с методами регуляризации ([[LASSO]], [[ридж-регрессия]]) и использование информационных критериев в глубоком обучении — расширяют область его применения.
+== Литература ==
+# Akaike, H. (1974). A new look at the statistical model identification. ''IEEE Transactions on Automatic Control'', 19(6), 716–723.
+# Burnham, K. P., & Anderson, D. R. (2002). ''Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach''. 2nd ed. Springer.
+# McQuarrie, A. D. R., & Tsai, C.-L. (1998). ''Regression and Time Series Model Selection''. World Scientific.
+# Konishi, S., & Kitagawa, G. (2008). ''Information Criteria and Statistical Modeling''. Springer.
+# Claeskens, G., & Hjort, N. L. (2008). ''Model Selection and Model Averaging''. Cambridge University Press.
+Полный промпт, использованный при создании этой статьи, доступен на [[Обсуждение:Критерий Акаике|странице обсуждения]].
+[[Категория:Статистические критерии]]
+[[Категория:Выбор модели]]
+[[Категория:Теория информации]]