Байесовский информационный критерий

Материал из MachineLearning.

(Различия между версиями)

Mordasova (Обсуждение | вклад)
(Новая: {{Задание|Mordasova|Константин Воронцов|15 февраля 2010}} '''Байесовский информационный критерий''' ('''Bayesian informat...)
К следующему изменению →

Версия 14:32, 10 февраля 2010

Данная статья является непроверенным учебным заданием.

Студент: Участник:Mordasova

Преподаватель: Участник:Константин Воронцов

Срок: 15 февраля 2010

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.

Байесовский информационный критерий (Bayesian information criterion, BIC, иногда - Schwarz Criterion) - критерий выбора из класса параметризованных моделей, зависящих от разного числа параетров. Задача выбора модели для оптимизации байесовского критерия может быть рассмотрена как форма регуляризации. Параметры модели обычно оцениваются нахождением максимума функции правдоподобия, значение которого можно увеличить добавлением дополнительных параметров, что, однако, может вызвать переобучение. Байесовский критерий устраняет проблему переобучения, штрафную увеличение числа параметров модели. Тесно связан с критерием Акаике, но в случае байесовского критерия увеличение параметров штрафуется строже.

Описание критерия

Пусть $X = \{x_i\}^{n}_{i=1}$ - наблюдаемая часть выборки, где каждый объект характеризуется набором параметров $x_i=(x_{i_1},...,x_{i_k})$ .
$p(x|k)$ - функция правдоподобия наблюдаемой выборки с известным числом параметров, $L$ - максимальное значение функции правдоподобия.
$BIC = -2\ln(L)+k\ln(n)$
Также байесовский критерий выражается через RSS - остаточную сумму квадратов ошибок модели - и $\sigma^2$ - дисперсию шума.
$BIC=RSS/\sigma^2+k\ln(n)$

Особенности примения

Из двух моделей предпочтительно выбрать с меньшим значением байесовского критерия.
Байесовский критерий представляет собой возрастающую функцию от числа параметров модели и от остаточной суммы квадратов ошибок модели.
Изменение зависимых переменных и увеличение числа наблюдаемых увеличивает байесовский критерий,в то же время уменьшение критерия означает уменьшение размерности модели.
Используется при длинных выборках данных.

Области применения

Широко применяется для анализа временных рядов и решения задач линейной регрессии. В большинстве случаев применение байесовского критерия сводится к максимизации функции правдоподобия, поскольку как правило в этих исследованиях число параметров совпадает с числом рассматриваемых моделей.
К таким исследованиям можно отнести задачи астрофизики: поиск абсолютно черного тела и нахождение спектра излучения.