Байесовский информационный критерий
Материал из MachineLearning.
м (→См. также) |
м (→Литература) |
||
| Строка 56: | Строка 56: | ||
|год = 1998 | |год = 1998 | ||
|страниц = 455 | |страниц = 455 | ||
| - | |ссылка = http://books.google.ru/books?id= | + | |ссылка = http://books.google.ru/books?id=INw5s0jA14wC&printsec=frontcover&dq=Regression+and+time+series+model+selectio&ei=6dVyS8jKI5C8yQTHy8WlBQ&cd=1#v=onepage&q=&f=false |
|isbn = 981023242X | |isbn = 981023242X | ||
}} | }} | ||
Версия 15:52, 10 февраля 2010
| Данная статья является непроверенным учебным заданием.
До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}. См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе. |
Байесовский информационный критерий (Bayesian information criterion, BIC, иногда - Schwarz Criterion) - критерий выбора из класса параметризованных моделей, зависящих от разного числа параетров. Задача выбора модели для оптимизации байесовского критерия может быть рассмотрена как форма регуляризации. Параметры модели обычно оцениваются нахождением максимума функции правдоподобия, значение которого можно увеличить добавлением дополнительных параметров, что, однако, может вызвать переобучение. Байесовский критерий устраняет проблему переобучения, штрафную увеличение числа параметров модели. Тесно связан с критерием Акаике, но в случае байесовского критерия увеличение параметров штрафуется строже.
Содержание |
Описание критерия
Пусть - наблюдаемая часть выборки, где каждый объект характеризуется набором параметров
.
- функция правдоподобия наблюдаемой выборки с известным числом параметров,
- максимальное значение функции правдоподобия.
Также байесовский критерий выражается через RSS - остаточную сумму квадратов ошибок модели - и - дисперсию шума.
Особенности примения
- Из двух моделей предпочтительно выбрать с меньшим значением байесовского критерия.
- Байесовский критерий представляет собой возрастающую функцию от числа параметров модели и от остаточной суммы квадратов ошибок модели.
- Изменение зависимых переменных и увеличение числа наблюдаемых увеличивает байесовский критерий,в то же время уменьшение критерия означает уменьшение размерности модели.
- Используется при длинных выборках данных.
Области применения
Широко применяется для анализа временных рядов и решения задач линейной регрессии. В большинстве случаев применение байесовского критерия сводится к максимизации функции правдоподобия, поскольку, как правило, в этих исследованиях число параметров моделей совпадает с числом рассматриваемых моделей.
К таким исследованиям можно отнести, например, задачи астрофизики: поиск абсолютно черного тела и нахождение спектра излучения.
См. также
Литература
- Bayesian information criterion on Wikipedia
- Schwarz, G. Estimating the dimension of a model. — Annals of Statistics. — 1978 T. 6. — 461--464 с.
- Liddle A. R. Information criteria for astrophysical model selection. — Advances in Neural Information Processing Systems. — Astronomy Centre, University of Sussex, 2008.
- Burnham K. P., Anderson D.R. Model selection and multimodel inference: a practical information-theoretic approach. — 2-е изд. — Springer, 2002. — 488 с. — ISBN 0387953647
- McQuarrie A. D. R., Tsai C. L. Regression and time series model selection. — World Scientific, 1998. — 455 с. — ISBN 981023242X
- Бидюк П.И., Зворыгина Т.Ф. Cтруктурный анализ методик построения регрессионных моделей по временным рядам наблюдений.
