Материал из MachineLearning.
Постановка задачи
Рассмотрим следующую модель регрессии, описывающую связь между свободной и зависимой переменными
,
где 
. Будем считать, что ошибка
это случайная величина из параметрического семейства распределений, у которого существует дважды непрерывно
дифференцируемая плотность })
, с параметром 
.
Относительно весов 
, которые будем называть параметрами модели, сделаем аналогичные
предположения, т.е. что })
, с параметром 
. Гиперпараметрами модели будем называть пару параметров указанных выше распределений
)
. Оценивать гиперпараметры и параметры модели будем проводить следуя байесовскому выводу, т.е. максимизируя апостериорную вероятность гиперпараметров при условии появления данных , \;j=1...N\})
:
=\frac{p\(D|\theta\)p\(\theta\)}{\int{p\(D|\theta\)p\(\theta\)d\theta}}\propto p\(D|\theta\)\to\max\(\theta\).)
Используя формула Байеса, это выражение можно записать в виде интеграла по значениям параметров модели
