Вычисление гиперпараметров при различных гипотезах порождения данных (пример)
Материал из MachineLearning.
(Новая: == Постановка задачи == Рассмотрим следующую модель регрессии, описывающую связь между свободной и зав...) |
|||
Строка 11: | Строка 11: | ||
<tex>\theta=\(\mathbf{\theta_1, \theta_2}\)</tex>. Оценивать гиперпараметры и параметры модели будем проводить следуя байесовскому выводу, т.е. максимизируя апостериорную вероятность гиперпараметров при условии появления данных <tex>\{(\mathbf{x}_j,y_j), \;j=1...N\}</tex>: | <tex>\theta=\(\mathbf{\theta_1, \theta_2}\)</tex>. Оценивать гиперпараметры и параметры модели будем проводить следуя байесовскому выводу, т.е. максимизируя апостериорную вероятность гиперпараметров при условии появления данных <tex>\{(\mathbf{x}_j,y_j), \;j=1...N\}</tex>: | ||
- | <center><tex></tex></center>, | + | <center><tex>p\(\theta|D\)=\frac{p\(D|\theta\)p\(\theta\)}{\int{p\(D|\theta\)p\(\theta\)d\theta}}\propto p\(D|\theta\)\to\max\(\theta\).</tex></center> |
+ | |||
+ | Используя формула Байеса, это выражение можно записать в виде интеграла по значениям параметров модели <tex>\mathbf{w}</tex> |
Версия 18:55, 14 декабря 2010
Постановка задачи
Рассмотрим следующую модель регрессии, описывающую связь между свободной и зависимой переменными
где . Будем считать, что ошибка это случайная величина из параметрического семейства распределений, у которого существует дважды непрерывно дифференцируемая плотность , с параметром . Относительно весов , которые будем называть параметрами модели, сделаем аналогичные предположения, т.е. что , с параметром . Гиперпараметрами модели будем называть пару параметров указанных выше распределений . Оценивать гиперпараметры и параметры модели будем проводить следуя байесовскому выводу, т.е. максимизируя апостериорную вероятность гиперпараметров при условии появления данных :
Используя формула Байеса, это выражение можно записать в виде интеграла по значениям параметров модели