Вычисление гиперпараметров при различных гипотезах порождения данных (пример)
Материал из MachineLearning.
| Строка 9: | Строка 9: | ||
Относительно весов <tex>\mathbf{w}</tex>, которые будем называть параметрами модели, сделаем аналогичные | Относительно весов <tex>\mathbf{w}</tex>, которые будем называть параметрами модели, сделаем аналогичные | ||
предположения, т.е. что <tex>\mathbf{w}\in\mathbf{g(x, \theta_2)}</tex>, с параметром <tex>\mathbf{\theta_2}\in\mathbb{R}^{k_2}</tex>. Гиперпараметрами модели будем называть пару параметров указанных выше распределений | предположения, т.е. что <tex>\mathbf{w}\in\mathbf{g(x, \theta_2)}</tex>, с параметром <tex>\mathbf{\theta_2}\in\mathbb{R}^{k_2}</tex>. Гиперпараметрами модели будем называть пару параметров указанных выше распределений | ||
| - | <tex>\theta=\(\mathbf{\theta_1, \theta_2}\)</tex>. Оценивать гиперпараметры и параметры модели будем | + | <tex>\theta=\(\mathbf{\theta_1, \theta_2}\)</tex>. Оценивать гиперпараметры и параметры модели будем следуя байесовскому выводу, т.е. максимизируя апостериорную вероятность гиперпараметров при условии появления данных <tex>\{(\mathbf{x}_j,y_j), \;j=1...N\}</tex>: |
| - | <center><tex>p\(\theta|D\)=\frac{p\(D|\theta\)p\(\theta\)}{\int{p\(D|\theta\)p\(\theta\)d\theta}}\propto p\(D|\theta\)\to\max\(\theta\).</tex></center> | + | <center><tex>p\(\mathbf{\theta}|D\)=\frac{p\(D|\mathbf{\theta\})p\(\mathbf{\theta}\)}{\int{p\(D|\mathbf{\theta}\)p\(\mathbf{\theta}\)d\mathbf{\theta}}}} |
| + | \propto p\(D|\mathbf{\theta}\)\to\max\(\mathbf{\theta\}).</tex></center> | ||
| - | Используя формула Байеса, это выражение можно записать в виде интеграла по значениям параметров модели <tex>\mathbf{w}</tex> | + | Используя формула Байеса, это выражение можно записать в виде интеграла по значениям параметров модели <tex>\mathbf{w}</tex>: |
| + | |||
| + | <center><tex>\int{d\mathbf{}w} | ||
| + | |||
| + | p\(\theta|D\)=\frac{p\(D|\theta\)p\(\theta\)}{\int{p\(D|\theta\)p\(\theta\)d\theta}}\propto p\(D|\theta\)\to\max\(\theta\).</tex></center> | ||
Версия 18:59, 14 декабря 2010
Постановка задачи
Рассмотрим следующую модель регрессии, описывающую связь между свободной и зависимой переменными
где . Будем считать, что ошибка
это случайная величина из параметрического семейства распределений, у которого существует дважды непрерывно
дифференцируемая плотность
, с параметром
.
Относительно весов
, которые будем называть параметрами модели, сделаем аналогичные
предположения, т.е. что
, с параметром
. Гиперпараметрами модели будем называть пару параметров указанных выше распределений
. Оценивать гиперпараметры и параметры модели будем следуя байесовскому выводу, т.е. максимизируя апостериорную вероятность гиперпараметров при условии появления данных
:
Используя формула Байеса, это выражение можно записать в виде интеграла по значениям параметров модели :
