Вычисление гиперпараметров при различных гипотезах порождения данных (пример)
Материал из MachineLearning.
| Строка 8: | Строка 8: | ||
дифференцируемая плотность <tex>\mathbf{f(x, \theta_1)}</tex>, с параметром <tex>\mathbf{\theta_1}\in\mathbb{R}^{k_1}</tex>. | дифференцируемая плотность <tex>\mathbf{f(x, \theta_1)}</tex>, с параметром <tex>\mathbf{\theta_1}\in\mathbb{R}^{k_1}</tex>. | ||
Относительно весов <tex>\mathbf{w}</tex>, которые будем называть параметрами модели, сделаем аналогичные | Относительно весов <tex>\mathbf{w}</tex>, которые будем называть параметрами модели, сделаем аналогичные | ||
| - | предположения, т.е. что <tex>\mathbf{w}\in\mathbf{g(x, \theta_2)}</tex>, с параметром <tex>\mathbf{\theta_2}\in\mathbb{R}^{k_2}</tex>. Гиперпараметрами модели будем называть пару параметров указанных выше распределений | + | предположения, т.е. что <tex>\mathbf{w}\in\mathbf{g(x, \theta_2)}</tex>, с параметром <tex>\mathbf{\theta_2}\in\mathbb{R}^{k_2}</tex>. |
| + | |||
| + | == Оценка гиперпараметров == | ||
| + | |||
| + | Гиперпараметрами модели будем называть пару параметров указанных выше распределений | ||
<tex>\theta=\(\mathbf{\theta_1, \theta_2}\)</tex>. Оценивать гиперпараметры и параметры модели будем следуя байесовскому выводу, т.е. максимизируя апостериорную вероятность гиперпараметров при условии появления данных <tex>\{(\mathbf{x}_j,y_j), \;j=1...N\}</tex>: | <tex>\theta=\(\mathbf{\theta_1, \theta_2}\)</tex>. Оценивать гиперпараметры и параметры модели будем следуя байесовскому выводу, т.е. максимизируя апостериорную вероятность гиперпараметров при условии появления данных <tex>\{(\mathbf{x}_j,y_j), \;j=1...N\}</tex>: | ||
| - | <center><tex>p\(\mathbf{\theta}|D\)=\frac{p\(D|\mathbf{\theta | + | <center><tex>p\(\mathbf{\theta}|D\)=\frac{p\(D|\mathbf{\theta}\)p\(\mathbf{\theta}\)} {\int{p\(D|\mathbf{\theta}\)p\(\mathbf{\theta}\)d\mathbf{\theta}}}\propto p\(D|\mathbf{\theta}\)\to\max\(\mathbf{\theta}\).</tex></center> |
| - | \propto p\(D|\mathbf{\theta}\)\to\max\(\mathbf{\theta | + | |
Используя формула Байеса, это выражение можно записать в виде интеграла по значениям параметров модели <tex>\mathbf{w}</tex>: | Используя формула Байеса, это выражение можно записать в виде интеграла по значениям параметров модели <tex>\mathbf{w}</tex>: | ||
| - | <center><tex>\int{d\mathbf{}w} | + | <center><tex>\int{p\(D|\mathbf{\theta, w}\)p\(\mathbf{\theta}\)p\(\mathbf{w}\)d\mathbf{w}} \to\max\(\mathbf{\theta}\).</tex></center> |
| + | |||
| + | Нетрудно видеть что выражение <tex>p\(D|\mathbf{\theta, w}\)</tex> есть вероятность появления данных при конкретной модели (фиксированных параметрах и гиперпараметрах). Так как мы считаем везде, что свободные переменные даны, | ||
| + | то это есть распределение зависимой переменной <tex>y</tex>. Оно в свою очередь определяется распределением ошибки и может быть записано в виде: | ||
| - | p\( | + | <center><tex>p\(D|\mathbf{\theta, w}\)=\prod_{j=1}^N {p\(y_j|\mathbf{x}_j,\mathbf{\theta,w}\)} =\prod_{j=1}^{N}{\mathbf{f}(y_j-\mathbf{w}^T \mathbf{x}_j, \mathbf{\theta_1})}</tex></center> |
Версия 19:23, 14 декабря 2010
Постановка задачи
Рассмотрим следующую модель регрессии, описывающую связь между свободной и зависимой переменными
где . Будем считать, что ошибка
это случайная величина из параметрического семейства распределений, у которого существует дважды непрерывно
дифференцируемая плотность
, с параметром
.
Относительно весов
, которые будем называть параметрами модели, сделаем аналогичные
предположения, т.е. что
, с параметром
.
Оценка гиперпараметров
Гиперпараметрами модели будем называть пару параметров указанных выше распределений
. Оценивать гиперпараметры и параметры модели будем следуя байесовскому выводу, т.е. максимизируя апостериорную вероятность гиперпараметров при условии появления данных
:
Используя формула Байеса, это выражение можно записать в виде интеграла по значениям параметров модели :
Нетрудно видеть что выражение есть вероятность появления данных при конкретной модели (фиксированных параметрах и гиперпараметрах). Так как мы считаем везде, что свободные переменные даны,
то это есть распределение зависимой переменной
. Оно в свою очередь определяется распределением ошибки и может быть записано в виде:
