Вычисление гиперпараметров при различных гипотезах порождения данных (пример)

Материал из MachineLearning.

Перейти к: навигация, поиск

Постановка задачи

Рассмотрим следующую модель регрессии, описывающую связь между свободной и зависимой переменными

y= \mathbf{w}^T\mathbf{x} + \nu
,

где y\in\mathbb{R},\; \mathbf{w},\; \mathbf{x}\in\mathbb{R}^n. Будем считать, что ошибка это случайная величина из параметрического семейства распределений, у которого существует дважды непрерывно дифференцируемая плотность \mathbf{f(x, \theta_1)}, с параметром \mathbf{\theta_1}\in\mathbb{R}^{k_1}. Относительно весов \mathbf{w}, которые будем называть параметрами модели, сделаем аналогичные предположения, т.е. что \mathbf{w}\in\mathbf{g(x, \theta_2)}, с параметром \mathbf{\theta_2}\in\mathbb{R}^{k_2}. Гиперпараметрами модели будем называть пару параметров указанных выше распределений \theta=\(\mathbf{\theta_1, \theta_2}\). Оценивать гиперпараметры и параметры модели будем проводить следуя байесовскому выводу, т.е. максимизируя апостериорную вероятность гиперпараметров при условии появления данных \{(\mathbf{x}_j,y_j), \;j=1...N\}:

p\(\theta|D\)=\frac{p\(D|\theta\)p\(\theta\)}{\int{p\(D|\theta\)p\(\theta\)d\theta}}\propto p\(D|\theta\)\to\max\(\theta\).

Используя формула Байеса, это выражение можно записать в виде интеграла по значениям параметров модели \mathbf{w}

Личные инструменты