Вычисление гиперпараметров при различных гипотезах порождения данных (пример)
Материал из MachineLearning.
Постановка задачи
Рассмотрим следующую модель регрессии, описывающую связь между свободной и зависимой переменными
где . Будем считать, что ошибка
это случайная величина из параметрического семейства распределений, у которого существует дважды непрерывно
дифференцируемая плотность
, с параметром
.
Относительно весов
, которые будем называть параметрами модели, сделаем аналогичные
предположения, т.е. что
, с параметром
. Гиперпараметрами модели будем называть пару параметров указанных выше распределений
. Оценивать гиперпараметры и параметры модели будем проводить следуя байесовскому выводу, т.е. максимизируя апостериорную вероятность гиперпараметров при условии появления данных
:
Используя формула Байеса, это выражение можно записать в виде интеграла по значениям параметров модели