Исследование скорости сходимости параметров и гиперпараметров (пример)
Материал из MachineLearning.
(→Описание метода) |
|||
| Строка 51: | Строка 51: | ||
| - | Гиперпараметры <tex>\mathbf{\beta}</tex> и <tex>\mathbf{\alpha}</tex> находятся из условия максимизации полученной функции правдоподобия: | + | Гиперпараметры <tex>\mathbf{\beta}</tex> и <tex>\mathbf{\alpha}</tex> находятся итерационно из условия максимизации полученной функции правдоподобия: |
| - | При <tex>A^{-1}=diag(\mathbf{\alpha})</tex> | + | При <tex>A^{-1}=diag(\mathbf{\alpha})=diag(\alpha_1, \alpha_2, \dots, \alpha_W)</tex> |
| + | :<tex>\alpha_i= \frac{-\lambda_i + \sqrt{\lambda_i^2 + 4 \frac{\lambda_i}{w_i^2}}}2</tex>, где <tex>\lambda_i</tex> - собственные числа матрицы <tex>H_D</tex> - части Гессиана, не зависящей от <tex>A</tex>. | ||
| - | <tex>\ | + | :<tex>\beta= \frac{N-\gamma}{2 E_D}</tex>, где <tex>\gamma=\sum^W_{j=1}\frac{\lambda_j}{\lambda_j+a_j}</tex> |
| - | <tex>\ | + | |
| - | |||
| + | При <tex>A^{-1}=\alpha I_W</tex> | ||
| + | :<tex>\alpha = \frac{W-\delta}{\mathbf{w}^T \mathbf{w}}</tex>, где <tex>\delta=\sum^W_{j=1}\frac1{\lambda_j+\alpha}</tex> | ||
| + | |||
| + | :<tex>\beta= \frac{N-\gamma}{2 E_D}</tex>, где <tex>\gamma=\sum^W_{j=1}\frac{\lambda_j}{\lambda_j+\alpha}</tex> | ||
==Алгоритм== | ==Алгоритм== | ||
Версия 18:08, 22 декабря 2010
|
Для фиксированной регрессионной модели исследуется скорость сходимости параметров и гиперпараметров при ее настройке через двухуровневый байесовский вывод.
Постановка задачи
Рассмотрим следующую модель регрессии, описывающую связь между свободной и зависимой переменными:
Пусть случайная величина имеет нормальное распределение
. При этом будем обозначать
.
Вектор называется параметрами модели и рассматривается как многомерная случайная величина. Пусть плотность распределения параметров имеет вид многомерного нормального распределения
с матрицей ковариации
. В данном примере будут рассматриваться 2 случая:
, где
- число параметров модели, и
, где
- единичная матрица размерности
.
Величины и
называются гиперпараметрами модели.
Для нескольких фиксированных функций , задающих модель, через двухуровневый байесовский вывод происходит настройка параметров и гиперпараметров. Требуется проанализировать изменение параметров и гиперпараметров по мере настройки.
Алгоритм настройки регрессионной модели (двухуровневый байесовский вывод)
Настройка модели происходит через двухуровневый байесовский вывод.
Описание метода
Т.к. , то для фиксированной модели f плотность вероятности появления данных
где
Т.к. , то
где
Тогда, если обозначить , то
Таким образом, минимизация по
дает максимум априорной плотности распределения параметров
на выборке
.
Считая, что в точке минимума функционал
представим в виде:
получаем, что логарифм функции правдоподобия равен
Гиперпараметры и
находятся итерационно из условия максимизации полученной функции правдоподобия:
При
, где
- собственные числа матрицы
- части Гессиана, не зависящей от
.
, где
При
, где
Алгоритм
1) Задаем начальные значения ,
и
2) Ищем локальный минимум функции ошибки по
3) Ищем локальный максимум функции правдоподобия гиперпараметров по
4) Повторяем шаги 2 и 3 до сходимости функционала
Вычислительный эксперимент
Рассматриваются 6 типов моделей:
1) модель полиномиальной регрессии
2) модель
3) модель
4) модель
5) модель трехпараметрического распределения Вейбулла
6) модель с тригонометрическими функциями
