Исследование скорости сходимости параметров и гиперпараметров (пример)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Новая: {{TOCright}} Для фиксированной регрессионной модели исследуется скорость сходимости параметров и гиперпа...)
(Постановка задачи)
Строка 19: Строка 19:
3) модель <tex>y = a + \frac{b}{x}</tex>
3) модель <tex>y = a + \frac{b}{x}</tex>
-
3) модель <tex>y = a + b\, e^{-cx}</tex>
+
4) модель <tex>y = a + b\, e^{-cx}</tex>
-
4) модель трехпараметрического распределения Вейбулла <tex>y=abx^{b-1}\exp(-a(x-c)^b)</tex>
+
5) модель трехпараметрического распределения Вейбулла <tex>y=abx^{b-1}\exp(-a(x-c)^b)</tex>
-
5) модель с тригонометрическими функциями <tex>y=a_0+\sum_{i=1}^n\bigl(a_i\cos(i\omega{x})+b_i\sin(i\omega{x})\bigr)</tex>
+
6) модель с тригонометрическими функциями <tex>y=a_0+\sum_{i=1}^n\bigl(a_i\cos(i\omega{x})+b_i\sin(i\omega{x})\bigr)</tex>
Для каждой модели происходит настройка через двухуровневый байесовский вывод. Требуется проанализировать изменение параметров и гиперпараметров по мере настройки в каждой модели.
Для каждой модели происходит настройка через двухуровневый байесовский вывод. Требуется проанализировать изменение параметров и гиперпараметров по мере настройки в каждой модели.

Версия 01:01, 16 декабря 2010

Содержание

Для фиксированной регрессионной модели исследуется скорость сходимости параметров и гиперпараметров при ее настройке через двухуровневый байесовский вывод.

Постановка задачи

Рассмотрим следующую модель регрессии, описывающую связь между свободной и зависимой переменными:

\mathbf{y} = f(\mathbf{x}, \mathbf{w}) + \mathbf{\varepsilon}

Пусть случайная величина \mathbf{\varepsilon} имеет нормальное распределение \mathbf{\varepsilon} \in N(0, \sigma^2).

Вектор параметров модели \mathbf{w} рассматривается как многомерная случайная величина. Пусть плотность распределения параметров имеет вид многомерного нормального распределения N(\mathbf{0}, A) с матрицей ковариации A.

Рассматриваются 3 типа моделей:

1) модель полиномиальной регрессии y=\sum_{i=1}^na_ix^{i-1}

2) модель y = a + b\, ln x

3) модель y = a + \frac{b}{x}

4) модель y = a + b\, e^{-cx}

5) модель трехпараметрического распределения Вейбулла y=abx^{b-1}\exp(-a(x-c)^b)

6) модель с тригонометрическими функциями y=a_0+\sum_{i=1}^n\bigl(a_i\cos(i\omega{x})+b_i\sin(i\omega{x})\bigr)


Для каждой модели происходит настройка через двухуровневый байесовский вывод. Требуется проанализировать изменение параметров и гиперпараметров по мере настройки в каждой модели.

Личные инструменты