Описание окрестности точки наибольшего правдоподобия моделей (пример)
Материал из MachineLearning.
| Строка 2: | Строка 2: | ||
Пусть, | Пусть, | ||
| - | <tex>X = \{\mathbf{x}_i\}^m_{i=1}</tex> - m свободных переменных, | + | <tex>X = \{\mathbf{x}_i\}^m_{i=1}</tex> - множество из m свободных переменных, |
<tex>\{x_i\}^m_{i=1} \in\mathbb{R}^n</tex> , где n - размерность пространства, | <tex>\{x_i\}^m_{i=1} \in\mathbb{R}^n</tex> , где n - размерность пространства, | ||
<tex>\mathbf{y}\in\mathbb{R}^n</tex> - зависимая переменная. | <tex>\mathbf{y}\in\mathbb{R}^n</tex> - зависимая переменная. | ||
| - | Рассмотрим следующую модель регрессии, описывающую связь между | + | Рассмотрим следующую модель регрессии, описывающую связь между свободными и зависимой переменными |
| + | |||
| + | |||
| + | <center><tex>\mathbf{y} = X \mathbf{w} + \mathbf{\varepsilon},</tex></center> | ||
| - | |||
где <tex>\varepsilon \in N(0, \sigma^2)</tex> - нормальное распределение. | где <tex>\varepsilon \in N(0, \sigma^2)</tex> - нормальное распределение. | ||
| + | задача? | ||
| + | |||
| + | == Порождение свободных переменных == | ||
| + | Множества измеряемых признаков бывает недостаточно для построения модели удовлетворительного качества. Требуется расширить множество признаков с помощью функциональных преобразований. | ||
| + | |||
| + | Предлагается следующий способ порождения новых признаков: | ||
| + | |||
| + | Пусть задано множество свободных переменных <tex>Z = \{\xi_u\}^U_{u=1}</tex> и конечное множество порождающих функций <tex>G = \{g_v\}^V_{v=1}</tex>. | ||
| + | |||
| + | Обозначим <tex>a_i = g_v(\xi_u)</tex>, где индекс <tex>i = (v - 1)U + u</tex>. | ||
| + | |||
| + | Рассмотрим декартово произведение <tex>Z \times G</tex>, где элементу <tex>(g_v,\xi_u)</tex> ставится в соответствие суперпозиция <tex>g_v(\xi_u)</tex>, однозначно определяемая индексами <tex>v,u</tex>. | ||
| + | |||
| + | В качестве модели, описывающей отношение между зависимой переменной <tex>y</tex> и свободными переменными <tex>a_i</tex>, используется полином Колмогорова-Габора: | ||
| + | <center><tex>y=w_0+\sum_{\alpha=1}^{UV}w_{\alpha}a_{\alpha} + \sum_{\alpha=1}^{UV}\sum_{\beta=1}^{UV}w_{{\alpha}{\beta}}a_{\alpha}a_{\beta} + \ldots +\sum_{\alpha=1}^{UV}\ldots\sum_{\psi=1}^{UV}w_{{\alpha} \ldots {\psi}}a_{\alpha}\ldots a_{\psi}</tex></center> | ||
== Алгоритм == | == Алгоритм == | ||
Версия 23:58, 14 декабря 2010
Содержание |
Постановка задачи
Пусть,
- множество из m свободных переменных,
, где n - размерность пространства,
- зависимая переменная.
Рассмотрим следующую модель регрессии, описывающую связь между свободными и зависимой переменными
где - нормальное распределение.
задача?
Порождение свободных переменных
Множества измеряемых признаков бывает недостаточно для построения модели удовлетворительного качества. Требуется расширить множество признаков с помощью функциональных преобразований.
Предлагается следующий способ порождения новых признаков:
Пусть задано множество свободных переменных и конечное множество порождающих функций
.
Обозначим , где индекс
.
Рассмотрим декартово произведение , где элементу
ставится в соответствие суперпозиция
, однозначно определяемая индексами
.
В качестве модели, описывающей отношение между зависимой переменной и свободными переменными
, используется полином Колмогорова-Габора:
Алгоритм
Вычислительный эксперимент
Исходный код
Литература
- Стрижов В.В Методы выбора регрессионных моделей. — ВЦ РАН, 2010.
