Описание окрестности точки наибольшего правдоподобия моделей (пример)
Материал из MachineLearning.
Строка 6: | Строка 6: | ||
<tex>\mathbf{y}\in\mathbb{R}^n</tex> - зависимая переменная. | <tex>\mathbf{y}\in\mathbb{R}^n</tex> - зависимая переменная. | ||
- | Рассмотрим следующую модель регрессии, описывающую связь между свободными и зависимой переменными | + | Рассмотрим следующую линейную модель регрессии, описывающую связь между свободными и зависимой переменными |
Строка 29: | Строка 29: | ||
В качестве модели, описывающей отношение между зависимой переменной <tex>y</tex> и свободными переменными <tex>a_i</tex>, используется полином Колмогорова-Габора: | В качестве модели, описывающей отношение между зависимой переменной <tex>y</tex> и свободными переменными <tex>a_i</tex>, используется полином Колмогорова-Габора: | ||
- | <center><tex>y=w_0+\sum_{\alpha=1}^{UV}w_{\alpha}a_{\alpha} + \sum_{\alpha=1}^{UV}\sum_{\beta=1}^{UV}w_{{\alpha}{\beta}}a_{\alpha}a_{\beta} + \ldots +\sum_{\alpha=1}^{UV}\ldots\sum_{\psi=1}^{UV}w_{{\alpha} \ldots {\psi}}a_{\alpha}\ldots a_{\psi}</tex></center> | + | |
+ | <center><tex>y=w_0+\sum_{\alpha=1}^{UV}w_{\alpha}a_{\alpha} + \sum_{\alpha=1}^{UV}\sum_{\beta=1}^{UV}w_{{\alpha}{\beta}}a_{\alpha}a_{\beta} + \ldots +\sum_{\alpha=1}^{UV}\ldots\sum_{\psi=1}^{UV}w_{{\alpha} \ldots {\psi}}a_{\alpha}\ldots a_{\psi}</tex></center>, | ||
+ | |||
+ | |||
+ | где <tex>\mathbf{w} = (w_0, w_{\alpha}, w_{\alpha\beta}, \ldots , w_{{\alpha} \ldots {\psi}})^T</tex> и <tex>{\alpha, \beta, \ldots , \psi = 1 \ldots UV}</tex>. | ||
+ | |||
+ | |||
+ | <tex> \{0\} \cup \{\alpha\} \cup \{\alpha,\beta\} \cup \ldots \cup \{\alpha,\beta \ldots \psi\} \rightarrow \Omega </tex> - множество индексов, размерности N. | ||
+ | |||
+ | |||
+ | |||
== Алгоритм == | == Алгоритм == |
Версия 00:17, 15 декабря 2010
Содержание |
Постановка задачи
Пусть,
- множество из m свободных переменных,
, где n - размерность пространства,
- зависимая переменная.
Рассмотрим следующую линейную модель регрессии, описывающую связь между свободными и зависимой переменными
где - нормальное распределение.
задача?
Порождение свободных переменных
Множества измеряемых признаков бывает недостаточно для построения модели удовлетворительного качества. Требуется расширить множество признаков с помощью функциональных преобразований.
Предлагается следующий способ порождения новых признаков:
Пусть задано множество свободных переменных и конечное множество порождающих функций
.
Обозначим , где индекс
.
Рассмотрим декартово произведение , где элементу
ставится в соответствие суперпозиция
, однозначно определяемая индексами
.
В качестве модели, описывающей отношение между зависимой переменной и свободными переменными
, используется полином Колмогорова-Габора:
где и
.
- множество индексов, размерности N.
Алгоритм
Вычислительный эксперимент
Исходный код
Литература
- Стрижов В.В Методы выбора регрессионных моделей. — ВЦ РАН, 2010.