Описание окрестности точки наибольшего правдоподобия моделей (пример)
Материал из MachineLearning.
Строка 2: | Строка 2: | ||
Пусть, | Пусть, | ||
- | <tex>X = \{\mathbf{x} | + | <tex>X = \{\mathbf{x}_j\}^m_{j=1}</tex> - множество из m свободных переменных, |
- | <tex>\{ | + | <tex>\{x_j\}^m_{i=j} \in\mathbb{R}^n</tex> , где n - размерность пространства, |
<tex>\mathbf{y}\in\mathbb{R}^n</tex> - зависимая переменная. | <tex>\mathbf{y}\in\mathbb{R}^n</tex> - зависимая переменная. | ||
Строка 38: | Строка 38: | ||
<tex> \{0\} \cup \{\alpha\} \cup \{\alpha,\beta\} \cup \ldots \cup \{\alpha,\beta \ldots \psi\} \rightarrow \Omega </tex> - множество индексов, размерности N. | <tex> \{0\} \cup \{\alpha\} \cup \{\alpha,\beta\} \cup \ldots \cup \{\alpha,\beta \ldots \psi\} \rightarrow \Omega </tex> - множество индексов, размерности N. | ||
- | + | <tex>\xi_u~ \longrightarrow\longrightarrow\longrightarrow^{g_v}\longrightarrow\longrightarrow ~g_v(\xi_u) ~=^{def} a_i~\longrightarrow\longrightarrow^{\prod^{UV}_{\alpha=1}}\longrightarrow^{\ldots}\longrightarrow^{\prod^{UV}_{\psi=1}}\longrightarrow ~x_j</tex> | |
Версия 00:29, 15 декабря 2010
Содержание |
Постановка задачи
Пусть,
- множество из m свободных переменных,
, где n - размерность пространства,
- зависимая переменная.
Рассмотрим следующую линейную модель регрессии, описывающую связь между свободными и зависимой переменными
где - нормальное распределение.
задача?
Порождение свободных переменных
Множества измеряемых признаков бывает недостаточно для построения модели удовлетворительного качества. Требуется расширить множество признаков с помощью функциональных преобразований.
Предлагается следующий способ порождения новых признаков:
Пусть задано множество свободных переменных и конечное множество порождающих функций
.
Обозначим , где индекс
.
Рассмотрим декартово произведение , где элементу
ставится в соответствие суперпозиция
, однозначно определяемая индексами
.
В качестве модели, описывающей отношение между зависимой переменной и свободными переменными
, используется полином Колмогорова-Габора:
где и
.
- множество индексов, размерности N.
Алгоритм
Вычислительный эксперимент
Исходный код
Литература
- Стрижов В.В Методы выбора регрессионных моделей. — ВЦ РАН, 2010.