Описание окрестности точки наибольшего правдоподобия моделей (пример)
Материал из MachineLearning.
Строка 9: | Строка 9: | ||
- | <center><tex>\mathbf{y} = X \mathbf{w} + \mathbf{\varepsilon} | + | <center><tex>\mathbf{y} = X \mathbf{w} + \mathbf{\varepsilon}</tex> (1)</center> |
Строка 40: | Строка 40: | ||
<tex>\xi_u~ \longrightarrow\longrightarrow\longrightarrow^{g_v}\longrightarrow\longrightarrow ~g_v(\xi_u) ~=^{def} a_i~\longrightarrow\longrightarrow^{\prod^{UV}_{\alpha=1}}\longrightarrow^{\ldots}\longrightarrow^{\prod^{UV}_{\psi=1}}\longrightarrow ~x_j</tex> | <tex>\xi_u~ \longrightarrow\longrightarrow\longrightarrow^{g_v}\longrightarrow\longrightarrow ~g_v(\xi_u) ~=^{def} a_i~\longrightarrow\longrightarrow^{\prod^{UV}_{\alpha=1}}\longrightarrow^{\ldots}\longrightarrow^{\prod^{UV}_{\psi=1}}\longrightarrow ~x_j</tex> | ||
+ | Возвращаясь к формуле (1): | ||
+ | |||
+ | <center><tex>y^i = \sum_{j=1}^{N}w_jx^i_j + \varepsilon^i</tex> (2)</center> | ||
== Алгоритм == | == Алгоритм == | ||
Строка 54: | Строка 57: | ||
|год = 2010 | |год = 2010 | ||
}} | }} | ||
+ | |
Версия 00:35, 15 декабря 2010
Содержание |
Постановка задачи
Пусть,
- множество из m свободных переменных,
, где n - размерность пространства,
- зависимая переменная.
Рассмотрим следующую линейную модель регрессии, описывающую связь между свободными и зависимой переменными
где - нормальное распределение.
задача?
Порождение свободных переменных
Множества измеряемых признаков бывает недостаточно для построения модели удовлетворительного качества. Требуется расширить множество признаков с помощью функциональных преобразований.
Предлагается следующий способ порождения новых признаков:
Пусть задано множество свободных переменных и конечное множество порождающих функций
.
Обозначим , где индекс
.
Рассмотрим декартово произведение , где элементу
ставится в соответствие суперпозиция
, однозначно определяемая индексами
.
В качестве модели, описывающей отношение между зависимой переменной и свободными переменными
, используется полином Колмогорова-Габора:
где и
.
- множество индексов, размерности N.
Возвращаясь к формуле (1):
Алгоритм
Вычислительный эксперимент
Исходный код
Литература
- Стрижов В.В Методы выбора регрессионных моделей. — ВЦ РАН, 2010.