Описание окрестности точки наибольшего правдоподобия моделей (пример)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(→Постановка задачи)
Строка 1: Строка 1:
== Постановка задачи ==
== Постановка задачи ==
-
Пусть,
+
Пусть задана выборка <tex>D = \{(\mathbf{x}^i, y^i\)}</tex> из m пар.
-
<tex>X = \{\mathbf{x}^i\}^m_{i=1}</tex> - множество из m свободных переменных (объектов),
+
<tex>X = \{\mathbf{x}^i\}^m_{i=1}</tex> - множество из m объектов,
-
<tex>\{x_j\}^m_{i=j} \in\mathbb{R}^n</tex> , где n - размерность пространства,
+
<tex>\mathbf{x}^i = [x^i_1, \ldots, x^i_n]^T \in\mathbb{R}^n</tex> , где n - количество признаков, а
-
<tex>\mathbf{y}\in\mathbb{R}^n</tex> - зависимая переменная.
+
<tex>y^i\in\mathbb{R}</tex> - соответствующая зависимая переменная.
-
Индекс признака <tex>j\in\Psi = \{1, \ldots,n\}</tex>. <tex>A\subseteq X</tex> - множество активных признаков.
+
 
 +
<tex>\mathbf{x}_j = [x^1_j, \ldots, x^m_j]^T \in\mathbb{R}^m</tex> - вектор значений j-ого признака, а
 +
<tex>\mathbf{y} = [y^1, \ldots, y^m]^T \in\mathbb{R}^m</tex> - вектор целевого признака.
 +
 
 +
Пусть <tex>D = ([\mathbf{x}_1, \ldots, \mathbf{x}_n], \mathbf{y}) = (X, \mathbf{y})</tex>
 +
 
 +
Пусть <tex>I = \{1, \ldots, m\}</tex> - множество индексов объектов,
 +
<tex>J = \{1, \ldots,n\}</tex> - множество индексов признаков. <tex>A\subseteq J</tex> - подмножество активных признаков.
Рассмотрим следующую линейную модель регрессии, описывающую связь между свободными и зависимой переменными
Рассмотрим следующую линейную модель регрессии, описывающую связь между свободными и зависимой переменными

Версия 10:22, 15 декабря 2010

Содержание

Постановка задачи

Пусть задана выборка D = \{(\mathbf{x}^i, y^i\)} из m пар.

X = \{\mathbf{x}^i\}^m_{i=1} - множество из m объектов, \mathbf{x}^i = [x^i_1, \ldots, x^i_n]^T \in\mathbb{R}^n , где n - количество признаков, а y^i\in\mathbb{R} - соответствующая зависимая переменная.

\mathbf{x}_j = [x^1_j, \ldots, x^m_j]^T \in\mathbb{R}^m - вектор значений j-ого признака, а \mathbf{y} = [y^1, \ldots, y^m]^T \in\mathbb{R}^m - вектор целевого признака.

Пусть D = ([\mathbf{x}_1, \ldots, \mathbf{x}_n], \mathbf{y}) = (X, \mathbf{y})

Пусть I = \{1, \ldots, m\} - множество индексов объектов, J = \{1, \ldots,n\} - множество индексов признаков. A\subseteq J - подмножество активных признаков.

Рассмотрим следующую линейную модель регрессии, описывающую связь между свободными и зависимой переменными


\mathbf{y} = X \mathbf{w} + \mathbf{\varepsilon}       (1)


где \varepsilon \in N(0, \sigma^2) - нормальное распределение.

Множество A задаёт регрессионную модель f_A и вектор весов \mathbf{w} = [\ldots, w_j, \ldots]^T_{j\in A}.

Требуется найти такую модель оптимальной структуры признаков F, которая доставляет наименьшее значение функционалу качества (?).

Порождение свободных переменных

Множества измеряемых признаков бывает недостаточно для построения модели удовлетворительного качества. Требуется расширить множество признаков с помощью функциональных преобразований.

Предлагается следующий способ порождения новых признаков:

Пусть задано множество свободных переменных Z = \{\xi_u\}^U_{u=1} и конечное множество порождающих функций G = \{g_v\}^V_{v=1}.

Обозначим a_i = g_v(\xi_u), где индекс i = (v - 1)U + u.

Рассмотрим декартово произведение Z \times G, где элементу (g_v,\xi_u) ставится в соответствие суперпозиция g_v(\xi_u), однозначно определяемая индексами v,u.

В качестве модели, описывающей отношение между зависимой переменной y и свободными переменными a_i, используется полином Колмогорова-Габора:


y=w_0+\sum_{\alpha=1}^{UV}w_{\alpha}a_{\alpha} + \sum_{\alpha=1}^{UV}\sum_{\beta=1}^{UV}w_{{\alpha}{\beta}}a_{\alpha}a_{\beta} + \ldots +\sum_{\alpha=1}^{UV}\ldots\sum_{\psi=1}^{UV}w_{{\alpha} \ldots {\psi}}a_{\alpha}\ldots a_{\psi}
,


где \mathbf{w} = (w_0, w_{\alpha}, w_{\alpha\beta}, \ldots , w_{{\alpha} \ldots {\psi}})^T и {\alpha, \beta, \ldots , \psi = 1 \ldots UV}.


\{0\} \cup \{\alpha\} \cup \{\alpha,\beta\} \cup \ldots \cup \{\alpha,\beta \ldots \psi\} \rightarrow \Omega - множество индексов, размерности N.

\xi_u~ \longrightarrow\longrightarrow\longrightarrow^{g_v}\longrightarrow\longrightarrow ~g_v(\xi_u) ~=^{def} a_i~\longrightarrow\longrightarrow^{\prod^{UV}_{\alpha=1}}\longrightarrow^{\ldots}\longrightarrow^{\prod^{UV}_{\psi=1}}\longrightarrow ~x_j

Возвращаясь к формуле (1):

y^i = \sum_{j=1}^{N}w_jx^i_j + \varepsilon^i    (2)

Алгоритм

Рассмотрим алгоритм, состоящий из двух шагов. На первом шаге мы будем добавлять признаки один за другим к нашей модели соглалсано критерию (2). На втором шаге мы будем удалять признаки по одному из нашей модели согласно тому же критерию (2).

Пусть на k-ом шагу алгоритма имеется множество признаков A, которое определяет матрицу X_A: \mathbf{y} = X_A \mathbf{w}. На нулевом шаге A_0 = \emptyset. Опишем k-ый шаг алгоритма.

1. "Шаг добавления"

Добавляем признак j \in

Вычислительный эксперимент

Исходный код

Литература

  1. Стрижов В.В Методы выбора регрессионных моделей. — ВЦ РАН, 2010.

 

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9E%D0%BF%D0%B8%D1%81%D0%B0%D0%BD%D0%B8%D0%B5_%D0%BE%D0%BA%D1%80%D0%B5%D1%81%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B8_%D1%82%D0%BE%D1%87%D0%BA%D0%B8_%D0%BD%D0%B0%D0%B8%D0%B1%D0%BE%D0%BB%D1%8C%D1%88%D0%B5%D0%B3%D0%BE_%D0%BF%D1%80%D0%B0%D0%B2%D0%B4%D0%BE%D0%BF%D0%BE%D0%B4%D0%BE%D0%B1%D0%B8%D1%8F_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B5%D0%B9_%28%D0%BF%D1%80%D0%B8%D0%BC%D0%B5%D1%80%29»
Личные инструменты