Описание окрестности точки наибольшего правдоподобия моделей (пример)
Материал из MachineLearning.
(→Алгоритм) |
(→Постановка задачи) |
||
Строка 2: | Строка 2: | ||
Пусть задана выборка <tex>D = \{(\mathbf{x}^i, y^i\)}</tex> из m пар. | Пусть задана выборка <tex>D = \{(\mathbf{x}^i, y^i\)}</tex> из m пар. | ||
- | <tex> | + | <tex>\{\mathbf{x}^i\}^m_{i=1}</tex> - множество из m объектов, |
<tex>\mathbf{x}^i = [x^i_1, \ldots, x^i_n]^T \in\mathbb{R}^n</tex> , где n - количество признаков, а | <tex>\mathbf{x}^i = [x^i_1, \ldots, x^i_n]^T \in\mathbb{R}^n</tex> , где n - количество признаков, а | ||
<tex>y^i\in\mathbb{R}</tex> - соответствующая зависимая переменная. | <tex>y^i\in\mathbb{R}</tex> - соответствующая зависимая переменная. |
Версия 12:16, 15 декабря 2010
Содержание |
Постановка задачи
Пусть задана выборка из m пар.
- множество из m объектов,
, где n - количество признаков, а
- соответствующая зависимая переменная.
- вектор значений j-ого признака, а
- вектор целевого признака.
Пусть - множество индексов объектов,
- множество индексов признаков.
- подмножество активных признаков.
Множество
задаёт регрессионную модель
, а
- сложность модели.
Рассмотрим следующую линейную модель регрессии, описывающую связь между свободными и зависимой переменными
где - вектор параметров регрессии.
Пусть случайная аддитивная переменная регрессионной модели
имеет нормальное распределение
.
Распределение зависимой переменной будет иметь следующий вид:
где - сумма квадратов невязок
. Согласно оценки точки наибольшего правдоподобия, данное распределение задаёт критерий качества модели, равный сумме квадратов регрессионных остатков.
где - некоторое множество индексов. Этот критерий используется при выборе модели в дальнейшем.
Требуется найти такую модель оптимальной структуры признаков , которая доставляет наименьшее значение функционалу качества (2).
Порождение свободных переменных
Множества измеряемых признаков бывает недостаточно для построения модели удовлетворительного качества. Требуется расширить множество признаков с помощью функциональных преобразований.
Предлагается следующий способ порождения новых признаков:
Пусть задано множество свободных переменных и конечное множество порождающих функций
.
Обозначим , где индекс
.
Рассмотрим декартово произведение , где элементу
ставится в соответствие суперпозиция
, однозначно определяемая индексами
.
В качестве модели, описывающей отношение между зависимой переменной и свободными переменными
, используется полином Колмогорова-Габора:
где и
.
- множество индексов, размерности N.
Алгоритм
Рассмотрим алгоритм, состоящий из двух шагов.
На первом шаге мы будем добавлять признаки один за другим к нашей модели согласно критерию качества модели (2).
На втором шаге мы будем удалять признаки по одному из нашей модели согласно тому же критерию качества (2).
Пусть на -ом шагу алгоритма имеется множество признаков
, которое определяет матрицу
:
. На нулевом шаге
. Опишем
-ый шаг алгоритма.
1. "Шаг добавления"
Добавляем признак
Вычислительный эксперимент
Исходный код
Литература
- Стрижов В.В Методы выбора регрессионных моделей. — ВЦ РАН, 2010.