Описание окрестности точки наибольшего правдоподобия моделей (пример)
Материал из MachineLearning.
Содержание |
Постановка задачи
Пусть задана выборка из m пар.
- множество из m объектов,
, где n - количество признаков, а
- соответствующая зависимая переменная.
- вектор значений j-ого признака, а
- вектор целевого признака.
Пусть - множество индексов объектов,
- множество индексов признаков.
- подмножество активных признаков.
Множество
задаёт регрессионную модель
, а
- сложность модели.
Рассмотрим следующую линейную модель регрессии, описывающую связь между свободными и зависимой переменными
где - вектор параметров регрессии, а случайная аддитивная переменная
регрессионной модели имеет нормальное распределение
.
Распределение зависимой переменной будет иметь следующий вид:
где - сумма квадратов невязок
. Согласно оценки точки наибольшего правдоподобия, данное распределение задаёт критерий качества модели, равный сумме квадратов регрессионных остатков.
где - некоторое множество индексов. Этот критерий используется при выборе модели в дальнейшем.
Требуется найти такую модель оптимальной структуры признаков , которая доставляет наименьшее значение функционалу качества (2).
Порождение свободных переменных
Множества измеряемых признаков бывает недостаточно для построения модели удовлетворительного качества. Требуется расширить множество признаков с помощью функциональных преобразований.
Предлагается следующий способ порождения новых признаков:
Пусть задано множество свободных переменных и конечное множество порождающих функций
.
Обозначим , где индекс
.
Рассмотрим декартово произведение , где элементу
ставится в соответствие суперпозиция
, однозначно определяемая индексами
.
В качестве модели, описывающей отношение между зависимой переменной и свободными переменными
, используется полином Колмогорова-Габора:
где и
.
- множество индексов, размерности N.
Алгоритм
Рассмотрим алгоритм, состоящий из двух шагов.
На первом шаге мы будем добавлять признаки один за другим к нашей модели согласно критерию качества модели (2).
На втором шаге мы будем удалять признаки по одному из нашей модели согласно тому же критерию качества (2).
Пусть на -ом шагу алгоритма имеется множество признаков
, которое определяет матрицу
:
. На нулевом шаге
. Опишем
-ый шаг алгоритма.
1. "Шаг 1: добавление признаков"
Добавляем признак такой к активному набору
,
который доставляет минимум функционалу (2).
Повторяем шаг 1, пока выполнено условие:
Если , то идём к шагу 2.
2. "Шаг 2: удаление признаков"
Добавляем признак такой к активному набору
,
который доставляет минимум функционалу (2).
Повторяем шаг 1, пока выполнено условие:
Если , то идём к шагу 2.
Вычислительный эксперимент
Исходный код
Литература
- Стрижов В.В Методы выбора регрессионных моделей. — ВЦ РАН, 2010.