Шаговая регрессия (пример)
Материал из MachineLearning.
(Новая: {{TOCright}} Логистическая регрессия - частный случай [[Обобщённая линейная модель|обобщенной линейной р...) |
|||
| Строка 37: | Строка 37: | ||
== Описание алгоритма == | == Описание алгоритма == | ||
| - | Обозначим текущий набор признаков <tex> A </tex>. Начальным набором является пустой набор <tex> A= \emptyset</tex>. К текущему набору <tex> A </tex> присоединяется по одному признаку, который | + | Обозначим текущий набор признаков <tex> A </tex>. Начальным набором является пустой набор <tex> A= \emptyset</tex>. К текущему набору <tex> A </tex> присоединяется по одному признаку, который дoставляет максимум F-критерию или |
::<tex> j^*= arg \max_{j\in J}F_add= arg \max_{j\in J}{\frac{S(A)-S(A\cup x_j)}{S(A\cup x_j)}} </tex> | ::<tex> j^*= arg \max_{j\in J}F_add= arg \max_{j\in J}{\frac{S(A)-S(A\cup x_j)}{S(A\cup x_j)}} </tex> | ||
Версия 21:09, 24 апреля 2010
|
Логистическая регрессия - частный случай обобщенной линейной регрессии. Предполагается, что зависимая переменная принимает два значения и имеет биномиальное распределение
В данной статье рассматриваются два алгоритма отбора признаков линейной регрессии: метод наименьших углов и шаговая регрессия.
Метод наименьших углов (англ. least angle regression, LARS) - алгоритм отбора признаков в задачах линейной регрессии. При большом количестве свободных переменных возникает проблема неустойчивого оценивания весов модели. LARS предлагает метод выбора такого набора свободных переменных, который имел бы наиболее значимую статистическую связь с зависимой переменной. Также LARS предлагает метод оценки весов.
Шаговая регрессия (stepwise regression)
Цель пошаговой регрессии состоит в отборе из большого количества предикатов небольшой подгруппы переменных, которые вносят наибольший вклад в вариацию зависимой переменной.
Пусть нам задана регрессионная модель
.
Алгоритм заключается в последовательном добавлении и удалении признаков согласно определённому критерию. Обычно используется F- критерий, который имеет вид
где индекс 2 соответствует второй регрессионной модели , индекс 1 соответствует первой регрессионной модели, которая является модификацией второй модели; - соответствующие числа параметров модели;
- сумма квадратов невязок, задающий критерий качества модели.
.
Шаговая регрессия включает два основных шага: шаг Add (последовательное добавление признаков) и шаг Del (последовательное удаление признаков).
Постановка задачи
Задана выборка - матрица , столбцы которой соответствуют независимым переменным, а строки - элементам выборки и вектор
,
содержащий элементы зависимой переменной. Назначена линейная модель
.
Требуется найти набор признаков (столбцов матрицы ) , удовлетворяющий F-критерию.
Описание алгоритма
Обозначим текущий набор признаков . Начальным набором является пустой набор
. К текущему набору
присоединяется по одному признаку, который дoставляет максимум F-критерию или
