Группировка категорий и сегментация признаков в логистической регрессии (пример)

Материал из MachineLearning.

Перейти к: навигация, поиск

Группировка категорий — метод снижения числа признаков, полученных с помощью бинаризации номинальных шкал в модели логистической регрессии.

Сегментация признака - разбиение множества значений признака на некоторые семейства таким образом, чтобы учесть нелинейные зависимости значений признака в обобщенно - линейной модели.

Содержание

Постановка задачи

Задана регрессионная модель - логистическая регрессия.

Набор данных: \mathbf{x}\in\mathbb{R}^{n},\ y\in\{0, 1\}

\mathbf{D} = \{(\mathbf{x}^{1},y^{1}),\ldots,(\mathbf{x}^{i},y^{i}),\ldots,(\mathbf{x}^{m},y^{m})\}

Целевая переменная: \mathbf{y} = (y^{1},\ldots,y^{m})^{T}

Модель: P(y^{i}|\mathbf{x}^i) = (\sigma(\langle\mathbf{w},\mathbf{x}^{i}\rangle))^{y^{i}}(1 - \sigma(\langle\mathbf{w},\mathbf{x}^{i}\rangle))^{1 - y^{i}}\ где \sigma(\langle\mathbf{w},\mathbf{x}^{i}\rangle) = \frac{1}{1 + \exp(-\langle\mathbf{w},\mathbf{x}^{i}\rangle)}

Индексы: \{1,\ldots,m\} = \mathbf{L}\cup\mathbf{T} - разбиение на обучающую и контрольную выборки. \{1,\ldots,n\} = \mathbf{F} - индексы признаков.

Требуется:

1) Сегментировать линейные признаки.

2) Категоризовать номинальные признаки.

При этом надо применить как новые алгоритмы, так и классические, приведенные в книге Credit Risk Scorecards: Developing and Implementing Intelligent Credit Scoring. Сравнить оба подхода.

Описание алгоритмов

До выполнения алгоритмов сегментации и категоризации предполагается из начальных данных выбрать набор признаков для построения регрессионной модели. Принято называть такие признаки активными. Для этого решается задача максимизации правдоподобия на контрольной выборке, или эквивалентно - минимизация его логарифма, взятого с противоположным знаком

-\ln(P(\mathbf{y}|\mathbf{x})) = - \sum_{i\subseteq\mathbf{L}}(y^{i}\ln(\sigma(\langle\mathbf{w},\mathbf{x}^{i}\rangle)) + (1 - y^{i})\ln(1 - \sigma(\langle\mathbf{w},\mathbf{x}^{i}\rangle))) = S_{\mathbf{L},\mathbf{A}}(\mathbf{w})

Здесь под строкой \mathbf{x}^{i} подразумевается строка из условия, но с удаленными координатами, номера которых не входят во множество индексов A. Вектор \mathbf{w} соответствующей длины. Текущее множество активных признаков - \mathbf{A}\subseteq\mathbf{F} . Тогда задача нахождения множества активных признаков и соответствующего им вектора весов записывается в виде

\mathbf{w}_{\mathbf{A}} = \underset{\mathbf{w}}{\operatorname{argmin}}(S_{\mathbf{L},\mathbf{A}}(\mathbf{w}))

\mathbf{A} = \underset{\mathbf{A}^{*}\in2^{\mathbf{F}}}{\operatorname{argmin}}(S_{\mathbf{T},\mathbf{A}^{*}}(\mathbf{w}__{\mathbf{A}^{*}}))

На первом шаге все номинальные признаки считаются активными. Затем используется простой жадный алгоритм, удаляющий на каждом шаге признак, без которого значение правдоподобия на контрольной выборке наиболее оптимально. Вектор весов находится с помощью алгоритма Ньютона - Рафсона. В данном эксперименте считается, что активными должны получится около половины признаков.

Сегментация линейного признака

Пусть линейный признак \mathbf{x}_{j} принимают значения из отрезка [a_{j},b_{j}]. Вводится начальное разбиение отрезка [a_{j},b_{j}], на k отрезков одинаковой длины a_{j} = x_{1} < x_{2} < \ldots < x_{n_{k}} = b_{j}. Строится кусочно - линейная функция f(x) = a x+ b + c_1|x-x_1| + c_2|x-x_2| + \ldots +c_n|x-x_n_k|. На каждом шаге алгоритма случайным образом изменяется значение x_{i}, где индекс i - случайное число из 1 ,\ldots, n_{k}. Коэффициенты f(x) при этом всегда изменяются так, чтобы f(x_{2m - 1}) = 0,\ f(x_{2m}) = 1 где m\in\mathbb N. Для \mathbf{x}_{j} и построенной f(x) строится признак \mathbf{j}: значения нового признака - значение функции в соответствующей точке отрезка [a_{j},b_{j}]. Если для новой функции f(x) значение S_{\mathbf{L},\mathbf{A}^{*}}(\mathbf{w}) уменьшается, то сохраняется изменение x_{i}. Здесь \mathbf{A}^{*} = \mathbf{A}\cup\mathbf{j}. Алгоритм заканчивает работу по достижении первого минимума.

Группировка категорий

Пусть номинальный признак \mathbf{x}_{i} принимает значения из множества категорий \tex\{1,\ldots,c\}. Ему в соответствие ставится множество \Gamma такое, что 1 \le |\Gamma| \le c. Требуется найти такую сюръективную функцию h_{\Gamma}:\{1,\ldots,c\}\to\Gamma и соответствующее ей множество \Gamma = \{1,\ldots,c^{*}\}, которая минимизирует функцию S_{\mathbf{T},\mathbf{A}^{*}(\mathbf{w}). Здесь \mathbf{A}^{*} = \mathbf{A}\cup\mathbf{j}, а \mathbf{j} - номинальный признак, принимающий значения из \tex\{h_{\Gamma}(1),\ldots,h_{\Gamma}(c)\}. В данном случае признаков и категорий достаточно мало, поэтому эффективен полный перебор.


Также предлагается один из классических методов группировки категорий, описанный в книге Credit Risk Scorecards: Developing and Implementing Intelligent Credit Scoring. Для этого сначала для каждого значения номинального признака считается его WOE (Weight of evidence) по формуле: WOE = 100* \ln(\frac{Distr Good}{Distr Bad}), где Distr Good , например, - отношение числа людей, которым выдали кредит, имевших данное значение номинального признака, к общему числу людей, которым выдали кредит. Distr Bad - отношение числа людей, которым не выдали кредит, имевших данное значение номинального признака, к общему числу людей, которым не выдали кредит. Теперь пусть некоторый номинальный признак под номером j принимает значения \tex\{1,\ldots,n_{j}\}. Для него нужно рассчитать IV(Information Value) по формуле: IV = \sum_{i = 1}^{n_j}(Distr Good_{i} - Distr Bad_{i})* \ln(\frac{Distr Good_{i}}{Distr Bad_{i}}). Для признаков с самыми большими значениями IV в одну группу объединяются категории с близкими значениями WOE. При таком подходе важно задать условия близости значений WOE и количество группируемых категорий.

Вычислительный эксперимент

Показана работа алгоритма на реальных данных.

Описание данных

Используются реальные данные (GERMAN_UIC) о выдаче или не выдаче банком кредитов. Всего приведены 24 признака для 1000 человек и информация о том, выдан ли впоследствии кредит.

Визуализация результатов

На первом шаге из данных выбраны активные признаки, используемые в дальнейшем в регрессионной модели. Всего было выбрано 5 номинальных признаков.

Пример группировки номинальных признаков

Ко множеству активных признаков добавляется один номинальный признак. Его категории группируется двумя способами. Результаты группировки сравниваются.

ROC - кривая

Изображение:ROC-gr (800 x 552).png

Исследование свойств алгоритма

Численное сравнение.

New grouping Classical grouping
S(w) 147.0040 149.1568
AUC 0.91343 0.91001

Видно, что по обоим параметрам переборная группировка несколько превосходит классическую. Тем не менее небольшие отклонения в значениях связаны с тем, что достаточно большой вклад в оба параметра дают активные признаки. Тем самым значение одного группируемого признака в модели снижается. Также ясно, что классический метод дает достаточно хорошую группировку при минимальной вычислительной сложности.

Пример сегментации линейного признака

Как и ранее выбираются активные номинальные признаки. Потом к ним добавляется линейный признак и находится сначала оптимальное число сегментов, а затем и сама оптимальная сегментация. Поиск оптимумов основывается на минимизации S(w) на контроле.

ROC - кривая

Изображение:Segmentation.png

Оптимальная сегментация

Перебором дискретных значений длины шага получается, что при начальной длине шага сегментации равной 2.0 в среднем получается наименьшее значение S(w). Результат имеет наглядную интерпретацию. Малая длина шага сегментации дает большую независимость значений признака, там самым можно получить лучшее значение S(w) на контроле. Однако очень малый начальный шаг сегментации часто создает случаи, когда алгоритм сходится не к самому оптимальному решению. Это связано с тем, что небольшие изменения длины такого шага практически не изменяют правдоподобия на контроле и тем самым заставляют его остановить поиск раньше времени.

Описание результатов

Численные данные.

Segmentation Segmentation w/o active
S(w) 139.7756 169.7989
AUC 0.89215 0.99165

Оптимально сегментированный линейный признак улучшает регрессионную модель. Для сравнения предлагается значение S(w) = 146.8882. Оно достигается на оптимальной длине шага, но до поиска поиска оптимальной сегментации.

Исходный код

  • Исходный код Matlab

Смотри также

  1. Машинное обучение (курс лекций, К.В.Воронцов)
  2. Логистическая регрессия (пример)
  3. Логистическая функция
  4. Регрессионный анализ
  5. Алгоритм Ньютона-Рафсона
  6. Метод наименьших квадратов

Литература

  • Siddiqi N. Credit Risk Scorecards: Developing and Implementing Intelligent Credit Scoring. John Wiley & Sons, Inc. 2006
  • Bishop C. Pattern Recognition And Machine Learning. Springer. 2006.
  • D. W. Hosmer, S. Lemeshow. Applied logistic regression. Wiley, New York, 2000.
Данная статья является непроверенным учебным заданием.
Студент: Участник:Никита Животовский
Преподаватель: Участник:В.В. Стрижов
Срок: ?

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%93%D1%80%D1%83%D0%BF%D0%BF%D0%B8%D1%80%D0%BE%D0%B2%D0%BA%D0%B0_%D0%BA%D0%B0%D1%82%D0%B5%D0%B3%D0%BE%D1%80%D0%B8%D0%B9_%D0%B8_%D1%81%D0%B5%D0%B3%D0%BC%D0%B5%D0%BD%D1%82%D0%B0%D1%86%D0%B8%D1%8F_%D0%BF%D1%80%D0%B8%D0%B7%D0%BD%D0%B0%D0%BA%D0%BE%D0%B2_%D0%B2_%D0%BB%D0%BE%D0%B3%D0%B8%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B9_%D1%80%D0%B5%D0%B3%D1%80%D0%B5%D1%81%D1%81%D0%B8%D0%B8_%28%D0%BF%D1%80%D0%B8%D0%BC%D0%B5%D1%80%29»
Личные инструменты