Группировка категорий и сегментация признаков в логистической регрессии (пример)

Материал из MachineLearning.

Перейти к: навигация, поиск

Группировка категорий и сегментация признаков — методы, позволяющие упростить и одновременно улучшить регрессионную модель. В частности, группировка категорий позволяет понять взаимосвязь значений признаков и использовать линейные модели для нелинейных зависимостей.

Содержание

Постановка задачи

Дана задача кредитного скоринга. Регрессионная модель - логистическая регрессия.Требуется найти множество активных признаков. Затем сегментировать линейные признаки, сгруппировать номинальные и ординарные. При этом надо применить как новые алгоритмы, так и классические. Сравнить оба подхода, вычислить статистическую значимость производных признаков.

Описание данных

Есть набор данных: \mathbf{x}\subseteq\mathbb{R}^{n},\ y\subseteq\mathbb{R}

\mathbf{D} = \{(\mathbf{x}^{1},y^{1}),\ldots,(\mathbf{x}^{i},y^{i}),\ldots,(\mathbf{x}^{m},y^{m})\}

Матрица плана: X = (\mathbf{x}_{1},\ldots,\mathbf{x}_{n})

Целевая переменная: \mathbf{y} = (y^{1},\ldots,y^{m})^{T}

Модель: y_{i} = \sigma(\mathbf{w}) где \sigma(\mathbf{w}) = \frac{1}{1 + \exp(-\mathbf{w}^{T}\mathbf{x}_{i})}

Индексы: \{1,\ldots,m\} = \mathbf{L}\cup\mathbf{T} - разбиение на обучающую и контрольную выборки. \{1,\ldots,n\} = \mathbf{F} - индексы признаков.

Описание алгоритмов

Сначала находится множество активных признаков. Для этого решается задача максимизации правдоподобия, или эквивалентно - минимзация его логарифма, взятого с противополжным знаком

-\ln(P(\mathbf{y}|\mathbf{w})) = - \sum_{i\subseteq\mathbf{L}}(y^{i}\ln(\sigma(\mathbf{w}^{T}x_{i})) + (1 - y^{i})\ln(1 - \sigma(\mathbf{w}^{T}x_{i}))) = S(\mathbf{w})

Множество активных признаков - \mathbf{A}\subseteq\mathbf{F} . Тогда \mathbf{A} = argmin(S_{\mathbf{A}}(\mathbf{w}_{\mathbf{A}}))

Вычислительный эксперимент

Выполнение алгоритма

Визуализация результатов

Исследование свойств алгоритма

Исходный код

Смотри также

  1. Машинное обучение (курс лекций, К.В.Воронцов)
  2. Логистическая регрессия (пример)
  3. Метод касательных (Ньютона-Рафсона)

Литература

  • Siddiqi N. Credit Risk Scorecards: Developing and Implementing Intelligent Credit Scoring. John Wiley & Sons, Inc. 2006
  • Bishop C. Pattern Recognition And Machine Learning. Springer. 2006.
Данная статья является непроверенным учебным заданием.
Студент: Участник:Никита Животовский
Преподаватель: Участник:В.В. Стрижов
Срок: ?

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.

Личные инструменты