|
|
| Строка 1: |
Строка 1: |
| - | {{well|Статья написана с использованием LLM '''DeepSeek-V3''' и проверена участником ~~Ilia Vdovin~~}}
| + | Ты – эксперт в области кредитного скоринга, профессор, автор научных работ. Переработай статью «Анкетный скоринг» для энциклопедии MachineLearning.ru. Исходная статья слишком короткая и не раскрывает тему. |
| - | '''Проклятие размерности''' (curse of dimensionality) — фундаментальная проблема анализа данных и машинного обучения, заключающаяся в экспоненциальном возрастании вычислительной сложности, статистических трудностей и структурных искажений данных по мере увеличения размерности пространства признаков. Термин был введён Ричардом Беллманом (Richard E. Bellman) в 1961 году<ref>Bellman, R.E. 1961. Adaptive Control Processes. Princeton University Press, Princeton, NJ.</ref> в контексте динамического программирования, однако позднее стал ключевым понятием в распознавании образов, статистическом обучении и интеллектуальном анализе данных.
| + | |
| | | | |
| - | == Определение и история ==
| + | **Основные недостатки, которые нужно устранить:** |
| | + | - Нет исторической справки (возникновение скоринга, эволюция). |
| | + | - Не описан полный жизненный цикл скоринговой карты: сбор и подготовка данных, отбор признаков, выбор модели, обучение, калибровка, валидация, мониторинг. |
| | + | - Упомянута только логистическая регрессия, хотя используются и другие методы (деревья, ансамбли, нейросети). |
| | + | - Не рассмотрены ключевые практические проблемы: дисбаланс классов, пропуски, мультиколлинеарность, переобучение, интерпретируемость. |
| | + | - Нет метрик качества (AUC, Gini, KS, калибровка). |
| | + | - Не упомянуты регуляторные требования (Базель III, ЦБ) и мониторинг модели. |
| | + | - Мало внутренних ссылок и внешней литературы. |
| | | | |
| - | Строго говоря, «проклятие размерности» описывает ситуацию, в которой объём выборки, необходимый для надёжного оценивания многомерной функции или плотности распределения, растёт экспоненциально с размерностью пространства <tex>d</tex>. Уже в работе Беллмана 1957 года<ref>Bellman, R.E. 1957. Dynamic Programming. Princeton University Press, Princeton, NJ.</ref> было показано, что при дискретизации пространства состояний число ячеек составляет <tex>k^d</tex>, где <tex>k</tex> — число интервалов по каждому измерению. Это делает прямое численное решение уравнений Беллмана практически неосуществимым уже при <tex>d > 10</tex>.
| + | **Требования к новой статье:** |
| | + | - Структура: определение, история, постановка задачи, этапы построения скоринговой карты, проблемы и решения, регуляторные аспекты, современные тенденции, заключение. |
| | + | - Стиль: строгий, но доступный для практиков. |
| | + | - Объём: примерно 800–1000 слов, 5–7 источников литературы (классика и современные обзоры). |
| | | | |
| - | В машинном обучении проблема приобрела особую остроту с развитием многомерных моделей, таких как [[метод опорных векторов]], [[глубокие нейронные сети]] и [[метрические алгоритмы]]. Именно в этой области проклятие размерности проявляется не только в вычислительном, но и в статистическом аспекте: с ростом числа признаков качество обобщения падает, если объём выборки остаётся фиксированным. Это явление тесно связано с [[неравенство Вапника — Червоненкиса|теорией Вапника — Червоненкиса]] и понятием [[ёмкость модели|ёмкости модели]], о чём будет сказано ниже.
| |
| | | | |
| - | == Геометрическая интерпретация ==
| + | **Исходная статья для переработки:** |
| | + | '''Анкетный скоринг''' (Application scoring) — задача прогнозирования риска дефолта заёмщика по данным его анкеты-заявления на получение кредита при обращении заёмщика в банк. Анкетный скоринг наряду с [[Поведенческий скоринг|поведенческим]] и [[Коллекторский скоринг|коллекторским скорингом]] являются видами [[Кредитный скоринг|кредитного скоринга]]. Целью анкетного скоринга, как одного из этапов проверки заёмщика, является минимизация риска банка на основе накопленных статистических данных, то есть отсечение заёмщиков, которые с большой вероятностью попадут в дефолт (не выплатят кредит). |
| | | | |
| - | Наиболее наглядное объяснение проклятия размерности связано с геометрией многомерного пространства.
| + | В наиболее распространённой постановке анкетный скоринг представляет собой задачу [[Классификация|классификации]] с двумя классами: «хороший» заёмщик (тот, кто вернёт кредит) и «плохой» заёмщик (тот, кто попадёт в дефолт). [[Признак|Признаками]] являются данные анкеты-заявления на получение кредита (возраст, пол, образование, трудовой стаж, …), а также другие данные, которые могут быть получены на момент принятия решения по заёмщику (например, отделение банка, куда обратился клиент). |
| | | | |
| - | === Рост объёма ===
| + | Модели, построенные для решения задачи анкетного скоринга, принято называть скоринговыми картами. |
| | + | «Классические» скоринговые карты строятся с использованием [[Логистическая регрессия|логистической регрессии]]. При этом значение «1» целевой переменной кодирует «плохого» заёмщика (попавшего в дефолт), а «0» — «хорошего». Поэтому [[Логистическая регрессия|логистическая регрессия]] для каждого заёмщика даёт оценку вероятности дефолта, которая затем может быть использована для прогнозирования потерь по данному виду заёмщиков. |
| | | | |
| - | Рассмотрим единичный гиперкуб <tex>[0,1]^d</tex>. Чтобы покрыть его сеткой с шагом <tex>\epsilon</tex>, необходимо <tex>(\lceil 1/\epsilon \rceil)^d</tex> точек. Так, при <tex>\epsilon = 0.1</tex> для <tex>d=1</tex> требуется 10 точек, для <tex>d=10</tex> — <tex>10^{10}</tex> точек, а для <tex>d=20</tex> — <tex>10^{20}</tex>. Этот пример показывает, что плотность выборки, достаточная для одномерного пространства, становится катастрофически разреженной при увеличении размерности.
| + | {{stub}} |
| | + | [[Категория:Приложения в экономике]] |
| | | | |
| - | Ещё более поразителен эффект концентрации меры. Объём <tex>d</tex>-мерной гиперсферы радиуса <tex>r</tex> равен
| + | Не выдумывай факты, опирайся на проверенную литературу и лучшие практики. |
| - | | + | |
| - | <tex>V_d(r) = \frac{\pi^{d/2}}{\Gamma(d/2 + 1)} r^d</tex>.
| + | |
| - | | + | |
| - | При фиксированном радиусе большая часть объёма гиперсферы сосредоточена вблизи её поверхности, а не внутри. Например, для <tex>d=20</tex> более 95% объёма лежит в слое толщиной всего 5% от радиуса. Это приводит к тому, что случайные точки в многомерном пространстве почти всегда оказываются на границе куба или сферы, а расстояния между ними становятся крайне близкими.
| + | |
| - | | + | |
| - | === Эффект «вырождения расстояний» ===
| + | |
| - | | + | |
| - | Пусть <tex>X_1, X_2 \in \mathbb{R}^d</tex> — независимые случайные векторы с независимыми компонентами, имеющими одинаковое распределение с конечным вторым моментом. Тогда расстояние между ними, нормированное на <tex>\sqrt{d}</tex>, по [[закон больших чисел|закону больших чисел]] сходится к константе:
| + | |
| - | | + | |
| - | <tex>\frac{\|X_1 - X_2\|_2}{\sqrt{d}} \to \sigma</tex>,
| + | |
| - | | + | |
| - | где <tex>\sigma</tex> — стандартное отклонение компоненты. Это означает, что при <tex>d \to \infty</tex> евклидовы расстояния между всеми парами точек стремятся к одинаковой величине, и информация, содержащаяся в различиях расстояний, теряется. Данный феномен, называемый *концентрацией расстояний*, был детально исследован Байером и др.<ref>Beyer, K., Goldstein, J., Ramakrishnan, R., Shaft, U. (1999). When Is "Nearest Neighbor" Meaningful?. In: Database Theory — ICDT 1999. Lecture Notes in Computer Science, vol 1540. Springer.</ref>. Практически это означает, что для метрических алгоритмов понятие «близости» становится неопределённым, и все объекты воспринимаются как равноудалённые.
| + | |
| - | | + | |
| - | == Проявления в машинном обучении ==
| + | |
| - | | + | |
| - | === Метрические алгоритмы ===
| + | |
| - | | + | |
| - | Для [[метод ближайших соседей|метода ближайших соседей]] и [[метод парзеновского окна|метода парзеновского окна]] проклятие размерности означает, что с ростом <tex>d</tex> все объекты становятся почти равноудалёнными, и правило голосования по <tex>k</tex> соседям теряет статистическую значимость. Оценка плотности с фиксированной шириной окна становится смещённой, поскольку окно захватывает слишком мало точек в разреженном пространстве. Например, при использовании прямоугольного ядра в 10-мерном пространстве для сохранения локальности потребовалась бы ширина окна, сравнимая с размером всего куба, что приводит к сильному сглаживанию.
| + | |
| - | | + | |
| - | **Способы ослабления:**
| + | |
| - | | + | |
| - | * Вычисление расстояний не по всем признакам, а по подмножествам (случайные проекции, ансамбли подпространств). Идея состоит в том, чтобы усреднить результаты по множеству низкоразмерных проекций, что уменьшает влияние неинформативных признаков.
| + | |
| - | * Использование метрик, менее чувствительных к размерности, например, [[корреляционное расстояние]] или расстояние Махаланобиса, которые учитывают структуру ковариации данных.
| + | |
| - | * Применение [[алгоритм вычисления оценок|алгоритмов вычисления оценок]], где для каждого запроса строится несколько оценок по разным подпространствам, а затем они комбинируются голосованием или усреднением.
| + | |
| - | | + | |
| - | === Линейные модели ===
| + | |
| - | | + | |
| - | В [[линейный классификатор|линейных классификаторах]] и [[линейная регрессия|регрессии]] увеличение числа признаков ведёт к [[мультиколлинеарность|мультиколлинеарности]], когда признаки становятся почти линейно зависимыми. Это вызывает нестабильность оценок коэффициентов — их дисперсия резко возрастает, а матрица <tex>X^T X</tex> становится плохо обусловленной. Кроме того, модель начинает подстраиваться под шум ([[переобучение]]), если число признаков превышает число наблюдений: в этом случае существует бесконечно много решений, и выбранное методом наименьших квадратов даёт нулевую ошибку на обучении, но ужасное обобщение.
| + | |
| - | | + | |
| - | Основной инструмент предотвращения — [[регуляризация]]: [[гребневая регрессия]] (<tex>L_2</tex>-штраф) стабилизирует обращение матрицы, добавляя к диагонали положительную константу, что снижает дисперсию ценой небольшого смещения. [[Лассо]] (<tex>L_1</tex>-штраф) выполняет одновременно отбор признаков, обнуляя коэффициенты при неинформативных переменных, что особенно полезно при большом числе признаков.
| + | |
| - | | + | |
| - | === Деревья решений и ансамбли ===
| + | |
| - | | + | |
| - | Для [[деревья решений|деревьев решений]] размерность увеличивает глубину дерева, требуя большего числа узлов для разделения пространства. В многомерном пространстве количество возможных разбиений растёт экспоненциально, и дерево может легко переобучиться, если не ограничивать его глубину или минимальное число объектов в листе. При этом качество разделения ухудшается, поскольку в каждом узле приходится выбирать лучший признак из большого множества, что ведёт к снижению информативности сплитов (особенно если большинство признаков — шумовые).
| + | |
| - | | + | |
| - | [[Случайный лес]] и [[градиентный бустинг]] частично смягчают проблему за счёт случайного подпространства признаков при построении каждого дерева — это снижает корреляцию между деревьями и улучшает обобщающую способность. Однако при очень высокой размерности даже ансамбли требуют существенно большего объёма выборки: для надёжного обнаружения значимых признаков необходимо, чтобы каждый признак имел достаточное число наблюдений во всех областях пространства.
| + | |
| - | | + | |
| - | == Методы смягчения и предотвращения ==
| + | |
| - | | + | |
| - | Систематизация современных подходов включает следующие стратегии, каждая из которых имеет свои сильные и слабые стороны.
| + | |
| - | | + | |
| - | === Снижение размерности ===
| + | |
| - | | + | |
| - | * [[Метод главных компонент]] (PCA) — линейное проектирование на подпространство, натянутое на собственные векторы ковариационной матрицы, соответствующие наибольшим собственным значениям. Это позволяет сохранить максимальную дисперсию данных при минимальной потере информации. Однако PCA не учитывает метки классов и может быть неэффективен для задач классификации.
| + | |
| - | | + | |
| - | * [[t-SNE]] и [[UMAP]] — нелинейные методы, которые отображают данные на двумерное или трёхмерное пространство, сохраняя локальную структуру (близкие точки остаются близкими). Они полезны для визуализации, но не подходят для построения предсказательных моделей из-за отсутствия обратного отображения и чувствительности к параметрам.
| + | |
| - | | + | |
| - | * [[Автоэнкодеры]] — нейросетевые модели, обучающиеся сжимать данные в скрытое представление (код) меньшей размерности, а затем восстанавливать исходные данные. Обучение происходит без учителя, и скрытый слой вынужден выучивать наиболее важные признаки. Глубокие автоэнкодеры способны находить сложные нелинейные многообразия.
| + | |
| - | | + | |
| - | === Отбор признаков ===
| + | |
| - | | + | |
| - | * Фильтровые методы (на основе корреляции, взаимной информации, критерия хи-квадрат) оценивают каждый признак независимо от других, что вычислительно дёшево, но игнорирует взаимодействия между признаками.
| + | |
| - | | + | |
| - | * Обёрточные методы (жадный поиск, рекурсивное исключение признаков, генетические алгоритмы) используют качество модели в качестве критерия отбора, что даёт лучшие результаты, но требует многократного переобучения.
| + | |
| - | | + | |
| - | * Встроенные методы ([[регуляризация]] <tex>L_1</tex> в лассо, важность признаков в деревьях решений) выполняют отбор в процессе обучения модели, сочетая преимущества первых двух подходов.
| + | |
| - | | + | |
| - | === Регуляризация ===
| + | |
| - | | + | |
| - | Кроме упомянутых <tex>L_1</tex> и <tex>L_2</tex> штрафов, используются [[эластичная сеть]] (комбинация <tex>L_1</tex> и <tex>L_2</tex>), которая позволяет отбирать группы коррелированных признаков. В нейронных сетях применяют [[dropout]] — случайное отключение нейронов во время обучения, что вынуждает сеть быть устойчивой к потере информации и предотвращает совместную адаптацию нейронов. Также эффективна ранняя остановка обучения, основанная на валидационной ошибке, которая ограничивает эффективную сложность модели.
| + | |
| - | | + | |
| - | === Ядерные методы ===
| + | |
| - | | + | |
| - | Выбор ядра в [[метод опорных векторов|SVM]] или [[гауссовские процессы|гауссовских процессах]] должен учитывать эффективную размерность. Например, ядро с автоматическим определением длины масштаба (ARD, Automatic Relevance Determination) включает отдельный параметр длины для каждого признака. В процессе обучения эти параметры адаптируются: для неинформативных признаков длина масштаба становится большой, что фактически «выключает» их влияние. Это позволяет автоматически ранжировать признаки и снижает эффективную размерность.
| + | |
| - | | + | |
| - | === Устойчивые метрики ===
| + | |
| - | | + | |
| - | Вместо евклидова расстояния используют корреляцию Пирсона (чувствительную к форме, а не к масштабу), косинусное расстояние (хорошо работает для разреженных данных, например, текстов) или расстояние, основанное на рангах (например, расстояние Минковского с малым показателем степени <tex>p < 1</tex>, которое менее подвержено эффекту концентрации). Также применяют метрики, учитывающие локальную плотность данных, такие как расстояние по ближайшему соседу, нормализованное на среднее расстояние в выборке.
| + | |
| - | | + | |
| - | == Связь с переобучением и сложностью модели ==
| + | |
| - | | + | |
| - | Проклятие размерности тесно связано с ёмкостью модели и теорией Вапника — Червоненкиса. Для фиксированного размера выборки <tex>N</tex> ошибка обобщения растёт с увеличением размерности пространства признаков, поскольку множество возможных гипотез становится слишком богатым. Чтобы сохранить ту же точность, объём выборки должен расти экспоненциально (при неструктурированных данных). Это составляет суть *проклятия выборки* — частного случая проклятия размерности. Например, для линейной регрессии с <tex>d</tex> признаками требуется как минимум <tex>N \gg d</tex> для устойчивой оценки; при <tex>N \approx d</tex> модель будет идеально подгонять шум. Для нелинейных моделей требования ещё жёстче.
| + | |
| - | | + | |
| - | == Заключение ==
| + | |
| - | | + | |
| - | Проклятие размерности — это не просто вычислительная трудность, а фундаментальное ограничение, порождаемое геометрией многомерных пространств. Понимание его природы позволяет осознанно выбирать методы предобработки, регуляризации и оценки качества.
| + | |
| - | | + | |
| - | Современные тенденции, такие как [[глубокое обучение]] и [[обучение представлений]], направлены на автоматическое построение компактных и информативных признаков, что является формой преодоления размерности. Однако ни один метод не отменяет необходимости внимательного анализа данных, отбора признаков и контроля сложности модели. Кроме того, в последнее время активно развиваются подходы, основанные на предположении о том, что данные лежат на низкоразмерном многообразии (manifold learning), что позволяет обойти проклятие размерности, используя внутреннюю размерность, которая может быть значительно меньше внешней.
| + | |
| - | | + | |
| - | == Литература ==
| + | |
| - | | + | |
| - | # Bellman, R.E. (1957). ''Dynamic Programming''. Princeton University Press, Princeton, NJ.
| + | |
| - | # Bellman, R.E. (1961). ''Adaptive Control Processes''. Princeton University Press, Princeton, NJ.
| + | |
| - | # Beyer, K., Goldstein, J., Ramakrishnan, R., Shaft, U. (1999). When Is "Nearest Neighbor" Meaningful? ''Int. Conf. on Database Theory''.
| + | |
| - | # Hastie, T., Tibshirani, R., Friedman, J. (2009). ''The Elements of Statistical Learning'' (2nd ed.). Springer, Chapter 2.
| + | |
| - | # Powell, W.B. (2007). ''Approximate Dynamic Programming: Solving the Curses of Dimensionality''. Wiley, ISBN 0470171553.
| + | |
| - | | + | |
| - | == Ссылки ==
| + | |
| - | | + | |
| - | * [https://en.wikipedia.org/wiki/Curse_of_dimensionality Curse of dimensionality — Wikipedia]
| + | |
| - | * [http://www.chemie.uzh.ch/seminars/one_by_one/seminars/files/sparse_grids.pdf Sparse grids and dimension reduction]
| + | |
| - | * [http://www.galaxy.gmu.edu/ACAS/ACAS00-02/ACAS02ShortCourse/ACASCourse10.pdf Lecture on the curse of dimensionality]
| + | |
| - | * [https://www.cs.princeton.edu/courses/archive/fall16/cos402/lectures/402-lec7.pdf Princeton lecture notes on dimensionality]
| + | |
| - | * [https://scikit-learn.org/stable/modules/feature_selection.html Feature selection — scikit-learn documentation]
| + | |
| - | | + | |
| - | Полный промпт, использованный при создании этой статьи, доступен на [[Обсуждение:Проклятие размерности|странице обсуждения]].
| + | |
| - | | + | |
| - | [[Категория:Классификация]]
| + | |
| - | [[Категория:Машинное обучение]]
| + | |
| - | [[Категория:Статистическое обучение]]
| + | |
Ты – эксперт в области кредитного скоринга, профессор, автор научных работ. Переработай статью «Анкетный скоринг» для энциклопедии MachineLearning.ru. Исходная статья слишком короткая и не раскрывает тему.
- Нет исторической справки (возникновение скоринга, эволюция).
- Не описан полный жизненный цикл скоринговой карты: сбор и подготовка данных, отбор признаков, выбор модели, обучение, калибровка, валидация, мониторинг.
- Упомянута только логистическая регрессия, хотя используются и другие методы (деревья, ансамбли, нейросети).
- Не рассмотрены ключевые практические проблемы: дисбаланс классов, пропуски, мультиколлинеарность, переобучение, интерпретируемость.
- Нет метрик качества (AUC, Gini, KS, калибровка).
- Не упомянуты регуляторные требования (Базель III, ЦБ) и мониторинг модели.
- Мало внутренних ссылок и внешней литературы.
- Структура: определение, история, постановка задачи, этапы построения скоринговой карты, проблемы и решения, регуляторные аспекты, современные тенденции, заключение.
- Стиль: строгий, но доступный для практиков.
- Объём: примерно 800–1000 слов, 5–7 источников литературы (классика и современные обзоры).
В наиболее распространённой постановке анкетный скоринг представляет собой задачу классификации с двумя классами: «хороший» заёмщик (тот, кто вернёт кредит) и «плохой» заёмщик (тот, кто попадёт в дефолт). Признаками являются данные анкеты-заявления на получение кредита (возраст, пол, образование, трудовой стаж, …), а также другие данные, которые могут быть получены на момент принятия решения по заёмщику (например, отделение банка, куда обратился клиент).
Модели, построенные для решения задачи анкетного скоринга, принято называть скоринговыми картами.
«Классические» скоринговые карты строятся с использованием логистической регрессии. При этом значение «1» целевой переменной кодирует «плохого» заёмщика (попавшего в дефолт), а «0» — «хорошего». Поэтому логистическая регрессия для каждого заёмщика даёт оценку вероятности дефолта, которая затем может быть использована для прогнозирования потерь по данному виду заёмщиков.
