Мода (статистика)

Материал из MachineLearning.

Версия от 12:59, 6 июля 2026; Danis Sabirov (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Шаблон:Философия ИИ/Статья создана с помощью ИИ

Содержание

1 Введение
- 1.1 Исторический контекст
2 Определение и математическая формализация
3 Свойства моды
4 Применение в машинном обучении
5 Практический пример
6 Заключение
7 Список литературы
8 Рекомендуемые материалов

Введение

Мода (англ. mode) — одна из базовых числовых характеристик распределения случайной величины, представляющая собой значение, которое встречается наивысшей плотностью или с наибольшей вероятностью в заданном вероятностном пространстве. Наряду с математическим ожиданием (средним значением) и медианой, мода является фундаментальной мерой центральной тенденции распределения. Однако, в отличие от них, мода обладает уникальным свойством применимости к качественным (номинальным, категориальным) данным, для которых арифметические операции не определены.

В анализе данных и машинном обучении мода играет важную структурную и регуляризирующую роль. Она лежит в основе алгоритмов мажоритарного голосования (Majority Voting) в ансамблевых методах, используется для импутации (заполнения) пропусков в категориальных признаках, определяет целевой класс в задачах многоклассовой классификации (через оператор $\text{argmax}$ ), а также служит основой для непараметрических методов кластеризации (алгоритмы поиска мод, такие как Mean Shift). Кроме того, феномен многомодальности данных является критическим фактором при проектировании и обучении генеративных моделей (генеративно-состязательных сетей и диффузионных моделей), где сужение многообразия генерируемых данных манифестирует в виде проблемы «схлопывания моды» (Mode Collapse).

Исторический контекст

Понятие моды как меры наиболее часто встречающегося значения интуитивно использовалось исследователями при описании эмпирических наблюдений с древнейших времен. Однако строгое математическое выделение моды как самостоятельного объекта статистического анализа и введение самого термина «мода» (mode) принадлежит английскому математику и статистику Карлу Пирсону (Karl Pearson), который зафиксировал этот концепт в своей классической работе 1895 года в рамках разработки теории кривых распределения (кривые Пирсона). Он противопоставил моду среднему арифметическому, указав на её незаменимость при анализе асимметричных и мультимодальных распределений биологических данных.

В машинном обучении концепты, связанные с модой, получили активное развитие во второй половине XX века. В 1975 году Я. Фукунага и Л. Хостетлер (Fukunaga & Hostetler) предложили идею сдвига среднего для оценки градиента плотности вероятности, что заложило основу для алгоритмов поиска локальных мод плотности. В конце 1990-х годов с развитием ансамблевых методов (бэггинг Л. Бреймана, 1996; случайный лес, 2001) мода дискретного распределения предсказаний базовых классификаторов стала стандартным оператором агрегации ответов. В 2014 году с появлением генеративно-состязательных сетей (GAN) Я. Гудфеллоу теоретический анализ стабильности обучения стал напрямую связываться со способностью моделей аппроксимировать все существующие моды целевого распределения.

Определение и математическая формализация

Пусть задано вероятностное пространство $(\Omega, \mathcal{F}, \mathbb{P})$ и определенная на нем случайная величина $X$ , принимающая значения в измеримом пространстве $(\mathcal{X}, \mathcal{B})$ . Математическая формализация моды (обозначается как $\text{Mod}(X)$ или $\text{Mo}$ ) зависит от типа распределения случайной величины.

Дискретная случайная величина

Если случайная величина $X$ является дискретной и принимает значения из счетного множества $\mathcal{X} = \{x_1, x_2, \dots\}$ с функцией распределения вероятностей $p_i = \mathbb{P}(X = x_i)$ , то модой называется такое значение $x_m \in \mathcal{X}$ , для которого функция вероятности достигает своего глобального максимума:

$\text{Mod}(X) = \arg\max_{x_i \in \mathcal{X}} \mathbb{P}(X = x_i)$

Непрерывная случайная величина

Если случайная величина $X$ является абсолютно непрерывной с функцией плотности вероятности $p(x)$ , то модой называется точка глобального максимума плотности распределения:

$\text{Mod}(X) = \arg\max_{x \in \mathbb{R}} p(x)$

Если функция плотности $p(x)$ дифференцируема, то координаты моды удовлетворяют необходимым условиям экстремума из математического анализа:

$\frac{dp(x)}{dx} = 0, \quad \frac{d^2p(x)}{dx^2} < 0$

Классификация распределений по числу мод

В зависимости от структуры локальных максимумов плотности (или функции вероятности), распределения классифицируются на:

Унимодальные (unimodal) — распределения, имеющие ровно один строго выраженный максимум (например, нормальное распределение, распределение Стьюдента).
Бимодальные (bimodal) — распределения, имеющие два локальных максимума (часто сигнализируют о скрытой неоднородности выборки, состоящей из двух непересекающихся кластеров).
Мультимодальные (multimodal) — распределения с тремя и более локальными максимумами.

Если все значения случайной величины имеют одинаковую частоту/плотность (например, в непрерывном или дискретном равномерном распределении), то понятие моды теряет содержательный смысл или считается, что мода не определена.

Эмпирическая (выборочная) мода

На практике истинный закон распределения неизвестен, и исследователь оперирует конечной выборкой $\mathcal{D} = \{x_1, x_2, \dots, x_n\}$ .

Для категориальных (номинальных) данных выборочная мода $\hat{M}$ определяется тривиально как наиболее часто встречающийся элемент:

$\hat{M} = \arg\max_{v \in V} \sum_{i=1}^n \mathbb{I}(x_i = v)$

где $V$ — множество уникальных категорий, а $\mathbb{I}(\cdot)$ — индикаторная функция.

Для непрерывных данных точное совпадение вещественных чисел маловероятно. Вычисление выборочной моды требует непараметрического восстановления плотности (Kernel Density Estimation, KDE). Эмпирическая оценка плотности с ядром $K(\cdot)$ и шириной окна $h$ записывается как:

$\hat{p}(x) = \frac{1}{nh} \sum_{i=1}^n K\left(\frac{x - x_i}{h}\right)$

Выборочная мода непрерывной величины определяется как точка максимума данной оценки:

$\hat{M} = \arg\max_{x \in \mathbb{R}} \hat{p}(x)$

Свойства моды

Мода обладает специфическим набором алгебраических и статистических свойств, которые отличают её от математического ожидания и медианы:

Устойчивость к экстремальным выбросам (Robustness): В отличие от математического ожидания, значение моды не зависит от значений элементов на хвостах распределения. Добавление аномально больших или малых значений в выборку не изменяет точку максимума плотности, что делает моду устойчивой метрикой в задачах робастного анализа.
Единственность для номинальных шкал: Мода является единственной мерой центральной тенденции, применимой к качественным данным, не имеющим упорядоченности (например, цвета, профессии, идентификаторы устройств). Медиана требует порядковой шкалы, а среднее — интервальной или шкалы отношений.
Неаддитивность: Мода суммы двух независимых случайных величин в общем случае не равна цене суммы их мод:

$\text{Mod}(X + Y) \neq \text{Mod}(X) + \text{Mod}(Y)$

Это существенно усложняет аналитические вычисления в многомерных пространствах по сравнению с математическим ожиданием.

Аффинная инвариантность (линейные преобразования): При линейном преобразовании случайной величины $Y = aX + b$ мода преобразуется аналогичным образом:

$\text{Mod}(aX + b) = a\text{Mod}(X) + b$

Взаимосвязь мер центральной тенденции: Для умеренно асимметричных одномерных распределений выполняется приближенное эмпирическое соотношение Пирсона:

$\mathbb{E}[X] - \text{Mod}(X) \approx 3(\mathbb{E}[X] - \text{Med}(X))$

где $\text{Med}(X)$ — медиана случайной величины. В строго симметричных унимодальных распределениях (например, Гауссовом) мода, медиана и математическое ожидание совпадают.

Применение в машинном обучении

В прикладном анализе данных и алгоритмах искусственного интеллекта концепт моды интегрирован во множество этапов конструирования моделей.

1. Импутация категориальных признаков

На этапе предобработки данных (Data Preprocessing) матрицы объект-признак часто содержат пропущенные значения. Для вещественных признаков стандартной практикой является замена пропусков средним или медианой. Для категориальных (номинальных) признаков эти операции невозможны. В данном случае применяется стратегия импутации модой (Most Frequent Imputation): все пропущенные значения признака $X_j$ замещаются выборочной модой данного признака, вычисленной по валидным объектам обучающей выборки.

2. Агрегация предсказаний в ансамблях (Мажоритарное голосование)

В задачах многоклассовой классификации при использовании композиционных схем обучения, таких как Бэггинг (Bagging) или Случайный Лес (Random Forest), окончательный вердикт ансамбля формируется на основе индивидуальных ответов базовых алгоритмов. Пусть ансамбль состоит из $T$ классификаторов, и каждый классификатор $b_t(x)$ возвращает дискретную метку класса $y \in \{1, \dots, K\}$ . Итоговое решающее правило ансамбля $a(x)$ определяется как мода дискретного эмпирического распределения ответов:

$a(x) = \text{Mod}\Big(\{b_1(x), b_2(x), \dots, b_T(x)\}\Big) = \arg\max_{k \in \{1, \dots, K\}} \sum_{t=1}^T \mathbb{I}(b_t(x) = k)$

3. Выходной слой классификационных моделей (Оператор Argmax)

При обучении глубоких нейронных сетей для задач классификации финальный слой сети обычно возвращает вектор логитов, преобразуемый функцией $\text{Softmax}$ в вектор прогностических вероятностей классов $p = [p_1, p_2, \dots, p_K]$ , где $p_k = \mathbb{P}(Y = k \mid x)$ . Процесс принятия окончательного решения моделью — это выбор класса с максимальной вероятностью:

$\hat{y} = \arg\max_{k} p_k$

С точки зрения теории вероятностей, данная операция представляет собой нахождение моды апостериорного дискретного распределения целевой переменной.

4. Проблема схлопывания моды (Mode Collapse) в GAN

В контексте генеративно-состязательных нейросетей (Generative Adversarial Networks, GAN) распределение реальных данных $p_{data}$ в пространствах высокой размерности (например, изображения) практически всегда является мультимодальным (разные моды соответствуют разным классам объектов: машинам, собакам, людям). Во время обучения генератор стремится минимизировать расхождение между распределениями. Однако при нарушении динамического равновесия с дискриминатором возникает критический сбой — Mode Collapse.

При этом генератор настраивается на аппроксимацию лишь одной или нескольких локальных мод плотности распределения $p_{data}$ , полностью игнорируя остальные. Математически это означает, что генерируемый случайный процесс теряет многообразие, и модель начинает выдавать одинаковые или крайне похожие образцы (например, генерировать изображения только одного класса или в одной цветовой гамме), что является ключевым дефектом оптимизации.

5. Алгоритмы поиска мод (Mode-Seeking) для кластеризации

В отличие от параметрической кластеризации (например, K-Means), непараметрические методы рассматривают кластеры как области повышенной плотности точек в признаковом пространстве. Центральной задачей таких алгоритмов является поиск локальных максимумов (мод) функции плотности вероятности данных. Объекты выборки затем смещаются вдоль линий градиента плотности к соответствующим модам, формируя кластеры произвольной геометрической формы.

Практический пример

Рассмотрим применение концепта поиска мод в классическом алгоритме компьютерного зрения и непараметрического анализа данных — Алгоритме сдвига среднего (Mean Shift).

Описание задачи: Сегментация цветного изображения по пространственно-цветовым признакам для выделения контуров объектов (например, в системах медицинского анализа снимков или автономного вождения). Исходное изображение представляется в виде множества точек в многомерном пространстве признаков, где для каждого пикселя заданы его пространственные координаты $(x, y)$ и цветовые характеристики в пространстве параметров (например, $L, a, b$ ).
Модель: Непараметрический итерационный алгоритм кластеризации Mean Shift. Алгоритм не требует априорного задания количества кластеров, что критически важно, так как число объектов на сцене заранее неизвестно.
Где используется мода: Алгоритм рассматривает распределение пикселей в признаковом пространстве как непрерывное распределение вероятностей. Каждый кластер ассоциируется с локальной модой плотности. Алгоритм осуществляет итерационный поиск моды для каждой точки выборки. Для текущей точки $x$ задается окрестность (окно) радиуса $h$ . Вычисляется вектор сдвига среднего (Mean Shift vector) $m(x)$ , который направлен в сторону максимального роста плотности данных (к локальной моде):

$m(x) = \frac{\sum_{x_i \in N(x)} x_i K\left(\frac{x - x_i}{h}\right)}{\sum_{x_i \in N(x)} K\left(\frac{x - x_i}{h}\right)} - x$

где $N(x)$ — окрестность точки $x$ , а $K(\cdot)$ — дифференцируемая функция ядра (обычно гауссовское ядро). На каждой итерации координата точки обновляется: $x \leftarrow x + m(x)$ . Процесс останавливается, когда вектор сдвига становится близким к нулю ( $m(x) \to 0$ ). Точки, сошедшиеся к одной и той же локальной моде плотности распределения, объявляются принадлежащими к одному кластеру (сегменту изображения).

Почему она важна: Использование моды распределения в качестве центра кластера позволяет алгоритму Mean Shift успешно сегментировать объекты со сложной, нелинейной и невыпуклой геометрией границ. В отличие от K-Means, который оптимизирует математическое ожидание (что заставляет кластеры быть сферическими и уязвимыми к шуму), Mean Shift ищет истинные пики плотности. Это гарантирует высокую точность контурного анализа и устойчивость к фоновым шумовым выбросам на изображении.

Заключение

Мода является уникальной статистической метрикой, связывающей качественные структуры данных с непрерывными вероятностными многообразиями в машинном обучении. Её фундаментальное свойство робастности и независимости от метрики пространства делает моду незаменимой при обработке номинальных шкал и построении отказоустойчивых ансамблевых моделей. Понимание математической природы мод распределений данных позволяет инженерам и исследователям эффективно решать задачи непараметрической кластеризации, контролировать стабильность генеративных систем и минимизировать риски переобучения сложных предсказательных архитектур.

Список литературы

Pearson K. Contributions to the mathematical theory of evolution. II. Skew variation in homogeneous material // Philosophical Transactions of the Royal Society of London. A. — 1895. — Vol. 186. — P. 343–414.
Fukunaga K., Hostetler L. The estimation of the gradient of a density function, with applications in pattern recognition // IEEE Transactions on Information Theory. — 1975. — Vol. 21, no. 1. — P. 32–40.
Comaniciu D., Meer P. Mean shift: A robust approach toward feature space analysis // IEEE Transactions on Pattern Analysis and Machine Intelligence. — 2002. — Vol. 24, no. 5. — P. 603–619.
Goodfellow I., Pouget-Abadie J., Mirza M., Xu B., Warde-Farley D., Ozair S., Courville A., Bengio Y. Generative adversarial nets // Advances in Neural Information Processing Systems. — 2014. — Vol. 27. — P. 2672–2680.