Дисперсия случайной величины

Материал из MachineLearning.

(Различия между версиями)

Перейти к: навигация, поиск

Текущая версия

Статья написана с использованием LLM Claude (Anthropic) и проверена участником ~~Danis Sabirov~~

Содержание

1 Введение
2 Определение и математическая формализация
3 Свойства дисперсии
4 Применение в машинном обучении
5 Практический пример
6 Заключение
7 Список литературы
8 Рекомендуемые материалы

Введение

Дисперсия случайной величины (лат. dispersio — рассеяние) — один из ключевых академических концептов теории вероятностей и математической статистики, который в рамках методологии машинного обучения (Machine Learning, ML) служит фундаментальной мерой неопределённости, нестабильности и обобщающей способности предсказательных алгоритмов. В то время как математическое ожидание характеризует центр распределения или «типичное» значение признака (или прогноза), дисперсия определяет степень вариативности, разброса данных и уязвимости моделей к переобучению (overfitting).

Понимание динамики дисперсии лежит в основе классической теории статистического обучения (Statistical Learning Theory). Она определяет границы применимости линейных и нелинейных моделей, управляет процессами регуляризации, балансирует композиционные ансамбли (баггинг и случайные леса) и выступает метрикой доверия в современных байесовских архитектурах глубокого обучения. Управление дисперсией — это, по сути, 핵심 (ядро) процесса оптимизации обобщающей способности любой предсказательной системы.

Определение и математическая формализация

Пусть задано абстрактное вероятностное пространство $(\Omega, \mathcal{F}, \mathbb{P})$ . Рассматривается числовая случайная величина $X: \Omega \to \mathbb{R}$ с конечным вторым моментом.

Дисперсией случайной величины $X$ (обозначается как $\text{Var}(X)$ или $\mathbb{D}[X]$ ) называется математическое ожидание квадрата отклонения случайной величины от её математического ожидания:

$\text{Var}(X) = \mathbb{E}\left[(X - \mathbb{E}[X])^2\right]$

Корень квадратный из дисперсии, $\sigma = \sqrt{\text{Var}(X)}$ , называется среднеквадратическим (стандартным) отклонением и обладает той же размерностью, что и сама случайная величина $X$ .

Математические формы для разных типов распределений

Для дискретной случайной величины, принимающей значения $x_i$ с вероятностями $p_i = \mathbb{P}(X = x_i)$ , формула приобретает вид:

$\text{Var}(X) = \sum_{i=1}^{\infty} p_i (x_i - \mu)^2$

где $\mu = \mathbb{E}[X] = \sum_{i=1}^{\infty} p_i x_i$ .

Для непрерывной случайной величины с плотностью распределения $p(x)$ :

$\text{Var}(X) = \int_{-\infty}^{+\infty} (x - \mu)^2 p(x) \, dx$

где $\mu = \mathbb{E}[X] = \int_{-\infty}^{+\infty} x p(x) \, dx$ .

Для практических вычислений часто используется эквивалентная вычислительная формула, вытекающая из линейности математического ожидания:

$\text{Var}(X) = \mathbb{E}[X^2] - (\mathbb{E}[X])^2$

Выборочная дисперсия в анализе данных

В реальных задачах машинного обучения истинное распределение вероятностей генеральной совокупности неизвестно, и исследователь оперирует эмпирической выборкой $\{x_1, x_2, \dots, x_n\}$ . Смещённая выборочная дисперсия определяется как:

$\hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^n (x_i - \bar{x})^2$

где $\bar{x} = \frac{1}{n}\sum_{i=1}^n x_i$ — выборочное среднее. Для получения несмещённой оценки дисперсии генеральной совокупности применяется поправка Бесселя, компенсирующая потерю одной степени свободы при замене истинного среднего выборочным:

$s^2 = \frac{1}{n-1} \sum_{i=1}^n (x_i - \bar{x})^2$

Исторический контекст

Понятие отклонения от среднего разрабатывалось в рамках «политической арифметики» и теории ошибок К. Ф. Гауссом и А. Лежандром в начале XIX века при обосновании метода наименьших квадратов. Математическое обоснование законов, связывающих дисперсию сумм случайных величин, принадлежит русской чебышёвской математической школе (П. Л. Чебышёв, А. А. Марков, А. М. Ляпунов).

Сам термин «дисперсия» (variance) и её строгое выделение как самостоятельного объекта статистического анализа были предложены английским генетиком и статистиком Рональдом Фишером в его классической работе 1918 года «The Correlation between Relatives on the Supposition of Mendelian Inheritance». В машинном обучении концептуальный прорыв произошёл в 1992 году, когда С. Геман, Э. Биненшток и Р. Дунсат (Geman et al., 1992) адаптировали разложение дисперсии для анализа среднеквадратичной ошибки (MSE) предсказательных алгоритмов, заложив основу концепции компромисса смещения и дисперсии (Bias-Variance Tradeoff).

Свойства дисперсии

Дисперсия обладает рядом строго доказанных математических свойств, предопределяющих её поведение при трансформации признаков и вычислении градиентов:

Неотрицательность: $\text{Var}(X) \ge 0$ . Дисперсия равна нулю тогда и только тогда, когда случайная величина вырождена (принимает константное значение с вероятностью 1).
Инвариантность к сдвигу: $\text{Var}(X + C) = \text{Var}(X)$ , где $C \in \mathbb{R}$ — константа. Добавление постоянной величины сдвигает распределение целиком, не изменяя его геометрию и разброс.
Квадратичное масштабирование: $\text{Var}(CX) = C^2 \text{Var}(X)$ . Умножение случайной величины на константу масштабирует её дисперсию квадратично.
Дисперсия суммы случайных величин: Для любых двух случайных величин $X$ и $Y$ :

$\text{Var}(X \pm Y) = \text{Var}(X) + \text{Var}(Y) \pm 2\text{Cov}(X, Y)$

где $\text{Cov}(X, Y) = \mathbb{E}[(X - \mathbb{E}[X])(Y - \mathbb{E}[Y])]$ — ковариация. Если величины $X$ и $Y$ независимы (или просто некоррелированы), их ковариация равна нулю, и формула упрощается до:

$\text{Var}(X \pm Y) = \text{Var}(X) + \text{Var}(Y)$

Неравенство Чебышёва: Фундаментальное свойство, связывающее дисперсию и оценку хвостов распределения неопределённости. Для любого $\epsilon > 0$ :

$\mathbb{P}(|X - \mathbb{E}[X]| \ge \epsilon) \le \frac{\text{Var}(X)}{\epsilon^2}$

Это неравенство гарантирует, что знание дисперсии позволяет ограничить сверху вероятность критических отклонений случайной величины без детального знания точного закона её распределения.

Применение в машинном обучении

В машинном обучении дисперсия перестаёт быть просто абстрактной характеристикой распределения и становится мерой уязвимости архитектуры модели.

Разложение ошибки на смещение и дисперсию (Bias-Variance Decomposition)

Пусть истинная зависимость в данных описывается как $y = f(x) + \epsilon$ , где $\epsilon$ — неустранимый шум с нулевым средним и дисперсией $\sigma^2$ . Мы обучаем алгоритм $\hat{f}(x; \mathcal{D})$ на случайной выборке $\mathcal{D}$ . Ожидаемая квадратичная ошибка предсказания в точке $x$ по всем возможным выборкам декомпозируется на три независимые компоненты:

$\mathbb{E}_\mathcal{D}\left[(y - \hat{f}(x; \mathcal{D}))^2\right] = \text{Bias}^2(\hat{f}(x)) + \text{Var}(\hat{f}(x)) + \sigma^2$

где:

$\text{Bias}(\hat{f}(x)) = \mathbb{E}_\mathcal{D}[\hat{f}(x; \mathcal{D})] - f(x)$ — смещение (систематическая ошибка недообучения).
$\text{Var}(\hat{f}(x)) = \mathbb{E}_\mathcal{D}\left[(\hat{f}(x; \mathcal{D}) - \mathbb{E}_\mathcal{D}[\hat{f}(x; \mathcal{D})])^2\right]$ — дисперсия модели. Она измеряет, насколько сильно будет изменяться предсказание алгоритма при смене обучающей выборки.

Высокая дисперсия (High Variance) является математическим индикатором переобучения (overfitting). Модели с избыточной емкостью (например, глубокие несвязанные деревья решений или сверхпараметризованные нейросети без регуляризации) обладают нулевым смещением, но запоминают шум конкретной выборки, демонстрируя колоссальный разброс ответов на тестовых данных.

Ансамблевые методы (Бэггинг)

Методология бэггинга (Bootstrap Aggregating) и алгоритм Случайного Леса (Random Forest) напрямую эксплуатируют свойство дисперсии суммы некоррелированных величин. Если мы строим усреднённый ансамбль из $M$ базовых алгоритмов, каждый из которых имеет индивидуальную дисперсию $\text{Var}(f_m(x)) = \sigma^2$ , и коэффициент попарной корреляции между их предсказаниями равен $\rho$ , то дисперсия итогового усреднённого предсказания равна:

$\text{Var}\left(\frac{1}{M}\sum_{m=1}^M f_m(x)\right) = \rho\sigma^2 + \frac{1-\rho}{M}\sigma^2$

При декорреляции базовых моделей (что достигается случайным выбором подмножеств объектов и признаков, то есть $\rho \to 0$ ) увеличение размера ансамбля $M \to \infty$ позволяет подавить второе слагаемое, радикально снижая итоговую дисперсию модели без увеличения её смещения.

Предобработка данных и отбор признаков

Variance Threshold: Простейший метод фильтрации признаков (Feature Selection). Если дисперсия некоторого признака близка к нулю (например, $\text{Var}(X_j) < \epsilon$ ), это означает, что признак практически постоянен во всех наблюдениях, не несёт разделяющей информации и должен быть удалён до начала обучения.
Стандартизация (Z-score normalization): Преобразование пространства признаков для выравнивания масштабов оптимизации:

$x_{new} = \frac{x - \mu}{\sigma}$

После данной трансформации дисперсия каждого признака становится строго равной единице, что предотвращает доминирование одних переменных над другими в метрических алгоритмах (KNN, SVM) и стабилизирует сходимость градиентного спуска.

Современные применения в глубоком обучении

Слой пакетной нормализации (Batch Normalization): В глубоких нейронных сетях дисперсия активаций каждого слоя рассчитывается динамически для каждого мини-батча. Нормализация текущих значений на батчевую дисперсию устраняет проблему внутреннего сдвига ковариат (Internal Covariate Shift), предотвращая взрыв или затухание градиентов.
Вариационные автокодировщики (VAE): В генеративных байесовских моделях энкодер предсказывает не фиксированную точку латентного пространства, а параметры распределения — вектор математических ожиданий $\mu$ и вектор логарифмов дисперсий $\log\sigma^2$ . Случайный вектор латентного представления затем сэмплируется с учётом предсказанной дисперсии с использованием трюка с репараметризацией (reparameterization trick).
Снижение дисперсии градиента (Variance Reduction в SGD): Траектория оптимизации в глубоком обучении подвержена шуму из-за случайного выбора мини-батчей. Алгоритмы семейства Adam используют экспоненциально затухающее движущееся среднее квадратов градиентов (нецентрированную дисперсию) для адаптивного изменения шага обучения (learning rate) по каждому параметру отдельно.

Практический пример

Рассмотрим применение дисперсии в методологии Активного обучения (Active Learning) и оценки неопределенности (Uncertainty Estimation) детектора компьютерного зрения для беспилотного транспорта.

Описание задачи: Роботизированный автомобиль осуществляет сегментацию дорожной обстановки в реальном времени. Разметка новых видеокадров человеком обходится крайне дорого. Необходимо разработать алгоритм отбора наиболее информативных кадров («трудных случаев») для передачи их на разметку эксперту, чтобы максимизировать скорость дообучения модели при минимальном объёме ручной разметки.
Модель: Глубокая свёрточная нейросеть с архитектурой UNet, модифицированная с использованием техники Monte Carlo Dropout (MC Dropout) (Gal & Ghahramani, 2016).
Где используется дисперсия: Традиционные нейросети выдают детерминированное предсказание вероятности класса. При подходе MC Dropout слой регуляризации Dropout оставляется включённым не только на этапе обучения, но и на этапе инференса (тестирования). Для одного и того же входящего дорожного кадра $x^*$ выполняется $T = 50$ последовательных прогонов (forward passes). Из-за случайного отключения нейронов на каждом прогоне сеть выдает слегка отличающиеся предсказания $\{\hat{y}_1, \hat{y}_2, \dots, \hat{y}_T\}$ .

Для каждого пикселя изображения рассчитывается прогностическая дисперсия (Predictive Variance) полученного ансамбля ответов:

$\text{Var}(\hat{y}^*) = \frac{1}{T}\sum_{t=1}^T (\hat{y}_t^* - \bar{y}^*)^2$

Почему она важна: Если объект на дороге стандартный (например, типичная разметка), то при любых случайных отключениях нейронов сеть будет уверена в ответе, и дисперсия $\text{Var}(\hat{y}^*)$ будет близка к нулю. Однако, если перед автомобилем окажется редкий объект (например, человек в необычном карнавальном костюме), разные конфигурации нейронов будут выдавать радикально противоположные гипотезы. Пиксели этого объекта покажут аномально высокую дисперсию предсказания. Высокая дисперсия служит математическим триггером: «Модель не уверена, так как данные лежат вне её текущего обучающего распределения». Данный кадр автоматически извлекается, маркируется как критический и отправляется инженеру на разметку, предотвращая потенциальную аварию на этапе эксплуатации и оптимизируя бюджет разметки.

Заключение

Дисперсия случайной величины в машинном обучении выступает в качестве универсального индикатора качества и устойчивости систем искусственного интеллекта. Будучи математической основой для разложения ошибок, проектирования ансамблей и оценки уверенности моделей, дисперсия позволяет строго квантифицировать неопределённость. Грамотное управление дисперсией посредством регуляризации, аугментации данных и байесовских подходов является обязательным условием для создания надёжных, обобщающих и безопасных алгоритмов машинного обучения.

Список литературы

Fisher R. A. The Correlation between Relatives on the Supposition of Mendelian Inheritance // Transactions of the Royal Society of Edinburgh. — 1918. — Vol. 52, no. 2. — P. 399–433.
Geman S., Bienenstock E., Doursat R. Neural networks and the bias/variance dilemma // Neural Computation. — 1992. — Vol. 4, no. 1. — P. 1–58.
Gal Y., Ghahramani Z. Dropout as a bayesian approximation: Representing model uncertainty in deep learning // International Conference on Machine Learning (ICML). — 2016. — P. 1050–1059.
Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning: Data Mining, Inference, and Prediction. — 2nd ed. — Springer, 2009. — 745 p.

@@ Строка 1: / Строка 1: @@
-```mediawiki
+{{well|Статья написана с использованием LLM '''Claude (Anthropic)''' и проверена участником ~~Danis Sabirov~~}}
-{{Шаблон:Философия ИИ/Статья создана с помощью ИИ|модель=Gemini Pro|проверка=Укажите_ваше_имя}}
 == Введение ==