Дисперсия
Материал из MachineLearning.
| Статья написана с использованием LLM GPT-5.5 Thinking и проверена участником Eva Vallistu 12:41, 14 июля 2026 (MSD) Промпт приводится полностью в Обсуждение:Дисперсия |
|
Дисперсия — числовая характеристика разброса случайной величины относительно её математического ожидания. Дисперсия показывает, насколько сильно значения случайной величины в среднем отклоняются от своего среднего значения.
В теории вероятностей и математической статистике дисперсия используется для описания изменчивости случайных величин, оценки неопределённости, построения доверительных интервалов, анализа ошибок и сравнения статистических моделей. В машинном обучении дисперсия возникает при анализе качества моделей, оценке устойчивости алгоритмов, регуляризации и разложении ошибки на смещение и дисперсию.
Определение
Пусть — случайная величина, для которой существует математическое ожидание
. Дисперсией случайной величины
называется математическое ожидание квадрата отклонения
от её среднего значения:
Интуитивно дисперсия измеряет средний квадрат расстояния от значений случайной величины до её центра. Возведение в квадрат выполняет две функции: устраняет взаимное уничтожение положительных и отрицательных отклонений и сильнее штрафует большие отклонения.
Если почти всегда принимает значения, близкие к
, то дисперсия мала. Если значения
часто находятся далеко от среднего, дисперсия велика.
Эквивалентная формула через второй момент имеет вид
Она получается раскрытием квадрата:
Так как является числом, имеем
Дисперсия существует, если существует конечный второй момент . Если второй момент бесконечен или не определён, дисперсия также может быть бесконечной или не существовать.
Размерность дисперсии равна квадрату размерности исходной величины. Например, если измеряется в метрах, то
измеряется в квадратных метрах.
Стандартное отклонение определяется как корень из дисперсии:
В отличие от дисперсии, стандартное отклонение имеет ту же размерность, что и исходная случайная величина, поэтому оно часто удобнее для интерпретации.
Свойства
Дисперсия всегда неотрицательна:
Это следует из определения, поскольку квадрат отклонения неотрицателен:
Дисперсия равна нулю тогда и только тогда, когда случайная величина почти наверное постоянна:
Последнее равенство понимается почти наверное.
При добавлении константы дисперсия не изменяется:
Это свойство отражает тот факт, что сдвиг всех значений на одно и то же число не меняет разброс относительно среднего.
При умножении случайной величины на число дисперсия умножается на квадрат этого числа:
В общем случае для линейного преобразования выполняется
Для двух случайных величин и
дисперсия суммы выражается через ковариацию:
Если и
независимы, то их ковариация равна нулю, и
Для независимых случайных величин выполняется
Если случайные величины имеют одинаковую дисперсию и независимы, то для их среднего
имеем
Это свойство объясняет, почему усреднение независимых наблюдений уменьшает случайный разброс.
Выборочная дисперсия
Пусть дана выборка
Выборочное среднее определяется формулой
Выборочная дисперсия с делением на имеет вид
Эта величина является средним квадратом отклонений наблюдений от выборочного среднего. Она естественно описывает разброс внутри данной выборки.
Исправленная выборочная дисперсия задаётся формулой
Различие между делением на и
связано с оцениванием дисперсии генерального распределения по выборке. Если математическое ожидание неизвестно и заменяется выборочным средним
, то сумма квадратов отклонений от
в среднем оказывается меньше суммы квадратов отклонений от истинного среднего. Деление на
исправляет это смещение и даёт несмещённую оценку дисперсии при независимой одинаково распределённой выборке с конечной дисперсией.
Краткий численный пример. Пусть дана выборка
Выборочное среднее равно
Квадраты отклонений:
Их сумма равна
Выборочная дисперсия с делением на :
Исправленная выборочная дисперсия:
Стандартное отклонение для варианта с делением на равно
Применение
В математической статистике дисперсия используется для описания разброса распределений, оценки параметров, проверки статистических гипотез, построения доверительных интервалов и анализа точности оценок. Дисперсия оценки характеризует, насколько сильно значение оценки меняется от выборки к выборке.
В машинном обучении дисперсия используется в нескольких смыслах.
Во-первых, дисперсия признака показывает его изменчивость в данных. Признаки с нулевой дисперсией не несут различительной информации, поскольку имеют одно и то же значение на всех объектах.
Во-вторых, дисперсия связана с нормализацией и стандартизацией данных. При стандартизации признак преобразуется так, чтобы иметь среднее значение и дисперсию
. Это важно для методов, чувствительных к масштабу признаков.
В-третьих, дисперсия возникает при анализе ошибки модели. Модель с высокой дисперсией чувствительна к изменениям обучающей выборки и может переобучаться. Модель с низкой дисперсией более устойчива, но при слишком сильных ограничениях может иметь большое смещение.
В-четвёртых, дисперсия используется в регрессионном анализе, дисперсионном анализе, методах снижения размерности, ансамблевых методах и байесовском оценивании. В методе главных компонент направления выбираются так, чтобы объяснять наибольшую долю дисперсии данных.
Дисперсия является базовой характеристикой неопределённости, однако она не полностью описывает распределение. Разные распределения могут иметь одинаковую дисперсию, но различаться асимметрией, тяжестью хвостов и вероятностью выбросов. Поэтому в прикладном анализе дисперсию часто рассматривают вместе со средним, квантилями, формой распределения и устойчивыми мерами разброса.
См. также
Литература
Feller W. An Introduction to Probability Theory and Its Applications. — Wiley, 1968.
Cramér H. Mathematical Methods of Statistics. — Princeton University Press, 1946.
Casella G.; Berger R. L. Statistical Inference. — Duxbury, 2002.
Wasserman L. All of Statistics: A Concise Course in Statistical Inference. — Springer, 2004.
Bishop C. M. Pattern Recognition and Machine Learning. — Springer, 2006.
