Центральная предельная теорема

Материал из MachineLearning.

Версия от 13:40, 17 июля 2026; Aliia Latipova (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Статья написана с использованием LLM ChatGPT (GPT-5.6 Sol Medium) и проверена участником Aliia Latipova 16:00, 17 июля 2026 (MSD). Промпт приводится полностью в Обсуждение:Центральная предельная теорема.

Содержание

1 Классическая центральная предельная теорема
2 Условия Линдеберга и Ляпунова
3 Связь с характеристическими функциями и слабой сходимостью мер
4 Формы центральной предельной теоремы
5 Свойства и следствия
6 Частные случаи и связь с другими предельными законами
- 6.1 Теорема Муавра — Лапласа
- 6.2 Обобщённая ЦПТ и связь с устойчивыми распределениями
7 ЦПТ и другие виды сходимости
8 Роль в машинном обучении
9 Ограничения, проверка применимости и современные обобщения
10 Примечания
11 Литература

Центра́льная преде́льная теоре́ма (ЦПТ) — один из фундаментальных результатов теории вероятностей, утверждающий, что сумма большого числа независимых (или слабо зависимых) случайных величин с конечными дисперсиями имеет распределение, близкое к нормальному. ЦПТ лежит в основе многих методов математической статистики и машинного обучения, объясняя широкую распространённость нормального закона в природе и экспериментальных данных.

Классическая центральная предельная теорема

Пусть $X_1, X_2, \dots, X_n$ — последовательность независимых одинаково распределённых случайных величин с конечным математическим ожиданием $\mathbb{E}X_1 = \mu$ и конечной дисперсией $\operatorname{Var}X_1 = \sigma^2 > 0$ . Обозначим частичную сумму $S_n = X_1 + \dots + X_n$ . Тогда сходимость по распределению нормированной суммы к стандартному нормальному закону записывается как

$\frac{S_n - n\mu}{\sigma \sqrt{n}} \overset{d}{\to} \mathcal{N}(0,1)$ при $n \to \infty,$

где $\overset{d}{\to}$ обозначает слабую сходимость функций распределения в каждой точке непрерывности предельной функции $\Phi(x) = \frac{1}{\sqrt{2\pi}}\int_{-\infty}^x e^{-t^2/2}\,dt$ . Эквивалентно, для выборочного среднего $\bar{X}_n = S_n/n$ имеет место

$\sqrt{n}\,\frac{\bar{X}_n - \mu}{\sigma} \overset{d}{\to} \mathcal{N}(0,1).$

Вероятностная интуиция опирается на тот факт, что при суммировании независимых величин их свёртка распределений «сглаживается», а логарифм характеристической функции суммы с точностью до членов второго порядка ведёт себя как квадратичная форма, порождающая нормальное распределение. Конечность второго момента принципиальна: именно дисперсия задаёт масштаб флуктуаций суммы; при её отсутствии нормировка должна быть иной, и пределом может выступать устойчивый закон, отличный от нормального (см. обобщённая ЦПТ).

Условия Линдеберга и Ляпунова

Для последовательности независимых, но не обязательно одинаково распределённых случайных величин $X_k$ с конечными средними $\mu_k = \mathbb{E}X_k$ и дисперсиями $\sigma_k^2 = \operatorname{Var}X_k$ классическая формулировка обобщается. Пусть $s_n^2 = \sum_{k=1}^n \sigma_k^2$ . Если выполнено условие Линдеберга^[1]

$\lim_{n\to\infty} \frac{1}{s_n^2} \sum_{k=1}^n \mathbb{E}\left[ (X_k - \mu_k)^2 \mathbf{1}_{\{|X_k - \mu_k| > \varepsilon s_n\}} \right] = 0 \quad \forall \varepsilon > 0,$

то

$\frac{\sum_{k=1}^n (X_k - \mu_k)}{s_n} \overset{d}{\to} \mathcal{N}(0,1).$

Более простое для проверки, но более ограничительное условие Ляпунова^[1] требует существования абсолютного момента порядка $2+\delta$ для некоторого $\delta > 0$ :

$\lim_{n\to\infty} \frac{1}{s_n^{2+\delta}} \sum_{k=1}^n \mathbb{E}|X_k - \mu_k|^{2+\delta} = 0.$

Из условия Ляпунова следует условие Линдеберга, а последнее является необходимым и достаточным для нормальной сходимости в случае равномерно малых слагаемых.

Связь с характеристическими функциями и слабой сходимостью мер

Метод характеристических функций — классический инструмент доказательства ЦПТ. Характеристическая функция нормированной суммы $\frac{S_n - n\mu}{\sigma\sqrt{n}}$ представляется как $\left(\varphi\!\left(\frac{t}{\sigma\sqrt{n}}\right) e^{-i\mu t/(\sigma\sqrt{n})}\right)^n$ , где $\varphi(t) = \mathbb{E}e^{itX_1}$ . Разложение $\varphi(t) = 1 + i\mu t - \frac{1}{2}(\sigma^2+\mu^2)t^2 + o(t^2)$ приводит к предельному выражению $e^{-t^2/2}$ , которое является характеристической функцией стандартного нормального распределения. По теореме Леви о непрерывности^[1] отсюда вытекает слабая сходимость распределений.

В терминах слабой сходимости вероятностных мер ЦПТ означает, что последовательность мер $P_n$ , индуцированных случайными величинами $\frac{S_n - n\mu}{\sigma\sqrt{n}}$ , слабо сходится к стандартной гауссовской мере на борелевской прямой. Геометрически свёртка исходной плотности с собой $n$ раз при соответствующем масштабировании асимптотически приближается к колоколообразной форме плотности нормального распределения, что согласуется с принципом максимума энтропии при фиксированной дисперсии.

Формы центральной предельной теоремы

Классическая форма (Ляпунова)

Описанная выше теорема для независимых одинаково распределённых величин с конечной дисперсией является частным случаем условий Ляпунова при $\delta = 2$ . Именно её часто называют классической ЦПТ.

Локальная ЦПТ для решётчатых распределений

Если независимые одинаково распределённые случайные величины принимают значения на решётке $\{a + kh \mid k \in \mathbb{Z}\}$ с максимальным шагом $h$ , то при определённых условиях существует сходимость не только функций распределения, но и вероятностей отдельных значений. Для сумм $S_n$ локальная теорема утверждает^[1]

$\mathbb{P}(S_n = x) \sim \frac{h}{\sigma\sqrt{2\pi n}} \exp\!\left( -\frac{(x - n\mu)^2}{2n\sigma^2} \right),$

где $x$ принадлежит решётке.

Многомерная ЦПТ

Для последовательности независимых одинаково распределённых случайных векторов $\mathbf{X}_k \in \mathbb{R}^d$ с вектором средних $\mu$ и невырожденной ковариационной матрицей $\Sigma$ выполняется

$\sqrt{n}\bigl(\bar{\mathbf{X}}_n - \mu\bigr) \overset{d}{\to} \mathcal{N}_d(\mathbf{0}, \Sigma).$

Здесь сходимость понимается в смысле слабой сходимости многомерных распределений, а предельный закон — многомерное нормальное распределение с нулевым средним и матрицей ковариаций $\Sigma$ .

Функциональная ЦПТ (принцип инвариантности Донскера–Прохорова)

Пусть $X_1, X_2, \dots$ — независимые одинаково распределённые случайные величины с нулевым средним и дисперсией $\sigma^2$ . Построим частичные суммы $S_0 = 0, S_k = \sum_{j=1}^k X_j$ и непрерывный на $[0,1]$ процесс $W_n(t) = \frac{S_{\lfloor nt \rfloor}}{\sigma \sqrt{n}}$ . Тогда $W_n(\cdot)$ слабо сходится в пространстве $C[0,1]$ к стандартному винеровскому процессу $W(\cdot)$ ^[1]. Этот результат обобщает одномерную ЦПТ до уровня целых траекторий.

Свойства и следствия

Асимптотическая нормальность выборочного среднего

ЦПТ даёт строгое обоснование асимптотической нормальности оценки математического ожидания: при большом объёме выборки $\bar{X}_n$ приближённо распределено как $\mathcal{N}(\mu, \sigma^2/n)$ . На этом основано построение асимптотически точных доверительных интервалов для среднего.

Доверительные интервалы и проверка гипотез

Из ЦПТ вытекает, что статистика $Z = \frac{\bar{X} - \mu_0}{\sigma / \sqrt{n}}$ при известной дисперсии асимптотически имеет стандартное нормальное распределение, что позволяет строить Z-тест. Для случая неизвестной дисперсии при дополнительных условиях о нормальности выборки применяется t-тест, который для больших $n$ также сближается с нормальным.

Скорость сходимости: теорема Берри–Эссеена

Теорема Берри — Эссеена даёт оценку скорости сходимости в ЦПТ в равномерной метрике. Если $\mathbb{E}|X_1|^3 < \infty$ и дисперсия равна $\sigma^2$ , то^[1]^[1]

$\sup_{x \in \mathbb{R}} \left| \mathbb{P}\!\left( \frac{S_n - n\mu}{\sigma\sqrt{n}} \le x \right) - \Phi(x) \right| \le \frac{C\, \mathbb{E}|X_1 - \mu|^3}{\sigma^3 \sqrt{n}},$

где константа $C \in [0.409, 0.475]$ . Порядок $n^{-1/2}$ является точным и напрямую связан с существованием третьего абсолютного момента.

Частные случаи и связь с другими предельными законами

Теорема Муавра — Лапласа

Локальная и интегральная теоремы Муавра — Лапласа — исторически первый вариант ЦПТ для биномиального распределения. Если $S_n \sim \operatorname{Bin}(n, p)$ , то при фиксированном $p \in (0,1)$

$\frac{S_n - np}{\sqrt{np(1-p)}} \overset{d}{\to} \mathcal{N}(0,1).$

Для малых $p$ и больших $n$ лучшее приближение даёт пуассоновский предел (закон редких событий), что иллюстрирует разницу между ЦПТ и предельными теоремами с различной нормировкой.

Обобщённая ЦПТ и связь с устойчивыми распределениями

Если требование конечности дисперсии ослаблено, сумма независимых одинаково распределённых величин с надлежащей нормировкой может сходиться к устойчивому распределению, характеризуемому параметром $\alpha \in (0,2]$ . При $\alpha = 2$ устойчивым распределением является нормальное, а для $\alpha < 2$ — законы с тяжёлыми хвостами (например, распределение Коши при $\alpha = 1$ ). Необходимые и достаточные условия такой сходимости описываются теоремой о притяжении к устойчивому закону^[1].

ЦПТ и другие виды сходимости

Центральная предельная теорема устанавливает сходимость по распределению (слабую сходимость), которая слабее сходимости почти наверное и сходимости по вероятности, но сильнее сходимости в смысле среднего квадратического. Важно, что выборочное среднее $\bar{X}_n \to \mu$ почти наверное в силу усиленного закона больших чисел, однако распределение нормированной ошибки описывается именно слабой сходимостью. Для большинства статистических приложений (построение доверительных интервалов, проверка гипотез) слабой сходимости достаточно, так как она гарантирует близость вероятностей событий, связанных с оценкой, к вероятностям, вычисленным по нормальному закону.

Роль в машинном обучении

ЦПТ является теоретической опорой для множества алгоритмов машинного обучения и статистических процедур:

Нормальность шумов. Предположение о гауссовом распределении ошибок в линейной регрессии и многих моделях оправдывается суммированием большого числа независимых мелких возмущений.
Стохастический градиентный спуск (SGD). При определённых условиях усреднённая траектория SGD асимптотически нормальна, что позволяет строить доверительные интервалы для оценок параметров^[1].
Бутстрап. Обоснование бутстраповского распределения статистики опирается на ЦПТ и сходимость эмпирического процесса. Асимптотическая нормальность бутстраповской оценки среднего — прямое следствие ЦПТ.
Метод Монте-Карло. Ошибка оценки интеграла методом Монте-Карло приближённо нормальна, что даёт возможность контролировать точность через дисперсию выборочного среднего.
Асимптотическая нормальность апостериорного распределения (теорема Бернштейна–фон Мизеса). При регулярных условиях и большом объёме данных апостериорное распределение параметров сходится к нормальному с центром в истинном значении параметра и ковариационной матрицей, пропорциональной обратной информации Фишера^[1]. Это свойство активно используется в приближённых байесовских вычислениях и вариационном выводе.
Минимизация эмпирического риска. Оценка риска, вычисленная по конечной выборке, асимптотически нормальна, что даёт базу для построения тестов и сравнения алгоритмов.
SVM и ранжирование. При анализе ошибок обобщения для линейных классификаторов и рекомендательных систем часто используется ЦПТ для агрегированных величин (оценка AUC, средний ранг и т. д.).

Ограничения, проверка применимости и современные обобщения

Классическая ЦПТ требует независимости, конечной дисперсии и одинаковой распределённости (в базовой форме). Нарушение любого из этих условий может привести к отказу от нормальной аппроксимации:

Тяжёлые хвосты. При распределениях с бесконечной дисперсией (например, Коши, $\alpha$ -устойчивые с $\alpha < 2$ ) сходимость идёт к устойчивому закону, а не к нормальному. Прикладная диагностика включает оценку хвостового индекса и визуализацию графиков квантиль-квантиль.
Сильная зависимость. Для стационарных последовательностей с перемешиванием или мартингальных разностей формулируются ЦПТ при дополнительных условиях на убывание корреляций (ЦПТ для зависимых данных)^[1]. При сильной долгой памяти нормальная сходимость может не иметь места.
Проверка применимости. На практике нормальность выборочного среднего часто проверяют с помощью критериев согласия (Шапиро–Уилка, Колмогорова–Смирнова) либо строят бутстраповские доверительные интервалы, не опирающиеся на параметрическое предположение. При малых выборках приближение может быть неточным, и тогда используют точные распределения статистик (например, t-распределение для нормальных данных).

Современные обобщения выходят далеко за рамки классических условий:

ЦПТ для случайных полей и случайных графов;
неасимптотические оценки концентрации (неравенства Хёфдинга, Бернштейна), дающие нормальное приближение с явными константами для конечных выборок;
функциональная ЦПТ для временных рядов и случайных блужданий со сложной структурой зависимости (например, для GARCH-процессов);
ЦПТ в высокоразмерных постановках, когда размерность $d$ растёт вместе с $n$ .

Примечания

Литература

Ляпунов А. М. Sur une proposition de la théorie des probabilités. — СПб.: Известия Императорской Академии наук, 1901.
Lindeberg J. W. Eine neue Herleitung des Exponentialgesetzes in der Wahrscheinlichkeitsrechnung // Mathematische Zeitschrift. — 1922. — Т. 15. — С. 211–225.
Feller W. Über den zentralen Grenzwertsatz der Wahrscheinlichkeitsrechnung // Mathematische Zeitschrift. — 1935. — Т. 40. — С. 521–559.
Berry A. C. The accuracy of the Gaussian approximation to the sum of independent variates // Transactions of the American Mathematical Society. — 1941. — Т. 49. — С. 122–136.
Esseen C.-G. Fourier analysis of distribution functions. A mathematical study of the Laplace-Gaussian law // Acta Mathematica. — 1945. — Т. 77. — С. 1–125.
Прохоров Ю. В. Сходимость случайных процессов и предельные теоремы теории вероятностей // Теория вероятностей и её применения. — 1956. — Т. 1. — № 2. — С. 177–238.
Ширяев А. Н. Вероятность. — М.: Наука, 1989. — T. 1.
Гнеденко Б. В. Курс теории вероятностей. — М.: Наука, 1988.
Биллингсли П. Сходимость вероятностных мер. — М.: Наука, 1977.
van der Vaart A. W. Asymptotic Statistics. — Cambridge University Press, 1998.
Polyak B. T., Juditsky A. B. Acceleration of stochastic approximation by averaging // SIAM Journal on Control and Optimization. — 1992. — Т. 30. — № 4. — С. 838–855.
Золотарёв В. М. Одномерные устойчивые распределения. — М.: Наука, 1983.

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%A6%D0%B5%D0%BD%D1%82%D1%80%D0%B0%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D1%82%D0%B5%D0%BE%D1%80%D0%B5%D0%BC%D0%B0»

Категории: Теория вероятностей | Математическая статистика | Машинное обучение | Предельные теоремы