Непараметрический бутстреп

Материал из MachineLearning.

(Различия между версиями)

Nikita Zinoviсh (Обсуждение | вклад)
(Новая: {{well|Статья написана с использованием LLM '''Gemini Pro 3.1''' и проверена участником ~~~~}} == Введение == Непарамет...)
К следующему изменению →

Версия 22:46, 17 июля 2026

Статья написана с использованием LLM Gemini Pro 3.1 и проверена участником Nikita Zinoviсh 02:46, 18 июля 2026 (MSD)

Содержание

1 Введение
2 Классическая постановка задачи в математической статистике
3 Эмпирическая функция распределения и принцип подстановки (Plug-in)
4 Вероятностная модель непараметрического бутстрепа
5 Вычислительный алгоритм: Метод Монте-Карло в бутстрепе
6 Асимптотические свойства и состоятельность бутстрепа
- 6.1 Несостоятельность метода
7 Построение бутстреп-доверительных интервалов
8 См. также
9 Литература

Введение

Непараметрический бутстреп — вычислительный метод математической статистики, основанный на многократной генерации повторных выборок (ресамплинге). Метод предложен Брэдли Эфроном в 1979 году. Его главная цель заключается в преодолении ограничений классических асимптотических подходов, опирающихся на центральную предельную теорему (ЦПТ). В условиях малых объёмов данных или при анализе сложных нелинейных статистик аналитическое нахождение точного распределения часто оказывается математически невыполнимым. Бутстреп заменяет аналитический вывод распределений их численным моделированием, позволяя оценивать свойства статистик путём многократного извлечения выборок с возвращением из имеющихся эмпирических данных.

Классическая постановка задачи в математической статистике

Пусть задана случайная выборка $X_1, \dots, X_n$ , представляющая собой последовательность независимых одинаково распределённых случайных величин (н.о.р.с.в.) с неизвестной функцией распределения $F$ .

Во многих задачах требуется оценить неизвестный параметр генеральной совокупности $\theta$ , который можно строго выразить в виде функционала от распределения $F$ :

$\theta = g(F)$

В качестве приближения истинного параметра $\theta$ на основе выборки строится статистика (выборочная оценка):

$\hat{\theta}_n = \hat{\theta}(X_1, \dots, X_n)$

Фундаментальной проблемой статистического вывода является определение распределения случайной величины $\hat{\theta}_n - \theta$ (или её нормированного варианта). Знание данного распределения критически важно для вычисления смещения (bias), дисперсии оценки и построения доверительных интервалов.

Эмпирическая функция распределения и принцип подстановки (Plug-in)

Базовым математическим объектом непараметрического подхода выступает эмпирическая функция распределения (ЭФР) $\hat{F}_n$ , которая формально задаёт дискретное вероятностное распределение, приписывающее массу вероятности $1/n$ каждому наблюдению $X_i$ :

$\hat{F}_n(x) = \frac{1}{n} \sum_{i=1}^n \mathrm{I}(X_i \le x)$

где $\mathrm{I}(\cdot)$ — индикаторная функция.

В силу теоремы Гливенко — Кантелли, ЭФР равномерно сходится к истинной функции распределения $F$ почти наверное при $n \to \infty$ :

$\sup_{x \in \mathbb{R}} |\hat{F}_n(x) - F(x)| \xrightarrow{\mathrm{a.s.}} 0$

Принцип подстановки (plug-in principle) утверждает, что асимптотически обоснованной оценкой для функционала $\theta = g(F)$ служит значение этого же функционала, вычисленное от эмпирической функции распределения:

$\hat{\theta}_n = g(\hat{F}_n)$

Вероятностная модель непараметрического бутстрепа

Концепция бутстрепа базируется на строгой формальной аналогии между процессом порождения данных в теоретико-вероятностной модели и в имитационной (вычислительной) среде.

В теоретико-вероятностной постановке выборка $X = (X_1, \dots, X_n)$ генерируется из неизвестного распределения $F$ , что порождает значение статистики $\hat{\theta}_n$ . В имитационной бутстреп-модели зафиксированная по исходным данным ЭФР $\hat{F}_n$ принимается за истинное распределение генеральной совокупности. Из неё генерируется бутстреп-выборка $X^* = (X_1^*, \dots, X_n^*)$ , что эквивалентно независимому равновероятному выбору $n$ элементов из множества исходных наблюдений $\{X_1, \dots, X_n\}$ с возвращением. По этой сгенерированной выборке вычисляется бутстреп-статистика:

$\hat{\theta}^*_n = \hat{\theta}(X_1^*, \dots, X_n^*)$

Бутстреп-распределением статистики $\hat{\theta}^*_n$ называется её условное распределение при заданной (фиксированной) исходной выборке $X_1, \dots, X_n$ . Формально условная вероятностная мера обозначается как $\mathrm{P}_*$ (или $\mathrm{P}(\cdot \mid \hat{F}_n)$ ).

Вычислительный алгоритм: Метод Монте-Карло в бутстрепе

Поскольку бутстреп-выборка формируется с возвращением, число всех возможных упорядоченных комбинаций элементов составляет $n^n$ . При больших объёмах выборки $n$ точное аналитическое вычисление характеристик бутстреп-распределения становится невозможным из-за комбинаторного взрыва. В связи с этим применяется метод Монте-Карло.

Вычислительный алгоритм включает следующие этапы: 1. Независимо генерируется $B$ бутстреп-выборок $X^{*1}, \dots, X^{*B}$ объёма $n$ . 2. Для каждой $b$ -й выборки вычисляется значение исследуемой статистики: $\hat{\theta}^{*b} = \hat{\theta}(X^{*b})$ , где $b = 1, \dots, B$ . 3. Полученная последовательность $\hat{\theta}^{*1}, \dots, \hat{\theta}^{*B}$ образует эмпирическое распределение, которое служит аппроксимацией точного бутстреп-распределения.

Бутстреп-оценка дисперсии $\mathrm{Var}_*(\hat{\theta}^*)$ вычисляется как выборочная дисперсия симулированных значений:

$\widehat{\mathrm{Var}}_*(\hat{\theta}^*) = \frac{1}{B-1} \sum_{b=1}^B (\hat{\theta}^{*b} - \bar{\theta}^*)^2$

где $\bar{\theta}^* = \frac{1}{B} \sum_{b=1}^B \hat{\theta}^{*b}$ .

Бутстреп-оценка смещения $\mathrm{Bias}_*(\hat{\theta}^*)$ определяется разностью:

$\widehat{\mathrm{Bias}}_*(\hat{\theta}^*) = \bar{\theta}^* - \hat{\theta}_n$

Асимптотические свойства и состоятельность бутстрепа

Бутстреп-метод считается состоятельным, если условное распределение центрированной статистики $\sqrt{n}(\hat{\theta}^*_n - \hat{\theta}_n)$ (при фиксированной выборке) слабо сходится к тому же предельному распределению, что и безусловное распределение исходной нормированной статистики $\sqrt{n}(\hat{\theta}_n - \theta)$ , по вероятности (или почти наверное) при $n \to \infty$ . Математически это выражается через сходимость расстояния между функциями распределения:

$\sup_{x} \left| \mathrm{P}_*\left( \sqrt{n}(\hat{\theta}^*_n - \hat{\theta}_n) \le x \right) - \mathrm{P}\left( \sqrt{n}(\hat{\theta}_n - \theta) \le x \right) \right| \xrightarrow{\mathrm{P}} 0$

Достаточным условием выполнения данного свойства является требуемая гладкость функционала $g(F)$ , в частности, его дифференцируемость по Фреше или Адамару в окрестности истинной функции распределения $F$ .

Несостоятельность метода

Существуют математические постановки, в которых стандартный непараметрический бутстреп оказывается асимптотически несостоятельным. Хрестоматийным контрпримером служит задача оценки верхней границы равномерного распределения $\mathrm{U}(0, \theta)$ . Если в качестве оценки рассматривается экстремальная порядковая статистика $\hat{\theta}_n = \max(X_1, \dots, X_n)$ , то бутстреп-распределение величины $n(\hat{\theta}^*_n - \hat{\theta}_n)$ не сходится к истинному предельному распределению $n(\hat{\theta}_n - \theta)$ . Использование бутстрепа также является некорректным для статистик, не обладающих конечной дисперсией (в условиях распределений с тяжёлыми хвостами), или в задачах, где параметр лежит на границе допустимого параметрического множества.

Построение бутстреп-доверительных интервалов

Построение доверительных интервалов — одна из центральных практических задач, решаемых с помощью бутстрепа. В математической статистике выделяют несколько базовых подходов.

Метод квантилей (Percentile Bootstrap)

Наиболее интуитивный метод базируется на использовании квантилей эмпирического бутстреп-распределения. Двусторонний доверительный интервал с уровнем доверия $1 - \alpha$ строится следующим образом:

$\left( \hat{\theta}^*_{(\alpha/2)}, \hat{\theta}^*_{(1-\alpha/2)} \right)$

где $\hat{\theta}^*_{(\alpha/2)}$ — эмпирическая квантиль уровня $\alpha/2$ , полученная из отсортированного вариационного ряда бутстреп-оценок. Метод обладает строгой инвариантностью относительно монотонных преобразований оцениваемого параметра, однако может демонстрировать смещённую вероятность покрытия при выраженной асимметрии истинного распределения статистики.

Bootstrap-t

Для повышения порядка асимптотической точности применяется алгоритм, концептуально схожий с вычислением интервалов на основе распределения Стьюдента. На каждой бутстреп-итерации вычисляется статистика стьюдента:

$T^* = \frac{\hat{\theta}^*_n - \hat{\theta}_n}{\widehat{\mathrm{se}}^*}$

где $\widehat{\mathrm{se}}^*$ — бутстреп-оценка стандартной ошибки статистики $\hat{\theta}^*_n$ . Итоговый доверительный интервал рассчитывается по квантилям величины $T^*$ :

$\left( \hat{\theta}_n - t^*_{(1-\alpha/2)} \widehat{\mathrm{se}}, \hat{\theta}_n - t^*_{(\alpha/2)} \widehat{\mathrm{se}} \right)$

где $t^*_{(\gamma)}$ — квантиль уровня $\gamma$ распределения $T^*$ , а $\widehat{\mathrm{se}}$ — стандартная ошибка исходной выборочной оценки. Теоретически доказано, что данный подход обеспечивает более высокую скорость сходимости к номинальному уровню доверия (second-order accuracy).

Скорректированные интервалы (BCa)

Метод скорректированных интервалов (BCa — bias-corrected and accelerated bootstrap) представляет собой математическое обобщение метода квантилей. Он вводит две аналитические поправки: параметр смещения (bias-correction), который учитывает отличие медианы бутстреп-распределения от точечной оценки, и параметр ускорения (acceleration), компенсирующий зависимость дисперсии оценки от истинного значения параметра. Это позволяет нивелировать искажения и строить высокоточные интервалы даже для сильно скошенных распределений.

См. также

Метод складного ножа (Jackknife)
Перекрёстная проверка (Cross-validation)
Метод Монте-Карло
Непараметрическая статистика

Литература

Efron B., Tibshirani R. J. An Introduction to the Bootstrap. — CRC Press, 1994. — 436 p. — ISBN 978-0412042317.
Shao J., Tu D. The Jackknife and Bootstrap. — Springer, 1995. — 516 p. — ISBN 978-0-387-94515-2.
Боровков А. А. Математическая статистика. — М.: Лань, 2010. — 704 с. — ISBN 978-5-8114-1013-2.
Ширяев А. Н. Вероятность. В 2-х книгах. — М.: МЦНМО, 2007.

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9D%D0%B5%D0%BF%D0%B0%D1%80%D0%B0%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%B1%D1%83%D1%82%D1%81%D1%82%D1%80%D0%B5%D0%BF»