Просмотр

Материал из MachineLearning.

У вас нет прав на выполнение этой операции по следующим причинам:

• Запрошенное действие могут выполнять только участники из групп emailconfirmed, Администраторы.
• Вы должны подтвердить ваш адрес электронной почты перед правкой страниц. Пожалуйста, введите и подтвердите ваш адрес эл. почты на странице настроек.

Вы можете просмотреть и скопировать исходный текст этой страницы:

{{well|Статья написана с использованием LLM Qwen3.7-Plus и проверена участником [[Участник:Mariia Shubina|Mariia Shubina]] 23:17, 18 июля 2026 (MSD)}} {{TOCright}} == Введение == [[Бутстреп-методы]] (англ. Bootstrap methods) — класс статистических методов ресемплинга (повторной выборки), предложенный Брэдли Эфроном в 1979 году<ref>{{статья |автор = Efron B. |заглавие = Bootstrap Methods: Another Look at the Jackknife |издание = The Annals of Statistics |тип = Журнал |год = 1979 |том = 7 |номер = 1 |страницы = 1—26 }}</ref>. В контексте [[Машинное обучение|машинного обучения]] бутстреп используется преимущественно для оценки неопределённости и надёжности [[Метрики качества|метрик качества модели]] (построения доверительных интервалов для accuracy, AUC-ROC, MSE), особенно когда размер доступного набора данных ограничен. В отличие от [[Кросс-валидация|кросс-валидации]], которая фокусируется на выборе модели и гиперпараметров, бутстреп позволяет количественно оценить статистическую значимость различий между моделями и надёжность полученных оценок качества. == Основная идея и алгоритм == Пусть имеется набор данных <tex>D</tex> размера <tex>N</tex>. После обучения модели получена точечная оценка качества (например, accuracy = 0.85). Бутстреп позволяет оценить разброс этой оценки, имитируя процесс многократного сбора новых данных из той же генеральной совокупности. === Алгоритм бутстрепа === Из исходной выборки <tex>D</tex> размера <tex>N</tex> случайным образом с возвращением (with replacement) извлекается <tex>N</tex> объектов, формируя одну бутстреп-выборку <tex>D_b</tex>. Некоторые объекты попадают в <tex>D_b</tex> несколько раз, некоторые не попадают вовсе. На <tex>D_b</tex> обучается (или оценивается) модель, вычисляется интересующая метрика <tex>M_b</tex>. Шаги 1–3 повторяются <tex>B</tex> раз (обычно <tex>B = 1000</tex> или <tex>2000</tex>). По полученным <tex>B</tex> значениям метрики строится эмпирическое распределение, из которого вычисляются среднее, стандартное отклонение и доверительные интервалы (например, 2.5-й и 97.5-й перцентили). === Вероятность попадания объектов === Вероятность того, что конкретный объект исходной выборки не попадёт в бутстреп-выборку размера <tex>N</tex>, равна: :: <tex>\lim_{N \to \infty} (1 - 1/N)^N = 1/e \approx 0.368</tex> Следовательно, в среднем каждая бутстреп-выборка содержит около 63.2% уникальных объектов исходного набора данных. Оставшиеся 36.8% объектов называются Out-of-Bag (OOB, вневыборочными) и могут использоваться для валидации. == Варианты бутстрепа для оценки ошибок == Прямое вычисление ошибки на той же выборке, на которой модель обучалась (<tex>D_b</tex>), даёт оптимистически смещённую оценку (переобучение). Для получения несмещённой оценки используют модификации. === Out-of-Bag (OOB) бутстреп === Объекты, не попавшие в <tex>D_b</tex> (примерно 36.8%), образуют OOB-выборку. Модель обучается на <tex>D_b</tex>. Ошибка вычисляется только на OOB-объектах. Недостаток: оценка часто оказывается пессимистически смещённой, так как модель обучается на меньшем объёме данных (<tex>\approx 0.632N</tex>), чем доступно в реальности. === Метод .632 (0.632 Bootstrap) === Предложен Эфроном и Тибширани<ref>{{книга |автор = Efron B., Tibshirani R. J. |заглавие = An Introduction to the Bootstrap |место = New York |издательство = Chapman & Hall/CRC |год = 1993 }}</ref> для компенсации смещений. Метод комбинирует оптимистичную ошибку на обучающей выборке (<tex>err</tex>) и пессимистичную OOB-ошибку (<tex>err_{OOB}</tex>): :: <tex>Err_{.632} = 0.368 \times err + 0.632 \times err_{OOB}</tex> где <tex>err</tex> — средняя ошибка на обучающих выборках, <tex>err_{OOB}</tex> — средняя ошибка на OOB-выборках. Этот метод даёт отличную оценку для большинства задач, но может давать оптимистичное смещение, если модель сильно переобучается (например, глубокое дерево решений на зашумленных данных). === Метод .632+ (0.632+ Bootstrap) === Улучшенная версия (Efron & Tibshirani, 1997)<ref>{{статья |автор = Efron B., Tibshirani R. J. |заглавие = Improvements on Cross-Validation: The .632+ Bootstrap Method |издание = Journal of the American Statistical Association |тип = Журнал |год = 1997 |том = 92 |номер = 438 |страницы = 548—560 }}</ref>, которая адаптируется к степени переобучения. Метод вычисляет «коэффициент переобучения» <tex>R</tex> и динамически меняет веса в формуле: :: <tex>Err_{.632+} = (1 - w) \times err + w \times err_{OOB}</tex> где вес <tex>w</tex> зависит от степени переобучения, приближаясь к OOB-оценке при сильном переобучении и к .632 при его отсутствии. Это золотой стандарт бутстреп-оценки ошибки. == Сравнение с кросс-валидацией == Бутстреп и [[Кросс-валидация|кросс-валидация]] (Cross-Validation, CV) решают смежные, но различные задачи. === Основные различия === Цель применения: K-Fold CV используется преимущественно для выбора модели и гиперпараметров (Model Selection), тогда как бутстреп — для оценки неопределённости метрики и построения доверительных интервалов (Confidence Intervals). Смещение (Bias): CV имеет меньшее смещение, так как модель обучается на <tex>(K-1)/K</tex> данных (что близко к <tex>N</tex>). Бутстреп OOB имеет большее смещение, но оно корректируется в методе .632+. Дисперсия оценки: Бутстреп обеспечивает более низкую дисперсию оценки метрики, давая более стабильные результаты, особенно при малом <tex>N</tex>. CV может иметь высокую дисперсию из-за случайного разбиения на фолды. Вычислительная стоимость: CV требует <tex>K</tex> обучений модели (обычно <tex>K = 5</tex> или <tex>10</tex>). Бутстреп требует <tex>B</tex> обучений (обычно <tex>B = 1000</tex> или <tex>2000</tex>), что значительно дороже. === Рекомендации по применению === Используйте K-Fold CV для выбора лучшей модели и настройки гиперпараметров. После выбора финальной модели применяйте бутстреп, чтобы оценить: «Точность нашей модели составляет 85% с 95% доверительным интервалом [82%, 88%]». == Применения в машинном обучении == === Построение доверительных интервалов === Бутстреп позволяет перейти от точечных оценок к интервальным. Вместо утверждения «AUC = 0.90» можно сказать «AUC = 0.90 ± 0.02 (95% CI)», что критически важно в медицине, финтехе и A/B-тестах для оценки статистической значимости результатов. === Сравнение моделей === Для сравнения двух моделей строится распределение разницы их метрик (<tex>Model_A - Model_B</tex>) по бутстреп-итерациям. Если доверительный интервал этой разницы не включает ноль, улучшение статистически значимо. === Random Forest === Алгоритм [[Случайный лес|случайного леса]] использует OOB-ошибку «бесплатно» в процессе обучения для оценки качества без необходимости выделять отдельный валидационный набор. Каждый дерево обучается на своей бутстреп-выборке, а OOB-объекты служат для внутренней валидации. === Оценка важности признаков === Бутстреп позволяет построить доверительные интервалы для весов признаков или важности (feature importance), чтобы отсечь шумовые переменные. Признаки, у которых интервал важности включает ноль, могут быть исключены из модели. == Ограничения и типичные ошибки == === Нарушение предположения i.i.d. === Бутстреп предполагает, что данные независимы и одинаково распределены (i.i.d.). Для временных рядов обычный бутстреп разрушит автокорреляцию. В таких случаях необходимо использовать Block Bootstrap (блочный бутстреп), который извлекает блоки последовательных наблюдений. === Вычислительная сложность === Обучение сложной модели (например, градиентного бустинга или [[Нейронная сеть|нейронной сети]]) 1000 раз может быть неприемлемо долгим. В таких случаях можно уменьшить <tex>B</tex> до 200–500 или использовать параллельные вычисления. === Утечка данных (Data Leakage) === Если делать бутстреп после предобработки (например, после масштабирования или отбора признаков на всём датасете), оценка будет оптимистически смещённой. Бутстреп должен применяться к «сырым» данным, а весь пайплайн (preprocessing + model) должен обучаться внутри каждого цикла заново. === Дисбаланс классов === При малом размере выборки и сильном дисбалансе в некоторых бутстреп-итерациях может вообще не оказаться объектов миноритарного класса. Решение: Stratified Bootstrap (стратифицированный бутстреп с сохранением пропорций классов), аналогичный стратификации в [[Кросс-валидация|кросс-валидации]]. === Малый размер выборки === При очень малом <tex>N</tex> (< 20) бутстреп может быть ненадёжным. В таких случаях предпочтительнее использовать точные статистические тесты или байесовские методы. == Пример реализации == Пример оценки доверительного интервала для accuracy с использованием бутстрепа на Python: <source lang="python"> # Инициализировать параметры n_iterations = 1000 scores = [] Для каждой итерации i от 1 до n_iterations: for i in range(n_iterations): X_boot, y_boot = resample(X, y, replace=True) model.fit(X_boot, y_boot) y_pred = model.predict(X_boot) scores.append(accuracy_score(y_boot, y_pred)) Вычислить среднее и стандартное отклонение mean_score = np.mean(scores) std_score = np.std(scores) Построить 95% ДИ через перцентили lower = np.percentile(scores, 2.5) upper = np.percentile(scores, 97.5) </source> Для корректной оценки рекомендуется использовать OOB-объекты или метод .632+, а не оценку на обучающей выборке. == Литература == {{статья |автор = Efron B. |заглавие = Bootstrap Methods: Another Look at the Jackknife |издание = The Annals of Statistics |тип = Журнал |год = 1979 |том = 7 |номер = 1 |страницы = 1—26 }} {{книга |автор = Efron B., Tibshirani R. J. |заглавие = An Introduction to the Bootstrap |место = New York |издательство = Chapman & Hall/CRC |год = 1993 }} {{статья |автор = Efron B., Tibshirani R. J. |заглавие = Improvements on Cross-Validation: The .632+ Bootstrap Method |издание = Journal of the American Statistical Association |тип = Журнал |год = 1997 |том = 92 |номер = 438 |страницы = 548—560 }} {{книга |автор = Davison A. C., Hinkley D. V. |заглавие = Bootstrap Methods and Their Application |место = Cambridge |издательство = Cambridge University Press |год = 1997 }} {{статья |автор = Varma S., Simon R. |заглавие = Bias in Error Estimation When Using Cross-Validation for Model Selection |издание = BMC Bioinformatics |тип = Журнал |год = 2006 |том = 7 |номер = 1 |страницы = 91 }} <references/> [[Категория:Методы оптимизации]] [[Категория:Машинное обучение]] [[Категория:Энциклопедия анализа данных]] [[Категория:Статистические методы]] [[Категория:Оценка качества моделей]]

• Шаблон:Mbox
• Шаблон:TOCright
• Шаблон:Well
• Шаблон:Книга
• Шаблон:Переводы
• Шаблон:Статья

Возврат к странице Бутстреп-методы в оценке качества моделей.