Робастная регрессия

Материал из MachineLearning.

Версия от 22:37, 16 июля 2026; Aleksandr Pochtarev (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Перейти к: навигация, поиск

Статья написана с использованием LLM ChatGPT 5.6 Terra и проверена участником А.Ю.Почтарев 17 июля 2026

Промпт приводится полностью в Обсуждение:Робастная регрессия

Содержание

1 Постановка задачи и мотивация
2 Типы аномальных наблюдений
3 Меры робастности
- 3.1 Функция влияния
- 3.2 Точка разрушения
4 Основные методы
5 Вычисление
6 Практическое применение
7 Ограничения
8 История
9 См. также
10 Примечания
11 Литература

Робастная регрессия (англ. robust regression) — совокупность регрессионных методов, устойчивых к отдельным аномальным наблюдениям и умеренным нарушениям вероятностной модели. В отличие от метода наименьших квадратов (МНК), робастная регрессия уменьшает влияние наблюдений с необычно большими ошибками или использует процедуры, способные выявлять и исключать из подгонки значительную долю загрязнённых данных.^[1]

Робастность не означает, что алгоритм автоматически исправляет ошибки данных или делает верными все статистические выводы. Она определяет, насколько сильно небольшая доля искажённых наблюдений способна изменить оценку параметров. Метод выбирают с учётом вида аномалий: выброс по отклику и наблюдение с необычными признаками требуют разных мер защиты.

Постановка задачи и мотивация

Для наблюдений $(x_i,y_i)$ , где $x_i\in\mathbb{R}^p$ — вектор признаков, а $y_i$ — отклик, линейная регрессия предполагает модель

$y_i=x_i\cdot\beta+\varepsilon_i.$

МНК оценивает вектор коэффициентов $\beta$ , минимизируя сумму квадратов остатков $r_i=y_i-x_i\cdot\beta$ :

$\widehat\beta_{\rm OLS}=\arg\min_{\beta}\sum_{i=1}^{n}r_i^2.$

Квадратичная функция быстро растёт: одно наблюдение с остатком в десять раз больше типичного вносит в критерий в сто раз больший вклад. Поэтому ошибка измерения, сбой датчика или запись, принадлежащая иной популяции, может существенно повернуть прямую регрессии и изменить прогнозы для большинства обычных объектов.

Робастная регрессия заменяет квадратичную потерю либо меняет правило отбора наблюдений. Её цель — хорошо описать основную структуру данных, не позволяя малой группе нетипичных точек полностью определить результат. Такая цель оправдана, когда аномалии являются ошибками или не относятся к изучаемой популяции; если же они отражают важную подгруппу, их нельзя механически «подавлять» — требуется отдельная модель или исследование причин различий.

Типы аномальных наблюдений

Различают два практически важных случая.

Выброс по отклику (англ. vertical outlier) имеет необычное значение $y_i$ при типичных признаках $x_i$ . Он даёт большой остаток относительно модели, описывающей основную массу данных.
Точка с высоким рычагом (англ. high-leverage point) имеет необычные значения признаков. Она может сильно влиять на коэффициенты даже при небольшом остатке, поскольку способна «тянуть» линию регрессии в свою область пространства признаков.

Точка, одновременно имеющая высокий рычаг и большой остаток, называется влиятельным наблюдением (англ. influential observation). Важное ограничение: многие $M$ -оценки, в том числе регрессия с функцией потерь Хьюбера, ограничивают влияние больших остатков, но сами по себе не гарантируют устойчивости к выбросам в признаках.^[1]

Меры робастности

Функция влияния

Функция влияния (англ. influence function) описывает предельный эффект бесконечно малой примеси наблюдений в заданной точке на оценку. Она служит локальной мерой чувствительности оценивателя. Ограниченная функция влияния означает, что одно очень далёкое наблюдение не может оказывать неограниченно большой локальный эффект; эту идею систематически развил Франк Хампель.^[1]

Точка разрушения

Точкой разрушения (англ. breakdown point) называют наибольшую долю наблюдений, которую можно заменить произвольными значениями до того, как оценка сможет стать сколь угодно плохой. Это глобальная, а не локальная характеристика. Оцениватель с высокой точкой разрушения способен выдерживать существенно больше загрязнений, чем МНК, но часто требует более сложных вычислений или теряет часть эффективности на идеально нормальных данных.^[1]

Функция влияния и точка разрушения дополняют друг друга: первая оценивает эффект очень малого загрязнения, вторая — устойчивость к крупной доле произвольных выбросов.

Основные методы

M-оценки

Наиболее распространённый класс задаётся задачей

$\widehat\beta=\arg\min_{\beta}\sum_{i=1}^{n}\rho\left(\frac{r_i}{s}\right),$

где $\rho$ — робастная функция потерь, а $s$ — оценка масштаба остатков. Такие оценки называются $M$ -оценками (англ. M-estimators); буква $M$ исторически связана с оцениванием максимального правдоподобия.^[1]

Если $\psi(u)=\rho'(u)$ , то необходимое условие минимума имеет вид

$\sum_{i=1}^{n}\psi\left(\frac{r_i}{s}\right)x_i=0.$

Для МНК $\rho(u)=u^2/2$ и $\psi(u)=u$ , поэтому вклад остатка растёт без ограничения. Робастные функции делают рост медленнее или ограничивают его.

Потеря Хьюбера

Потеря Хьюбера (англ. Huber loss) сочетает квадратичную потерю для малых ошибок и линейную — для больших:

$\rho_\delta(u)=u^2/2,\qquad |u|\leq\delta,$

$\rho_\delta(u)=\delta\left(|u|-\delta/2\right),\qquad |u|>\delta.$

Параметр $\delta>0$ задаёт границу между двумя режимами. Вблизи модели метод сохраняет гладкость и эффективность квадратичной потери, а крупные остатки получают линейный, а не квадратичный штраф. Базовая идея таких промежуточных оценок была предложена Питером Хьюбером для задачи оценивания параметра положения в 1964 году.^[1]

Наименьшие абсолютные отклонения

Регрессия наименьших абсолютных отклонений (англ. least absolute deviations, LAD) минимизирует

$\widehat\beta_{\rm LAD}=\arg\min_{\beta}\sum_{i=1}^{n}|y_i-x_i\cdot\beta|.$

Она менее чувствительна к большим остаткам, чем МНК, и при стандартных условиях оценивает условную медиану, а не условное среднее. LAD-регрессия является частным случаем квантильной регрессии для квантили $0.5$ . Однако абсолютная потеря недифференцируема в нуле, а обычная LAD-регрессия, как и $M$ -оценка, не устраняет проблему точек высокого рычага.

Методы с высокой точкой разрушения

Метод наименьшей медианы квадратов (англ. least median of squares, LMS) ищет параметры, минимизирующие медиану квадратов остатков:

$\widehat\beta_{\rm LMS}=\arg\min_{\beta}\mathrm{median}_{i}\left(r_i^2\right).$

Он был введён Петером Роуссеувом как альтернатива замене квадрата остатка на другую функцию: вместо суммы используется медиана.^[1]

Близкий метод наименьших усечённых квадратов (англ. least trimmed squares, LTS) минимизирует сумму $h$ наименьших упорядоченных квадратов остатков:

$\widehat\beta_{\rm LTS}=\arg\min_{\beta}\sum_{i=1}^{h}r_{(i)}^2,$

где $r_{(1)}^2\leq\cdots\leq r_{(n)}^2$ . При подходящем выборе $h$ такие методы могут иметь высокую точку разрушения и выявлять выбросы как наблюдения с большими остатками относительно найденной основной группы. Их используют также для получения начального приближения перед более эффективной локальной подгонкой.

$MM$ -оценки (англ. MM-estimators) объединяют высокую устойчивость начальной оценки масштаба и высокую эффективность последующей $M$ -оценки. Эта конструкция была предложена Виктором Йохаем.^[1]

Вычисление

Для гладких $M$ -оценок часто используют метод итеративно перевзвешенных наименьших квадратов (англ. iteratively reweighted least squares, IRLS). На шаге $t$ вычисляют стандартизованные остатки $u_i^{(t)}=r_i^{(t)}/s$ и веса

$w_i^{(t)}=\frac{\psi\left(u_i^{(t)}\right)}{u_i^{(t)}}.$

Затем решают взвешенную задачу МНК:

$\beta^{(t+1)}=\arg\min_{\beta}\sum_{i=1}^{n}w_i^{(t)}\left(y_i-x_i\cdot\beta\right)^2.$

Для потери Хьюбера вес равен единице для небольших остатков и уменьшается примерно обратно пропорционально модулю остатка для крупных. Таким образом, алгоритм не обязательно удаляет выброс, а снижает его вклад. При $u_i=0$ вес определяют по непрерывному пределу.

IRLS удобен, но не решает проблему плохого начального приближения и может быть недостаточен при выбросах высокого рычага. Методы LMS, LTS и $MM$ -оценки обычно используют специализированные алгоритмы поиска устойчивого подмножества; их вычислительная стоимость и сложность возрастают с размерностью признакового пространства.^[1]

Практическое применение

Робастная регрессия полезна, когда небольшая доля данных потенциально испорчена, но удалять точки вручную нельзя обоснованно или воспроизводимо. Типичный рабочий процесс включает:

проверку единиц измерения, дубликатов и ошибок записи до статистической обработки;
визуализацию остатков и признаков, чтобы различить выбросы по отклику и по рычагу;
сопоставление МНК и робастной подгонки, включая изменения коэффициентов и прогнозов;
проверку качества на отложенной выборке (англ. hold-out validation) с метрикой, соответствующей прикладной цене ошибок;
предметную интерпретацию наблюдений с малым весом или большим робастным остатком.

Если выбросы появляются из-за неверной спецификации модели — например, пропущенного взаимодействия признаков, нелинейности или смешения популяций, робастная потеря может лишь скрыть симптом. В таких ситуациях следует пересмотреть признаки, функцию связи или структуру модели.

Ограничения

Робастность предполагает компромисс между устойчивостью и эффективностью. При точно выполненной гауссовой линейной модели МНК обладает особенно хорошими свойствами, а робастные оценки могут иметь большую дисперсию. Настройка параметров потерь и правил выявления выбросов влияет на этот компромисс.

Робастная регрессия также не является заменой моделированию гетероскедастичности, зависимостей во времени, пропусков данных или ошибок измерения признаков. Наконец, в задачах с очень малой выборкой или высокой размерностью нельзя надёжно отделить несколько выбросов от сложной закономерности без дополнительных предположений и предметных знаний.^[1]

История

Современная теория робастного оценивания получила важный импульс в статье Хьюбера 1964 года, где рассматривались оценки параметра положения при загрязнении нормального распределения. В 1973 году Хьюбер перенёс подход на регрессию и исследовал асимптотические свойства соответствующих оценок.^[1]^[1]

В 1970—1980-х годах были разработаны меры локальной и глобальной робастности, методы LMS и LTS, а также оценки, сочетающие высокую точку разрушения с хорошей эффективностью. Эти работы сформировали современный набор робастных процедур для регрессионного анализа.^[1]

См. также

Примечания

Литература

Huber P. J. Robust Statistics. Wiley, 1981. ISBN 978-0-471-41805-4.
Rousseeuw P. J., Leroy A. M. Robust Regression and Outlier Detection. Wiley, 1987. ISBN 978-0-471-85233-9. DOI: 10.1002/0471725382.
Maronna R. A., Martin R. D., Yohai V. J. Robust Statistics: Theory and Methods. Wiley, 2006. ISBN 978-0-470-01092-1. DOI: 10.1002/0470010940.
Hampel F. R. The Influence Curve and its Role in Robust Estimation // Journal of the American Statistical Association. 1974. Vol. 69, no. 346. P. 383—393. DOI: 10.1080/01621459.1974.10482962.
Rousseeuw P. J. Least Median of Squares Regression // Journal of the American Statistical Association. 1984. Vol. 79, no. 388. P. 871—880. DOI: 10.1080/01621459.1984.10477105.
Yohai V. J. High Breakdown-Point and High Efficiency Robust Estimates for Regression // The Annals of Statistics. 1987. Vol. 15, no. 2. P. 642—656. DOI: 10.1214/aos/1176350366.

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%A0%D0%BE%D0%B1%D0%B0%D1%81%D1%82%D0%BD%D0%B0%D1%8F_%D1%80%D0%B5%D0%B3%D1%80%D0%B5%D1%81%D1%81%D0%B8%D1%8F»