Инвариантное обучение для обобщения вне распределения

Материал из MachineLearning.

Версия от 11:09, 7 июля 2026; Miraslava Ladutska (Обсуждение | вклад)
(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)
Перейти к: навигация, поиск
Статья написана с использованием LLM Claude Sonnet 5 и проверена участником Miraslava Ladutska 7 июля 2026 (MSD).


Инвариантное обучение для обобщения вне распределения (англ. invariant learning for out-of-distribution generalization) — совокупность методов машинного обучения, объединённых общей идеей: вместо минимизации ошибки на обучающей выборке модель должна находить закономерности, которые остаются истинными (инвариантными) сразу во множестве обучающих сред (доменов), и за счёт этого переносятся на новые, ранее не встречавшиеся распределения данных. Задача, которую решает инвариантное обучение, называется обобщением вне распределения (англ. out-of-distribution generalization, OOD-обобщение) и противопоставляется классической постановке статистического обучения, где обучающая и тестовая выборки предполагаются взятыми из одного и того же распределения (i.i.d.-предположение).

Типичный пример, иллюстрирующий проблему: классификатор, обученный различать коров и верблюдов по фотографиям, где почти все коровы в обучающей выборке сняты на фоне зелёного луга, а верблюды — на фоне пустыни, может выучить не форму животного, а тип фона. На новых фотографиях (корова в пустыне, верблюд на лугу) такой классификатор ошибается, хотя на обучающей и обычной тестовой выборке (взятой из того же распределения) показывает высокую точность. Фон в этом примере — ложная корреляция: она статистически связана с меткой в собранных данных, но не является причиной, определяющей класс животного. Инвариантное обучение стремится отличать такие ложные корреляции от признаков, действительно определяющих метку, используя для этого данные из нескольких обучающих сред (например, нескольких источников фотографий с разным распределением фонов), а не единственную выборку.

Идея инвариантности возникла на стыке причинного вывода и эмпирической минимизации риска: закономерность, вызванная причинным механизмом, сохраняется при вмешательствах (интервенциях) в среду, тогда как закономерность, основанная на статистической ассоциации со скрытым или посторонним фактором, разрушается при смене среды. Инвариантное обучение стремится алгоритмически отличать первое от второго, не имея явного причинного графа, а располагая лишь данными, размеченными по принадлежности к нескольким обучающим средам.

Практическая мотивация связана с систематическими провалами моделей, обученных методом эмпирической минимизации риска (ERM), при переносе на новые условия: смещение цвета фона вместо формы объекта в классификации изображений, использование частотных артефактов текста вместо смысла в обработке естественного языка, зависимость медицинских моделей от аппаратуры конкретной клиники и тому подобные случаи. Инвариантное обучение образует один из центральных разделов более широкой области обобщения в машинном обучении и тесно связано с доменной адаптацией, робастной оптимизацией и причинным выводом.

Содержание


Терминология и базовые понятия

Прежде чем формализовать задачу, необходимо зафиксировать словарь, поскольку в литературе термины часто используются неоднородно.

  • Среда (англ. environment, иногда «домен») — индекс e \in \mathcal{E}, обозначающий условия, в которых были собраны данные: другую больницу, другую камеру, другой временной период, другую подвыборку населения. Каждой среде соответствует своё совместное распределение P^e(X, Y).
  • Обучающие среды \mathcal{E}_{tr} \subset \mathcal{E} — конечное подмножество сред, на данных которых модель обучается.
  • Тестовая (целевая) среда e_{test} \notin \mathcal{E}_{tr} — среда, не участвовавшая в обучении; успех на ней и есть цель OOD-обобщения.
  • Ложная корреляция — статистическая зависимость между признаком и меткой, которая наблюдается в обучающих средах, но не является устойчивой причинной связью и потому исчезает или меняет знак в других средах (пример — фон луга/пустыни выше).
  • Инвариантный (стабильный) признак — представление \Phi(X), такое что условное распределение P^e(Y \mid \Phi(X)) не зависит от e для всех e \in \mathcal{E} (или хотя бы для широкого класса сред, включающего потенциальные тестовые).
  • Сдвиг распределения (distribution shift) — общее название ситуации, когда P^{test}(X,Y) \neq P^{tr}(X,Y); частные случаи — ковариатный сдвиг (P(X) меняется, P(Y\mid X) нет), сдвиг меток и сдвиг концепта (меняется сама зависимость P(Y\mid X)).
  • Структурная каузальная модель (SCM) — формальный язык, на котором обычно обосновывают, почему именно причинные признаки инвариантны, а некаузальные — нет.

Важно разграничивать инвариантное обучение и близкие, но не тождественные понятия. Доменная адаптация обычно предполагает доступ (доступ хотя бы к неразмеченным данным целевого домена) целевого домена во время обучения; инвариантное обучение в чистой постановке этого не предполагает — целевая среда полностью не наблюдаема. Робастная оптимизация (в частности, распределённо-робастная оптимизация, DRO) минимизирует наихудший риск по некоторой окрестности обучающего распределения, не апеллируя напрямую к причинности, хотя на практике некоторые инвариантные методы формулируются как частные случаи DRO — точное соотношение между этими классами методов уточняется ниже, в разделе классификации.

Исторический и исследовательский контекст

Истоки идеи лежат в статистике причинного вывода. Peters, Bühlmann и Meinshausen предложили метод инвариантного причинного предсказания (Invariant Causal Prediction, ICP): если признак действительно является прямой причиной отклика, то условное распределение отклика при фиксации этого признака должно быть одинаковым во всех средах, где среда влияет только на характеристики, не входящие в причинный набор[1]. ICP перебирает подмножества признаков и статистически проверяет инвариантность условного распределения, что делает метод точным, но комбинаторно затратным и плохо масштабируемым на признаки высокой размерности, такие как пиксели изображений.

Перенос идеи инвариантности в глубокое обучение связан с работой Arjovsky, Bottou, Gulrajani и Lopez-Paz, предложивших минимизацию инвариантного риска (Invariant Risk Minimization, IRM). Авторы сформулировали задачу как поиск представления, при котором один и тот же классификатор поверх этого представления одновременно оптимален во всех обучающих средах, и показали на синтетическом наборе Colored MNIST, что классическая ERM систематически выучивает цвет вместо формы цифры, тогда как IRM устойчив к этой ложной корреляции[1].

Публикация IRM спровоцировала быстрый рост направления. Sagawa, Koh, Hashimoto и Liang независимо развили линию распределённо-робастной оптимизации по группам (Group DRO), показав, что минимизация наихудшего по заранее известным группам риска в сочетании с сильной регуляризацией существенно снижает зависимость моделей от ложных корреляций, связанных с известными подгруппами данных[1]. Krueger и соавторы предложили альтернативный принцип — экстраполяцию риска (Risk Extrapolation, REx), штрафующую не отклонение от инвариантности напрямую, а разброс (дисперсию) значений риска между средами, и показали, что при определённых условиях REx лучше справляется со сдвигами, затрагивающими не только ложные корреляции, но и ковариатный сдвиг[1].

Одновременно появилась и критическая линия исследований. Rosenfeld, Ravikumar и Risteski аналитически показали, что штраф IRM, применённый к линейным классификаторам, при конечном числе обучающих сред может не выделять причинное решение и даже отдавать предпочтение некаузальному, если число сред меньше числа «ложных» направлений в данных[1]. Kamath и соавторы дополнительно исследовали, при каких условиях IRM действительно восстанавливает инвариантный предиктор, и показали, что гарантия существенно зависит от числа и разнообразия обучающих сред[1]. Эти работы сместили дискуссию от «инвариантность как готовое решение» к «инвариантность как один из инструментов со своей областью применимости».

Параллельно формировалась инфраструктура для честной проверки таких методов: Gulrajani и Lopez-Paz создали бенчмарк-фреймворк DomainBed и показали, что при аккуратном подборе гиперпараметров классическая ERM зачастую не уступает специализированным методам обобщения на домены, что стало важным методологическим предостережением для всей области[1]. Koh и соавторы собрали бенчмарк WILDS из реальных, а не синтетических сдвигов распределения (медицинские снимки из разных больниц, спутниковые снимки из разных стран, различные виды текста), сместив акцент исследований с искусственных задач вроде Colored MNIST на прикладные[1].

Математическая постановка

Формальная задача

Пусть дано множество сред \mathcal{E}, и для каждой среды e \in \mathcal{E} существует совместное распределение P^e(X, Y) на пространстве признаков и меток. Обучающая выборка состоит из данных, собранных в конечном подмножестве сред \mathcal{E}_{tr} = \{e_1, \dots, e_m\}. Классическая ERM минимизирует усреднённый по объединённой выборке риск

\hat{f}_{ERM} = \arg\min_{f} \sum_{e \in \mathcal{E}_{tr}} \frac{n_e}{n} R^e(f), \qquad R^e(f) = \mathbb{E}_{(X,Y)\sim P^e}\left[\ell(f(X), Y)\right],

где \ell — функция потерь, а n_e — размер выборки среды e. Такая цель не различает признаки, устойчивые между средами (форма животного в примере выше), и признаки, случайно коррелирующие с меткой только в \mathcal{E}_{tr} (фон): если ложная корреляция сильнее и «легче» для оптимизатора, ERM охотно её использует. Цель инвариантного обучения — найти представление \Phi: \mathcal{X} \to \mathcal{Z} и классификатор w поверх него так, чтобы предсказатель обобщался на среды e \notin \mathcal{E}_{tr}, для которых у нас нет данных вовсе.

Формализация инвариантности (IRM)

Формальное условие инвариантности, введённое в IRM, требует, чтобы один и тот же классификатор w был одновременно оптимален (Байесовым решением) поверх представления \Phi сразу во всех обучающих средах:

w \in \arg\min_{\bar{w}} R^e(\bar{w} \circ \Phi) \quad \text{для всех } e \in \mathcal{E}_{tr}.

Такое ограничение превращает исходную задачу в задачу двухуровневой (билевел) оптимизации:

\min_{\Phi, w} \sum_{e \in \mathcal{E}_{tr}} R^e(w \circ \Phi) \quad \text{при условии} \quad w \in \arg\min_{\bar{w}} R^e(\bar{w} \circ \Phi), \ \forall e \in \mathcal{E}_{tr}.

Поскольку точное решение билевел-задачи для нейронных сетей вычислительно неподъёмно, авторы предложили дифференцируемое приближение — IRMv1, заменяющее ограничение штрафом за норму градиента фиктивного скаляра-классификатора w = 1.0. Ключевой момент, требующий аккуратной записи: и слагаемое риска, и штраф за инвариантность относятся к одной и той же среде e и суммируются вместе по всем обучающим средам:

\min_{\Phi} \sum_{e \in \mathcal{E}_{tr}} \Big[ R^e(\Phi) + \lambda \left\| \nabla_{w \mid w=1.0} R^e(w \cdot \Phi) \right\|^2 \Big],

где \lambda — коэффициент, балансирующий точность на обучающих средах и степень инвариантности. Штраф для конкретной среды e равен нулю ровно тогда, когда w=1.0 является стационарной точкой риска R^e именно в этой среде; суммирование по всем средам требует, чтобы это выполнялось одновременно для каждой из них[1].

Экстраполяция риска (REx)

REx выбирает другую формализацию: вместо штрафа за градиент классификатора штрафуется разброс значений риска между средами. В варианте V-REx это дисперсия по средам:

\min_{\Phi, w} \sum_{e \in \mathcal{E}_{tr}} R^e(w \circ \Phi) + \beta \cdot \operatorname{Var}_{e \in \mathcal{E}_{tr}}\left(R^e(w \circ \Phi)\right),

а предельный вариант MM-REx приближает минимизацию наихудшей выпуклой комбинации рисков сред, что при определённом выборе \beta сближает REx с распределённо-робастной оптимизацией по выпуклым смесям сред[1].

Групповая DRO

Group DRO не вводит представление отдельно, а напрямую минимизирует риск наихудшей из заранее заданных групп g \in \mathcal{G} (группа может совпадать со средой или задаваться комбинацией среды и метки):

\min_{f} \max_{g \in \mathcal{G}} R^g(f), \qquad R^g(f) = \mathbb{E}_{(X,Y)\sim P^g}\left[\ell(f(X), Y)\right].

На практике максимум по группам аппроксимируется онлайн-обновлением весов групп (экспоненциальное взвешивание, аналогичное алгоритму Hedge), а сильная L_2-регуляризация и ранняя остановка оказываются необходимы, поскольку без них переобучение сводит на нет преимущество робастной цели перед ERM[1].

Причинная интерпретация

Во всех трёх постановках интуиция одна: если X порождается структурной каузальной моделью, в которой Y имеет причинных родителей \text{Pa}(Y) и, возможно, потомков и посторонних «спутников» (co-parents, эффекты общего следствия), то распределение P(Y \mid \text{Pa}(Y)) инвариантно к интервенциям в остальные переменные системы, если сама среда не вмешивается непосредственно в механизм генерации Y из \text{Pa}(Y). Условие ICP формализует именно это: инвариантность условного распределения при варьировании среды — необходимый (при определённых допущениях) признак причинности[1]. IRM, REx и Group DRO можно рассматривать как попытки добиться того же эффекта без явного перебора причинных гипотез, ценой более слабых или иных гарантий.

Классификация основных подходов

Методы инвариантного обучения удобно систематизировать по тому, какую именно форму инвариантности они требуют и какая информация о средах им нужна.

Основные семейства методов инвариантного обучения
Семейство Представитель Требуемая информация Тип штрафа/ограничения Основная гарантия
Причинный отбор признаков ICP[1] метки сред, множество кандидатов-признаков статистический тест инвариантности условного распределения точная идентификация причинных родителей при выполнении допущений SCM
Инвариантность градиента классификатора IRM (IRMv1)[1] метки сред норма градиента фиктивного классификатора приближённое условие «один классификатор оптимален для всех сред»
Игровая переформулировка IRM IRM-Games[1] метки сред поиск равновесия Нэша между «средовыми» классификаторами снятие части оптимизационных трудностей IRMv1
Экстраполяция риска REx (V-REx, MM-REx)[1] метки сред дисперсия/максимум риска по средам устойчивость и к ложным корреляциям, и к ковариатному сдвигу
Робастная оптимизация по группам Group DRO[1] метки групп (сред × классов) минимакс по рискам групп + сильная регуляризация контроль наихудшего группового риска на обучающих группах
Выравнивание признаковых распределений Домен-состязательные сети (DANN)[1] метки доменов (не обязательно меток Y) состязательный дискриминатор домена неразличимость представления по доменам, а не инвариантность P(Y \mid \Phi(X))
Ядерные методы выравнивания DICA (Domain-Invariant Component Analysis)[1] метки доменов минимизация расхождения ядерных распределений между доменами снижение дисперсии между доменами при сохранении дискриминативности
Балансировка данных без явного штрафа Simple data balancing[1] метки групп переразметка частот классов/групп в мини-батчах сопоставимая с Group DRO точность на наихудшей группе без минимакс-оптимизации
Селективная аугментация LISA[1] метки сред и/или групп интерполяция примеров внутри одной метки между средами (или внутри среды между метками) снижение опоры на ложную корреляцию без явного штрафа-инварианта

Три перечисленных семейства решают заметно разные задачи, и смешивать их некорректно. IRM и REx формулируют цель как приближение к инвариантности условного распределения P^e(Y \mid \Phi(X)) по средам — это утверждение о причинной структуре данных. Group DRO не апеллирует к причинности вовсе: это чисто минимаксная робастная оптимизация, гарантирующая контроль наихудшего риска по заранее заданным группам, независимо от того, обусловлен ли разрыв между группами причинным механизмом или чем-то иным. DANN и DICA решают третью, отличную от первых двух, задачу — добиваются того, чтобы по представлению \Phi(X) нельзя было статистически отличить один домен от другого; это условие ни необходимо, ни достаточно для инвариантности P(Y \mid \Phi(X)): представление может быть неразличимо по доменам и при этом не сохранять полезный причинный сигнал, либо, наоборот, содержать инвариантный признак, который сам слабо коррелирует с доменом легитимным образом и потому будет ошибочно подавлен состязательным дискриминатором.

Практический протокол применения

Применение инвариантного обучения на практике обычно включает следующие этапы.

  1. Определение сред. Необходимо явно указать, что считается «средой»: источник данных, время сбора, аппаратура, подгруппа населения. Если естественного разбиения нет, среды иногда конструируют искусственно — например, кластеризацией остатков ERM-модели.
  2. Выбор представления и архитектуры. Как правило, используется общая архитектура извлечения признаков (сверточная сеть, трансформер) с последующим лёгким классификатором (линейный слой), поскольку большинство инвариантных штрафов формулируются относительно этого классификатора.
  3. Выбор штрафа инвариантности и его веса. Гиперпараметр \lambda (в IRM) или \beta (в REx) необходимо подбирать по валидационной выборке, максимально приближенной к целевому сдвигу; авторы IRM рекомендуют ступенчатое увеличение веса штрафа в процессе обучения, поскольку слишком ранняя жёсткая пенализация мешает сойтись даже к нетривиальному решению.
  4. Оценка на нескольких OOD-срезах. Одна тестовая среда даёт зашумлённую оценку; протокол DomainBed предполагает усреднение по нескольким целевым доменам и по нескольким случайным разбиениям на train/val/test[1].
  5. Честный подбор гиперпараметров. Ключевое методологическое требование — не подбирать гиперпараметры по тестовой (целевой) среде: оценивается либо по среде, оставленной внутри обучающих доменов («leave-one-domain-out»), либо по отдельной валидационной среде, отличной от тестовой.
  6. Сравнение с сильным ERM-базлайном и с простыми альтернативами. Ввиду результатов Gulrajani и Lopez-Paz включение хорошо настроенной ERM обязательно для того, чтобы отличить реальный выигрыш от эффекта недонастроенного базового метода[1]; по той же причине рекомендуется сравнение с простой балансировкой данных, которая на ряде задач воспроизводит качество Group DRO без минимакс-оптимизации[1].
Соответствие типа сдвига и рекомендуемого семейства методов (обобщение по литературе)
Тип сдвига Характерный пример Более подходящее семейство
Ложная корреляция с известной группой цвет фона коррелирует с классом только в обучении Group DRO, IRM, простая балансировка данных
Ковариатный сдвиг без смены P(Y\mid X) смена стиля изображения при сохранении семантики REx, доменная адаптация
Скрытая (неразмеченная) гетерогенность сред данные из разных клиник без метки клиники предварительная кластеризация + IRM/Group DRO
Малое число сред (2–3) типичная лабораторная постановка методы с осторожностью; повышен риск невыделения причинного решения[1]

Ограничения

Ограничения инвариантного обучения носят как теоретический, так и практический характер.

Зависимость от числа и разнообразия сред. Rosenfeld, Ravikumar и Risteski показали, что штраф IRMv1 в линейном случае может не отделять инвариантное решение от неинвариантного при малом числе сред, а в худшем случае глобальный минимум задачи IRM может совпадать с чисто некаузальным классификатором[1]. Kamath и соавторы уточнили, что гарантия восстановления причинного решения существенно зависит от «богатства» набора обучающих сред: число сред должно расти вместе со сложностью задачи[1].

Вычислительная и оптимизационная сложность. Билевел-постановка IRM в точном виде трудноразрешима; приближение IRMv1 вносит смещение и требует деликатного графика увеличения веса штрафа. IRM-Games переформулирует задачу как поиск равновесия в игре нескольких «средовых» игроков, что снимает часть трудностей билевел-оптимизации, но добавляет собственные вопросы сходимости[1].

Требование к разметке сред. Все перечисленные методы, кроме отдельных аугментационных приёмов, требуют явной метки среды или группы для каждого обучающего примера. На практике такая метка часто отсутствует или является грубым приближением (например, «страна происхождения снимка» вместо более тонкой скрытой причины сдвига).

Эмпирический разрыв с ERM. Систематическое сравнение на DomainBed показало, что при равных вычислительных бюджетах на подбор гиперпараметров хорошо настроенная ERM во многих задачах домен-генерализации не уступает специализированным методам, включая IRM и Group DRO без дополнительных модификаций[1]. Wiles и соавторы, систематически разобрав несколько десятков реальных и синтетических сдвигов, показали, что ранжирование методов по качеству сильно зависит от конкретного типа сдвига и не существует метода, доминирующего во всех случаях[1]. Это не отменяет полезности инвариантных методов, но указывает, что выигрыш проявляется не универсально, а в задачах с выраженной, структурно понятной ложной корреляцией.

Допущения о структуре причинности. Гарантии ICP и, в ослабленном виде, IRM опираются на предположения структурной каузальной модели (отсутствие определённых типов обратной связи, определённый вид вмешательств среды), которые на реальных данных невозможно проверить напрямую.

Типичные ошибки

Типичные ошибки при применении инвариантного обучения
Ошибка В чём состоит Последствие
Подбор веса штрафа по тестовой среде гиперпараметры (\lambda, \beta) настраиваются по целевому домену завышенная, не воспроизводимая на практике оценка качества
Смешение среды и класса среды определяются так, что почти совпадают с метками (например, каждая среда содержит только один класс) штраф инвариантности вырождается или подавляет полезный сигнал
Слишком малое число обучающих сред используются 2 среды при большом числе потенциальных ложных признаков решение задачи IRM может остаться некаузальным[1]
Отсутствие сильного ERM-базлайна сравнение нового метода только с исходной, плохо настроенной версией ERM переоценка вклада инвариантного штрафа
Игнорирование типа сдвига применение IRM/Group DRO к чистому ковариатному сдвигу без ложной корреляции отсутствие ожидаемого выигрыша, иногда ухудшение по сравнению с ERM
Ранняя жёсткая пенализация инвариантности большой вес штрафа задаётся с первых шагов обучения модель не успевает выучить содержательное представление вообще
Отождествление выравнивания доменов с инвариантностью использование DANN/DICA как замены IRM/REx представление может потерять полезный причинный сигнал или не устранить ложную корреляцию

Современные исследования и примеры

Направление продолжает развиваться в нескольких сторонах, и после 2021 года акцент сместился с новых формулировок штрафа на систематическую проверку того, когда именно инвариантные методы дают выигрыш и чем его можно заменить.

Wiles и соавторы провели крупномасштабный анализ более десятка типов сдвигов распределения (включая сдвиги, связанные с корреляцией признаков, с новыми подгруппами и с изменением стиля изображения) и показали, что относительное качество методов — ERM, IRM, Group DRO, аугментационных подходов — существенно меняется от одного типа сдвига к другому, то есть единого «лучшего по умолчанию» метода не существует[1]. Этот результат уточняет и частично объясняет более ранние наблюдения DomainBed: расхождения между методами не случайны, а привязаны к механизму конкретного сдвига.

Idrissi, Arjovsky, Pezeshki и Lopez-Paz показали, что простая балансировка обучающих данных по группам (передискретизация или перевзвешивание без минимакс-оптимизации) на нескольких стандартных бенчмарках worst-group-accuracy (включая Waterbirds и CelebA) достигает точности, сопоставимой с Group DRO, при заметно более простой процедуре обучения[1]. Это ставит вопрос о том, в какой мере выигрыш робастных методов объясняется именно минимаксной целью, а не просто устранением дисбаланса групп в данных.

Yao и соавторы предложили LISA — метод селективной аугментации, который интерполирует примеры одного класса из разных сред (стимулируя инвариантность к среде) либо примеры одной среды из разных классов (стимулируя устойчивость решающей границы), не вводя явного штрафа за инвариантность, и показали конкурентные результаты на задачах из WILDS без обучения отдельного дискриминатора среды или решения билевел-задачи[1].

Отдельная линия работ (в продолжение направления, начатого Wald и соавторами) исследует связь инвариантности с калибровкой предсказаний: требование одинаковой калибровки классификатора по средам, а не только одинакового риска, даёт дополнительный, вычислительно более устойчивый сигнал инвариантности[1].

Наконец, бенчмарк WILDS остаётся основным полигоном для проверки методов на реалистичных, а не искусственно сконструированных сдвигах: задача Camelyon17 требует переноса классификатора метастазов между гистологическими снимками из разных больниц, а задача FMoW — переноса классификации типа застройки между снимками, сделанными в разных регионах и в разные годы[1]. На таких задачах результаты специализированных инвариантных методов по сравнению с ERM и с простыми альтернативами вроде балансировки данных оказываются более неоднородными, чем на классическом Colored MNIST, что подтверждает вывод Wiles и соавторов о зависимости выигрыша от конкретной структуры сдвига, а не от общего превосходства одного класса методов.

Значение для науки и практики

Для теории машинного обучения ключевой сдвиг, который принесло инвариантное обучение, — явная связь задачи обобщения с причинным вопросом «какие признаки останутся релевантными при смене условий», в противовес чисто статистическому вопросу «какие признаки минимизируют эмпирическую ошибку на имеющейся выборке». Формулировки IRM и REx впервые предложили дифференцируемые, применимые к нейронным сетям приближения к условиям инвариантности, ранее формализованным только в рамках причинного вывода на низкоразмерных данных (ICP).

Для практики результаты последних лет (Gulrajani и Lopez-Paz, Wiles и соавторы, Idrissi и соавторы) требуют более осторожной, чем в 2019–2020 годах, оценки полезности специализированных инвариантных штрафов: выигрыш над хорошо настроенной ERM и над простыми альтернативами (балансировка данных, аугментация) не универсален и зависит от конкретного механизма сдвига. Инвариантные методы остаются оправданным выбором в задачах, где заранее известна или разумно предполагается конкретная ложная корреляция и доступна разметка по средам или группам — медицинская диагностика с данными из разных клиник, кредитный скоринг с данными из разных регионов, компьютерное зрение с известными искажающими артефактами съёмки. При отсутствии такой структуры или при малом числе обучающих сред решение в пользу IRM/REx/Group DRO вместо ERM с балансировкой данных должно опираться на понимание конкретного механизма сдвига, подтверждённое сравнением на нескольких целевых средах, а не на общее ожидание превосходства инвариантных методов.

См. также

Примечания


Литература

  • Peters J., Bühlmann P., Meinshausen N. Causal inference by using invariant prediction: identification and confidence intervals // Journal of the Royal Statistical Society: Series B. 2016. Vol. 78, No. 5. P. 947–1012.
  • Arjovsky M., Bottou L., Gulrajani I., Lopez-Paz D. Invariant Risk Minimization. arXiv:1907.02893, 2019.
  • Sagawa S., Koh P. W., Hashimoto T. B., Liang P. Distributionally Robust Neural Networks for Group Shifts // ICLR, 2020.
  • Krueger D., Caballero E., Jacobsen J.-H. et al. Out-of-Distribution Generalization via Risk Extrapolation (REx) // ICML, 2021.
  • Rosenfeld E., Ravikumar P., Risteski A. The Risks of Invariant Risk Minimization // ICLR, 2021.
  • Kamath P., Tangella A., Sutherland D., Srebro N. Does Invariant Risk Minimization Capture Invariance? // AISTATS, 2021.
  • Ahuja K., Shanmugam K., Varshney K., Dhurandhar A. Invariant Risk Minimization Games // ICML, 2020.
  • Gulrajani I., Lopez-Paz D. In Search of Lost Domain Generalization // ICLR, 2021.
  • Koh P. W., Sagawa S., Marklund H. et al. WILDS: A Benchmark of in-the-Wild Distribution Shifts // ICML, 2021.
  • Ganin Y., Ustinova E., Ajakan H. et al. Domain-Adversarial Training of Neural Networks // Journal of Machine Learning Research. 2016. Vol. 17.
  • Muandet K., Balduzzi D., Schölkopf B. Domain Generalization via Invariant Feature Representation // ICML, 2013.
  • Wald Y., Feder A., Greenfeld D., Shalit U. On Calibration and Out-of-Distribution Generalization // NeurIPS, 2021.
  • Wiles O., Gowal S., Stimberg F. et al. A Fine-Grained Analysis on Distribution Shift // ICLR, 2022.
  • Idrissi B. Y., Arjovsky M., Pezeshki M., Lopez-Paz D. Simple data balancing achieves competitive worst-group-accuracy // CLeaR, 2022.
  • Yao H., Wang Y., Li S. et al. Improving Out-of-Distribution Robustness via Selective Augmentation // ICML, 2022.

Ссылки

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%98%D0%BD%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B4%D0%BB%D1%8F_%D0%BE%D0%B1%D0%BE%D0%B1%D1%89%D0%B5%D0%BD%D0%B8%D1%8F_%D0%B2%D0%BD%D0%B5_%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%B8%D1%8F»
Личные инструменты