Причинное машинное обучение

Материал из MachineLearning.

Статья написана с использованием LLM GPT-5.6 Terra High и проверена участником Oleg Batsiev 17:40, 11 июля 2026 (MSD).

Промпт приводится полностью в Обсуждение:Причинное машинное обучение.

Содержание

1 Мотивировка
2 Исторические и концептуальные предпосылки
3 Структурные причинные модели
4 Потенциальные исходы и причинные эффекты
5 Условия идентификации
6 Основные методы оценки эффекта
7 Гетерогенные эффекты и причинные леса
8 Поиск причинной структуры
9 Причинные представления и переносимость
10 Применения
11 Ограничения и этические вопросы
12 Связь с философией искусственного интеллекта
13 См. также
14 Примечания
15 Литература

Причинное машинное обучение (англ. causal machine learning) — направление на стыке машинного обучения, статистики и теории причинности, изучающее методы оценки последствий вмешательств в сложные системы. В отличие от обычного предиктивного обучения, которое отвечает на вопрос «что, вероятно, произойдёт при наблюдаемых признаках?», причинное машинное обучение рассматривает вопрос «что изменится, если целенаправленно изменить некоторую переменную?».

Направление объединяет методы причинного вывода, теории вероятностей, статистического моделирования и современные алгоритмы машинного обучения. Его важные применения включают A/B тестирование, персонализацию лечения, оценку эффекта маркетинговых кампаний, анализ государственной политики, выявление дискриминации в алгоритмах и построение моделей, устойчивых к изменению среды.

Мотивировка

Обычная модель машинного обучения оценивает статистическую зависимость между признаками и целевой переменной. Если модель видит, что пользователи с определённым признаком чаще совершают покупку, она может успешно прогнозировать вероятность покупки. Но из этого ещё не следует, что искусственное изменение данного признака повысит вероятность покупки.

Пусть $X$ — факт показа рекомендации, а $Y$ — покупка. Предиктивный вопрос записывается как условная вероятность

$P(Y \mid X=x).$

Она описывает, как меняется вероятность покупки среди пользователей, для которых наблюдается значение $X=x$ . Причинный вопрос имеет иной смысл:

$P(Y \mid \operatorname{do}(X=x)).$

Оператор $\operatorname{do}$ означает, что значение $X$ установлено внешним вмешательством, а не просто наблюдалось в данных. Для рекомендательной системы это вопрос: «какой была бы конверсия, если бы мы принудительно показали рекомендацию?»

Различие важно потому, что пользователи, которым система уже показала рекомендацию, могут отличаться от остальных. Например, алгоритм мог выбрать более активных пользователей. Тогда наблюдаемая разница в конверсии объединяет эффект рекомендации с эффектом исходных различий между группами. Общая причина, влияющая и на вмешательство, и на результат, называется смешивающей переменной, или конфаундером.^[1]

Исторические и концептуальные предпосылки

Современный причинный вывод развивался в нескольких научных традициях. В статистике важную роль сыграла модель потенциальных исходов Неймана — Рубина. В ней причинный эффект определяется сравнением результата одного и того же объекта в разных возможных условиях, хотя непосредственно наблюдать можно лишь один из них.^[1]

В другой традиции Джуд Перл развил структурные причинные модели, ориентированные графы и исчисление вмешательств. Этот подход позволяет формально отделить наблюдение от действия и исследовать, при каких предположениях причинный эффект можно восстановить из данных.^[1]

Термин causal machine learning обычно применяют к методам, где гибкие алгоритмы обучения используются для оценки причинных эффектов, обнаружения причинной структуры, оценки индивидуальных эффектов или построения представлений, устойчивых к смене распределения данных.

Структурные причинные модели

Структурная причинная модель (structural causal model, SCM) состоит из набора переменных, внешних факторов и структурных уравнений. Для каждой эндогенной переменной $X_i$ задаётся уравнение

$X_i=f_i(\operatorname{pa}_i,U_i),$

где $\operatorname{pa}_i$ — непосредственные причины переменной $X_i$ , а $U_i$ — внешние, в том числе ненаблюдаемые, факторы.

Структуру удобно изображать ориентированным ациклическим графом. Например, граф

$Z \to T,\qquad Z \to Y,\qquad T \to Y$

может описывать ситуацию, в которой $T$ — лечение, $Y$ — исход, а $Z$ — возраст пациента. Возраст влияет и на назначение лечения, и на прогноз, поэтому его нельзя игнорировать при оценке эффекта лечения.

Причинный граф не доказывает причинность автоматически. Он фиксирует содержательную гипотезу исследователя о механизме порождения данных. Правдоподобие этой гипотезы должно обосновываться предметным знанием, дизайном эксперимента, временным порядком событий и анализом альтернативных объяснений.

Потенциальные исходы и причинные эффекты

Пусть $T\in\{0,1\}$ обозначает бинарное вмешательство: например, назначение нового лекарства или показ новой версии интерфейса. Для каждого объекта определяют два потенциальных исхода:

$Y(1)$ — исход при вмешательстве;
$Y(0)$ — исход без вмешательства.

Средний причинный эффект, или ATE (average treatment effect), определяется формулой

$\operatorname{ATE}=\mathbb{E}[Y(1)-Y(0)].$

Для конкретного объекта одновременно наблюдается только один исход: либо $Y(1)$ , либо $Y(0)$ . Второй исход остаётся контрфактическим. Это называют фундаментальной проблемой причинного вывода.

Кроме ATE, используют другие целевые величины:

ATT (average treatment effect on the treated) — средний эффект для объектов, фактически получивших вмешательство;
CATE (conditional average treatment effect) — условный эффект для объектов с признаками $Z=z$ :

$\tau(z)=\mathbb{E}[Y(1)-Y(0)\mid Z=z];$

ITE (individual treatment effect) — индивидуальный эффект $Y_i(1)-Y_i(0)$ , который, как правило, нельзя наблюдать непосредственно.

Оценка CATE особенно важна для персонализированной медицины, кредитного скоринга и рекомендательных систем, поскольку позволяет искать не только средний эффект, но и группы, для которых вмешательство полезно, нейтрально или вредно.

Условия идентификации

Причинный эффект нельзя извлечь из наблюдательных данных без предположений. Основные условия идентификации таковы.

Согласованность. Если объект действительно получил вмешательство $T=t$ , то наблюдаемый исход равен его потенциальному исходу $Y(t)$ .
Отсутствие неучтённого смешения. После учёта набора переменных $Z$ назначение вмешательства не зависит от потенциальных исходов.
Позитивность. Для каждого релевантного значения $Z=z$ существует ненулевая вероятность получить каждый вариант вмешательства.
Отсутствие интерференции. Вмешательство над одним объектом не меняет исход другого объекта.

Если набор $Z$ удовлетворяет критерию задней двери, то есть блокирует все пути между $T$ и $Y$ , начинающиеся стрелкой в $T$ , и не содержит потомков $T$ , эффект можно оценивать посредством корректировки:

$P(y\mid \operatorname{do}(T=t))=\sum_z P(y\mid T=t,Z=z)P(Z=z).$

Эта формула не верна «по умолчанию». Она применима только тогда, когда причинная схема корректна и набор переменных действительно устраняет смешение. Неправильная корректировка может, наоборот, создать смещение: например, если контролировать коллайдер — общую следствие двух причин.^[1]

Основные методы оценки эффекта

Рандомизированный эксперимент

Рандомизированный контролируемый эксперимент — наиболее надёжный способ оценить причинный эффект. Случайное распределение объектов по группам делает их сопоставимыми в среднем, включая ненаблюдаемые факторы. В простейшем случае эффект оценивают разностью средних:

$\widehat{\operatorname{ATE}}=\bar{Y}_{T=1}-\bar{Y}_{T=0}.$

Однако эксперименты бывают дорогими, технически невозможными или этически недопустимыми. Кроме того, даже в эксперименте следует контролировать качество рандомизации, пропуски, интерференцию между участниками и корректность измерения результата.

Корректировка по наблюдательным данным

Если эксперимент невозможен, используют наблюдательные данные и методы, опирающиеся на причинные предположения:

регрессионную корректировку;
стратификацию по значимым признакам;
сопоставление объектов (matching);
методы инструментальных переменных;
регрессионный разрыв;
взвешивание по обратной вероятности назначения вмешательства;
методы двойной устойчивости.

Важное понятие — propensity score, то есть вероятность получить вмешательство при заданных признаках:

$e(Z)=P(T=1\mid Z).$

Оценка посредством обратного взвешивания вероятностей имеет вид

$\widehat{\tau}_{IPW}=\frac1n\sum_{i=1}^n\left(\frac{T_iY_i}{e(Z_i)}-\frac{(1-T_i)Y_i}{1-e(Z_i)}\right).$

Если значения $e(Z_i)$ близки к нулю или единице, веса становятся огромными, а оценка нестабильной. Это практическое следствие нарушения позитивности.

Двойная устойчивость и double machine learning

В методах двойной устойчивости одновременно моделируют вероятность назначения вмешательства и ожидаемый исход. При корректности хотя бы одной из этих двух моделей оценка эффекта может сохранять состоятельность.

Double machine learning использует алгоритмы машинного обучения для оценки вспомогательных функций — propensity score и условного среднего исхода, — но применяет cross-fitting и ортогональные оценочные функции, чтобы уменьшить смещение регуляризации и переобучения. Это важно в задачах с большим числом признаков, где простая линейная регрессия плохо описывает зависимости.^[1]

Машинное обучение в данном случае не заменяет причинный дизайн. Оно помогает гибко оценить сложные зависимости, но не устраняет неучтённые конфаундеры и не подтверждает истинность причинного графа.

Гетерогенные эффекты и причинные леса

Средний эффект может скрывать важные различия между группами. Например, лекарство может быть полезно пациентам с одним профилем факторов риска и бесполезно для других. Для поиска таких различий оценивают CATE.

Одним из подходов являются причинные леса (causal forests) — модификация случайного леса, ориентированная на поиск разбиений, в которых различается причинный эффект, а не просто прогноз целевой переменной. Для причинных лесов разработаны процедуры статистического вывода и приближённые доверительные интервалы.^[1]

При интерпретации гетерогенных эффектов особенно опасны множественные сравнения и поиск «интересных» подгрупп после просмотра данных. Модель может принять случайный шум за реальную неоднородность.

Поиск причинной структуры

Причинное открытие (causal discovery) пытается восстановить часть структуры причинного графа по данным. Известны алгоритмы PC, FCI и GES. Они используют условные независимости, статистические тесты и критерии качества графа.

По одним наблюдениям направление связи часто неидентифицируемо. Связь между A и B может соответствовать A → B, B → A либо скрытой общей причине. Для различения нужны дополнительные предположения: временной порядок, отсутствие скрытых причин, данные из разных сред или результаты интервенций.^[1]

Поэтому causal discovery следует воспринимать как инструмент выдвижения и проверки гипотез, а не как автоматический механизм «нахождения причин» в произвольной таблице данных.

Причинные представления и переносимость

Современное направление causal representation learning изучает, как выделять причинно значимые скрытые факторы из изображений, текста, аудио и иных высокоразмерных наблюдений. В таких задачах исследователь часто не получает готовые переменные $Z$ , $T$ и $Y$ , а должен построить представление данных, в котором они становятся доступными для анализа.

Интерес к причинным представлениям связан с проблемой обобщения вне исходного распределения. Обычная модель может использовать случайную корреляцию, устойчивую на обучающей выборке, но исчезающую в новой среде. Причинные механизмы потенциально более инвариантны, однако их выделение по данным требует сильных допущений и остаётся активной областью исследований.^[1]

Применения

Причинное машинное обучение применяют в следующих областях:

Медицина. Оценка эффективности лечения, подбор терапии, анализ побочных эффектов.
Продуктовая аналитика. Измерение эффекта изменений интерфейса, рекомендаций и рекламных кампаний.
Экономика и государственная политика. Оценка последствий программ поддержки, образовательных инициатив и регуляторных мер.
Кредитный скоринг и страхование. Анализ последствий решений, однако в этих областях особенно высок риск дискриминации.
Безопасность ИИ. Анализ механизмов, устойчивости моделей и причин ошибок.
Алгоритмическая справедливость. Различение допустимых и недопустимых путей влияния чувствительных признаков на решение модели.

Ограничения и этические вопросы

Причинный вывод всегда зависит от предположений. Основные источники ошибок:

неучтённые конфаундеры;
ошибки измерения;
смещение отбора;
пропуски в данных;
неверно выбранные переменные для корректировки;
отсутствие сопоставимых групп;
перенос вывода на другую популяцию без проверки;
смешение причинных переменных с прокси-признаками.

Особенно опасно автоматически превращать оценку причинного эффекта в рекомендацию к действию. В медицине, найме, кредитовании и государственном управлении необходимо отдельно анализировать неопределённость, риски для уязвимых групп и ответственность за решение.

Связь с философией искусственного интеллекта

Причинное машинное обучение важно для философии искусственного интеллекта, поскольку различает обнаружение закономерностей и объяснение механизмов. Предиктивная система отвечает на вопрос «что обычно наблюдается вместе?», а причинная — «что изменится при действии?».

При этом причинная модель не является нейтральным отражением данных. Выбор переменных, допустимых вмешательств и структуры графа включает теоретические и ценностные предположения разработчика. Поэтому причинный анализ требует не только вычислительных методов, но и открытого обсуждения границ применимости модели.

См. также

Примечания

Литература

Pearl J. Causality: Models, Reasoning, and Inference. — 2nd ed.. — Cambridge: Cambridge University Press, 2009. — ISBN 978-0-521-89560-6
Hernán M. A., Robins J. M. Causal Inference: What If. — Boca Raton: Chapman & Hall/CRC, 2024.
Peters J., Janzing D., Schölkopf B. Elements of Causal Inference: Foundations and Learning Algorithms. — Cambridge, MA: MIT Press, 2017. — ISBN 978-0-262-03731-0
Chernozhukov V. и др. Double/debiased machine learning for treatment and structural parameters // The Econometrics Journal. — 2018. — Т. 21. — № 1. — С. C1–C68.
Wager S., Athey S. Estimation and Inference of Heterogeneous Treatment Effects using Random Forests // Journal of the American Statistical Association. — 2018. — Т. 113. — № 523. — С. 1228–1242.
Schölkopf B. и др. Toward Causal Representation Learning // Proceedings of the IEEE. — 2021. — Т. 109. — № 5. — С. 612–634.

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9F%D1%80%D0%B8%D1%87%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5»

Категория: Искусственный интеллект