Байесовский вывод как философская основа для интерпретации "черных ящиков"

Материал из MachineLearning.

Байесовский вывод как философская основа интерпретации «чёрных ящиков» — подход к анализу сложных моделей машинного обучения, при котором предсказание рассматривается не как окончательный и безусловно истинный ответ, а как вероятностное заключение, зависящее от наблюдаемых данных, исходных предположений и неопределённости.

Байесовский вывод не является отдельным методом объяснимого искусственного интеллекта (XAI) и сам по себе не раскрывает внутреннюю логику нейронной сети. Его основная роль состоит в том, чтобы описать, насколько обоснован результат модели, какие предположения повлияли на него и как уверенность в предсказании изменится после получения новых данных.^[1]

В этом смысле байесовский подход создаёт вероятностный уровень интерпретации вокруг «чёрного ящика». Он позволяет анализировать не только ответ модели, но и границы её знания.

Содержание 1 Философские основания 2 Теорема Байеса и обновление знаний 3 Проблема «чёрного ящика» 4 Представление неопределённости 5 Априорные предположения как часть интерпретации 6 Учёт нескольких возможных моделей 7 Байесовские нейронные сети 8 Связь с объяснимым искусственным интеллектом 9 Калибровка вероятностей 10 Ограничения 11 Практическое значение 12 Распространённые заблуждения 13 Заключение 14 См. также 15 Примечания 16 Литература

Философские основания

В байесовской эпистемологии вероятность может интерпретироваться как количественная мера обоснованной уверенности в гипотезе. Знание при таком подходе не сводится к строгому разделению утверждений на истинные и ложные. Вместо этого рассматриваются различные степени уверенности, которые изменяются при появлении новых свидетельств.^[1]

Например, специалист может рассматривать несколько возможных объяснений наблюдаемого явления. До получения данных каждому объяснению соответствует определённая исходная вероятность. После проведения эксперимента вероятности пересчитываются: гипотезы, лучше согласующиеся с результатами, получают больший вес.

Байесовский подход основан на двух основных принципах:

• неопределённость является частью знания, а не только следствием ошибки измерения;
• новые данные должны систематически изменять прежние представления.

Когда термины «уверенность» или «убеждение» применяются к алгоритму, они используются в формальном смысле. Модель не обладает сознанием или собственными убеждениями. Вероятности описывают математическое состояние модели и неопределённость исследователя относительно параметров, гипотез или будущих наблюдений.

Теорема Байеса и обновление знаний

Основой байесовского вывода является теорема Байеса, связывающая исходные предположения с наблюдаемыми данными:^[1]

p(θ | D) = p(D | θ) · p(θ) / p(D),

где:

• θ — параметры модели или рассматриваемая гипотеза;
• D — наблюдаемые данные;
• p(θ) — априорное распределение, описывающее представления о параметрах до получения данных;
• p(D | θ) — функция правдоподобия, показывающая, насколько вероятны данные при заданных параметрах;
• p(θ | D) — апостериорное распределение, полученное после учёта данных;
• p(D) — маргинальное правдоподобие, необходимое для нормировки распределения.

В классической задаче машинного обучения часто выбирается один набор параметров, минимизирующий функцию потерь. Байесовский подход вместо этого сохраняет распределение по возможным значениям параметров. Оно показывает, какие варианты лучше согласуются с данными и насколько сильно модель различает их.

Для нового объекта x* используется апостериорное предиктивное распределение:

p(y* | x*, D) = ∫ p(y* | x*, θ) · p(θ | D) dθ.

Итоговое предсказание учитывает не только одну обученную модель, но и множество правдоподобных наборов параметров. Такой процесс связан с байесовским усреднением моделей.^[1]

Проблема «чёрного ящика»

«Чёрным ящиком» называют модель, внутренний механизм которой слишком сложен для непосредственного понимания человеком. К таким моделям часто относят глубокие нейронные сети, большие ансамбли деревьев и другие системы с большим числом взаимодействующих параметров.

Непрозрачность модели может проявляться по-разному:

• трудно кратко описать общий принцип принятия решений;
• невозможно непосредственно проследить путь от входных данных к конкретному ответу;
• неизвестно, насколько устойчив результат к небольшим изменениям входа;
• модель может выдавать высокую вероятность даже для незнакомых объектов;
• трудно определить, вызвана ли ошибка шумом в данных или недостатком знаний модели.

В исследованиях машинного обучения не существует единственного общепринятого определения интерпретируемости. Под ней могут понимать возможность объяснить отдельное решение, понять глобальное поведение модели, проверить её на ошибки или предсказать реакцию системы на изменение входных данных.^[1]

Поэтому байесовский вывод решает только часть проблемы «чёрного ящика». Он не обязательно объясняет внутренний механизм модели, но помогает оценить надёжность её заключений.

Представление неопределённости

Обычная нейронная сеть после обучения использует один выбранный набор весов θ̂ и строит предсказание:

ŷ = f(x; θ̂).

Такое предсказание может сопровождаться вероятностями классов, однако эти значения не всегда отражают неопределённость самой модели.

В байесовской модели параметры описываются распределением p(θ | D). Поэтому система может сообщать не только наиболее вероятный ответ, но и степень неопределённости этого ответа.

Обычно различают два основных вида неопределённости:^[1]

• Алеаторическая неопределённость связана с шумом и неоднозначностью самих данных. Например, изображение может быть размытым, измерительный прибор может давать неточные значения, а объект может обладать признаками нескольких классов. Такая неопределённость не всегда уменьшается при увеличении обучающей выборки.
• Эпистемическая неопределённость связана с недостатком знаний модели. Она обычно возрастает для объектов, не похожих на обучающие примеры, и может уменьшаться после добавления новых данных.

Такое разделение помогает понять, почему система не уверена: из-за сложности самого наблюдаемого объекта или из-за недостаточного опыта модели.

Например, модель медицинской диагностики может сомневаться из-за плохого качества снимка — это преимущественно алеаторическая неопределённость. Если же снимок относится к редкому заболеванию, почти не представленному в обучающей выборке, неопределённость будет преимущественно эпистемической.

Априорные предположения как часть интерпретации

Любая модель машинного обучения содержит индуктивные предположения. Они возникают при выборе архитектуры, признаков, функции потерь, регуляризации и обучающей выборки.

В байесовском подходе часть этих предположений выражается явно через априорное распределение. Например, априорное распределение может отражать предположение о том, что:

• очень большие веса модели маловероятны;
• решение должно быть разреженным;
• предсказываемая функция должна изменяться плавно;
• некоторые параметры связаны между собой;
• знания, полученные в предыдущей задаче, применимы к новой.

Априорное распределение не обязательно является произвольным мнением исследователя. Оно может основываться на физических ограничениях, результатах прошлых экспериментов или знаниях предметной области.

Однако выбранный априор является частью модели и может заметно влиять на результат, особенно при небольшом количестве данных. Поэтому необходимо проводить анализ чувствительности, проверяя, сохраняются ли основные выводы при разумном изменении априорных предположений.

Учёт нескольких возможных моделей

Одни и те же данные могут хорошо описываться различными моделями или наборами параметров. Точечная оценка выбирает один вариант и не учитывает остальные.

Байесовский вывод сохраняет распределение по допустимым решениям. Если разные правдоподобные модели дают близкие прогнозы, результат можно считать относительно устойчивым. Если их ответы существенно различаются, предиктивная неопределённость возрастает.

Это особенно важно для нейронных сетей. Разные конфигурации весов могут показывать близкое качество на обучающей выборке, но по-разному вести себя на новых объектах. Усреднение по нескольким правдоподобным решениям позволяет частично учитывать такую неоднозначность.^[1]

Байесовские нейронные сети

В байесовской нейронной сети вероятностные распределения задаются для весов, функций или других скрытых переменных. После обучения формируется апостериорное распределение, показывающее, какие конфигурации сети согласуются с наблюдаемыми данными.^[1]

Точное вычисление апостериорного распределения для современной нейронной сети обычно невозможно из-за большого числа параметров. Поэтому применяются приближённые методы:

• вариационный вывод;
• методы Монте-Карло;
• аппроксимация Лапласа;
• стохастические градиентные методы;
• Monte Carlo dropout;
• ансамбли независимо обученных моделей.

При использовании Monte Carlo dropout сеть несколько раз запускается с активным механизмом дропаута. Полученные предсказания рассматриваются как выборка из приближённого распределения результатов.^[1]

Однако такие методы являются приближениями. Полученное распределение может отличаться от точного апостериорного распределения, а оценка неопределённости — быть неполной или смещённой.

Связь с объяснимым искусственным интеллектом

Байесовский вывод и методы XAI отвечают на разные вопросы.

Методы объяснимого искусственного интеллекта могут показывать:

• какие признаки сильнее повлияли на конкретное предсказание;
• как изменится ответ при изменении входных данных;
• какое более простое правило приближённо описывает поведение модели;
• какой контрфактуальный пример изменил бы решение.

Байесовский анализ помогает определить:

• насколько устойчиво предсказание;
• какие альтернативные модели остаются правдоподобными;
• вызвана ли неопределённость шумом или недостатком данных;
• какие предположения были внесены до обучения;
• как новые данные изменят вывод.

Таким образом, методы XAI преимущественно объясняют структуру или отдельные решения модели, а байесовский подход описывает границы её знания.

На практике эти подходы полезно совмещать. Объяснение важности признаков без оценки неопределённости может создавать ложное ощущение надёжности. В то же время сообщение о высокой неопределённости не объясняет, какие свойства объекта привели модель к конкретному результату.

Калибровка вероятностей

Значение, полученное на выходе softmax, не следует автоматически считать надёжной мерой уверенности. Нейронная сеть может присваивать высокую вероятность неправильному ответу.

Хорошо откалиброванная модель должна обладать следующим свойством: среди предсказаний, сделанных с уверенностью около 80 %, приблизительно 80 % должны быть правильными.

Экспериментальные исследования показывают, что современные нейронные сети нередко оказываются плохо откалиброванными, несмотря на высокую точность классификации.^[1]

Кроме того, хорошая калибровка на тестовой выборке не гарантирует надёжность после изменения условий эксплуатации. При сдвиге распределения, когда новые данные отличаются от обучающих, качество оценки неопределённости может существенно ухудшаться.^[1]

Поэтому неопределённость необходимо проверять не только на обычной тестовой выборке, но и на редких, искажённых и внешних данных.

Ограничения

Байесовский вывод не является универсальным решением проблемы «чёрного ящика».

• Байесовская модель не обязательно интерпретируема. Распределение по миллионам весов нейронной сети может оставаться непонятным человеку.
• Неопределённость не заменяет объяснение. Знание того, что модель сомневается, не показывает, какие признаки привели её к решению.
• Результат зависит от выбранной модели. Некорректная функция правдоподобия или неудачное априорное распределение могут привести к необоснованной уверенности.
• Приближённый вывод содержит дополнительную ошибку. Практические методы могут неточно описывать апостериорное распределение.
• Высокая вероятность не доказывает причинность. Для установления причинных связей необходимы дополнительные предположения, эксперименты или причинная модель.
• Вычисления могут быть дорогими. Получение множества выборок параметров или обучение ансамблей требует дополнительных ресурсов.

В задачах с высокой ценой ошибки постфактум-объяснения сложной системы могут быть недостаточны. В некоторых случаях разумнее использовать изначально интерпретируемую модель, если она обеспечивает необходимое качество.^[1]

Практическое значение

Для специалистов по машинному обучению байесовская перспектива предполагает несколько практических принципов:

• Не ограничиваться одним предсказанием. Следует анализировать распределение возможных результатов, интервалы неопределённости и расхождение между несколькими моделями.
• Разделять точность и уверенность. Высокая точность на тестовой выборке не гарантирует правильной оценки вероятностей.
• Явно фиксировать предположения. Необходимо документировать априорные распределения, функцию правдоподобия, архитектуру и особенности обучающих данных.
• Проверять чувствительность. Следует оценивать, насколько выводы меняются при выборе других разумных априоров и методов приближённого вывода.
• Тестировать модель при сдвиге данных. Проверка должна включать редкие, искажённые и неизвестные объекты.
• Совмещать оценку неопределённости с XAI. Байесовский анализ дополняет методы атрибуции признаков, контрфактуальные объяснения и интерпретируемые модели.
• Предусматривать отказ от ответа. При высокой эпистемической неопределённости система может передавать решение человеку или запрашивать дополнительные данные.

Распространённые заблуждения

• «Байесовская модель автоматически интерпретируема». Нет. Она может описывать неопределённость, оставаясь структурно непрозрачной.
• «Вероятность 0,95 означает, что модель всегда права в 95 % случаев». Это справедливо только при подходящих условиях и хорошей калибровке.
• «Softmax полностью описывает неопределённость модели». Обычно он показывает относительные оценки классов при фиксированных параметрах и не учитывает неопределённость самих параметров.
• «Байесовский вывод устанавливает причинные связи». Он обновляет вероятности внутри выбранной модели, но сам по себе не доказывает причинность.
• «Априорное распределение не влияет на результат». При ограниченном количестве данных влияние априора может быть существенным.
• «Чем уже интервал неопределённости, тем лучше модель». Узкий интервал полезен только тогда, когда он правильно откалиброван и действительно содержит возможные значения с заявленной вероятностью.

Заключение

Байесовский вывод предлагает философский и математический язык для работы с неполным знанием. Применительно к «чёрным ящикам» он переносит внимание с вопроса «какой ответ дала модель?» на более содержательные вопросы: насколько этот ответ надёжен, какие предположения его определяют, какие альтернативные модели остаются возможными и как новые данные изменят заключение.

Байесовский подход не делает сложную модель полностью прозрачной и не заменяет методы объяснимого искусственного интеллекта. Его основная ценность состоит в том, что он превращает неопределённость из скрытого недостатка системы в явный объект анализа.

Благодаря этому предсказание может рассматриваться не как окончательное решение, а как проверяемое и пересматриваемое заключение, основанное на доступных данных и явно сформулированных предположениях.

См. также

• Байесовский вывод
• Теорема Байеса
• Байесовская эпистемология
• Априорное распределение
• Апостериорное распределение
• Байесовская нейронная сеть
• Байесовское усреднение моделей
• Вариационный вывод
• Объяснимый искусственный интеллект
• Интерпретируемость
• Калибровка вероятностей
• Неопределённость
• Причинный вывод

Примечания

Литература

• Bayes, T., Price, R. (1763). An Essay towards Solving a Problem in the Doctrine of Chances. Philosophical Transactions of the Royal Society of London, 53, 370–418.
• MacKay, D. J. C. (1992). A Practical Bayesian Framework for Backpropagation Networks. Neural Computation, 4(3), 448–472.
• Hoeting, J. A., Madigan, D., Raftery, A. E., Volinsky, C. T. (1999). Bayesian Model Averaging: A Tutorial. Statistical Science, 14(4), 382–417.
• Jaynes, E. T. (2003). Probability Theory: The Logic of Science. Cambridge University Press.
• Gal, Y., Ghahramani, Z. (2016). Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning. Proceedings of the 33rd International Conference on Machine Learning, 1050–1059.
• Doshi-Velez, F., Kim, B. (2017). Towards a Rigorous Science of Interpretable Machine Learning.
• Kendall, A., Gal, Y. (2017). What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision?. Advances in Neural Information Processing Systems, 30.
• Guo, C., Pleiss, G., Sun, Y., Weinberger, K. Q. (2017). On Calibration of Modern Neural Networks. Proceedings of the 34th International Conference on Machine Learning, 1321–1330.
• Lipton, Z. C. (2018). The Mythos of Model Interpretability. Queue, 16(3), 31–57.
• Ovadia, Y. et al. (2019). Can You Trust Your Model’s Uncertainty? Evaluating Predictive Uncertainty under Dataset Shift. Advances in Neural Information Processing Systems, 32.
• Rudin, C. (2019). Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead. Nature Machine Intelligence, 1, 206–215.
• Wilson, A. G., Izmailov, P. (2020). Bayesian Deep Learning and a Probabilistic Perspective of Generalization. Advances in Neural Information Processing Systems, 33.