Байесовская нейронная сеть

Материал из MachineLearning.

Статья написана с использованием LLM GPT-5.6 Terra High и проверена участником Oleg Batsiev 18:21, 11 июля 2026 (MSD)

Байесовская нейронная сеть (англ. Bayesian neural network, BNN) — нейронная сеть, в которой параметры рассматриваются не как один фиксированный набор чисел, а как случайные величины с распределением вероятностей. Такой подход позволяет получать не только предсказание, но и оценку неопределённости этого предсказания.

В обычной нейронной сети после обучения веса фиксируются. Модель может выдать высокую вероятность класса даже на объекте, сильно отличающемся от обучающих данных. Байесовская нейронная сеть пытается учитывать, насколько данные определяют параметры модели и насколько устойчиво предсказание к неопределённости в этих параметрах. Это особенно важно в задачах с высокой ценой ошибки: медицине, автономных системах, прогнозировании риска, научных вычисления и активном обучении.

Основная идея

Пусть $\mathcal D=\{(x_i,y_i)\}_{i=1}^{n}$ — обучающая выборка, а $w$ — все веса и смещения нейронной сети. В стандартном подходе находят один набор параметров $\hat w$ , например минимизируя функцию потерь:

$\hat w = \mathop{\arg\min}_{w} \sum_{i=1}^{n} \ell\bigl(y_i,f_w(x_i)\bigr).$

В байесовском подходе задают априорное распределение весов $p(w)$ . После наблюдения данных оно обновляется по формуле Байеса:

$p(w\mid\mathcal D)=\frac{p(\mathcal D\mid w)p(w)}{p(\mathcal D)}.$

Здесь $p(\mathcal D\mid w)$ — правдоподобие данных при фиксированных весах, а

$p(\mathcal D)=\int p(\mathcal D\mid w)p(w)\,dw$

— нормирующая константа, называемая маргинальным правдоподобием.

Для нового объекта $x_*$ интересует не ответ одной сети, а предиктивное распределение:

$p(y_*\mid x_*,\mathcal D)=\int p(y_*\mid x_*,w)\,p(w\mid\mathcal D)\,dw.$

Таким образом, байесовская нейронная сеть усредняет прогнозы по множеству возможных параметров, правдоподобных с учётом данных и априорных предположений.

Неопределённость предсказания

Вероятностный вывод нейронной сети полезен прежде всего тем, что позволяет различать источники неопределённости.

Неопределённость данных

Неопределённость данных (англ. aleatoric uncertainty) возникает из-за случайности, шума измерений или неполноты признаков. Например, два пациента с одинаковыми наблюдаемыми характеристиками могут иметь разные исходы заболевания, поскольку часть причин остаётся ненаблюдаемой.

Такая неопределённость не обязательно исчезает при увеличении обучающей выборки: она может быть свойством самой задачи.

Неопределённость модели

Неопределённость модели (англ. epistemic uncertainty) связана с недостатком данных или с тем, что объект находится вне области, хорошо покрытой обучающей выборкой. В этом случае разные наборы весов, согласующиеся с данными, могут давать разные предсказания.

При появлении дополнительных репрезентативных данных эпистемическая неопределённость в принципе может уменьшаться. Именно она особенно интересна при обнаружении объектов вне распределения обучения и при выборе наиболее информативных объектов для разметки.

Почему вероятность класса недостаточна

Вероятность, выдаваемая классификатором, не всегда является хорошей оценкой уверенности. Обычная сеть может сообщить, что вероятность класса равна $0.99$ , хотя объект находится далеко от обучающих данных. Байесовская модель тоже не получает автоматической гарантии корректной неопределённости, но её устройство позволяет явно оценивать разброс прогнозов при различных допустимых параметрах.

Для классификации, например, можно вычислять предсказание несколько раз с различными выборками весов $w^{(1)},\ldots,w^{(S)}$ и усреднять вероятности:

$p(y_*=c\mid x_*,\mathcal D)\approx \frac{1}{S}\sum_{s=1}^{S}p(y_*=c\mid x_*,w^{(s)}).$

Большой разброс между отдельными прогнозами указывает на существенную неопределённость параметров.

Априорные распределения весов

Перед обучением необходимо выбрать априорное распределение $p(w)$ . Часто используют независимое нормальное распределение:

$w_j\sim\mathcal N(0,\sigma^2).$

Такое предположение выражает предпочтение к весам небольшой величины. Оно связано с регуляризацией: если искать не всё распределение, а наиболее вероятный набор параметров, логарифм априорного распределения даёт штраф за слишком большие веса.

Априорное распределение — не просто техническая деталь. При малом количестве данных оно заметно влияет на результат. Слишком сильный априор может чрезмерно ограничить модель, а слишком слабый — почти не защищать от переобучения. В глубоких сетях также применяют иерархические и структурированные априоры, учитывающие слои, группы параметров или тип архитектуры.

Почему точный вывод труден

Для линейных моделей некоторые байесовские интегралы можно вычислить аналитически. У нейронной сети зависимость выхода от весов нелинейна, а число параметров может достигать миллионов или миллиардов. Поэтому точное вычисление распределения

$p(w\mid\mathcal D)$

и интеграла для предиктивного распределения обычно вычислительно неосуществимо.

На практике используют приближённый байесовский вывод. Он не устраняет неопределённость полностью, а строит приближение к истинному апостериорному распределению. Качество этого приближения зависит от метода, архитектуры, объёма данных и выбранного семейства распределений.

Вариационный вывод

При вариационном выводе выбирают семейство приближённых распределений $q_\theta(w)$ с параметрами $\theta$ и подбирают его так, чтобы оно было близко к истинному апостериорному распределению.

Обычно максимизируют нижнюю границу логарифма маргинального правдоподобия — ELBO (англ. evidence lower bound):

$\mathcal L(\theta)= \mathbb E_{q_\theta(w)}[\log p(\mathcal D\mid w)] - \mathrm{KL}\bigl(q_\theta(w)\,\|\,p(w)\bigr).$

Первое слагаемое поощряет хорошее описание данных, а второе ограничивает отклонение приближённого распределения от априорного. Минимизация отрицательной ELBO эквивалентна поиску компромисса между качеством подгонки и сложностью модели.

Простейшее приближение предполагает независимость параметров:

$q_\theta(w)=\prod_j \mathcal N(w_j\mid\mu_j,\sigma_j^2).$

Его называют среднеполевым (англ. mean-field) приближением. Оно удобно вычислительно, но не отражает корреляции между весами. Из-за этого оценка неопределённости может быть слишком грубой.

Bayes by Backprop

Метод Bayes by Backprop обучает параметры вариационного распределения с помощью обратного распространения ошибки. Вместо одного веса хранят, например, среднее $\mu_j$ и масштаб $\sigma_j$ распределения.

Для возможности дифференцирования применяют репараметризацию:

$w_j=\mu_j+\sigma_j\varepsilon_j,\qquad \varepsilon_j\sim\mathcal N(0,1).$

Случайность при этом переносится в переменную $\varepsilon_j$ , не зависящую от параметров $\mu_j$ и $\sigma_j$ . Это даёт возможность использовать стохастический градиентный спуск для оптимизации вариационной цели.^[1]

Преимущество подхода — совместимость с привычным обучением глубоких сетей. Недостаток — вычислительная стоимость: вместо одного параметра обычно нужно хранить несколько параметров распределения, а для устойчивой оценки предсказания требуется несколько проходов сети.

Монте-Карло dropout

Монте-Карло dropout (MC dropout) — практический способ приблизить байесовский вывод в сети с dropout. При стандартном обучении dropout случайно зануляет часть активаций и служит регуляризацией. В MC dropout случайность сохраняют также на этапе предсказания.

Для одного объекта сеть запускают $S$ раз с различными масками dropout:

$\hat y^{(1)},\hat y^{(2)},\ldots,\hat y^{(S)}.$

Среднее значение оценивают как

$\bar y=\frac{1}{S}\sum_{s=1}^{S}\hat y^{(s)},$

а разброс прогнозов можно использовать как приближение неопределённости:

$\widehat{\mathrm{Var}}(y)= \frac{1}{S-1}\sum_{s=1}^{S}\left(\hat y^{(s)}-\bar y\right)^2.$

Gal и Ghahramani показали, что такая процедура может интерпретироваться как вариационное приближение в байесовской модели.^[1]

MC dropout часто используют из-за простоты, но его нельзя считать точным апостериорным выводом для произвольной нейронной сети. Результат зависит от вероятности dropout, числа проходов и того, насколько предположения метода соответствуют конкретной модели.

Выборка по Марковским цепям

Другой подход — методы Монте-Карло по марковским цепям (MCMC). Они строят последовательность выборок весов, которая при определённых условиях приближается к апостериорному распределению $p(w\mid\mathcal D)$ .

Теоретически такие методы могут давать более точное описание сложного распределения параметров, чем простое вариационное семейство. Однако для современных глубоких нейронных сетей MCMC обычно требует большого числа итераций, осторожной настройки и значительных вычислительных ресурсов. Поэтому в прикладных системах чаще используют вариационный вывод, MC dropout или ансамбли моделей.

Байесовская нейронная сеть и ансамбль

Ансамбль обычных нейронных сетей также позволяет оценивать разброс предсказаний. Несколько сетей обучают с разными начальными значениями, подвыборками данных или настройками, а затем усредняют их ответы.

Ансамбль и байесовская сеть решают сходную практическую задачу, но концептуально различаются.

В байесовской нейронной сети стремятся моделировать распределение параметров одной вероятностной модели.
В ансамбле используют несколько отдельно обученных моделей; он не обязан быть приближением единого апостериорного распределения.
Ансамбли часто дают сильное практическое качество, но требуют хранить и запускать несколько полноценных сетей.
Вариационные байесовские методы экономнее ансамбля при хранении, но могут недооценивать неопределённость из-за ограниченного семейства $q_\theta(w)$ .

Выбор между этими подходами зависит от требований к качеству, вычислительной стоимости, интерпретации неопределённости и скорости ответа системы.

Применения

Регрессия

В регрессионной задаче модель может возвращать не только точечную оценку $\hat y$ , но и интервал неопределённости. Например, при прогнозировании спроса широкий интервал означает, что решение о запасах должно учитывать более высокий риск ошибки.

Важно различать доверительный интервал параметров и предиктивный интервал будущего наблюдения. Последний должен учитывать как неопределённость модели, так и случайность самих данных.

Классификация и обнаружение неизвестных объектов

В классификации байесовские методы применяют, когда нужно не только выбрать класс, но и определить, насколько модель уверена в этом выборе. В частности, полезно выявлять объекты, не похожие на обучающие данные: редкие состояния оборудования, новые типы документов или необычные медицинские изображения.

Однако высокая неопределённость не является готовым решением задачи обнаружения объектов вне распределения. Для надёжной работы необходимы проверка на соответствующих тестовых данных, калибровка вероятностей и продуманное правило передачи случая человеку-эксперту.

Активное обучение

В активном обучении система выбирает объекты, разметка которых ожидаемо сильнее всего улучшит модель. Байесовская нейронная сеть может отдавать приоритет объектам с высокой эпистемической неопределённостью: если разные допустимые наборы параметров дают разные ответы, дополнительная разметка может оказаться особенно ценной.

Безопасные и ответственные решения

В системах с высокой стоимостью ошибки неопределённость может использоваться как сигнал для отказа от автоматического решения. Например, модель не ставит диагноз самостоятельно, а передаёт случай врачу; система управления снижает скорость; антифрод отправляет операцию на дополнительную проверку.

Такой механизм требует организационного процесса: нужно заранее определить пороги, ответственного человека и действия после сигнала. Число, названное «неопределённостью», само по себе не делает систему безопасной.

Ограничения

Байесовская нейронная сеть не гарантирует правильной уверенности автоматически.

Истинное апостериорное распределение обычно недоступно, поэтому используются приближения.
Вариационное приближение может искусственно сузить распределение и недооценить неопределённость.
Априорные предположения влияют на результат, особенно при малом объёме данных.
Проверка неопределённости требует отдельной оценки: например, анализа калибровки и поведения на новых режимах данных.
Несколько выборок весов увеличивают время предсказания.
Неопределённость модели не заменяет анализ причинности, качества данных и интерпретируемости решения.

Кроме того, байесовская интерпретация зависит от модели вероятностей. Если важный фактор отсутствует среди признаков или данные систематически искажены, формально корректный вывод внутри модели не означает корректного вывода о реальном мире.

Философский аспект

Байесовская нейронная сеть важна не только как технический метод. Она подчёркивает различие между утверждением «модель выдала ответ» и утверждением «для этого ответа достаточно оснований». Вместо единственного оптимального набора параметров рассматривается множество гипотез, совместимых с наблюдениями.

Такой подход ближе к представлению знания как степени обоснованности, а не как набора окончательных ответов. Однако вероятностная форма не освобождает разработчика от ответственности за выбор данных, модели, априорных предположений и способа применения результата.

См. также

Литература

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%91%D0%B0%D0%B9%D0%B5%D1%81%D0%BE%D0%B2%D1%81%D0%BA%D0%B0%D1%8F_%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D0%B0%D1%8F_%D1%81%D0%B5%D1%82%D1%8C»

Категория: Искусственный интеллект