Обсуждение:Механистическая интерпретируемость
Материал из MachineLearning.
Содержание |
Как проверялась неопределённость
При подготовке этой статьи центральным был не перечень методов, а вопрос: какое именно распределение аппроксимируется и что измеряет полученное число. Поэтому черновик проверялся по цепочке «априор — апостериор — предиктивное распределение — приближённый алгоритм — эмпирическая проверка». Такой порядок помог не смешать вероятность класса, разброс весов, шум наблюдений и способность обнаруживать сдвиг данных.
Статья подготовлена с помощью GPT-5.6 Terra High. Оба использованных запроса приводятся ниже дословно.
Первый запрос: вывести вероятностную постановку
| Помоги написать русскоязычную энциклопедическую статью для MachineLearning.ru под названием «Байесовская нейронная сеть» (Bayesian neural network). Целевая аудитория — студент, знающий основы нейронных сетей и вероятностей.
Начни с интуитивного различия между обычной сетью с фиксированными весами и байесовской сетью, в которой веса имеют распределение. Затем последовательно выведи формулу апостериорного распределения p(w |
Первая версия правильно вводила апостериорное и предиктивное распределения, но практические меры неопределённости были описаны слишком общо. В частности, выборочная дисперсия проходов MC dropout была названа предиктивной дисперсией без добавления шума наблюдений, а различие между aleatoric и epistemic uncertainty не было связано с конкретным правдоподобием.
Второй запрос: ограничить утверждения аппроксимациями
|
| Отредактируй и расширь статью «Байесовская нейронная сеть». Сохрани её понятной, но проверь математическую точность. Формально запиши p(w |
Что было исправлено после генерации
Финальная версия была заново сверена по формулам и первичным публикациям. При ручной редактуре сделано следующее:
- исправлена грамматическая ошибка «в научных вычисления»;
- определение BNN уточнено: байесовским может быть не обязательно каждый параметр сети;
- добавлено явное правдоподобие и показано, что распределение весов не задаёт алеаторическую неопределённость без вероятностной модели наблюдений;
- aleatoric и epistemic uncertainty связаны с двумя слагаемыми закона полной дисперсии для регрессии;
- пояснено, что в классификации предиктивная энтропия не является чистой мерой только одного источника неопределённости;
- добавлено тождество между логарифмом свидетельства, ELBO и KL-дивергенцией;
- для среднеполевого приближения отмечены невозможность передать корреляции и несколько мод, а также возможное сужение при минимизации
;
- репараметризация Bayes by Backprop дополнена положительной параметризацией масштаба через
;
- выборочная дисперсия MC dropout больше не названа полной предиктивной дисперсией без условного шума наблюдений;
- асимптотические свойства MCMC отделены от качества конечной цепи и необходимости диагностики смешивания;
- сравнение с ансамблями переписано без заявления о безусловном превосходстве или экономичности одного метода;
- добавлен самостоятельный раздел о проверке калибровки, покрытии интервалов и качестве при сдвиге распределения;
- конференционные публикации Blundell и Gal—Ghahramani исправлены с шаблона книги на шаблон статьи и параметр ссылка;
- в литературу возвращены обещанные работы MacKay и Graves; названия, страницы и DOI сверены с издательскими страницами;
- примечания и библиография разделены, а несуществующая категория «Искусственный интеллект» заменена существующими категориями «Машинное обучение» и «Нейронные сети».
Байесовская терминология в финальном тексте везде условна относительно выбранной модели. Фразы о калибровке, неизвестных объектах и безопасном отказе сформулированы как требования к отдельной эмпирической проверке, а не как автоматические свойства BNN.
