Теорема Байеса

Материал из MachineLearning.

Статья написана с использованием LLM GPT-4 Turbo и проверена участником Amir Baidanov 00:23, 19 июля 2026 (MSD)

Теорема Байеса — фундаментальное утверждение теории вероятностей, описывающее, как следует обновлять вероятностные оценки гипотез при поступлении новых данных. В машинном обучении теорема лежит в основе байесовского вывода, байесовской оптимизации и вероятностного моделирования. Она даёт строгий математический аппарат для перехода от априорных представлений к апостериорным.

Содержание

1 Историческая справка
2 Интуитивная картина
3 Математическая постановка
4 Виды шума в стохастической оптимизации
5 Связь шума градиента с обобщением
6 Влияние размера мини-пакета
- 6.1 Пример: сравнение обучения с малым и большим мини-пакетом
7 Роль скорости обучения
8 Методы оценки шума и его влияния
9 Практические рекомендации по выбору гиперпараметров
10 Ошибки интерпретации
11 Современные исследования
12 Краткий вывод
13 См. также
14 Примечания
15 Литература
16 Ссылки

Историческая справка

Теорема названа в честь преподобного Томаса Байеса (1701–1761), который сформулировал её частный случай в работе «An Essay towards solving a Problem in the Doctrine of Chances» (1763) ^[1]. Современный вид теорема приобрела благодаря Пьеру-Симону Лапласу, который в 1774 году независимо переоткрыл и обобщил результат Байеса, а также ввёл понятие априорного распределения и показал его применимость к задачам статистического вывода ^[1]. В XX веке теорема стала краеугольным камнем байесовской статистики, которая противопоставлялась частотному подходу. С развитием вычислительной статистики и приближённых методов байесовские подходы заняли прочное место в машинном обучении.

Интуитивная картина

Представьте, что у вас есть некоторое предположение о мире (гипотеза). До наблюдения данных у вас есть некоторое начальное представление о её правдоподобности — это априорная вероятность. Когда вы получаете новые данные, вы корректируете своё представление: если данные согласуются с гипотезой, вы укрепляетесь в ней; если противоречат — ослабляете. Теорема Байеса даёт количественное описание этого процесса обновления убеждений.

Рассмотрим пример из практики стохастического градиентного спуска. Пусть мы хотим оценить вероятность того, что обучение сойдётся к хорошему решению за заданное число шагов. При использовании малого мини-пакета (например, 8–32 примера) градиент получается шумным, и апостериорная оценка вероятности успеха постоянно обновляется по мере наблюдения за траекторией:

$P(success \mid trajectory) \propto P(trajectory \mid success) \cdot P(success)$

С большим мини-пакетом (512–4096) шум градиента ниже, траектория стабильнее, но выше риск застрять в локальном минимуме. Апостериорное сравнение позволяет выбрать размер мини-пакета, оптимальный для конкретной задачи.

Математическая постановка

Пусть $\theta$ — параметр или гипотеза, а $D$ — наблюдаемые данные. Тогда теорема Байеса записывается как:

$P(\theta \mid D) = \frac{P(D \mid \theta) \cdot P(\theta)}{P(D)}$ ,

где:

$P(\theta)$ — априорное распределение (prior), выражающее знания о $\theta$ до наблюдения данных;
$P(D \mid \theta)$ — функция правдоподобия (likelihood), определяющая вероятность наблюдения данных при заданном $\theta$ ;
$P(D)$ — маргинальная вероятность (evidence), вычисляемая как $\sum_\theta P(D \mid \theta) P(\theta)$ или интеграл по $\theta$ в случае непрерывных параметров;
$P(\theta \mid D)$ — апостериорное распределение (posterior), отражающее обновлённые знания после наблюдения данных.

В задачах MAP-оценивания (Maximum A Posteriori) ищется $\arg\max_\theta P(\theta \mid D)$ , что эквивалентно максимизации $P(D \mid \theta) \cdot P(\theta)$ с точностью до нормировочной константы $P(D)$ .

Виды шума в стохастической оптимизации

В стохастическом градиентном спуске (SGD) шум градиента возникает из-за случайного выбора мини-пакета. Для эмпирического риска

$L(\theta) = \frac{1}{N} \sum_{i=1}^N \ell_i(\theta)$

стохастический градиент на мини-пакете размера $m$ имеет вид:

$g_m(\theta) = \frac{1}{m} \sum_{i \in \mathcal{B}} \nabla \ell_i(\theta)$ ,

где $\mathcal{B}$ — случайное подмножество индексов размера $m$ . Дисперсия этого градиента пропорциональна $\sigma^2 / m$ , где $\sigma^2$ — дисперсия градиента по отдельному примеру ^[1]. Таким образом, уменьшение $m$ увеличивает шум градиента.

Выделяют два основных типа шума:

Внутренний шум — обусловлен случайностью выбора мини-пакета из конечной выборки;
Внешний шум — связан с стохастичностью самой целевой функции (например, в задачах с шумными данными).

Связь шума градиента с обобщением

Шум градиента выполняет две важные функции в процессе обучения:

предотвращает застревание в плохих локальных минимумах, позволяя алгоритму исследовать более широкие области ландшафта;
способствует выходу в широкие минимумы, которые, как правило, лучше обобщают на тестовых данных ^[1].

Однако шум не является гарантией улучшения обобщения. При чрезмерном шуме SGD может расходиться или блуждать в областях с плохой локальной кривизной, что ухудшает качество финального решения. Для задач с простой структурой (например, линейная регрессия) увеличение шума часто не даёт преимуществ, а лишь замедляет сходимость. Таким образом, влияние шума зависит от:

Влияние размера мини-пакета

Размер мини-пакета $m$ является ключевым гиперпараметром, влияющим на процесс обучения:

Малый мини-пакет (8–64):

 * высокий шум градиента;
 * более частая смена направления движения;
 * лучшее исследование ландшафта;
 * потенциально лучшее обобщение;
 * но возможна нестабильность и медленная сходимость.

Большой мини-пакет (512–4096 и выше):

 * низкий шум градиента;
 * стабильная траектория;
 * эффективное использование векторизации и матричных операций;
 * высокое быстродействие на GPU;
 * но риск попадания в узкие минимумы с плохим обобщением.

Исследования показывают ^[1], что существует взаимосвязь между размером мини-пакета и скоростью обучения: увеличение $m$ можно компенсировать увеличением скорости обучения, сохраняя уровень шума пропорциональным.

Пример: сравнение обучения с малым и большим мини-пакетом

Рассмотрим задачу классификации на наборе данных из 50 000 изображений (например, CIFAR-10). Обучим свёрточную нейронную сеть двумя способами:

Вариант A: мини-пакет размера $m = 64$ , скорость обучения $\eta = 0.01$ ;
Вариант B: мини-пакет размера $m = 1024$ , скорость обучения $\eta = 0.1$ (скорректирована пропорционально корню из отношения размеров).

На начальном этапе вариант A демонстрирует бóльшую флуктуацию функции потерь, но достигает более низкого значения ошибки на тестовой выборке (например, 92% против 89%). Однако вариант B сходится за меньшее число эпох (30 против 80) и требует меньшего времени на одну эпоху благодаря эффективной векторизации. В некоторых случаях, если добавить распад скорости обучения, вариант B может достичь сравнимого качества. Это иллюстрирует, что выбор размера мини-пакета — это компромисс, а не однозначное предпочтение одного варианта.

Роль скорости обучения

Скорость обучения $\eta$ тесно связана с шумом градиента. В работе ^[1] показано, что эффективный шум пропорционален $\eta / m$ . Это означает, что увеличение размера мини-пакета можно компенсировать увеличением скорости обучения, сохраняя динамику SGD неизменной. Однако на практике такая замена работает лишь в определённом диапазоне: при слишком большой $\eta$ алгоритм расходится, а при слишком маленькой — сходится слишком медленно.

Оптимальное расписание скорости обучения часто включает:

начальное значение $\eta_0$ , выбираемое эмпирически;
распад скорости обучения по степенному или экспоненциальному закону;
циклическая скорость обучения для лучшего исследования ландшафта.

Методы оценки шума и его влияния

Для количественной оценки шума градиента и его влияния на обучение используются следующие подходы:

Трассировка дисперсии — вычисление дисперсии градиента вдоль траектории SGD. Позволяет оценить уровень шума в разных областях параметров.
Сглаживание шума — применение экспоненциального скользящего среднего градиента (как в оптимизаторах Adam, RMSProp) для уменьшения влияния шума на шаг обновления.
Оценка кривизны — анализ собственных значений матрицы Гессе в точке сходимости. Узкие минимумы с большими собственными значениями обычно хуже обобщают, и шум помогает их избегать.
Двойной спуск — феномен, когда качество модели сначала ухудшается, а затем улучшается при увеличении размера модели или данных. Это явление связывают с балансом между шумом и сложностью модели ^[1].
Байесовская интерпретация SGD — подход, в котором SGD рассматривается как вариационный вывод, где шум градиента соответствует стохастическому градиенту Ланжевена ^[1].

Практические рекомендации по выбору гиперпараметров

На основе теоретических и эмпирических исследований можно сформулировать следующие практические выводы:

Для задач с небольшим объёмом данных (<10^4 примеров) предпочтительны мини-пакеты размера 8–64, чтобы обеспечить достаточный уровень шума для регуляризации.
Для глубокого обучения на больших наборах (ImageNet, текстовые корпуса) часто используют размеры 256–1024, балансируя между скоростью и качеством.
Для трансформерных моделей, благодаря возможностям параллельных вычислений и большим объёмам данных, размеры мини-пакетов достигают 2048–32768.
Для байесовской оптимизации и MCMC-методов размер выборки часто выбирается равным всему набору данных для точной оценки логарифма правдоподобия.
Скорость обучения должна корректироваться при изменении размера мини-пакета: при увеличении $m$ в $k$ раз $\eta$ можно увеличить пропорционально $\sqrt{k}$ или $k$ в зависимости от задачи ^[1].
Для стабильного обучения на больших мини-пакетах рекомендуется использовать распад скорости обучения и раннюю остановку.

Ошибки интерпретации

Миф 1: Шум всегда улучшает обобщение

Это неверно. Слишком высокий шум может привести к тому, что SGD начнёт блуждать в областях с плохой локальной кривизной, ухудшая качество финального решения. Кроме того, для некоторых задач (например, линейная регрессия с квадратичной функцией потерь) шум не даёт преимуществ, а лишь замедляет сходимость.

Миф 2: Малый мини-пакет всегда лучше большого

Эмпирические исследования показывают, что при правильном подборе скорости обучения и расписания её изменения большие мини-пакеты могут давать качество, сравнимое с малыми ^[1]. Более того, для некоторых архитектур (например, нормализация слоя) большие мини-пакеты даже предпочтительнее из-за более стабильной оценки статистик.

Миф 3: Апостериорная вероятность — это «истинная» вероятность параметра

Апостериорная вероятность $P(\theta \mid D)$ зависит от выбора априорного распределения $P(\theta)$ . Некорректный априор (например, слишком сильный или несоответствующий природе задачи) может существенно исказить выводы. В байесовском подходе важно проводить анализ чувствительности к выбору априора.

Миф 4: Существует универсальный оптимальный размер мини-пакета

Оптимальный размер мини-пакета зависит от множества факторов: архитектуры, регуляризации, числа параметров, объёма данных и доступных вычислительных ресурсов. Не существует единственной формулы, подходящей для всех задач.

Современные исследования

В последние годы активно изучаются следующие направления, связанные с шумом градиента и размером мини-пакета:

Адаптивный размер мини-пакета — алгоритмы, которые динамически изменяют $m$ в процессе обучения на основе оценки дисперсии градиента или критерия сходимости ^[1].
Шум как регуляризатор — попытки установить эквивалентность между шумом SGD и L2-регуляризацией или ранней остановкой ^[1].
Байесовский SGD — интерпретация SGD как вариационного вывода, где шаг градиента соответствует шагу по свободной энергии, а шум — температуре системы ^[1].
Плоские минимумы и устойчивость — работы о связи ширины минимума (измеряемой через собственные значения Гессиана) с обобщающей способностью и влиянии шума на выбор таких минимумов ^[1].
Влияние шума на обучение с подкреплением — исследования роли стохастичности в обучении с подкреплением, где шум может служить исследованием среды.

Краткий вывод

Теорема Байеса даёт фундаментальный механизм для обновления вероятностных оценок при поступлении данных. В контексте стохастической оптимизации она объясняет, как шум, порождаемый размером мини-пакета, влияет на траекторию SGD и качество финального решения. Шум градиента не является панацеей для улучшения обобщения: его влияние зависит от ландшафта функции потерь, архитектуры модели, объёма и структуры данных. На практике выбор размера мини-пакета требует учёта как вычислительных ограничений, так и статистических свойств задачи.

См. также

Примечания

Литература

Bayes T. (1763). An Essay towards solving a Problem in the Doctrine of Chances. Philosophical Transactions of the Royal Society of London, 53: 370–418.
Laplace P.-S. (1774). Mémoire sur la probabilité des causes par les événements. Mémoires de l'Académie royale des Sciences de Paris, 6: 621–656.
Goodfellow I., Bengio Y., Courville A. (2016). Deep Learning. MIT Press.
Keskar N. S., Mudigere D., Nocedal J., Smelyanskiy M., Tang P. T. P. (2016). On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima. arXiv:1609.04836.
Smith S. L., Kindermans P.-J., Ying C., Le Q. V. (2017). Don't Decay the Learning Rate, Increase the Batch Size. arXiv:1711.00489.
Goyal P., Dollár P., Girshick R., et al. (2017). Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour. arXiv:1706.02677.
Mandt S., Hoffman M. D., Blei D. M. (2017). Stochastic Gradient Descent as Approximate Bayesian Inference. JMLR, 18(1): 1–35.
Nakkiran P., Kaplun G., Bansal Y., Yang T., Barak B., Sutskever I. (2020). Deep Double Descent: Where Bigger Models and More Data Hurt. ICML 2020.
Zhang C., Bengio S., Hardt M., Recht B., Vinyals O. (2021). Understanding deep learning requires rethinking generalization. Communications of the ACM, 64(3): 107–115.
Hoffmann J., Roberts D. A., Yaida S., et al. (2022). Training Compute-Optimal Large Language Models. arXiv:2203.15556.

Ссылки

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%A2%D0%B5%D0%BE%D1%80%D0%B5%D0%BC%D0%B0_%D0%91%D0%B0%D0%B9%D0%B5%D1%81%D0%B0»

Категории: Теория вероятностей | Машинное обучение | Байесовские методы | Оптимизация