Априорное распределение

Материал из MachineLearning.

(Перенаправлено с Bayesian prior)

Статья подготовлена с использованием модели OpenAI GPT‑5.6 Sol с уровнем рассуждений High и проверена участником Д.О. Кистанов 23:37, 18 июля 2026 (MSK)

Промпт приводится полностью в Обсуждение:Априорное распределение

Содержание

1 История
2 Основная идея
- 2.1 Неопределённость до наблюдения данных
- 2.2 Априорное и апостериорное распределения
3 Математические основы
4 Основные классы априорных распределений
5 Примеры
- 5.1 Бета-биномиальная модель
- 5.2 Нормальное среднее
6 Выбор и построение распределения
7 Диагностика и оценка влияния
8 Применения
9 Трудности и ограничения
10 Современные направления исследований
11 Рекомендации по представлению результатов
12 См. также
13 Примечания
14 Литература
15 Ссылки

Априорное распределение (англ. prior distribution) — распределение вероятностей, которое в байесовском выводе описывает неопределённость относительно неизвестного параметра, скрытой переменной, функции, структуры модели или гипотезы до учёта данных, предназначенных для данного анализа. Если $\theta$ — неизвестный параметр, $y$ — наблюдаемые данные, $p(\theta)$ — априорная плотность, а $p(y\mid\theta)$ — правдоподобие, то формула Байеса задаёт апостериорное распределение

$p(\theta\mid y)=\frac{p(y\mid\theta)p(\theta)}{p(y)},\qquad p(y)=\int p(y\mid\theta)p(\theta)d\theta.$

Величину $p(y)$ называют маргинальным правдоподобием, или свидетельством модели. Априорное распределение является частью вероятностной модели, а не необязательной поправкой к правдоподобию: вместе с моделью наблюдений оно определяет совместное распределение параметров и данных, апостериорные выводы и прогнозы.^[1]

Смысл слова «до» относится к логическому порядку анализа, а не обязательно к календарному времени. Априорное распределение может основываться на физической теории, результатах прежних исследований, экспертных суждениях, требованиях симметрии или формальном правиле. При последовательном обучении апостериорное распределение после одной порции данных естественно становится априорным для следующей. В машинном обучении априорные распределения также задают индуктивное смещение: предпочтение гладких функций, разреженных решений, малых эффектов, определённой архитектуры или иной структуры, которую одни данные не определяют однозначно.

История

Одно из первых употреблений априорного распределения в задаче обратной вероятности содержится в посмертно опубликованной работе Томаса Байеса 1763 года. В рассматриваемой биномиальной задаче неизвестная вероятность успеха фактически снабжалась равномерным распределением, после чего данные использовались для получения условного распределения этой вероятности.^[1] Пьер-Симон Лаплас систематически развил методы вероятности причин и применял принцип недостаточного основания, согласно которому симметричным возможностям при отсутствии различающей информации назначаются равные вероятности. Исторические формы этих рассуждений, однако, не тождественны всем современным интерпретациям байесовской вероятности.^[1]

В XIX и первой половине XX века обсуждение априорных вероятностей стало частью спора об основаниях статистического вывода. В субъективной байесовской традиции вероятность трактуется как количественная мера неопределённости или согласованной степени уверенности; априорное распределение выражает состояние информации конкретного аналитика. В формальной, или объективной, байесовской традиции стремятся строить воспроизводимые распределения из свойств модели и выбранного параметра интереса.

Гарольд Джеффрис предложил инвариантное правило, основанное на информации Фишера. Его статья 1946 года дала общую форму распределения, которое не меняет байесовский вывод при гладкой взаимно однозначной перепараметризации.^[1] Книга Джеффриса Theory of Probability, впервые изданная в 1939 году и существенно переработанная в последующих изданиях, связала выбор априорных распределений с задачами оценивания и проверки гипотез.

В середине XX века байесовские методы получили развитие в статистической теории решений. Говард Райффа и Роберт Шлейфер в 1961 году ввели термин «сопряжённое распределение» и систематизировали семейства априорных распределений, позволяющие аналитически обновлять гиперпараметры.^[1] Герберт Роббинс предложил эмпирический байесовский подход, в котором распределение параметров или его гиперпараметры оцениваются по совокупности сходных задач.^[1]

С 1970-х годов развивались байесовские непараметрические распределения и формальные эталонные распределения. Томас Фергюсон построил процесс Дирихле как распределение на пространстве вероятностных мер,^[1] а Хосе Бернардо предложил эталонные апостериорные распределения, выводимые из информационного критерия.^[1] Развитие методов Монте-Карло по схеме марковских цепей, вариационного вывода и автоматического дифференцирования позднее позволило использовать несопряжённые и высокоразмерные априорные модели, выбор которых всё меньше определяется только удобством аналитических вычислений.

Основная идея

Неопределённость до наблюдения данных

Априорное распределение назначает вероятности множествам возможных значений неизвестной величины. Для непрерывного скалярного параметра плотность $p(\theta)$ сама по себе не является вероятностью точки; вероятность интервала $A$ равна

$P(\theta\in A)=\int_A p(\theta)d\theta.$

Параметр в прикладной модели может считаться фиксированной, но неизвестной характеристикой мира. Байесовское распределение в таком случае выражает неопределённость знания о нём, а не утверждает, что физическое значение параметра случайно меняется между вычислениями. В иерархических и популяционных моделях часть параметров, напротив, может описывать реально изменяющиеся характеристики объектов; математический аппарат условных распределений охватывает оба случая.

Априорное распределение выполняет несколько взаимосвязанных функций.

Включение предметных знаний. Невозможным значениям назначается нулевая вероятность, правдоподобным областям — большая масса, а неопределённость выражается шириной и формой распределения.
Регуляризация. При ограниченных или шумных данных распределение препятствует неустойчивым оценкам и переобучению, отдавая предпочтение более простым или правдоподобным решениям.
Идентификация. В слабо идентифицируемой модели данные определяют лишь некоторые комбинации параметров; содержательные ограничения могут сделать вывод конечным и интерпретируемым.
Описание структуры. Совместное распределение кодирует зависимости, иерархию, гладкость, разреженность, монотонность, инвариантность и другие свойства.
Порождение прогнозов до данных. Вместе с моделью наблюдений оно задаёт априорное предиктивное распределение, по которому можно проверить реалистичность всей модели.

Термины «информативное», «слабо информативное» и «неинформативное» не имеют смысла без масштаба параметров и правдоподобия. Очень широкое распределение на коэффициенте может порождать почти детерминированные и потому крайне сильные прогнозы в нелинейной модели. Поэтому влияние априорного распределения следует оценивать в контексте полной модели, а не только по графику его плотности.^[1]

Априорное и апостериорное распределения

Формула Байеса показывает, что данные изменяют относительные веса параметров через правдоподобие. Для двух значений $\theta_1$ и $\theta_2$

$\frac{p(\theta_1\mid y)}{p(\theta_2\mid y)}=\frac{p(\theta_1)}{p(\theta_2)}\frac{p(y\mid\theta_1)}{p(y\mid\theta_2)}.$

Таким образом, апостериорные шансы равны априорным шансам, умноженным на отношение правдоподобий. При большом количестве хорошо идентифицирующих данных правдоподобие часто концентрируется сильнее априорного распределения. При малой выборке, сильном шуме, редких событиях, разделимости классов, пропусках или частичной идентифицируемости априорная составляющая может заметно определять результат.

Математические основы

Общая постановка

Пусть на измеримом пространстве параметров $\Theta$ задана априорная вероятностная мера $\Pi$ , а наблюдение $Y$ при условии $\theta$ имеет распределение $P_\theta$ . Совместная модель определяется произведением

$P(dy,d\theta)=P_\theta(dy)\Pi(d\theta).$

Апостериорная мера $\Pi(d\theta\mid y)$ является регулярным условным распределением параметра при наблюдённых данных. Если меры имеют плотности относительно выбранных доминирующих мер, получается привычная формула

$\pi(\theta\mid y)=\frac{f(y\mid\theta)\pi(\theta)}{\int_\Theta f(y\mid u)\pi(u)du}.$

Знаменатель должен быть положительным и конечным. Для корректного собственного априорного распределения это выполняется не автоматически для любой модели, но обычно следует из корректности совместного распределения. Для несобственного распределения конечность нормирующей константы необходимо доказывать отдельно.

Если интерес представляет функция $\psi=g(\theta)$ , её априорное распределение есть образ меры $\Pi$ при отображении $g$ . Поэтому задание независимых и на вид «простых» распределений на исходные координаты может индуцировать сложное и неожиданно информативное распределение на научно значимой величине.

Априорное предиктивное распределение

До наблюдения данных их распределение получается интегрированием по параметру:

$p(y)=\int p(y\mid\theta)p(\theta)d\theta.$

Для будущего наблюдения $\widetilde y$ после получения данных используется апостериорное предиктивное распределение

$p(\widetilde y\mid y)=\int p(\widetilde y\mid\theta)p(\theta\mid y)d\theta.$

Первое выражение служит и нормирующей константой в формуле Байеса, и распределением для проверки того, какие наборы данных модель считала правдоподобными до обучения. В задаче выбора моделей маргинальное правдоподобие усредняет качество согласования по всему априорному распределению, поэтому оно особенно чувствительно к его масштабу и хвостам.

Последовательное обновление

Если $y_1$ и $y_2$ условно независимы при фиксированном $\theta$ , то

$p(\theta\mid y_1,y_2)\propto p(y_2\mid\theta)p(\theta\mid y_1)\propto p(y_1\mid\theta)p(y_2\mid\theta)p(\theta).$

Следовательно, при неизменной модели результат не зависит от того, обрабатывались ли данные одной порцией или последовательно. Это свойство не оправдывает повторное использование одних и тех же наблюдений одновременно для настройки априорного распределения и как независимого правдоподобия: такая процедура учитывает информацию дважды, если не включена в явную иерархическую модель.

Перепараметризация

Пусть $\phi=g(\theta)$ — гладкая взаимно однозначная замена координат. Плотность преобразуется с якобианом:

$p_\phi(\phi)=p_\theta(g^{-1}(\phi))\left|\frac{d g^{-1}(\phi)}{d\phi}\right|.$

Равномерность не сохраняется при нелинейной замене переменной. Например, равномерное распределение для положительного масштаба $\sigma$ не является равномерным для $\log\sigma$ или $1/\sigma$ . Это одна из причин, по которым выражение «полное незнание» нельзя однозначно отождествить с постоянной плотностью.

Связь с регуляризацией и MAP-оценкой

MAP-оценка максимизирует произведение правдоподобия и априорной плотности. После логарифмирования отрицательный логарифм априорной плотности становится штрафом. Для линейной регрессии с гауссовским шумом и распределением $\theta\sim N(0,\tau^2 I)$

$-\log p(\theta\mid y)=\frac{1}{2\sigma^2}\|y-X\theta\|^2+\frac{1}{2\tau^2}\|\theta\|^2+C.$

MAP-оценка совпадает с гребневой регрессией при соответствующем коэффициенте штрафа. Двустороннее экспоненциальное распределение даёт штраф $\ell_1$ и связь с лассо. Эквивалентность относится к моде и не означает равенства полного байесовского вывода и штрафной оптимизации: апостериорное распределение дополнительно описывает неопределённость и учитывает объём областей пространства параметров.

Асимптотическое влияние

В регулярных конечномерных моделях, если истинный параметр находится внутри пространства, модель идентифицируема, а априорная плотность положительна и непрерывна в окрестности истины, теорема Бернштейна — фон Мизеса даёт асимптотически нормальное апостериорное распределение с масштабом порядка $n^{-1/2}$ . При этих условиях влияние гладкого априорного распределения на ведущий член уменьшается.^[1]

Это утверждение не универсально. Оно может нарушаться на границе пространства параметров, при неидентифицируемости, сингулярности, неверной спецификации модели, росте размерности вместе с выборкой и в непараметрических задачах. Даже когда асимптотика применима к параметрам, априорное распределение может существенно влиять на редкие события, хвостовые вероятности, выбор модели и конечные выборки.

Основные классы априорных распределений

Информативные и слабо информативные распределения

Информативное распределение количественно выражает существенные знания, полученные независимо от текущего правдоподобия: допустимый диапазон, характерный масштаб, знак эффекта, результаты прежних исследований или экспертную оценку. Оно может быть узким, многомодальным, асимметричным либо задавать сложные зависимости.

Слабо информативное распределение исключает явно неправдоподобные значения и стабилизирует вычисления, но оставляет данным возможность заметно менять вывод. Его масштаб выбирают в единицах наблюдаемого эффекта или предсказания, а не по абстрактному требованию большой дисперсии. Для логистической и других регрессионных моделей были предложены практические распределения Стьюдента после стандартизации предикторов; такая регуляризация, в частности, даёт конечные оценки при полном разделении классов.^[1] Конкретные численные рекомендации зависят от кодирования переменных и не должны переноситься между задачами без проверки предиктивных последствий.

Термин неинформативное распределение употребляют для формальных правил, предназначенных минимизировать вклад исходной информации. Абсолютно неинформативного распределения, одинаково нейтрального для всех функций параметра и всех задач, в общем случае не существует. Поэтому более точны названия «эталонное», «распределение Джеффриса» или «распределение по умолчанию» с указанием правила построения.^[1]

Собственные и несобственные распределения

Собственное априорное распределение нормировано:

$\int_\Theta p(\theta)d\theta=1.$

Несобственное априорное распределение задаётся неотрицательным ядром, интеграл которого бесконечен. Например, формальная постоянная плотность на всей вещественной прямой не является вероятностным распределением. Такое ядро иногда даёт собственное апостериорное распределение и удобные оценки, но требует отдельного доказательства конечности нормирующей константы.

Несобственные распределения имеют существенные ограничения. Они не задают априорное предиктивное распределение, не позволяют непосредственно вычислять абсолютное маргинальное правдоподобие, а произвольная мультипликативная константа делает обычный байесовский фактор неопределённым. В иерархических моделях кажущиеся безобидными несобственные распределения могут привести к несобственному апостериорному распределению. Поэтому для вычислительных моделей и сравнения моделей обычно предпочитают проверенные собственные распределения.^[1]

Сопряжённые распределения

Семейство априорных распределений называется сопряжённым данному правдоподобию, если апостериорное распределение принадлежит тому же семейству. Сопряжённость облегчает вычисления, позволяет интерпретировать гиперпараметры как эффективные наблюдения и полезна в последовательных алгоритмах. Для регулярных экспоненциальных семейств существует общий класс естественно сопряжённых распределений.^[1]

Основные пары включают бета-распределение и биномиальное правдоподобие, распределение Дирихле и мультиномиальное правдоподобие, гамма-распределение и пуассоновское правдоподобие, а также нормальное распределение для среднего нормальной модели при известной дисперсии. Обратное гамма-распределение исторически часто использовалось для дисперсий, но его поведение около нуля и в хвосте может быть нежелательным; в иерархических моделях выбор распределения для стандартного отклонения особенно важен при малом числе групп.^[1]

Сопряжённость — вычислительное свойство, а не свидетельство предметной адекватности. Если сопряжённое семейство плохо выражает знания или создаёт нереалистичные прогнозы, современный численный вывод позволяет выбрать более подходящее несопряжённое распределение.

Иерархические распределения и гиперпараметры

Параметры априорного распределения называют гиперпараметрами. Вместо их фиксации можно задать гиперраспределение:

$\theta_j\mid\mu,\tau\sim N(\mu,\tau^2),\qquad \mu\sim p(\mu),\qquad \tau\sim p(\tau).$

Такая иерархическая модель позволяет группам обмениваться информацией. Апостериорные оценки отдельных $\theta_j$ частично стягиваются к общему уровню $\mu$ , причём степень стягивания определяется данными и распределением $\tau$ . Иерархия не устраняет необходимость выбора распределений: она переносит часть решения на более высокий уровень, где гиперпараметры часто слабее идентифицируются.

В эмпирическом байесовском подходе гиперпараметры или смешивающее распределение оценивают по данным, например максимизацией маргинального правдоподобия. Это может быть эффективно при множестве сходных задач, но условный апостериорный вывод при подставленной оценке обычно не отражает всю неопределённость гиперпараметров. Полностью байесовская иерархическая модель задаёт им собственное распределение и интегрирует по их апостериорной неопределённости.

Формальные и объективные правила

Для скалярного или векторного параметра распределение Джеффриса определяется через матрицу информации Фишера $I(\theta)$ :

$\pi_J(\theta)\propto\sqrt{\det I(\theta)}.$

Оно инвариантно относительно гладкой взаимно однозначной перепараметризации. Однако часто оно несобственно, а в многопараметрических задачах прямое совместное правило может обладать неудовлетворительными свойствами для отдельных компонентов или проверки гипотез.

Эталонные распределения строят так, чтобы в заданной предельной схеме максимизировать ожидаемую информацию, получаемую из данных о выбранной величине интереса.^[1] В многопараметрической задаче результат может зависеть от того, какой параметр объявлен главным и в каком порядке обрабатываются мешающие параметры. Поэтому «объективность» означает следование объявленному формальному правилу, а не независимость от постановки задачи.

Метод максимальной энтропии выбирает распределение с наибольшей энтропией при заданных ограничениях на моменты или другие функционалы. Для непрерывных величин результат зависит от базовой меры и координат; ограничения должны иметь предметное обоснование. К формальным подходам также относятся распределения, согласующие байесовские доверительные вероятности с частотным покрытием, и распределения, обеспечивающие предиктивное согласование.

Структурные распределения

Априорное распределение может задаваться не только для конечного вектора коэффициентов.

Гауссовский процесс задаёт совместные нормальные распределения значений неизвестной функции; ядро выражает гладкость, характерный масштаб и корреляционную структуру.^[1]
Процесс Дирихле и другие случайные меры являются распределениями на пространствах распределений вероятностей и используются в байесовской непараметрической статистике.
Иерархические распределения стягивания задают глобальные и локальные масштабы коэффициентов. Распределение «подкова» сочетает сильную концентрацию около нуля с тяжёлыми хвостами и предназначено для разреженных сигналов.^[1]
В вероятностных графических моделях совместное распределение кодирует условную независимость, обменность, пространственную или временную зависимость.
В байесовских нейронных сетях распределения можно задавать в пространстве весов или непосредственно ограничивать индуцированное распределение функций. Одинаково выглядящие независимые нормальные распределения весов могут порождать существенно разные функции в зависимости от архитектуры и масштаба слоёв.^[1]

Примеры

Бета-биномиальная модель

Пусть $y$ успехов наблюдались в $n$ независимых испытаниях с неизвестной вероятностью успеха $\theta$ :

$p(y\mid\theta)={n\choose y}\theta^y(1-\theta)^{n-y}.$

Выберем сопряжённое распределение $\theta\sim {\rm Beta}(\alpha,\beta)$ :

$p(\theta)=\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}\theta^{\alpha-1}(1-\theta)^{\beta-1},\qquad 0<\theta<1.$

Тогда

$\theta\mid y\sim {\rm Beta}(\alpha+y,\beta+n-y).$

Гиперпараметры можно интерпретировать через априорное среднее $\alpha/(\alpha+\beta)$ и концентрацию $\alpha+\beta$ . Иногда $\alpha-1$ и $\beta-1$ называют числами псевдонаблюдений, но эта интерпретация зависит от выбранного соглашения и не заменяет проверку предиктивных свойств. Вероятность успеха в следующем испытании равна

$P(\widetilde y=1\mid y)=\frac{\alpha+y}{\alpha+\beta+n}.$

Нормальное среднее

Пусть $y_i\mid\mu\sim N(\mu,\sigma^2)$ , дисперсия $\sigma^2$ известна, а $\mu\sim N(m_0,s_0^2)$ . Апостериорное распределение нормально:

$\mu\mid y\sim N(m_n,s_n^2),\qquad s_n^2=\left(\frac{1}{s_0^2}+\frac{n}{\sigma^2}\right)^{-1}.$

$m_n=s_n^2\left(\frac{m_0}{s_0^2}+\frac{n\overline y}{\sigma^2}\right).$

Апостериорное среднее является взвешенным средним априорного центра и выборочного среднего, где веса пропорциональны точностям. Пример наглядно показывает частичное стягивание: чем точнее данные относительно априорного распределения, тем ближе $m_n$ к $\overline y$ .

Выбор и построение распределения

Предметная спецификация

Практическое построение обычно начинают не с названия семейства, а с научно интерпретируемых величин.

Определяют носитель: может ли параметр быть отрицательным, ограничен ли он интервалом, является ли вектором вероятностей или положительно определённой матрицей.
Выбирают единицы и удобную параметризацию. Для положительных масштабов часто проще выражать знания о логарифме или о характерном диапазоне.
Формулируют центральные значения, квантили, вероятности знака, разумные предельные эффекты и зависимости между параметрами.
Подбирают семейство и гиперпараметры, воспроизводящие эти утверждения.
Генерируют параметры и данные из априорной модели и проверяют, выглядят ли возможные наблюдения реалистично.
Повторяют анализ при нескольких обоснованных вариантах и документируют чувствительность.

Нулевой центр часто выражает симметрию знака или предположение, что большие эффекты редки, но не является универсально нейтральным. Независимость компонентов также содержательна: она может противоречить физическим ограничениям, композиционной структуре или иерархии. Совместное распределение должно задаваться так, чтобы его носитель совпадал с допустимым пространством модели.

Экспертное оценивание

Если прямых данных мало, распределение можно получать из структурированного опроса экспертов. Обычно эксперта просят оценить медиану, квантили, вероятности событий или условные значения наблюдаемых величин, а затем согласуют с этими оценками параметрическое либо непараметрическое распределение. Процедура должна уменьшать неоднозначность формулировок, учитывать когнитивные смещения, фиксировать разногласия экспертов и проверять внутреннюю согласованность оценок. Обзор статистических методов показывает, что способ постановки вопросов и обратная связь являются частью модели, а не чисто технической стадией.^[1]

Часто надёжнее оценивать распределение наблюдаемой или прогнозируемой величины, а не абстрактного коэффициента. Затем его переводят в распределение параметров через модель. Для сложной модели это обратная задача и может потребовать численной оптимизации или симуляции.

Использование исторических данных

Результаты предыдущего исследования можно представить в виде параметрического распределения, иерархической метааналитической модели или распределения, построенного из исторического правдоподобия. Степенное априорное распределение использует исторические данные $D_0$ с весом $0\leq a_0\leq1$ :

$p(\theta\mid D_0,a_0)\propto p(D_0\mid\theta)^{a_0}p_0(\theta).$

При $a_0=0$ историческое правдоподобие не используется, при $a_0=1$ используется полностью.^[1] Вес может быть фиксированным или моделироваться, но нормирующая константа тогда становится частью совместного распределения и не всегда может быть отброшена.

Перенос исторической информации оправдан лишь при сопоставимости популяций, измерений, протоколов и механизмов смещения. Робастные смеси и комменсурируемые модели позволяют уменьшать заимствование, когда текущие данные конфликтуют с историческими, но они также требуют выбора гиперпараметров и проверки рабочих характеристик.

Распределения по умолчанию

Распределение по умолчанию полезно в массовом или автоматизированном анализе, когда полноценное экспертное оценивание невозможно. Хорошее правило должно учитывать носитель и масштаб, давать собственное апостериорное распределение, не порождать абсурдных данных и сохранять устойчивость при слабой идентификации. Универсального правила для всех моделей нет. Формальные правила выбора систематизированы Кассом и Вассерманом,^[1] а аргументы в пользу осторожного применения объективного байесовского анализа обсуждены Бергером.^[1]

Диагностика и оценка влияния

Априорная предиктивная проверка

Наиболее прямой способ понять априорную модель — сгенерировать из неё параметры и искусственные данные:

выбрать $\theta^{(s)}\sim p(\theta)$ ;
выбрать $y^{(s)}\sim p(y\mid\theta^{(s)})$ ;
сравнить распределение научно значимых характеристик $y^{(s)}$ с известными ограничениями и допустимыми масштабами.

Такая проверка проводится без подгонки к наблюдаемым данным и выявляет несовместимость между, казалось бы, широкими распределениями коэффициентов и реалистичными наблюдениями. Визуализация априорных предиктивных выборок является стандартной частью современного байесовского рабочего процесса.^[1]

Априорная предиктивная проверка не является проверкой на совпадение с конкретной наблюдённой выборкой: слишком точная настройка по этим данным превратила бы распределение в скрыто зависимое от данных. Её цель — обнаружить невозможные порядки величин, формы и зависимости, используя знания, доступные до анализа.

Конфликт априорного распределения и данных

Конфликтом называют ситуацию, когда данные попадают в область, которой априорная предиктивная модель назначает очень малую вероятность, хотя сама модель наблюдений может быть приемлемой. Формальные проверки используют достаточные или вспомогательные статистики и сравнивают наблюдённое значение с распределением при априорном предсказании.^[1]

Конфликт не означает автоматически, что данные следует отклонить или что распределение следует расширить. Причиной могут быть ошибка данных, неверное правдоподобие, изменение популяции или действительно неожиданное явление. Диагностика должна отделять несоответствие модели наблюдений от противоречия конкретной априорной информации.

Анализ чувствительности

Анализ повторяют для набора научно допустимых распределений и сравнивают:

апостериорные средние, медианы, квантили и вероятности решений;
предиктивные распределения и качество прогноза;
байесовские факторы или апостериорные вероятности моделей;
изменение выводов при варьировании масштаба, хвостов и зависимостей;
локальную чувствительность к гиперпараметрам и расстояния между апостериорными распределениями.

Высокая чувствительность является результатом анализа: она показывает, что данные не различают правдоподобные исходные предположения. В иерархических моделях быстрые методы локальной чувствительности помогают находить слабую идентифицируемость и чрезмерное влияние глубоких уровней иерархии.^[1]

Вычислительная диагностика

Слишком широкие, тяжёлохвостые или геометрически неудачные распределения могут создавать области очень разного масштаба и затруднять численный вывод. В MCMC это проявляется медленным перемешиванием, расходимостями и малым эффективным размером выборки; в вариационном выводе — нестабильной оптимизацией и систематическим недоучётом хвостов. Вычислительная проблема не доказывает предметную ошибку распределения, но часто выявляет неудобную параметризацию или отсутствие необходимой регуляризации. Нецентрированная параметризация и масштабирование переменных могут изменить геометрию вычислений, не меняя самой вероятностной модели.

Применения

Регрессия и классификация

В линейных и обобщённых линейных моделях априорные распределения стабилизируют коэффициенты при коррелированных признаках, малой выборке и высоком отношении числа признаков к числу объектов. Иерархические распределения позволяют частично объединять оценки для групп. Распределения стягивания выражают предположение, что большинство эффектов малы, а немногие могут быть велики. В байесовской логистической регрессии собственное слабо информативное распределение устраняет бесконечные оценки, возникающие при полном разделении классов.

Обработка сигналов и обратные задачи

В некорректно поставленной обратной задаче множество параметров может почти одинаково объяснять данные. Априорное распределение задаёт гладкость изображения или сигнала, положительность, разреженность в выбранном базисе, пространственную корреляцию и физические ограничения. Апостериорное распределение позволяет распространять неопределённость от измерительного шума и регуляризации к восстановленному объекту и производным величинам.

Временные ряды и пространственные модели

Распределения коэффициентов авторегрессии, начальных состояний и дисперсий инноваций влияют на устойчивость и долгосрочный прогноз. Гауссовские процессы и гауссовские марковские случайные поля кодируют временную или пространственную гладкость через ковариационную структуру. Гиперпараметры длины корреляции и амплитуды требуют особенно внимательной проверки: при ограниченном диапазоне наблюдений они могут быть слабо идентифицируемы.

Байесовское машинное обучение

В вероятностных моделях темы, кластеризации и скрытых представлений распределения задают число или распространённость латентных компонентов, обменность объектов и геометрию скрытого пространства. В гауссовских процессах ядро является функциональным априорным предположением. В нейронных сетях распределение весов взаимодействует с глубиной, шириной, функциями активации и нормализацией, поэтому его полезнее оценивать по индуцированным функциям и прогнозам, а не только по отдельным весам.^[1]

Последовательные решения и обучение с подкреплением

В фильтрации, адаптивных экспериментах, многоруких бандитах и обучении с подкреплением априорное распределение задаёт исходную неопределённость о динамике, наградах или эффектах действий. Последовательное обновление обеспечивает компромисс между исследованием и использованием. Ошибочная чрезмерная уверенность может подавить исследование, а чрезмерно рассеянная модель — привести к неоправданно рискованным действиям.

Медицина и научное объединение данных

В клинических испытаниях априорные модели используют для адаптивного дизайна, анализа редких исходов и осторожного заимствования информации из внешних контрольных групп. В метаанализе и многоцентровых исследованиях иерархические распределения описывают вариацию эффектов между исследованиями. Для регулируемых решений заранее оценивают частотные рабочие характеристики процедуры при различных истинных сценариях; байесовская интерпретация не отменяет необходимости контролировать последствия выбранного дизайна.

Трудности и ограничения

Зависимость от предположений

Когда данных мало, различные разумные распределения могут давать разные выводы. Это не дефект формулы Байеса, а отражение недостатка идентифицирующей информации. Опасность возникает, если единственный вариант представляют как неизбежный или скрывают чувствительность. Обоснование должно включать источник информации, параметризацию, масштаб и предиктивные последствия.

Ложная неинформативность

Широкая плотность не обязательно слабо влияет на результат. В высокой размерности независимые компоненты концентрируют норму в тонком слое; нелинейное преобразование меняет распределение научно значимого эффекта; тяжёлые хвосты могут отдавать значительную массу вычислительно и предметно невозможным областям. Плоское распределение зависит от координат. Поэтому слова «диффузное» и «неинформативное» без указания модели недостаточны.

Несобственность и сравнение моделей

Если апостериорное распределение несобственно, средние, интервалы и выборки из него не определены, даже если алгоритм выдаёт числа. При сравнении моделей произвольные нормирующие константы несобственных распределений не сокращаются в общем случае. Для каждого несобственного выбора требуется теоретическая проверка, а для байесовских факторов — специальные корректные методы или собственные распределения.

Зависимость от данных

Использование текущих данных для выбора удобного центра или масштаба, а затем повторное применение полного правдоподобия создаёт неконтролируемое двойное использование информации. Эмпирический Байес, перекрёстная проверка и иерархическое обучение допустимы как явно определённые процедуры, но их неопределённость и цель отличаются от заранее зафиксированного информативного распределения. При выборе по обучающей выборке качество следует оценивать на независимых данных или учитывать процедуру настройки в общей модели.

Конфликт и робастность

Сильно информативное ошибочное распределение может замедлить обучение и сместить вывод. Смеси с тяжёлыми хвостами, модели с неизвестной степенью заимствования и классы распределений для анализа чувствительности повышают робастность, но не делают анализ автоматически объективным. Они добавляют новые компоненты и гиперпараметры, которые также нуждаются в обосновании.

Вычислительная цена

Сложное совместное распределение может сделать нормирующую константу и градиенты недоступными. Неявное распределение, из которого можно генерировать, но плотность которого нельзя вычислить, несовместимо с некоторыми MCMC- и вариационными алгоритмами. Приближённый вывод может взаимодействовать с распределением: например, простое вариационное семейство способно плохо представить многомодальное или тяжёлохвостое апостериорное распределение. Поэтому статистическую и вычислительную аппроксимации следует диагностировать раздельно.

Современные направления исследований

Слабо информативные и штрафующие сложность распределения

Современная практика смещается от формально бесконечно широких распределений к собственным слабо информативным моделям, проверенным по предсказаниям. Распределения штрафования сложности строятся относительно более простой базовой модели и экспоненциально штрафуют отклонение, измеряемое через информационное расстояние; пользователь задаёт интерпретируемый масштаб вероятностным условием.^[1] Этот подход особенно разработан для компонентов иерархических, пространственных и латентных гауссовских моделей.

Высокая размерность и адаптивное стягивание

В разреженных моделях исследуются глобально-локальные смеси масштабов, spike-and-slab-распределения и структурное стягивание для групп, графов и матриц. Теоретические вопросы включают скорость апостериорной концентрации, восстановление носителя, адаптацию к неизвестной разреженности и калибровку неопределённости. Тяжёлые хвосты защищают крупные сигналы от чрезмерного стягивания, но могут усложнять вычисления; сильный пик около нуля стабилизирует шумовые коэффициенты, но требует согласования глобального масштаба с размерностью задачи.

Функциональные и глубокие модели

Для глубоких нейронных сетей исследуют распределения, заданные в пространстве функций, коррелированные распределения свёрточных фильтров, иерархические масштабы, симметрии и неявные генеративные распределения. Из-за неидентифицируемости весов одинаковое функциональное поведение может соответствовать большим областям параметрического пространства. Поэтому сравнение распределений по индуцированным функциям, устойчивости вне обучающего диапазона и калибровке неопределённости часто информативнее сравнения маргинальных плотностей весов.^[1]

Обучение распределений и перенос между задачами

В эмпирическом Байесе, метаобучении и многоуровневых моделях распределение или его гиперпараметры обучаются на коллекции связанных задач. Это позволяет переносить статистическую структуру, сохраняя адаптацию к новой задаче. Основные проблемы — смещение при различии доменов, переобучение метауровня, корректный учёт неопределённости и предотвращение утечки данных из тестовой задачи.

Обобщённое байесовское обновление

Когда полная модель правдоподобия недоступна или заведомо служит лишь приближением, исследуются обновления исходного распределения с помощью функции потерь:

$p(\theta\mid y)\propto\exp\{-w\ell(\theta;y)\}p(\theta).$

При логарифмической потере выражение сводится к обычному байесовскому обновлению. В общем случае масштаб $w$ определяет относительный вес данных и исходного распределения и требует калибровки. Теоретико-решающая конструкция согласованного обновления распределений по общей потере предложена Биссири, Холмсом и Уокером.^[1]

Автоматизированная диагностика

Развиваются методы автоматической генерации априорных предсказаний, обнаружения конфликта, локальной чувствительности и симуляционной проверки вычислительных алгоритмов. Их задача состоит не в полном устранении экспертного решения, а в переводе скрытых последствий распределения в наблюдаемые масштабы и в раннем выявлении неидентифицируемости. Перспективное направление объединяет формальное оценивание знаний, визуализацию, программирование вероятностных моделей и воспроизводимый отчёт о чувствительности.

См. также

Примечания

Литература

Bernardo, J. M.; Smith, A. F. M. Bayesian Theory. — Chichester: Wiley, 1994. — 586 с. — ISBN 978-0-471-49464-5
Berger, J. O. Statistical Decision Theory and Bayesian Analysis. — 2-е. — New York: Springer, 1985. — 617 с. — ISBN 978-0-387-96098-2
Gelman, A.; Carlin, J. B.; Stern, H. S.; Dunson, D. B.; Vehtari, A.; Rubin, D. B. Bayesian Data Analysis. — 3-е. — Boca Raton: CRC Press, 2013. — 675 с. — ISBN 978-1-4398-4095-5
Jeffreys, H. Theory of Probability. — 3-е. — Oxford: Clarendon Press, 1961. — 447 с.
Kass, R. E.; Wasserman, L. The Selection of Prior Distributions by Formal Rules // Journal of the American Statistical Association. — 1996. — Т. 91. — № 435. — С. 1343—1370.
O'Hagan, A.; Buck, C. E.; Daneshkhah, A.; Eiser, J. R.; Garthwaite, P. H.; Jenkinson, D. J.; Oakley, J. E.; Rakow, T. Uncertain Judgements: Eliciting Experts' Probabilities. — Chichester: Wiley, 2006. — 338 с. — ISBN 978-0-470-02999-2
Rasmussen, C. E.; Williams, C. K. I. Gaussian Processes for Machine Learning. — Cambridge, Massachusetts: MIT Press, 2006. — 248 с. — ISBN 0-262-18253-X
Simpson, D.; Rue, H.; Martins, T. G.; Riebler, A.; Sørbye, S. H. Penalising Model Component Complexity: A Principled, Practical Approach to Constructing Priors // Statistical Science. — 2017. — Т. 32. — № 1. — С. 1—28.

Ссылки

Computational Statistics I — открытый учебник по вычислительной статистике с разделами о байесовском выводе.
Gaussian Processes for Machine Learning — открытая электронная версия монографии К. Расмуссена и К. Уильямса.
Stan User's Guide — официальное практическое руководство по программированию и проверке байесовских моделей.

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%90%D0%BF%D1%80%D0%B8%D0%BE%D1%80%D0%BD%D0%BE%D0%B5_%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5»

Категории: Теория вероятностей | Математическая статистика | Байесовские методы | Машинное обучение