Винеровский процесс

Материал из MachineLearning.

(Различия между версиями)

Aliia Latipova (Обсуждение | вклад)
(Новая: {{well|Статья написана с использованием LLM ChatGPT (GPT-5.6 Sol) и проверена участником [[Участник:Aliia Latipova|Aliia Latipova...)
К следующему изменению →

Версия 18:42, 18 июля 2026

Статья написана с использованием LLM ChatGPT (GPT-5.6 Sol) и проверена участником Aliia Latipova 21:00, 18 июля 2026 (MSD)

Содержание

1 Определение и аксиоматика
2 Математические свойства
3 Связь со стохастическим исчислением
- 3.1 Интеграл Ито
- 3.2 Диффузионные модели (Diffusion Models)

Винеровский процесс (математическая модель броуновского движения) — это стохастический процесс с непрерывным временем, обладающий независимыми стационарными приращениями, имеющими нормальное распределение. Винеровский процесс является фундаментальным объектом в теории вероятностей, служа основой для построения стохастических интегралов, стохастических дифференциальных уравнений (СДУ) и современных генеративных моделей в глубоком обучении, таких как Диффузионные модели.

Определение и аксиоматика

Пусть $(\Omega, \mathcal{F}, P)$ — вероятностное пространство. Случайный процесс $W_t$ (или $B_t$ ), где $t \ge 0$ , называется стандартным винеровским процессом, если он удовлетворяет следующим условиям:

$W_0 = 0$ почти наверное.
Независимость приращений: Для любых $0 \le t_1 < t_2 < \dots < t_n$ случайные величины $W_{t_2} - W_{t_1}, W_{t_3} - W_{t_2}, \dots, W_{t_n} - W_{t_{n-1}}$ независимы в совокупности.
Стационарность и нормальность приращений: Для любых $0 \le s < t$ приращение $W_t - W_s$ имеет нормальное распределение с нулевым математическим ожиданием и дисперсией, равной $t - s$ :
$W_t - W_s \sim \mathcal{N}(0, t - s)$ .
Непрерывность траекторий: Функция $t \mapsto W_t(\omega)$ непрерывна по $t$ для почти всех $\omega \in \Omega$ .

Существование такого процесса доказывается теоремой Колмогорова о продолжении меры или через построение ряда функций (например, базиса Хаара).

Математические свойства

Винеровский процесс обладает рядом уникальных свойств, определяющих его роль в анализе:

Марковское свойство: Будущее поведение процесса при условии известного настоящего $W_t</tt> не зависит от его предыстории до момента <tex>t</tt>. </dd></dl> </li></ol> <ul><li> '''[[Мартингал]]:''' Процесс <tex>W_t</tt> является мартингалом относительно своей естественной фильтрации <tex>\mathcal{F}_t</tt>, так как <tex>\mathbb{E}[W_t | \mathcal{F}_s] = W_s</tt> для <tex>t > s</tt>. </li><li> '''Самоподобие (масштабная инвариантность):''' Для любого <tex>a > 0</tt> процесс <tex>X_t = \frac{1}{\sqrt{a}} W_{at}</tt> также является винеровским. </li><li> '''Недифференцируемость:''' Траектории винеровского процесса почти наверное недифференцируемы ни в одной точке. Это свойство делает невозможным применение классического анализа Ньютона-Лейбница к его траекториям. </li><li> '''Бесконечная вариация:''' На любом конечном интервале траектории имеют бесконечную вариацию, но их '''квадратичная вариация''' детерминирована: </li></ul> <ol><li><dl><dd> <tex>[W, W]_t = \lim_{\Delta t_i \to 0} \sum (W_{t_{i+1}} - W_{t_i})^2 = t$ .

Связь со стохастическим исчислением

Из-за отсутствия производной в классическом смысле, для описания динамики систем под воздействием винеровского шума используется исчисление Ито.

Интеграл Ито

Стохастический интеграл вида

$I_t = \int_0^t f(s, \omega) dW_s$

определяется как предел римановых сумм, где значения подынтегральной функции $f</tt> берутся в ''левых'' концах элементарных интервалов. Это обеспечивает свойство адаптивности и мартингальности интеграла. </dd></dl> === Стохастические дифференциальные уравнения (СДУ) === Многие процессы в физике и ИИ описываются уравнением: <dl><dd> <tex>dX_t = \mu(X_t, t)dt + \sigma(X_t, t)dW_t$ ,

где $\mu</tt> — коэффициент переноса (drift), а <tex>\sigma</tt> — коэффициент диффузии. Решение таких уравнений неразрывно связано с формулой Ито, которая является стохастическим аналогом правила цепного дифференцирования. </dd></dl> == Роль в машинном обучении == === Гауссовские процессы === Винеровский процесс является частным случаем [[Гауссовский процесс|гауссовского процесса]] с ковариационной функцией (ядром): <dl><dd> <tex>K(s, t) = \text{cov}(W_s, W_t) = \min(s, t)$ .

В байесовском машинном обучении это ядро используется для моделирования случайных функций. Регрессия на гауссовских процессах с винеровским ядром эквивалентна поиску гладкой аппроксимации в пространстве функций с ограничениями на производные.

Диффузионные модели (Diffusion Models)

В современных генеративных архитектурах (DDPM, Stable Diffusion) винеровский процесс используется для постепенного превращения данных (например, изображений) в белый шум. Процесс генерации заключается в решении обратного СДУ:

$dx = [f(x, t) - g^2(t) \nabla_x \log p_t(x)] dt + g(t) d\bar{W}_t</tt>, </dd></dl> где <tex>\nabla_x \log p_t(x)</tt> — оценка [[Score-based modeling|score-функции]] (градиента логарифма плотности вероятности), обучаемая с помощью нейронной сети. Винеровский процесс здесь гарантирует, что фазовое пространство будет исследовано непрерывно и эргодично. == Сравнение с другими процессами == {| class=$ H \neq 1/2) |- | '''Масштабирование''' || \sqrt{t}" alt= "dx = [f(x, t) - g^2(t) \nabla_x \log p_t(x)] dt + g(t) d\bar{W}_t, где \nabla_x \log p_t(x) — оценка [[Score-based modeling|score-функции]] (градиента логарифма плотности вероятности), обучаемая с помощью нейронной сети. Винеровский процесс здесь гарантирует, что фазовое пространство будет исследовано непрерывно и эргодично.

== Сравнение с другими процессами ==

{| class="wikitable" ! Свойство !! Винеровский процесс !! Процесс Пуассона !! Процесс Орнштейна — Уленбека !! Дробное БД |- | '''Непрерывность''' || Непрерывен || Скачкообразен || Непрерывен || Непрерывен |- | '''Приращения''' || Нормальные || Дискретные (Пуассоновские) || Нормальные || Нормальные |- | '''Память''' || Отсутствует (Марковский) || Отсутствует (Марковский) || Забывание (Mean-reversion) || Длинная память (при H \neq 1/2) |- | '''Масштабирование''' || \sqrt{t}" /> || $t$ || Экспоненциальное || $t^H</tt> |} <ul><li> [[Процесс Орнштейна — Уленбека]] часто используется в ML для моделирования шума с возвратом к среднему (например, в алгоритме DDPG в обучении с подкреплением). </li><li> '''Дробное броуновское движение''' применяется там, где важна корреляция между далекими моментами времени (финансовые временные ряды). </li></ul> == Ограничения и интерпретация == <ol><li> '''Физическая нереализуемость:''' Мгновенная скорость винеровского процесса <tex>v = \frac{dW}{dt}</tt> формально бесконечна. В реальных физических системах (например, частица в жидкости) броуновское движение является пределом процесса с конечной скоростью на малых временах (процесс Ланжевена). </li><li> '''Дискретизация:''' При реализации в коде используется аппроксимация Эйлера-Маруямы: <tex>\Delta W = \epsilon \sqrt{\Delta t}</tt>, где <tex>\epsilon \sim \mathcal{N}(0, 1)</tt>. Ошибка дискретизации может накапливаться, что критично при обучении диффузионных моделей. </li><li> '''Проклятие размерности:''' В задачах большой размерности (высокоразмерные SDE) плотность вероятности размывается, что требует специальных техник регуляризации и архитектурных решений в нейросетях. </li></ol> == Литература == <ul><li> {{книга|автор=Оксендаль Б.|заглавие=Стохастические дифференциальные уравнения. Введение в теорию и приложения|издательство=Мир|год=2003}} </li><li> {{книга|автор=Булинский А. В., Ширяев А. Н.|заглавие=Теория случайных процессов|издательство=Физматлит|год=2005}} </li><li> {{статья|автор=Song Y., Ermon S.|заглавие=Generative Modeling by Estimating Gradients of the Data Distribution|journal=arXiv preprint|year=2019}} </li><li> {{книга|автор=Karatzas I., Shreve S.|заглавие=Brownian Motion and Stochastic Calculus|publisher=Springer-Verlag|year=1991}} </li></ul> [[Категория:Теория вероятностей]] [[Категория:Случайные процессы]] [[Категория:Машинное обучение]] [[Категория:Математическая статистика]]$