Марковское свойство

Материал из MachineLearning.

Версия от 14:19, 17 июля 2026; Aliia Latipova (Обсуждение | вклад)
(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)
Перейти к: навигация, поиск
Статья написана с использованием LLM DeepSeek и проверена участником Aliia Latipova 17:20, 17 июля 2026 (MSD)


Содержание

Ви́неровский процесс (стандартное бро́уновское движе́ние) — центральный объект стохастического исчисления и теории случайных процессов. Он служит математической моделью непрерывного хаотического движения, впервые наблюдавшегося Р. Броуном, и одновременно является универсальным пределом сумм независимых случайных величин. В машинном обучении винеровский процесс лежит в основе гауссовских процессов, диффузионных генеративных моделей и многих методов анализа временных рядов.

Определение и интуиция

Пусть задано вероятностное пространство (\Omega, \mathcal{F}, \mathbb{P}). Стандартным винеровским процессом называется случайный процесс W = \{W_t\}_{t \geq 0} со значениями в \mathbb{R}, удовлетворяющий условиям:

  1. W_0 = 0 почти наверное (п.н.).
  2. Для любого набора 0 \leq t_0 < t_1 < \dots < t_k приращения W_{t_1} - W_{t_0}, W_{t_2} - W_{t_1}, \dots, W_{t_k} - W_{t_{k-1}} независимы в совокупности (независимость приращений).
  3. Для любых 0 \leq s < t приращение W_t - W_s имеет нормальное распределение с нулевым средним и дисперсией t-s: W_t - W_s \sim \mathcal{N}(0, t-s) (гауссовость и стационарность приращений).
  4. Почти все траектории t \mapsto W_t непрерывны.

Интуитивно винеровский процесс можно представить как предел случайного блуждания с мелкими шагами. Рассмотрим последовательность независимых одинаково распределённых величин \{\xi_i\} с \mathbb{E}\xi_i = 0 и \operatorname{Var}\xi_i = 1. Определим частичные суммы S_n = \sum_{i=1}^n \xi_i. Тогда процесс W^{(n)}_t = \frac{1}{\sqrt{n}} S_{\lfloor nt \rfloor} сходится по распределению в пространстве непрерывных функций к винеровскому процессу — это утверждение составляет содержание функциональной центральной предельной теоремы (теоремы Донскера). Физический образ: частица, испытывающая огромное число независимых микроскопических толчков, результирующее смещение которой за интервал [s,t] распределено нормально и не зависит от прошлого.

Связь с другими классами случайных процессов

Винеровский процесс естественно встраивается в иерархию стохастических моделей.

  • Гауссовский процесс: W — гауссовский процесс с нулевым средним и ковариационной функцией \operatorname{Cov}(W_s, W_t) = \min(s, t). Это свойство немедленно следует из независимости приращений и позволяет применять весь аппарат гауссовской теории (условные распределения, воспроизводящие ядерные гильбертовы пространства) для анализа винеровского процесса.
  • Марковский процесс: винеровский процесс обладает марковским свойством относительно своей естественной фильтрации \mathcal{F}_t^W = \sigma(W_s: s \leq t): для любых t > s распределение W_t при условии \mathcal{F}_s^W совпадает с распределением при условии W_s. Более того, он является строго марковским процессом — марковское свойство сохраняется для моментов остановки.
  • Мартингал: винеровский процесс — мартингал относительно естественной фильтрации, так как \mathbb{E}[W_t | \mathcal{F}_s] = W_s для 0 \leq s \leq t. Кроме того, мартингалами являются процессы W_t^2 - t и \exp(\lambda W_t - \frac{\lambda^2}{2} t) (экспоненциальный мартингал), играющие ключевую роль в стохастическом интегрировании.
  • Цепь Маркова: хотя винеровский процесс — марковский процесс с непрерывным временем, его переходная плотность p(x,t | y,s) = \frac{1}{\sqrt{2\pi(t-s)}} \exp\left(-\frac{(x-y)^2}{2(t-s)}\right) порождает полугруппу операторов, которая допускает аппроксимацию цепями Маркова с дискретным временем. Теорема Донскера устанавливает точную связь: случайное блуждание, надлежащим образом масштабированное, сходится к винеровскому процессу.

Траекторные свойства

Траектории винеровского процесса обладают рядом тонких свойств, принципиально важных как для теории, так и для приложений.

  • Непрерывность (п.н.). Существование процесса с непрерывными траекториями гарантируется теоремой Колмогорова—Ченцова; конструкция Винера (1923) дала первое явное вероятностное представление такой меры на пространстве непрерывных функций[1].
  • Гёльдеровская непрерывность. Почти все траектории локально \alpha-гёльдеровы для любого \alpha < 1/2, но не являются гёльдеровыми при \alpha = 1/2.
  • Недифференцируемость почти всюду. С вероятностью 1 траектория W_t нигде не дифференцируема. Этот факт, установленный Пэли, Винером и Зигмундом (1933)[1], означает, что классические методы анализа для работы с траекториями непригодны; необходимо интеграл Ито.
  • Квадратичная вариация. Для любого t \geq 0 предел сумм квадратов приращений по измельчающимся разбиениям отрезка [0,t] сходится по вероятности (и п.н. при условии вложенности разбиений) к детерминированной функции: 
 :: \lim_{\|\Pi\| \to 0} \sum_{t_i \in \Pi} (W_{t_{i+1}} - W_{t_i})^2 = t (по вероятности).
 Это свойство объясняет появление поправки второго порядка в формуле Ито.
  • Самоподобие (скейлинг). Для любого c > 0 процесс \{\frac{1}{\sqrt{c}} W_{c t}\}_{t \geq 0} имеет те же конечномерные распределения, что и исходный \{W_t\}. Это свойство масштабной инвариантности лежит в основе фрактальных аспектов винеровского процесса и его обобщений.

Винеровский процесс как фундамент стохастического анализа

Винеровский процесс является строительным блоком, из которого конструируются более сложные модели.

  • Интеграл Ито. Для предсказуемых процессов \theta, удовлетворяющих условию интегрируемости \int_0^T \theta_s^2 ds < \infty п.н., определён стохастический интеграл \int_0^t \theta_s dW_s как мартингал-предел интегральных сумм, в которых подынтегральная функция вычисляется в левом конце подинтервала. Этот интеграл порождает класс непрерывных локальных мартингалов.
  • Стохастическое дифференциальное уравнение (СДУ). Диффузионные процессы X_t определяются как решения СДУ 
 :: dX_t = b(X_t) dt + \sigma(X_t) dW_t, \quad X_0 = x_0,
 где винеровский процесс выступает источником случайности. При условиях Липшица и линейного роста на коэффициенты b и \sigma существует единственное сильное решение[1].
  • Формула Ито. Для функции f \in C^{1,2} справедливо разложение 
 :: df(t, X_t) = \left(\frac{\partial f}{\partial t} + b \frac{\partial f}{\partial x} + \frac{1}{2} \sigma^2 \frac{\partial^2 f}{\partial x^2}\right) dt + \sigma \frac{\partial f}{\partial x} dW_t,
 обобщающее правило цепочки на случай квадратичной вариации, отличной от нуля.
  • Функциональная предельная теорема (Донскер, 1951[1]). Как упоминалось, винеровский процесс возникает как универсальный предел случайного блуждания. Это оправдывает его использование в качестве аппроксимации дискретных стохастических моделей в статистике и физике.

Применения в машинном обучении

Винеровский процесс и его свойства находят прямое применение в ряде ключевых областей ML.

Гауссовские процессы и байесовская оптимизация

Стандартный винеровский процесс является гауссовским процессом с ядром k(s,t) = \min(s,t). Более общие гауссовские процессы, широко используемые в байесовской оптимизации и регрессии (например, с ядрами Матерна или RBF), могут быть получены из винеровского процесса интегрированием или свёрткой. В частности, интегрированный винеровский процесс даёт ядро, соответствующее сплайнам, а дробный винеровский процесс — ядро для долговременной памяти. Мера Винера, понимаемая как мера на функциях, задаёт априорное распределение в непараметрических байесовских процедурах, а оператор Лапласа, ассоциированный с винеровским процессом, лежит в основе методов оптимизации на функциональных пространствах.

Диффузионные вероятностные модели (DDPM)

Модели класса Denoising Diffusion Probabilistic Models (Sohl-Dickstein et al., 2015[1]; Ho et al., 2020[1]) строят прямое разрушение данных постепенным добавлением гауссовского шума. В непрерывном времени этот прямой процесс описывается СДУ

dX_t = -\frac{1}{2} \beta(t) X_t dt + \sqrt{\beta(t)} dW_t,

где W_t — винеровский процесс, а \beta(t) — расписание шума. Обратный процесс, восстанавливающий данные из шума, также является СДУ, управляемой счётной функцией (score function). Таким образом, винеровский процесс служит источником шума и определяет структуру марковских переходов, лежащих в основе современных генеративных моделей изображений, аудио и 3D-объектов.

Генеративные модели на основе стохастических дифференциальных уравнений (Score-based SDE)

Song et al. (2021)[1] сформулировали диффузионные модели в рамках непрерывных СДУ, где винеровский процесс выступает движущим шумом. Дискретизация винеровского процесса (например, схема Эйлера–Маруямы) даёт обучающие алгоритмы, а свойства масштабирования и мартингальные соотношения используются для оптимизации весов расписания и доказательства сходимости.

Моделирование временных рядов и оценивание параметров

Винеровский процесс является моделью случайного блуждания, базовой для финансовых временных рядов (геометрическое броуновское движение). Методы оценки параметров диффузионных процессов (максимальное правдоподобие на основе формулы переходной плотности, обобщённый метод моментов, байесовские методы с использованием мартингальных оценивающих функций) опираются на свойства винеровского процесса. В частности, функция правдоподобия для дискретно наблюдаемой диффузии аппроксимируется через плотность винеровского процесса с подстановкой оценок коэффициентов. Эти методы востребованы в задачах стохастической фильтрации, робототехнике и финансах, где требуется идентификация скрытых диффузионных процессов по зашумлённым данным.

Ограничения классического винеровского процесса

Несмотря на фундаментальную роль, стандартный винеровский процесс накладывает ряд жёстких ограничений, которые часто нарушаются в реальных данных.

  • Гауссовость приращений — неспособна описать тяжёлые хвосты и асимметрию распределения.
  • Независимость приращений — исключает кластеризацию волатильности и автокорреляцию моментов.
  • Стационарность приращений — не позволяет моделировать неоднородные по времени явления, например, сезонности или тренды волатильности.
  • Марковость — отсутствие долговременной памяти, характерной для многих физических, сетевых и финансовых систем.

Эти ограничения стимулировали развитие обобщённых моделей.

Обобщения и современные варианты

Дробное броуновское движение

Дробное броуновское движение (fBM) B^H_t с параметром Хёрста H \in (0,1) введено Мандельбротом и Ван Нессом (1968)[1]. Это гауссовский процесс с нулевым средним и ковариацией

\operatorname{Cov}(B^H_t, B^H_s) = \frac{1}{2} \left( |t|^{2H} + |s|^{2H} - |t-s|^{2H} \right).

При H = 1/2 получается винеровский процесс; при H \neq 1/2 приращения зависимы, и процесс обладает долговременной памятью (H > 1/2 — персистентность, H < 1/2 — антиперсистентность). fBM не является семимартингалом, поэтому для него развито исчисление по пути (pathwise calculus) и интеграл типа Стратоновича. В ML fBM применяется для моделирования самоподобного трафика и в генеративных моделях текстур с фрактальными свойствами.

Мультифрактальные процессы

Для учёта переменной локальной регулярности траекторий Мандельброт, Фишер и Кальве (1997)[1] предложили мультифрактальные модели случайных блужданий, в которых время течёт с переменной скоростью, порождаемой мультипликативным каскадом. Такие процессы сохраняют негауссово распределение приращений и долговременную зависимость, что востребовано в задачах финансового моделирования и генерации реалистичных временных рядов с тяжёлыми хвостами.

Процессы Леви и скачкообразные обобщения

Замена винеровского процесса на процесс Леви позволяет сохранить независимость и стационарность приращений, но отказаться от гауссовости и непрерывности траекторий. В ML такие модели используются в байесовской оптимизации с тяжёлыми хвостами и в диффузионных моделях с негауссовым шумом (напр., stable diffusion processes).

Процессы с управляемой волатильностью

Класс диффузий с коэффициентом диффузии \sigma(t, X_t), зависящим от времени и состояния, позволяет обойти стационарность приращений. Стохастическая волатильность (модели типа Хестона) вводит второй винеровский процесс для самой волатильности. Временные ряды с кластеризацией волатильности успешно моделируются такими обобщениями и находят применение в обучении динамических моделей финансовых рынков и метеорологических данных.

Литература

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9C%D0%B0%D1%80%D0%BA%D0%BE%D0%B2%D1%81%D0%BA%D0%BE%D0%B5_%D1%81%D0%B2%D0%BE%D0%B9%D1%81%D1%82%D0%B2%D0%BE»
Личные инструменты