|
|
| Строка 1: |
Строка 1: |
| - | '''Стохастический процесс''' ('''случайный процесс'''; англ. stochastic process) — семейство [[Случайная величина|случайных величин]] <tex>X=(X_t)_{t\in T}</tex>, заданных на одном [[Вероятностное пространство|вероятностном пространстве]] и принимающих значения в общем пространстве состояний. Индекс <tex>t</tex> часто интерпретируется как время, однако им также может быть пространственная координата, вершина графа, масштаб или иной параметр. Стохастические процессы служат математическими моделями систем, эволюция или наблюдения которых содержат случайность: временных рядов, очередей, популяций, сигналов, траекторий частиц, финансовых цен, сетевого трафика и скрытых состояний в моделях машинного обучения.<ref name="kallenberg2021">{{книга
| + | #Redirect [[Случайный процесс]] |
| - | |автор = Kallenberg, O.
| + | |
| - | |заглавие = Foundations of Modern Probability
| + | |
| - | |издание = 3-е изд.
| + | |
| - | |место = Cham
| + | |
| - | |издательство = Springer
| + | |
| - | |год = 2021
| + | |
| - | |isbn = 978-3-030-61870-4
| + | |
| - | |ссылка = https://doi.org/10.1007/978-3-030-61871-1
| + | |
| - | }}</ref>
| + | |
| - | | + | |
| - | При фиксированном <tex>t</tex> величина <tex>X_t</tex> описывает случайное состояние системы, а при фиксированном элементарном исходе <tex>\omega</tex> функция <tex>t\mapsto X_t(\omega)</tex> называется '''траекторией''', '''реализацией''' или '''выборочной функцией''' процесса. Тем самым один процесс допускает два взаимодополняющих взгляда: как совокупность распределений в разные моменты и как случайно выбранную целую траекторию. В отличие от одной случайной величины, существенна зависимость между значениями при разных индексах.
| + | |
| - | | + | |
| - | <div style="float:right; margin:0 0 1em 1em;">__TOC__</div>
| + | |
| - | | + | |
| - | Теория стохастических процессов объединяет [[Теория вероятностей|теорию вероятностей]], [[Математическая статистика|математическую статистику]], [[Функциональный анализ|функциональный анализ]], [[Дифференциальное уравнение|дифференциальные уравнения]] и [[Эргодическая теория|эргодическую теорию]]. В зависимости от задачи изучают конечномерные распределения, регулярность траекторий, времена достижения, стационарность, спектр, предельное поведение, фильтрацию скрытого состояния или управление случайной системой.
| + | |
| - | | + | |
| - | == История ==
| + | |
| - | | + | |
| - | Историческими источниками теории были задачи о случайных блужданиях, страховых рисках, демографии, ошибках измерения и флуктуациях физических систем. В 1827 году ботаник Роберт Броун наблюдал нерегулярное движение микроскопических частиц в жидкости и опубликовал подробное описание в 1828 году.<ref name="brown1828">{{статья
| + | |
| - | |автор = Brown, R.
| + | |
| - | |заглавие = A Brief Account of Microscopical Observations Made in the Months of June, July, and August 1827, on the Particles Contained in the Pollen of Plants; and on the General Existence of Active Molecules in Organic and Inorganic Bodies
| + | |
| - | |издание = Philosophical Magazine, Series 2
| + | |
| - | |год = 1828
| + | |
| - | |том = 4
| + | |
| - | |номер = 21
| + | |
| - | |страницы = 161—173
| + | |
| - | |ссылка = https://doi.org/10.1080/14786442808674769
| + | |
| - | }}</ref> В диссертации 1900 года Луи Башелье применил непрерывную случайную модель к колебаниям биржевых цен, предвосхитив использование броуновского движения в математических финансах.<ref name="bachelier1900">{{статья
| + | |
| - | |автор = Bachelier, L.
| + | |
| - | |заглавие = Théorie de la spéculation
| + | |
| - | |издание = Annales scientifiques de l'École Normale Supérieure
| + | |
| - | |год = 1900
| + | |
| - | |том = 17
| + | |
| - | |страницы = 21—86
| + | |
| - | |ссылка = https://doi.org/10.24033/asens.476
| + | |
| - | }}</ref>
| + | |
| - | | + | |
| - | В 1905 году Альберт Эйнштейн вывел количественную теорию броуновского движения из молекулярно-кинетических представлений и связал средний квадрат смещения с коэффициентом диффузии.<ref name="einstein1905">{{статья
| + | |
| - | |автор = Einstein, A.
| + | |
| - | |заглавие = Über die von der molekularkinetischen Theorie der Wärme geforderte Bewegung von in ruhenden Flüssigkeiten suspendierten Teilchen
| + | |
| - | |издание = Annalen der Physik
| + | |
| - | |год = 1905
| + | |
| - | |том = 322
| + | |
| - | |номер = 8
| + | |
| - | |страницы = 549—560
| + | |
| - | |ссылка = https://doi.org/10.1002/andp.19053220806
| + | |
| - | }}</ref> В 1906 году Андрей Андреевич Марков показал, что закон больших чисел можно получить для некоторых зависимых величин, связанных в цепь; из этой работы выросла теория [[Марковская цепь|марковских цепей]].<ref name="markov1906">{{статья
| + | |
| - | |автор = Марков, А. А.
| + | |
| - | |заглавие = Распространение закона больших чисел на величины, зависящие друг от друга
| + | |
| - | |издание = Известия Физико-математического общества при Казанском университете, 2-я серия
| + | |
| - | |год = 1906
| + | |
| - | |том = 15
| + | |
| - | |страницы = 135—156
| + | |
| - | |ссылка = https://eudml.org/doc/128778
| + | |
| - | }}</ref>
| + | |
| - | | + | |
| - | Норберт Винер в 1923 году построил меру на пространстве непрерывных функций, дав строгую математическую модель броуновского движения.<ref name="wiener1923">{{статья
| + | |
| - | |автор = Wiener, N.
| + | |
| - | |заглавие = Differential-Space
| + | |
| - | |издание = Journal of Mathematics and Physics
| + | |
| - | |год = 1923
| + | |
| - | |том = 2
| + | |
| - | |номер = 1—4
| + | |
| - | |страницы = 131—174
| + | |
| - | |ссылка = https://doi.org/10.1002/sapm192321131
| + | |
| - | }}</ref> Андрей Николаевич Колмогоров в 1931 году связал переходные вероятности марковских процессов с прямым и обратным дифференциальными уравнениями,<ref name="kolmogorov1931">{{статья
| + | |
| - | |автор = Kolmogoroff, A.
| + | |
| - | |заглавие = Über die analytischen Methoden in der Wahrscheinlichkeitsrechnung
| + | |
| - | |издание = Mathematische Annalen
| + | |
| - | |год = 1931
| + | |
| - | |том = 104
| + | |
| - | |страницы = 415—458
| + | |
| - | |ссылка = https://doi.org/10.1007/BF01457949
| + | |
| - | }}</ref> а в монографии 1933 года сформулировал меро-теоретическую аксиоматику вероятности и теорему существования процесса по согласованным конечномерным распределениям.<ref name="kolmogorov1933">{{книга
| + | |
| - | |автор = Kolmogoroff, A.
| + | |
| - | |заглавие = Grundbegriffe der Wahrscheinlichkeitsrechnung
| + | |
| - | |место = Berlin
| + | |
| - | |издательство = Springer
| + | |
| - | |год = 1933
| + | |
| - | |ссылка = https://doi.org/10.1007/978-3-642-49888-6
| + | |
| - | }}</ref> Александр Яковлевич Хинчин в 1934 году развил корреляционную и спектральную теорию стационарных процессов.<ref name="khinchin1934">{{статья
| + | |
| - | |автор = Khintchine, A.
| + | |
| - | |заглавие = Korrelationstheorie der stationären stochastischen Prozesse
| + | |
| - | |издание = Mathematische Annalen
| + | |
| - | |год = 1934
| + | |
| - | |том = 109
| + | |
| - | |страницы = 604—615
| + | |
| - | |ссылка = https://doi.org/10.1007/BF01449156
| + | |
| - | }}</ref>
| + | |
| - | | + | |
| - | В 1930—1940-х годах Поль Леви систематизировал процессы с независимыми приращениями, а [[Мартингал|мартингалы]] стали одним из центральных языков анализа случайной эволюции. Киёси Ито в 1944 году определил стохастический интеграл, положив начало исчислению Ито и современной теории [[Стохастическое дифференциальное уравнение|стохастических дифференциальных уравнений]].<ref name="ito1944">{{статья
| + | |
| - | |автор = Itô, K.
| + | |
| - | |заглавие = Stochastic Integral
| + | |
| - | |издание = Proceedings of the Imperial Academy
| + | |
| - | |год = 1944
| + | |
| - | |том = 20
| + | |
| - | |номер = 8
| + | |
| - | |страницы = 519—524
| + | |
| - | |ссылка = https://doi.org/10.3792/pia/1195572786
| + | |
| - | }}</ref> Монография Джозефа Дуба 1953 года объединила процессы с дискретным и непрерывным временем, условные ожидания, мартингалы, марковские и стационарные процессы в единой меро-теоретической схеме.<ref name="doob1953">{{книга
| + | |
| - | |автор = Doob, J. L.
| + | |
| - | |заглавие = Stochastic Processes
| + | |
| - | |место = New York
| + | |
| - | |издательство = John Wiley & Sons
| + | |
| - | |год = 1953
| + | |
| - | |isbn = 978-0-471-21813-5
| + | |
| - | |ссылка = https://books.google.com/books?id=zbsrAAAAYAAJ
| + | |
| - | }}</ref>
| + | |
| - | | + | |
| - | Во второй половине XX века теория расширилась за счёт стохастической фильтрации, случайных полей, точечных процессов, процессов взаимодействующих частиц, стохастических уравнений в частных производных и численных методов. В статистике и машинном обучении особое значение получили модели пространства состояний, скрытые марковские модели и гауссовские процессы; в XXI веке стохастические дифференциальные уравнения используются также в непрерывновременных нейросетевых и диффузионных генеративных моделях.
| + | |
| - | | + | |
| - | == Основная идея ==
| + | |
| - | | + | |
| - | Детерминированная модель назначает каждому моменту единственное состояние. Стохастическая модель назначает распределение над возможными траекториями. Например, формула <tex>x(t)=x_0+vt</tex> описывает равномерное движение, тогда как процесс <tex>X_t=x_0+vt+\sigma W_t</tex> добавляет накопленное случайное возмущение <tex>W_t</tex>. Параметр <tex>\sigma</tex> задаёт масштаб неопределённости, но зависимость во времени определяется всей совместной структурой процесса, а не только дисперсией каждого <tex>X_t</tex>.
| + | |
| - | | + | |
| - | Процесс не следует отождествлять с одной наблюдаемой последовательностью. '''Процесс''' — вероятностная модель ансамбля возможных реализаций; '''временной ряд''' — одна конечная, часто зашумлённая и нерегулярно измеренная реализация. Статистический вывод восстанавливает свойства процесса по ограниченным наблюдениям и потому требует предположений, например стационарности, эргодичности, марковости или параметрической формы.
| + | |
| - | | + | |
| - | === Классификация ===
| + | |
| - | | + | |
| - | Основные типы различают по нескольким признакам.
| + | |
| - | | + | |
| - | * '''По множеству индексов.''' При <tex>T={\bf N}</tex> или <tex>{\bf Z}</tex> время дискретно; при <tex>T=[0,\infty)</tex> или <tex>{\bf R}</tex> — непрерывно. При многомерном индексе получают [[Случайное поле|случайное поле]].
| + | |
| - | * '''По пространству состояний.''' Оно может быть конечным или счётным, евклидовым, функциональным, множеством графов, мер или распределений в смысле обобщённых функций.
| + | |
| - | * '''По структуре зависимости.''' Выделяют процессы с независимыми приращениями, [[Марковский процесс|марковские процессы]], мартингалы, стационарные и эргодические процессы, процессы с долгой памятью.
| + | |
| - | * '''По траекториям.''' Траектории бывают дискретными, непрерывными, кусочно-постоянными, абсолютно непрерывными или càdlàg, то есть непрерывными справа и имеющими пределы слева.
| + | |
| - | * '''По закону.''' Важны гауссовские, пуассоновские, ветвящиеся, точечные, процессы восстановления и процессы Леви.
| + | |
| - | | + | |
| - | Эти классы пересекаются. Например, винеровский процесс одновременно гауссовский, марковский, имеет независимые стационарные приращения и является мартингалом, но сам не стационарен.
| + | |
| - | | + | |
| - | == Математические основы ==
| + | |
| - | | + | |
| - | === Определение и траектории ===
| + | |
| - | | + | |
| - | Пусть <tex>(\Omega,{\cal F},P)</tex> — вероятностное пространство, <tex>(S,{\cal S})</tex> — измеримое пространство состояний, а <tex>T</tex> — множество индексов. Стохастический процесс — семейство измеримых отображений
| + | |
| - | | + | |
| - | ::<tex>X_t:(\Omega,{\cal F})\longrightarrow(S,{\cal S}),\qquad t\in T.</tex>
| + | |
| - | | + | |
| - | Эквивалентно, при подходящей сигма-алгебре на пространстве функций процесс можно рассматривать как случайный элемент <tex>X:\Omega\longrightarrow S^T</tex>. Для несчётного <tex>T</tex> измеримость отображения в функциональное пространство и свойства траекторий требуют отдельного внимания: координатная сигма-алгебра сама по себе не гарантирует непрерывности или измеримости траекторий.
| + | |
| - | | + | |
| - | Два процесса называются '''модификациями''', если для каждого фиксированного <tex>t</tex> их значения совпадают почти наверное. Они '''неразличимы''', если с вероятностью единица совпадают одновременно для всех <tex>t</tex>. При несчётном множестве индексов первое свойство слабее второго. В прикладных моделях обычно выбирают регулярную модификацию — например, непрерывную или càdlàg.
| + | |
| - | | + | |
| - | === Конечномерные распределения ===
| + | |
| - | | + | |
| - | Для любых <tex>t_1,\ldots,t_n\in T</tex> совместный закон вектора
| + | |
| - | | + | |
| - | ::<tex>(X_{t_1},\ldots,X_{t_n})</tex>
| + | |
| - | | + | |
| - | называется конечномерным распределением процесса. Совокупность всех таких законов полностью определяет распределение процесса на цилиндрической сигма-алгебре. Если задано семейство мер <tex>\mu_{t_1,\ldots,t_n}</tex>, инвариантное относительно перестановки координат и согласованное при удалении координат, то при стандартных условиях теорема Колмогорова о продолжении гарантирует существование процесса с этими конечномерными распределениями.<ref name="kolmogorov1933" />
| + | |
| - | | + | |
| - | Согласованность означает, в частности,
| + | |
| - | | + | |
| - | ::<tex>\mu_{t_1,\ldots,t_n}(A_1\mathbin{\times}\cdots\mathbin{\times}A_{n-1}\mathbin{\times}S)=\mu_{t_1,\ldots,t_{n-1}}(A_1\mathbin{\times}\cdots\mathbin{\times}A_{n-1}).</tex>
| + | |
| - | | + | |
| - | Теорема существования не утверждает, что траектории обладают удобной регулярностью. Один из стандартных критериев непрерывности: если для некоторых <tex>\alpha,\beta,C>0</tex>
| + | |
| - | | + | |
| - | ::<tex>E|X_t-X_s|^\alpha\leq C|t-s|^{1+\beta},</tex>
| + | |
| - | | + | |
| - | то процесс с вещественным параметром имеет непрерывную модификацию, траектории которой локально гёльдеровы любого порядка меньше <tex>\beta/\alpha</tex>. Это условие достаточное, но не необходимое.<ref name="kallenberg2021" />
| + | |
| - | | + | |
| - | === Среднее, ковариация и условные распределения ===
| + | |
| - | | + | |
| - | Для вещественного процесса с конечными вторыми моментами определяют функцию среднего и ковариационную функцию
| + | |
| - | | + | |
| - | ::<tex>m(t)=E X_t,\qquad K(s,t)={\rm Cov}(X_s,X_t)=E[(X_s-m(s))(X_t-m(t))].</tex>
| + | |
| - | | + | |
| - | Ковариационная функция симметрична и неотрицательно определена:
| + | |
| - | | + | |
| - | ::<tex>\sum_{i=1}^{n}\sum_{j=1}^{n}a_i a_j K(t_i,t_j)\geq0.</tex>
| + | |
| - | | + | |
| - | Для гауссовского процесса функции <tex>m</tex> и <tex>K</tex> полностью определяют все конечномерные распределения. Для негауссовского процесса совпадение средних и ковариаций, вообще говоря, не означает совпадения законов: различаться могут асимметрия, хвосты и зависимости высших порядков.
| + | |
| - | | + | |
| - | Информация, накопленная к моменту <tex>t</tex>, формализуется [[Фильтрация (теория вероятностей)|фильтрацией]] <tex>({\cal F}_t)</tex>, то есть возрастающим семейством сигма-алгебр. Процесс называется '''адаптированным''', если <tex>X_t</tex> измерима относительно <tex>{\cal F}_t</tex>. Это исключает использование будущей информации при определении текущего состояния или стратегии.
| + | |
| - | | + | |
| - | === Стационарность, корреляция и спектр ===
| + | |
| - | | + | |
| - | Процесс '''строго стационарен''', если для любых <tex>n</tex>, моментов <tex>t_1,\ldots,t_n</tex> и сдвига <tex>h</tex> векторы
| + | |
| - | | + | |
| - | ::<tex>(X_{t_1},\ldots,X_{t_n})\quad\hbox{и}\quad(X_{t_1+h},\ldots,X_{t_n+h})</tex>
| + | |
| - | | + | |
| - | имеют одинаковое распределение. Процесс '''стационарен в широком смысле''', если <tex>m(t)=m</tex>, а ковариация зависит только от лага:
| + | |
| - | | + | |
| - | ::<tex>K(s,t)=R(t-s).</tex>
| + | |
| - | | + | |
| - | Строгая стационарность при конечных вторых моментах влечёт стационарность в широком смысле, но обратное верно не всегда; для гауссовских процессов оно верно. Нормированная функция <tex>\rho(h)=R(h)/R(0)</tex> называется [[Автокорреляционная функция|автокорреляционной функцией]].
| + | |
| - | | + | |
| - | По теореме Бохнера непрерывная неотрицательно определённая функция <tex>R</tex> допускает спектральное представление
| + | |
| - | | + | |
| - | ::<tex>R(h)=\int_{-\infty}^{\infty}e^{ih\lambda}\,F(d\lambda),</tex>
| + | |
| - | | + | |
| - | где <tex>F</tex> — конечная неотрицательная спектральная мера. Если она имеет плотность <tex>f</tex>, то <tex>f</tex> называют [[Спектральная плотность|спектральной плотностью]]. Эта связь лежит в основе спектрального анализа стационарных процессов и теоремы Винера — Хинчина.<ref name="khinchin1934" />
| + | |
| - | | + | |
| - | '''Эргодичность''' означает, в грубой интуитивной формулировке, возможность восстанавливать ансамблевые характеристики по одной достаточно длинной траектории. Для стационарного эргодического процесса и интегрируемой функции <tex>g</tex> временные средние при стандартных условиях удовлетворяют
| + | |
| - | | + | |
| - | ::<tex>\frac1n\sum_{t=1}^{n}g(X_t)\longrightarrow E g(X_0)</tex>
| + | |
| - | | + | |
| - | почти наверное. Стационарность сама по себе эргодичность не гарантирует: смесь нескольких стационарных режимов может сохранять распределение при сдвиге, но одна траектория остаётся в случайно выбранном режиме.
| + | |
| - | | + | |
| - | === Марковское свойство и полугруппа ===
| + | |
| - | | + | |
| - | Адаптированный процесс является марковским, если условное распределение будущего при известном настоящем не зависит от более далёкого прошлого. Для однородного по времени процесса это записывают как
| + | |
| - | | + | |
| - | ::<tex>P(X_{t+s}\in A\mid{\cal F}_t)=P_s(X_t,A),</tex>
| + | |
| - | | + | |
| - | где <tex>P_s(x,A)</tex> — переходное ядро. Переходные ядра удовлетворяют уравнению Чепмена — Колмогорова
| + | |
| - | | + | |
| - | ::<tex>P_{t+s}(x,A)=\int_S P_t(x,dy)P_s(y,A).</tex>
| + | |
| - | | + | |
| - | На функциях ядро задаёт полугруппу <tex>P_t f(x)=E_x f(X_t)</tex> с соотношением <tex>P_{t+s}=P_tP_s</tex>. Инфинитезимальный генератор полугруппы определяется на подходящей области функций пределом
| + | |
| - | | + | |
| - | ::<tex>{\cal A}f=\lim_{t\downarrow0}\frac{P_t f-f}{t}.</tex>
| + | |
| - | | + | |
| - | Обратное уравнение Колмогорова имеет формальный вид <tex>\partial_t u={\cal A}u</tex>, а прямое уравнение описывает эволюцию распределения сопряжённым оператором <tex>{\cal A}^*</tex>. При наличии плотности последнее часто называется уравнением Фоккера — Планка. Связь переходных вероятностей с этими уравнениями была систематически установлена Колмогоровым.<ref name="kolmogorov1931" />
| + | |
| - | | + | |
| - | === Мартингалы и моменты остановки ===
| + | |
| - | | + | |
| - | Интегрируемый адаптированный процесс <tex>(M_t)</tex> называется мартингалом относительно <tex>({\cal F}_t)</tex>, если для <tex>s\leq t</tex>
| + | |
| - | | + | |
| - | ::<tex>E(M_t\mid{\cal F}_s)=M_s.</tex>
| + | |
| - | | + | |
| - | Мартингал моделирует «честную игру»: при всей текущей информации условный прогноз будущего значения равен настоящему. Если вместо равенства стоит <tex>\geq</tex> или <tex>\leq</tex>, получают субмартингал или супермартингал. Важны [[Момент остановки|моменты остановки]] <tex>\tau</tex>, событие <tex>\{\tau\leq t\}</tex> для которых известно к моменту <tex>t</tex>. Теоремы об остановке, неравенства Дуба и сходимость мартингалов дают средства анализа времен достижения, последовательных процедур и стохастических интегралов.<ref name="doob1953" />
| + | |
| - | | + | |
| - | Более широкий класс [[Семимартингал|семимартингалов]] допускает разложение на локальный мартингал и процесс конечной вариации. Семимартингалы являются естественными интеграторами классического стохастического исчисления и включают диффузии и многие процессы со скачками.
| + | |
| - | | + | |
| - | === Типы сходимости ===
| + | |
| - | | + | |
| - | Для процессов различают поточечную сходимость случайных величин, сходимость конечномерных распределений и сходимость законов в функциональном пространстве. Последняя требует не только сходимости конечномерных распределений, но и '''плотности''' семейства мер, препятствующей уходу вероятностной массы в слишком нерегулярные траектории. Для непрерывных траекторий обычно используют пространство <tex>C[0,T]</tex> с равномерной нормой, а для càdlàg-траекторий — пространство Скорохода <tex>D[0,T]</tex> со специальными топологиями.
| + | |
| - | | + | |
| - | Функциональные предельные теоремы сильнее обычных предельных теорем. Например, принцип инвариантности утверждает, что должным образом нормированное случайное блуждание сходится по распределению как случайная функция к винеровскому процессу. Такое приближение объясняет универсальность диффузионных моделей, но не означает равенства дискретной и непрерывной моделей при конечном масштабе.
| + | |
| - | | + | |
| - | == Основные классы и примеры ==
| + | |
| - | | + | |
| - | === Случайное блуждание ===
| + | |
| - | | + | |
| - | Пусть <tex>\xi_1,\xi_2,\ldots</tex> — независимые одинаково распределённые случайные величины. Процесс
| + | |
| - | | + | |
| - | ::<tex>S_n=S_0+\sum_{k=1}^{n}\xi_k</tex>
| + | |
| - | | + | |
| - | называется [[Случайное блуждание|случайным блужданием]]. При <tex>P(\xi_k=1)=P(\xi_k=-1)=1/2</tex> получают простое симметричное блуждание. Оно служит базовой моделью накопления независимых возмущений, а после масштабирования приводит к броуновскому движению.
| + | |
| - | | + | |
| - | === Пуассоновский процесс ===
| + | |
| - | | + | |
| - | [[Пуассоновский процесс]] <tex>(N_t)_{t\geq0}</tex> с интенсивностью <tex>\lambda>0</tex> — считающий процесс с <tex>N_0=0</tex>, независимыми стационарными приращениями и законом
| + | |
| - | | + | |
| - | ::<tex>P(N_t-N_s=k)=e^{-\lambda(t-s)}\frac{[\lambda(t-s)]^k}{k!},\qquad 0\leq s<t.</tex>
| + | |
| - | | + | |
| - | Промежутки между событиями независимы и имеют экспоненциальное распределение с параметром <tex>\lambda</tex>. Неоднородный пуассоновский процесс допускает интенсивность <tex>\lambda(t)</tex>, а случайные и зависящие от истории интенсивности приводят к процессам Кокса и самовозбуждающимся процессам Хоукса.
| + | |
| - | | + | |
| - | === Винеровский процесс ===
| + | |
| - | | + | |
| - | Стандартный [[Винеровский процесс|винеровский процесс]], или математическое броуновское движение, <tex>(W_t)_{t\geq0}</tex> удовлетворяет условиям: <tex>W_0=0</tex>, имеет независимые стационарные приращения, <tex>W_t-W_s\sim{\cal N}(0,t-s)</tex> при <tex>s<t</tex> и почти наверное непрерывные траектории. Его среднее и ковариация равны
| + | |
| - | | + | |
| - | ::<tex>E W_t=0,\qquad {\rm Cov}(W_s,W_t)=\min(s,t).</tex>
| + | |
| - | | + | |
| - | Несмотря на непрерывность, траектории почти наверное нигде не дифференцируемы и имеют бесконечную вариацию на любом невырожденном интервале. Квадратичная вариация на <tex>[0,t]</tex> равна <tex>t</tex>; именно это свойство приводит к дополнительному члену во формуле Ито.<ref name="wiener1923" />
| + | |
| - | | + | |
| - | === Гауссовские процессы ===
| + | |
| - | | + | |
| - | Процесс называется [[Гауссовский процесс|гауссовским]], если любой конечный вектор <tex>(X_{t_1},\ldots,X_{t_n})</tex> имеет многомерное нормальное распределение. Его закон задаётся функцией среднего и неотрицательно определённым ядром ковариации. В машинном обучении гауссовский процесс используют как распределение над функциями: после наблюдений условное распределение остаётся гауссовским, что даёт аналитические формулы для регрессии при гауссовском шуме.<ref name="rasmussen2006">{{книга
| + | |
| - | |автор = Rasmussen, C. E.; Williams, C. K. I.
| + | |
| - | |заглавие = Gaussian Processes for Machine Learning
| + | |
| - | |место = Cambridge, MA
| + | |
| - | |издательство = MIT Press
| + | |
| - | |год = 2006
| + | |
| - | |isbn = 978-0-262-18253-9
| + | |
| - | |ссылка = https://gaussianprocess.org/gpml/
| + | |
| - | }}</ref>
| + | |
| - | | + | |
| - | Выбор ковариационного ядра задаёт априорные свойства функций: гладкость, периодичность, характерный масштаб и анизотропию. Не всякая формула является допустимым ядром; матрица <tex>[K(t_i,t_j)]</tex> должна быть неотрицательно определённой для любого конечного набора точек.
| + | |
| - | | + | |
| - | === Процесс Орнштейна — Уленбека ===
| + | |
| - | | + | |
| - | Процесс Орнштейна — Уленбека является решением линейного стохастического дифференциального уравнения
| + | |
| - | | + | |
| - | ::<tex>dX_t=\theta(\mu-X_t)dt+\sigma dW_t,\qquad \theta>0.</tex>
| + | |
| - | | + | |
| - | Дрейф возвращает состояние к уровню <tex>\mu</tex>, а винеровский член непрерывно вносит шум. При стационарном начальном распределении процесс гауссовский и имеет
| + | |
| - | | + | |
| - | ::<tex>E X_t=\mu,\qquad {\rm Cov}(X_s,X_t)=\frac{\sigma^2}{2\theta}e^{-\theta|t-s|}.</tex>
| + | |
| - | | + | |
| - | Это простейшая непрерывновременная модель возврата к среднему; она используется в физике, финансах, биологии и как компонент гауссовских и пространственно-временных моделей.
| + | |
| - | | + | |
| - | === Марковские цепи и скрытые состояния ===
| + | |
| - | | + | |
| - | В дискретном времени и конечном пространстве состояний марковская цепь задаётся матрицей переходов <tex>P=(p_{ij})</tex>, где <tex>p_{ij}=P(X_{n+1}=j\mid X_n=i)</tex>. Распределение <tex>\pi</tex> стационарно, если <tex>\pi P=\pi</tex>. Неприводимость и апериодичность конечной цепи обеспечивают единственность стационарного распределения и сходимость к нему.
| + | |
| - | | + | |
| - | В [[Скрытая марковская модель|скрытой марковской модели]] марковская цепь <tex>X_t</tex> непосредственно не наблюдается, а наблюдения <tex>Y_t</tex> условно независимы при заданных состояниях. Алгоритм прямого-обратного прохода вычисляет сглаженные вероятности состояний, алгоритм Витерби — наиболее вероятную последовательность, а алгоритм Баума — Уэлча оценивает параметры как частный случай EM-алгоритма. Такие модели долгое время были основным вероятностным аппаратом распознавания речи и применяются в биоинформатике и анализе последовательностей.<ref name="rabiner1989">{{статья
| + | |
| - | |автор = Rabiner, L. R.
| + | |
| - | |заглавие = A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition
| + | |
| - | |издание = Proceedings of the IEEE
| + | |
| - | |год = 1989
| + | |
| - | |том = 77
| + | |
| - | |номер = 2
| + | |
| - | |страницы = 257—286
| + | |
| - | |ссылка = https://doi.org/10.1109/5.18626
| + | |
| - | }}</ref>
| + | |
| - | | + | |
| - | === Процессы Леви, восстановления и точечные процессы ===
| + | |
| - | | + | |
| - | '''Процесс Леви''' имеет независимые стационарные приращения, начинается в нуле и непрерывен по вероятности. Он обобщает винеровский и пуассоновский процессы, допуская как непрерывную гауссовскую часть, так и скачки. Его одномерные распределения бесконечно делимы, а структура задаётся триплетом Леви — Хинчина.
| + | |
| - | | + | |
| - | В '''процессе восстановления''' моменты событий образуются суммами независимых положительных времен ожидания. Пуассоновский процесс является частным случаем с экспоненциальными ожиданиями. '''Точечный процесс''' моделирует случайное локально конечное множество событий во времени или пространстве. У процесса Хоукса каждое событие временно повышает условную интенсивность будущих событий; такая кластеризация применяется для землетрясений, транзакций и сетевых событий.<ref name="hawkes1971">{{статья
| + | |
| - | |автор = Hawkes, A. G.
| + | |
| - | |заглавие = Spectra of Some Self-Exciting and Mutually Exciting Point Processes
| + | |
| - | |издание = Biometrika
| + | |
| - | |год = 1971
| + | |
| - | |том = 58
| + | |
| - | |номер = 1
| + | |
| - | |страницы = 83—90
| + | |
| - | |ссылка = https://doi.org/10.1093/biomet/58.1.83
| + | |
| - | }}</ref>
| + | |
| - | | + | |
| - | === Ветвящиеся процессы и случайные поля ===
| + | |
| - | | + | |
| - | [[Ветвящийся процесс|Ветвящиеся процессы]] описывают популяции, в которых особи независимо порождают случайное число потомков. В процессе Гальтона — Ватсона критическое значение среднего числа потомков отделяет почти неизбежное вымирание от положительной вероятности неограниченного роста.
| + | |
| - | | + | |
| - | Случайное поле <tex>(X_t)_{t\in T}</tex> имеет многомерный индекс, например <tex>t\in{\bf R}^d</tex>. Оно моделирует изображения, рельеф, температуру, деформации и пространственную зависимость. [[Марковское случайное поле|Марковские случайные поля]] задают локальные условные зависимости на графе; гауссовские случайные поля удобны для пространственной интерполяции и решения обратных задач.
| + | |
| - | | + | |
| - | == Стохастическое исчисление и диффузии ==
| + | |
| - | | + | |
| - | === Интеграл Ито ===
| + | |
| - | | + | |
| - | Обычный интеграл Римана — Стилтьеса по траектории винеровского процесса, вообще говоря, не определён из-за её бесконечной вариации. Для предсказуемого квадратично интегрируемого процесса <tex>H_t</tex> интеграл Ито строят как предел сумм, где значение подынтегрального процесса берётся в левом конце интервала:
| + | |
| - | | + | |
| - | ::<tex>\int_0^t H_s\,dW_s=\lim_{|\Pi|\longrightarrow0}\sum_i H_{t_i}(W_{t_{i+1}}-W_{t_i}).</tex>
| + | |
| - | | + | |
| - | Предел понимается сначала в среднем квадратичном. Основное равенство — изометрия Ито:
| + | |
| - | | + | |
| - | ::<tex>E\left(\int_0^t H_s\,dW_s\right)^2=E\int_0^t H_s^2\,ds.</tex>
| + | |
| - | | + | |
| - | Интеграл Ито является мартингалом при стандартных условиях. Альтернативный интеграл Стратоновича использует симметричные суммы и лучше сохраняет обычные правила дифференцирования, но коэффициент дрейфа при переходе между двумя интерпретациями изменяется.<ref name="karatzas1991">{{книга
| + | |
| - | |автор = Karatzas, I.; Shreve, S. E.
| + | |
| - | |заглавие = Brownian Motion and Stochastic Calculus
| + | |
| - | |издание = 2-е изд.
| + | |
| - | |место = New York
| + | |
| - | |издательство = Springer
| + | |
| - | |год = 1991
| + | |
| - | |isbn = 978-0-387-97655-6
| + | |
| - | |ссылка = https://doi.org/10.1007/978-1-4612-0949-2
| + | |
| - | }}</ref>
| + | |
| - | | + | |
| - | === Стохастические дифференциальные уравнения ===
| + | |
| - | | + | |
| - | Диффузионный процесс в <tex>{\bf R}^d</tex> часто задают уравнением Ито
| + | |
| - | | + | |
| - | ::<tex>dX_t=b(X_t,t)dt+\sigma(X_t,t)dW_t.</tex>
| + | |
| - | | + | |
| - | Здесь <tex>b</tex> — коэффициент дрейфа, <tex>\sigma</tex> — матрица диффузии, а запись означает интегральное равенство
| + | |
| - | | + | |
| - | ::<tex>X_t=X_0+\int_0^t b(X_s,s)ds+\int_0^t\sigma(X_s,s)dW_s.</tex>
| + | |
| - | | + | |
| - | Различают '''сильное решение''', построенное на заданном вероятностном пространстве и заданном винеровском процессе, и '''слабое решение''', для которого разрешено выбирать вероятностное пространство вместе с шумом. Локальная липшицевость коэффициентов и условие линейного роста дают стандартные достаточные условия существования и траекторной единственности сильного решения; существуют более слабые результаты, а при нерегулярных коэффициентах единственность может нарушаться.
| + | |
| - | | + | |
| - | Для гладкой функции <tex>f(x,t)</tex> формула Ито имеет вид
| + | |
| - | | + | |
| - | ::<tex>df(X_t,t)=\left(f_t+\sum_i b_i f_i+\frac12\sum_{i,j}(\sigma\sigma^T)_{ij}f_{ij}\right)dt+\sum_{i,k}\sigma_{ik}f_i\,dW_t^k.</tex>
| + | |
| - | | + | |
| - | Вторые производные появляются из-за ненулевой квадратичной вариации. Генератор однородной диффузии равен
| + | |
| - | | + | |
| - | ::<tex>{\cal A}f(x)=\sum_i b_i(x)f_i(x)+\frac12\sum_{i,j}(\sigma(x)\sigma(x)^T)_{ij}f_{ij}(x).</tex>
| + | |
| - | | + | |
| - | Если распределение <tex>X_t</tex> имеет гладкую плотность <tex>p(x,t)</tex>, то она формально удовлетворяет уравнению Фоккера — Планка
| + | |
| - | | + | |
| - | ::<tex>\frac{\partial p}{\partial t}=-\sum_i\frac{\partial}{\partial x_i}(b_i p)+\frac12\sum_{i,j}\frac{\partial^2}{\partial x_i\partial x_j}[(\sigma\sigma^T)_{ij}p].</tex>
| + | |
| - | | + | |
| - | Связь между стохастическим представлением и дифференциальными уравнениями позволяет вычислять вероятности выхода и ожидания функционалов траектории методами как вероятностного моделирования, так и численного решения уравнений в частных производных.
| + | |
| - | | + | |
| - | == Моделирование, оценивание и диагностика ==
| + | |
| - | | + | |
| - | === Имитация траекторий ===
| + | |
| - | | + | |
| - | Метод моделирования зависит от класса процесса.
| + | |
| - | | + | |
| - | * Для конечной марковской цепи на каждом шаге генерируют новое состояние из строки матрицы переходов.
| + | |
| - | * Для пуассоновского и более общих событийных процессов моделируют времена ожидания или применяют прореживание по верхней границе интенсивности.
| + | |
| - | * Для гауссовского процесса на конечной сетке генерируют многомерный нормальный вектор с заданной ковариационной матрицей; прямое разложение плотной матрицы требует кубического времени по числу точек.
| + | |
| - | * Для химической кинетики алгоритм Гиллеспи генерирует точные по закону времена и типы реакций в модели непрерывновременной марковской цепи.<ref name="gillespie1977">{{статья
| + | |
| - | |автор = Gillespie, D. T.
| + | |
| - | |заглавие = Exact Stochastic Simulation of Coupled Chemical Reactions
| + | |
| - | |издание = The Journal of Physical Chemistry
| + | |
| - | |год = 1977
| + | |
| - | |том = 81
| + | |
| - | |номер = 25
| + | |
| - | |страницы = 2340—2361
| + | |
| - | |ссылка = https://doi.org/10.1021/j100540a008
| + | |
| - | }}</ref>
| + | |
| - | * Для стохастического дифференциального уравнения простейшая схема Эйлера — Маруямы имеет вид
| + | |
| - | | + | |
| - | ::<tex>X_{n+1}=X_n+b(X_n,t_n)\Delta t+\sigma(X_n,t_n)\sqrt{\Delta t}\,Z_n,\qquad Z_n\sim{\cal N}(0,I).</tex>
| + | |
| - | | + | |
| - | При достаточно регулярных коэффициентах типичный сильный порядок этой схемы равен <tex>1/2</tex>, а слабый — <tex>1</tex>. Сильная ошибка сравнивает приближённую и точную траектории на одном шуме, слабая — ожидания тестовых функций. Для жёстких, вырожденных, отражённых или многомасштабных систем требуются специальные методы; уменьшение шага необходимо проверять экспериментом сходимости.<ref name="kloeden1992">{{книга
| + | |
| - | |автор = Kloeden, P. E.; Platen, E.
| + | |
| - | |заглавие = Numerical Solution of Stochastic Differential Equations
| + | |
| - | |место = Berlin
| + | |
| - | |издательство = Springer
| + | |
| - | |год = 1992
| + | |
| - | |isbn = 978-3-540-54062-5
| + | |
| - | |ссылка = https://doi.org/10.1007/978-3-662-12616-5
| + | |
| - | }}</ref>
| + | |
| - | | + | |
| - | === Оценивание и фильтрация ===
| + | |
| - | | + | |
| - | Параметры процесса оценивают методом максимального правдоподобия, методом моментов, обобщённым методом моментов, байесовскими методами или по контрастам, построенным из переходных плотностей и спектра. Для непрерывновременного процесса, наблюдаемого на дискретной сетке, точная переходная плотность часто неизвестна; тогда используют приближённое правдоподобие, фильтры, частичное наблюдение, методы Монте-Карло или схемы data augmentation.
| + | |
| - | | + | |
| - | В модели пространства состояний
| + | |
| - | | + | |
| - | ::<tex>X_t\sim p(x_t\mid x_{t-1}),\qquad Y_t\sim p(y_t\mid x_t)</tex>
| + | |
| - | | + | |
| - | скрытый процесс <tex>X_t</tex> восстанавливают по наблюдениям <tex>Y_{1:t}</tex>. '''Фильтрация''' оценивает <tex>p(x_t\mid y_{1:t})</tex>, '''прогноз''' — будущее состояние, а '''сглаживание''' использует также последующие наблюдения. Для линейной гауссовской модели все эти распределения гауссовские и рекурсивно вычисляются [[Фильтр Калмана|фильтром Калмана]].<ref name="kalman1960">{{статья
| + | |
| - | |автор = Kalman, R. E.
| + | |
| - | |заглавие = A New Approach to Linear Filtering and Prediction Problems
| + | |
| - | |издание = Journal of Basic Engineering
| + | |
| - | |год = 1960
| + | |
| - | |том = 82
| + | |
| - | |номер = 1
| + | |
| - | |страницы = 35—45
| + | |
| - | |ссылка = https://doi.org/10.1115/1.3662552
| + | |
| - | }}</ref> Для нелинейных или негауссовских моделей применяют расширенный и сигма-точечный фильтры, [[Последовательный метод Монте-Карло|частичные фильтры]] и другие последовательные методы Монте-Карло; их приближения могут иметь существенное смещение или вырождение весов.
| + | |
| - | | + | |
| - | === Диагностика модели ===
| + | |
| - | | + | |
| - | Ни один отдельный график или тест не подтверждает адекватность стохастической модели. Обычно совместно проверяют:
| + | |
| - | | + | |
| - | * соответствие маргинальных распределений, квантилей, экстремумов и длительностей режимов;
| + | |
| - | * автокорреляцию, частную автокорреляцию, спектр и кросс-корреляции;
| + | |
| - | * остатки или инновации: после условного моделирования они не должны сохранять предсказуемую структуру;
| + | |
| - | * стационарность, сезонность, структурные сдвиги и возможные единичные корни;
| + | |
| - | * калибровку вероятностных прогнозов, покрытие предиктивных интервалов и качество вне обучающего периода;
| + | |
| - | * чувствительность к шагу дискретизации, частоте наблюдений, начальному состоянию и априорным предположениям;
| + | |
| - | * воспроизведение содержательно важных статистик в симуляциях из подогнанной модели.
| + | |
| - | | + | |
| - | Оценка автокорреляции по короткой траектории имеет большую неопределённость, особенно при медленном смешивании и долгой памяти. Множественное тестирование по многим лагам создаёт ложные обнаружения. Для пространственных процессов аналогичную роль играют вариограмма, пространственные остатки и проверка анизотропии.
| + | |
| - | | + | |
| - | == Трудности и ограничения ==
| + | |
| - | | + | |
| - | === Наблюдаемость и идентифицируемость ===
| + | |
| - | | + | |
| - | Разные процессы могут порождать почти неразличимые данные на доступной сетке наблюдений. Дрейф и диффузию непрерывновременной модели трудно разделить по короткой или редко измеренной траектории; шум измерения может быть спутан с быстрыми изменениями скрытого состояния. Неидентифицируемость не устраняется выбором более сложного алгоритма оптимизации.
| + | |
| - | | + | |
| - | === Нестационарность и неэргодичность ===
| + | |
| - | | + | |
| - | Реальные системы изменяют режим, тренд, сезонность и механизм генерации данных. Оценки, основанные на стационарности, могут усреднять несовместимые режимы. Даже строго стационарный процесс может быть неэргодическим, поэтому временное среднее одной реализации не обязано оценивать ансамблевое ожидание.
| + | |
| - | | + | |
| - | === Выбор масштаба и зависимость ===
| + | |
| - | | + | |
| - | Марковское свойство зависит от выбранного состояния: процесс, не являющийся марковским в одной координате, может стать марковским после добавления скрытых переменных. Аналогично, независимость приращений и белый шум часто являются приближениями, справедливыми лишь на определённом временном масштабе. Агрегирование, пропуски и нерегулярная частота наблюдений меняют вид зависимости.
| + | |
| - | | + | |
| - | === Редкие события и высокая размерность ===
| + | |
| - | | + | |
| - | Вероятности катастроф, первых выходов и экстремальных нагрузок могут определяться областями, почти не встречающимися в обычной симуляции. Наивный метод Монте-Карло тогда требует недостижимого числа траекторий; применяют выборку по значимости, расщепление траекторий и методы больших уклонений, но их эффективность чувствительна к конструкции предложения. В многомерных процессах дополнительно возникают вычислительная сложность ковариационных матриц, вырождение частичных фильтров и трудность оценки зависимостей.
| + | |
| - | | + | |
| - | === Ошибка модели и численная ошибка ===
| + | |
| - | | + | |
| - | Следует разделять как минимум четыре источника неопределённости: случайность самого процесса, погрешность измерения, статистическую ошибку оценки параметров и ошибку численного приближения. Малая дискретизационная ошибка не делает неверную модель адекватной, а хорошее совпадение нескольких сводных статистик не гарантирует правильного распределения траекторий.
| + | |
| - | | + | |
| - | Стохастическая зависимость также не равна причинности. Предсказуемость одного ряда по другому может возникнуть из-за общей скрытой причины, отбора данных или нестационарности; причинные утверждения требуют дополнительных предположений или экспериментального дизайна.
| + | |
| - | | + | |
| - | == Современные направления исследований ==
| + | |
| - | | + | |
| - | === Нерегулярные сигналы и сингулярные уравнения ===
| + | |
| - | | + | |
| - | Теория грубых путей рассматривает дифференциальные уравнения, управляемые очень нерегулярными сигналами, дополняя путь информацией об итерированных интегралах. Она даёт устойчивое, в существенной части детерминированное описание решений и охватывает броуновские и более общие шумы.<ref name="lyons1998">{{статья
| + | |
| - | |автор = Lyons, T. J.
| + | |
| - | |заглавие = Differential Equations Driven by Rough Signals
| + | |
| - | |издание = Revista Matemática Iberoamericana
| + | |
| - | |год = 1998
| + | |
| - | |том = 14
| + | |
| - | |номер = 2
| + | |
| - | |страницы = 215—310
| + | |
| - | |ссылка = https://doi.org/10.4171/RMI/240
| + | |
| - | }}</ref> Теория регулярностных структур позволяет придавать строгий смысл широкому классу сингулярных нелинейных стохастических уравнений в частных производных, где произведения распределений классически не определены.<ref name="hairer2014">{{статья
| + | |
| - | |автор = Hairer, M.
| + | |
| - | |заглавие = A Theory of Regularity Structures
| + | |
| - | |издание = Inventiones Mathematicae
| + | |
| - | |год = 2014
| + | |
| - | |том = 198
| + | |
| - | |номер = 2
| + | |
| - | |страницы = 269—504
| + | |
| - | |ссылка = https://doi.org/10.1007/s00222-014-0505-4
| + | |
| - | }}</ref>
| + | |
| - | | + | |
| - | === Долгая память и аномальная диффузия ===
| + | |
| - | | + | |
| - | Модели с независимыми приращениями не описывают длительную зависимость. Дробное броуновское движение — гауссовский самоподобный процесс с параметром Хёрста <tex>H\in(0,1)</tex> и ковариацией
| + | |
| - | | + | |
| - | ::<tex>{\rm Cov}(B_s^H,B_t^H)=\frac12(s^{2H}+t^{2H}-|t-s|^{2H}).</tex>
| + | |
| - | | + | |
| - | При <tex>H=1/2</tex> это обычное броуновское движение; при других <tex>H</tex> приращения зависимы и процесс не является семимартингалом в стандартной фильтрации. Дробные и многомасштабные модели применяются к аномальной диффузии и сигналам с долгой памятью, но оценивание <tex>H</tex> чувствительно к трендам, конечной длине ряда и шуму.<ref name="mandelbrot1968">{{статья
| + | |
| - | |автор = Mandelbrot, B. B.; Van Ness, J. W.
| + | |
| - | |заглавие = Fractional Brownian Motions, Fractional Noises and Applications
| + | |
| - | |издание = SIAM Review
| + | |
| - | |год = 1968
| + | |
| - | |том = 10
| + | |
| - | |номер = 4
| + | |
| - | |страницы = 422—437
| + | |
| - | |ссылка = https://doi.org/10.1137/1010093
| + | |
| - | }}</ref>
| + | |
| - | | + | |
| - | === Стохастические модели в машинном обучении ===
| + | |
| - | | + | |
| - | Современные исследования объединяют вероятностную структуру с обучаемыми компонентами. Нейронные стохастические дифференциальные уравнения параметризуют дрейф или диффузию нейронными сетями; непрерывновременные модели удобны для нерегулярных рядов и скрытой динамики, но требуют устойчивых численных решателей и контроля идентифицируемости.
| + | |
| - | | + | |
| - | В диффузионных генеративных моделях прямой процесс постепенно добавляет шум к данным, а обученная модель приближает обратную динамику. Непрерывновременная формулировка через стохастические дифференциальные уравнения объединяет несколько дискретных диффузионных и score-based конструкций; обратный дрейф зависит от градиента логарифма промежуточной плотности.<ref name="song2021">{{статья
| + | |
| - | |автор = Song, Y.; Sohl-Dickstein, J.; Kingma, D. P.; Kumar, A.; Ermon, S.; Poole, B.
| + | |
| - | |заглавие = Score-Based Generative Modeling through Stochastic Differential Equations
| + | |
| - | |издание = International Conference on Learning Representations
| + | |
| - | |год = 2021
| + | |
| - | |ссылка = https://openreview.net/pdf?id=PxTIG12RRHS
| + | |
| - | }}</ref> Теоретические вопросы включают ошибку оценки score-функции, дискретизацию обратного процесса, вычислительную стоимость генерации и поведение вне распределения обучения.
| + | |
| - | | + | |
| - | === Высокая размерность и сложная структура ===
| + | |
| - | | + | |
| - | Активно развиваются масштабируемые гауссовские процессы, нелинейная фильтрация, стохастические процессы на графах и многообразиях, высокоразмерные точечные процессы, взаимодействующие системы частиц и стохастическая оптимизация. Общая задача состоит не только в повышении предсказательной точности, но и в сохранении структурных свойств: положительной определённости ковариации, инвариантных мер, ограничений состояния, симметрий и корректной калибровки неопределённости.
| + | |
| - | | + | |
| - | == Применения ==
| + | |
| - | | + | |
| - | * '''Машинное обучение и анализ данных.''' Гауссовские процессы задают распределения над функциями, скрытые марковские модели — последовательности скрытых классов, модели пространства состояний — латентную динамику, а диффузионные процессы — механизм генерации сложных данных.
| + | |
| - | * '''Обработка сигналов и управление.''' Стохастические модели используются для фильтрации шумных измерений, слежения за объектами, навигации, обнаружения изменений, прогнозирования и оптимального управления.
| + | |
| - | * '''Физика и химия.''' Броуновское движение, уравнения Ланжевена, процессы взаимодействующих частиц и стохастические уравнения описывают диффузию, тепловые флуктуации, фазовые переходы и кинетику реакций.
| + | |
| - | * '''Биология и медицина.''' Ветвящиеся и популяционные процессы моделируют размножение и эпидемии; процессы рождения и смерти — молекулярные сети; скрытые состояния — последовательности генов и физиологические режимы.
| + | |
| - | * '''Теория массового обслуживания и надёжность.''' Считающие процессы описывают поступления заявок и отказы, процессы восстановления — ремонты, а марковские и регенерирующие модели — загрузку и время ожидания.
| + | |
| - | * '''Финансы и страхование.''' Диффузии и процессы со скачками моделируют цены и процентные ставки, считающие процессы — убытки и дефолты, а мартингальная теория лежит в основе безарбитражного оценивания производных инструментов.
| + | |
| - | * '''Геофизика, климат и телекоммуникации.''' Пространственно-временные поля, процессы экстремумов и самовозбуждающиеся процессы применяют к погоде, землетрясениям, гидрологии, трафику и отказам сетей.
| + | |
| - | | + | |
| - | Во всех областях интерпретация параметров и область применимости зависят от масштаба наблюдений и механизма получения данных. Одинаковая формальная модель может быть полезной эффективной аппроксимацией в одной задаче и неверной в другой.
| + | |
| - | | + | |
| - | == См. также ==
| + | |
| - | | + | |
| - | * [[Теория вероятностей]]
| + | |
| - | * [[Случайная величина]]
| + | |
| - | * [[Случайное блуждание]]
| + | |
| - | * [[Марковская цепь]]
| + | |
| - | * [[Марковский процесс]]
| + | |
| - | * [[Мартингал]]
| + | |
| - | * [[Винеровский процесс]]
| + | |
| - | * [[Пуассоновский процесс]]
| + | |
| - | * [[Гауссовский процесс]]
| + | |
| - | * [[Скрытая марковская модель]]
| + | |
| - | * [[Стохастическое дифференциальное уравнение]]
| + | |
| - | * [[Случайное поле]]
| + | |
| - | * [[Анализ временных рядов]]
| + | |
| - | * [[Метод Монте-Карло]]
| + | |
| - | | + | |
| - | == Примечания ==
| + | |
| - | | + | |
| - | <references />
| + | |
| - | | + | |
| - | == Литература ==
| + | |
| - | | + | |
| - | * {{книга
| + | |
| - | |автор = Doob, J. L.
| + | |
| - | |заглавие = Stochastic Processes
| + | |
| - | |место = New York
| + | |
| - | |издательство = John Wiley & Sons
| + | |
| - | |год = 1953
| + | |
| - | |isbn = 978-0-471-21813-5
| + | |
| - | |ссылка = https://books.google.com/books?id=zbsrAAAAYAAJ
| + | |
| - | }}
| + | |
| - | * {{книга
| + | |
| - | |автор = Kallenberg, O.
| + | |
| - | |заглавие = Foundations of Modern Probability
| + | |
| - | |издание = 3-е изд.
| + | |
| - | |место = Cham
| + | |
| - | |издательство = Springer
| + | |
| - | |год = 2021
| + | |
| - | |isbn = 978-3-030-61870-4
| + | |
| - | |ссылка = https://doi.org/10.1007/978-3-030-61871-1
| + | |
| - | }}
| + | |
| - | * {{книга
| + | |
| - | |автор = Karatzas, I.; Shreve, S. E.
| + | |
| - | |заглавие = Brownian Motion and Stochastic Calculus
| + | |
| - | |издание = 2-е изд.
| + | |
| - | |место = New York
| + | |
| - | |издательство = Springer
| + | |
| - | |год = 1991
| + | |
| - | |isbn = 978-0-387-97655-6
| + | |
| - | |ссылка = https://doi.org/10.1007/978-1-4612-0949-2
| + | |
| - | }}
| + | |
| - | * {{книга
| + | |
| - | |автор = Çinlar, E.
| + | |
| - | |заглавие = Probability and Stochastics
| + | |
| - | |место = New York
| + | |
| - | |издательство = Springer
| + | |
| - | |год = 2011
| + | |
| - | |isbn = 978-0-387-87858-4
| + | |
| - | |ссылка = https://doi.org/10.1007/978-0-387-87859-1
| + | |
| - | }}
| + | |
| - | * {{книга
| + | |
| - | |автор = Pavliotis, G. A.
| + | |
| - | |заглавие = Stochastic Processes and Applications: Diffusion Processes, the Fokker–Planck and Langevin Equations
| + | |
| - | |место = New York
| + | |
| - | |издательство = Springer
| + | |
| - | |год = 2014
| + | |
| - | |isbn = 978-1-4939-1322-0
| + | |
| - | |ссылка = https://doi.org/10.1007/978-1-4939-1323-7
| + | |
| - | }}
| + | |
| - | * {{книга
| + | |
| - | |автор = Kloeden, P. E.; Platen, E.
| + | |
| - | |заглавие = Numerical Solution of Stochastic Differential Equations
| + | |
| - | |место = Berlin
| + | |
| - | |издательство = Springer
| + | |
| - | |год = 1992
| + | |
| - | |isbn = 978-3-540-54062-5
| + | |
| - | |ссылка = https://doi.org/10.1007/978-3-662-12616-5
| + | |
| - | }}
| + | |
| - | * {{книга
| + | |
| - | |автор = Rasmussen, C. E.; Williams, C. K. I.
| + | |
| - | |заглавие = Gaussian Processes for Machine Learning
| + | |
| - | |место = Cambridge, MA
| + | |
| - | |издательство = MIT Press
| + | |
| - | |год = 2006
| + | |
| - | |isbn = 978-0-262-18253-9
| + | |
| - | |ссылка = https://gaussianprocess.org/gpml/
| + | |
| - | }}
| + | |
| - | | + | |
| - | == Ссылки ==
| + | |
| - | | + | |
| - | * [https://encyclopediaofmath.org/wiki/Stochastic_process Stochastic process в Encyclopedia of Mathematics]
| + | |
| - | * [https://gaussianprocess.org/gpml/ Открытая электронная версия Gaussian Processes for Machine Learning]
| + | |
| - | * [https://www.jstage.jst.go.jp/article/pjab1912/20/8/20_8_519/_article Оригинальная статья К. Ито «Stochastic Integral» в архиве J-STAGE]
| + | |
| - | | + | |
| - | [[Категория:Теория вероятностей]]
| + | |
| - | [[Категория:Случайные процессы]]
| + | |
| - | [[Категория:Анализ временных рядов]]
| + | |
| - | [[Категория:Энциклопедия анализа данных]]
| + | |