Сходимость по вероятности

Материал из MachineLearning.

(Различия между версиями)

Текущая версия

Определение

Пусть $(\Omega,\mathcal{F},\mathbb{P})$ - вероятностное пространство с определёнными на нём случайными величинами $X,\; X_n\;(n=1,2,\ldots)$ .

Говорят, что $\{X_n\}_{n=1}^{\infty}$ сходится по вероятности к $X$ , если $\forall \varepsilon > 0$ :

$\lim\limits_{n \to \infty} \mathbb{P}(|X_n - X| > \varepsilon) = 0$ .

Обозначение: $X_n \stackrel{\mathbb{P}}{\longrightarrow} X$ .

Пояснение и пример

Данное свойство означает, что если взять величину $X_n$ с достаточно большим номером, то вероятность значительного отклонения от предельной величины $X$ будет небольшой. Однако важно понимать, что если одновременно (т.е. для одного и того же элементарного исхода $\omega$ ) рассмотреть последовательность $\{X_n(\omega)\}$ , то она не обязана сходиться к значению $X(\omega)$ , вообще говоря, ни при каком $\omega$ . Т.е. сколь угодно далеко могут находиться сильно отклоняющиеся значения, просто их "не очень много", поэтому вероятность того, что такое сильное отклонение попадет в заданном эксперименте на конкретно заданный номер $n$ , мала.

В качестве примера рассмотрим вероятностное пространство $\Omega = [0,1]$ , вероятность - мера Лебега (т.е. вероятность любого интервала равна его длине). Случайные величины зададим следующим образом: для первых двух $X_1,X_2$ разбиваем $\Omega$ на два интервала $[0,\frac{1}{2})$ и $(\frac{1}{2},1]$ и определяем $X_1$ равной 1 на первом интервале и 0 на втором, а $X_2$ - наоборот, 0 на первом интервале и 1 на втором. Далее берем следующие четыре величины $X_3,X_4,X_5,X_6$ , делим $\Omega$ на четыре непересекающихся интервала длины $\frac14$ и задаем каждую величину равной 1 на своем интервале и 0 на остальных. Затем рассматриваем следующие 8 величин, делим $\Omega$ на 8 интервалов и т.д.

В результате для каждого элементарного исхода $\omega$ последовательность значений имеет вид:

$\{X_n(\omega)\}=(\underbrace{1,0}_2,\underbrace{0,0,1,0}_4,\underbrace{0,0,0,0,0,1,0,0}_8,\ldots)$ :

последовательность состоит из серий длин $2,4,8,16,\ldots,2^k,=ldots$ , причем в каждой серии на каком-либо одном месте (зависящем от выбранного элементарного исхода) стоит значение 1, а на остальных местах - нули.

Случайные величины, входящие в серию с номером $k$ (длины $2^k$ ) принимают значение 1 с вероятностью $2^{-k}$ и значение 0 с вероятностью $1-2^{-k}$ . Из основного определения следует, что данная последовательность сходится по вероятности к случайной величине $X\equiv 0$ . При этом ни при одном значении $\omega$ последовательность значений $X_n$ не сходится к $0$ , так как в любой последовательности значений сколь угодно далеко обязательно находятся отстоящие от 0 значения. Однако поскольку длины серий неограниченно возрастают, то вероятность "попасть" на это значение становится сколь угодно малой при выборе элемента последовательности с достаточно большим номером.

Заметим, что вместо значения 1 можно выбрать любое другое (в том числе как угодно быстро возрастающее с ростом $n$ ), и тем самым сделать последовательность математических ожиданий $\mathbb{M}X_n$ произвольной (в том числе неограниченной). Данный пример показывает, что сходимость по вероятности не влечет сходимости математических ожиданий (равно как и любых других моментов).

Более сильный вид сходимости, который обеспечивает сходимость последовательностей значений к предельному - сходимость почти всюду.

Литература

Биллингсли П. Сходимость вероятностных мер. — пер. с англ. — М.: Наука, 1977.
Ширяев А.Н. Вероятность. — М.: МЦНМО, 2004.

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%A1%D1%85%D0%BE%D0%B4%D0%B8%D0%BC%D0%BE%D1%81%D1%82%D1%8C_%D0%BF%D0%BE_%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B8»

Категория: Теория вероятностей

@@ Строка 1: / Строка 1: @@
 == Определение ==
-Пусть <tex>(\Omega,\mathcal{F},\mathbb{P})</tex> - [[вероятностное пространство]] с определёнными на нём случайными величинами <tex>X,\; X_n\;(n=1,2,\ldots)</tex>, то говорят, что <tex>\{X_n\}_{n=1}^{\infty}</tex> сходится по вероятности к <tex>X</tex>, если
+Пусть <tex>(\Omega,\mathcal{F},\mathbb{P})</tex> - [[вероятностное пространство]] с определёнными на нём случайными величинами <tex>X,\; X_n\;(n=1,2,\ldots)</tex>.
-: <tex>\forall \varepsilon > 0,\; \lim\limits_{n \to \infty} \mathbb{P}(|X_n - X| > \varepsilon) = 0</tex>.
-Обозначение: <tex>X_n \stackrel{\mathbb{P}}{\longrightarrow} X</tex>.
+Говорят, что <tex>\{X_n\}_{n=1}^{\infty}</tex> '''сходится по вероятности''' к <tex>X</tex>, если <tex>\forall \varepsilon > 0</tex>:
+<center><tex>\lim\limits_{n \to \infty} \mathbb{P}(|X_n - X| > \varepsilon) = 0</tex>.</center>
+'''Обозначение''': <tex>X_n \stackrel{\mathbb{P}}{\longrightarrow} X</tex>.
+==Пояснение и пример==
+Данное свойство означает, что если взять величину <tex>X_n</tex> с достаточно большим номером, то вероятность значительного отклонения от предельной величины <tex>X</tex> будет небольшой. Однако важно понимать, что если одновременно (т.е. для одного и того же элементарного исхода <tex>\omega</tex>) рассмотреть последовательность <tex>\{X_n(\omega)\}</tex>, то она не обязана сходиться к значению <tex>X(\omega)</tex>, вообще говоря, ни при каком <tex>\omega</tex>. Т.е. сколь угодно далеко могут находиться сильно отклоняющиеся значения, просто их "не очень много", поэтому вероятность того, что такое сильное отклонение попадет в заданном эксперименте на конкретно заданный номер <tex>n</tex>, мала.
+В качестве примера рассмотрим вероятностное пространство <tex>\Omega = [0,1]</tex>, вероятность - мера Лебега (т.е. вероятность любого интервала равна его длине). Случайные величины зададим следующим образом: для первых двух <tex>X_1,X_2</tex> разбиваем <tex>\Omega</tex> на два интервала <tex>[0,\frac{1}{2})</tex> и <tex>(\frac{1}{2},1]</tex> и определяем <tex>X_1</tex> равной 1 на первом интервале и 0 на втором, а <tex>X_2</tex> - наоборот, 0 на первом интервале и 1 на втором. Далее берем следующие четыре величины <tex>X_3,X_4,X_5,X_6</tex>, делим <tex>\Omega</tex> на четыре непересекающихся интервала длины <tex>\frac14</tex> и задаем каждую величину равной 1 на своем интервале и 0 на остальных. Затем рассматриваем следующие 8 величин, делим <tex>\Omega</tex> на 8 интервалов и т.д.
+В результате для каждого элементарного исхода <tex>\omega</tex> последовательность значений имеет вид:
+<center><tex>\{X_n(\omega)\}=(\underbrace{1,0}_2,\underbrace{0,0,1,0}_4,\underbrace{0,0,0,0,0,1,0,0}_8,\ldots)</tex>:</center>
+последовательность состоит из серий длин <tex>2,4,8,16,\ldots,2^k,=ldots</tex>, причем в каждой серии на каком-либо одном месте (зависящем от выбранного элементарного исхода) стоит значение 1, а на остальных местах - нули.
+Случайные величины, входящие в серию с номером <tex>k</tex> (длины <tex>2^k</tex>) принимают значение 1 с вероятностью <tex>2^{-k}</tex> и значение 0 с вероятностью <tex>1-2^{-k}</tex>. Из основного определения следует, что данная последовательность сходится по вероятности к случайной величине <tex>X\equiv 0</tex>. При этом ни при одном значении <tex>\omega</tex> последовательность значений <tex>X_n</tex> не сходится к <tex>0</tex>, так как в любой последовательности значений сколь угодно далеко обязательно находятся отстоящие от 0 значения. Однако поскольку длины серий неограниченно возрастают, то вероятность "попасть" на это значение становится сколь угодно малой при выборе элемента последовательности с достаточно большим номером.
+Заметим, что вместо значения 1 можно выбрать любое другое (в том числе как угодно быстро возрастающее с ростом <tex>n</tex>), и тем самым сделать последовательность математических ожиданий <tex>\mathbb{M}X_n</tex> произвольной (в том числе неограниченной). Данный пример показывает, что сходимость по вероятности не влечет сходимости математических ожиданий (равно как и любых других [[моменты_случайной_величины|моментов]]).
+Более сильный вид сходимости, который обеспечивает сходимость последовательностей значений к предельному - сходимость почти всюду.
 == Литература ==
@@ Строка 23: / Строка 43: @@
 }}
-[[Категория:Материалы по теории вероятностей]]
+[[Категория:Теория вероятностей]]

Сходимость по вероятности

Материал из MachineLearning.

Текущая версия

Определение

Пояснение и пример

Литература

Просмотры

Личные инструменты

Навигация

Поиск

Инструменты