Закон больших чисел

Материал из MachineLearning.

(Различия между версиями)

Лошкарёв Сергей (Обсуждение | вклад)
(Новая: '''Закон больших чисел''' в теории вероятностей утверждает, что эмпирическое среднее (среднее арифмети...)
К следующему изменению →

Версия 10:41, 5 января 2010

Закон больших чисел в теории вероятностей утверждает, что эмпирическое среднее (среднее арифметическое) конечной выборки из фиксированного распределения близко к теоретическому среднему (математическому ожиданию) этого распределения. В зависимости от вида сходимости различают слабый закон больших чисел, когда имеет место сходимость по вероятности, и усиленный закон больших чисел, когда имеет место сходимость почти всюду.

Всегда найдётся такое количество испытаний, при котором с любой заданной наперёд вероятностью частота появления некоторого события будет сколь угодно мало отличаться от его вероятности.

Слабый закон больших чисел

Пусть есть бесконечная последовательность одинаково распределённых и некоррелированных случайных величин $\{X_i\}_{i=1}^{\infty}$ , определённых на одном вероятностном пространстве $(\Omega,\mathcal{F},\mathbb{P})$ . То есть их ковариация $\mathrm{cov}(X_i,X_j) = 0,\; \forall i \not=j$ . Пусть $\mathbb{E}X_i = \mu,\; \forall i\in \mathbb{N}$ . Обозначим $S_n$ выборочное среднее первых $n$ членов:

$S_n = \frac{1}{n} \sum\limits_{i=1}^n X_i,\; n \in \mathbb{N}$ .

Тогда $S_n \to^{\!\!\!\!\!\! \mathbb{P}} \mu$ .

Усиленный закон больших чисел

Пусть есть бесконечная последовательность независимых одинаково распределённых случайных величин $\{X_i\}_{i=1}^{\infty}$ , определённых на одном вероятностном пространстве $(\Omega,\mathcal{F},\mathbb{P})$ . Пусть $\mathbb{E}X_i = \mu,\; \forall i\in \mathbb{N}$ . Обозначим $S_n$ выборочное среднее первых $n$ членов:

$S_n = \frac{1}{n} \sum\limits_{i=1}^n X_i,\; n \in \mathbb{N}$ .

Тогда $S_n \to \mu$ почти наверное.