Закон больших чисел

Материал из MachineLearning.

Версия от 10:44, 5 января 2010; Лошкарёв Сергей (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Перейти к: навигация, поиск

Данная статья является непроверенным учебным заданием.

Студент: Участник:Лошкарёв Сергей

Преподаватель: Участник:Константин Воронцов

Срок: 8 января 2010

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.

Закон больших чисел в теории вероятностей утверждает, что эмпирическое среднее (среднее арифметическое) конечной выборки из фиксированного распределения близко к теоретическому среднему (математическому ожиданию) этого распределения. В зависимости от вида сходимости различают слабый закон больших чисел, когда имеет место сходимость по вероятности, и усиленный закон больших чисел, когда имеет место сходимость почти всюду.

Всегда найдётся такое количество испытаний, при котором с любой заданной наперёд вероятностью частота появления некоторого события будет сколь угодно мало отличаться от его вероятности.

Слабый закон больших чисел

Пусть есть бесконечная последовательность одинаково распределённых и некоррелированных случайных величин $\{X_i\}_{i=1}^{\infty}$ , определённых на одном вероятностном пространстве $(\Omega,\mathcal{F},\mathbb{P})$ . То есть их ковариация $\mathrm{cov}(X_i,X_j) = 0,\; \forall i \not=j$ . Пусть $\mathbb{E}X_i = \mu,\; \forall i\in \mathbb{N}$ . Обозначим $S_n$ выборочное среднее первых $n$ членов:

$S_n = \frac{1}{n} \sum\limits_{i=1}^n X_i,\; n \in \mathbb{N}$ .

Тогда $S_n \to^{\!\!\!\!\!\! \mathbb{P}} \mu$ .

Усиленный закон больших чисел

Пусть есть бесконечная последовательность независимых одинаково распределённых случайных величин $\{X_i\}_{i=1}^{\infty}$ , определённых на одном вероятностном пространстве $(\Omega,\mathcal{F},\mathbb{P})$ . Пусть $\mathbb{E}X_i = \mu,\; \forall i\in \mathbb{N}$ . Обозначим $S_n$ выборочное среднее первых $n$ членов:

$S_n = \frac{1}{n} \sum\limits_{i=1}^n X_i,\; n \in \mathbb{N}$ .

Тогда $S_n \to \mu$ почти наверное.