Математическое ожидание

Материал из MachineLearning.

Математическое ожидание — мера среднего значения случайной величины в теории вероятностей. В зарубежной литературе обозначается через $\mathbb{E}[X]$ (например, от англ. Expected value или нем. Erwartungswert), в русской $M[X]$ (возможно, от англ. Mean value).

Содержание

1 Определение
2 Основные формулы для математического ожидания
- 2.1 Математическое ожидание дискретного распределения
  - 2.1.1 Математическое ожидание целочисленной величины
- 2.2 Математическое ожидание абсолютно непрерывного распределения
3 Математическое ожидание случайного вектора
4 Математическое ожидание преобразования случайной величины
5 Простейшие свойства математического ожидания
6 Дополнительные свойства математического ожидания
7 Примеры
8 Литература

Определение

Пусть задано вероятностное пространство $(\Omega,\mathcal{F},\mathbb{P})$ и определённая на нём случайная величина $X$ . Тогда, если существует интеграл Лебега от $X$ по пространству $\Omega$ , то он называется математическим ожиданием, или средним значением, и обозначается $M[X]$ или $\mathbf{E}[X]$ .

$M[X]=\int\limits_{\Omega}\! X(\omega)\, \mathbb{P}(d\omega).$

Основные формулы для математического ожидания

Если $F_X(x)$ — функция распределения случайной величины, то её математическое ожидание задаётся интегралом Лебега — Стилтьеса:

$M[X]=\int\limits_{-\infty}^{\infty}\!x\, dF_X(x)$ .

Математическое ожидание дискретного распределения

Если $X$ — дискретная случайная величина, имеющая распределение

$\mathbb{P}(X=x_i) = p_i,\; \sum\limits_{i=1}^{\infty} p_i = 1$ ,

то прямо из определения интеграла Лебега следует, что

$M[X]=\sum\limits_{i=1}^{\infty} x_i\, p_i$ .

Математическое ожидание целочисленной величины

Если $X$ — положительная целочисленная случайная величина (частный случай дискретной), имеющая распределение вероятностей

$\mathbb{P}(X=j) = p_i,\; j=0,1,...;\quad \sum\limits_{j=0}^{\infty} p_j = 1$

то её математическое ожидание может быть выражено через производящую функцию последовательности $\{p_i\}$

$P(s)=\sum_{k=0}^\infty\;p_k s^k$

как значение первой производной в единице: $M[X] = P'(1)$ . Если математическое ожидание $X$ бесконечно, то $\lim_{s\to 1}P'(s)=\infty$ и мы будем писать $P'(1)=M[X]=\infty$

Теперь возьмём производящую функцию $Q(s)$ последовательности «хвостов» распределения $\{q_k\}$

$q_k=\mathbb{P}(X>j)=\sum_{j=k+1}^\infty{p_j};\quad Q(s)=\sum_{k=0}^\infty\;q_k s^k.$

Эта производящая функция связана с определённой ранее функцией $P(s)$ свойством: $Q(s)=\frac{1-P(s)}{1-s}$ при $|s|<1$ . Из этого по теореме о среднем (формуле конечных приращений) следует, что математическое ожидание равно просто значению этой функции в единице:

$M[X]=P'(1)=Q(1)$

Математическое ожидание абсолютно непрерывного распределения

Математическое ожидание абсолютно непрерывной случайной величины, распределение которой задаётся плотностью $f_X(x)$ , равно

$M[X]=\int\limits_{-\infty}^{\infty}\! x f_X(x)\, dx$ .

Математическое ожидание случайного вектора

Пусть $X=(X_1,\dots,X_n)^{\top}:\:\Omega \to \mathbb{R}^n$ — случайный вектор. Тогда по определению

$M[X]=(M[X_1],\dots,M[X_n])^{\top}$ ,

то есть математическое ожидание вектора определяется покомпонентно.

Математическое ожидание преобразования случайной величины

Пусть $g:\:\mathbb{R}\to \mathbb{R}$ — борелевская функция, такая что случайная величина $Y = g(X)$ имеет конечное математическое ожидание. Тогда для него справедлива формула:

$M\left[g(X)\right] = \sum\limits_{i=1}^{\infty} g(x_i) p_i$ ,

если $X$ имеет дискретное распределение;

$M\left[g(X)\right] = \int\limits_{-\infty}^{\infty}\!g(x) f_X(x)\, dx$ ,

если $X$ имеет абсолютно непрерывное распределение.

Если распределение $\mathbb{P}^X$ случайной величины $X$ общего вида, то

$M\left[g(X)\right] = \int\limits_{-\infty}^{\infty}\!g(x)\, \mathbb{P}^X(dx)$ .

В специальном случае, когда $g(X)=X^k$ , Математическое ожидание $M\left[g(X)\right]=M[X^k]$ называется $k$ -тым моментом случайной величины.

Простейшие свойства математического ожидания

Математическое ожидание числа есть само число.

$M[a] = a$

$a \in \mathbb{R}$ — константа;

Математическое ожидание линейно, то есть

$M[aX+bY] = aM[X]+bM[Y]$ ,

где $X,Y$ — случайные величины с конечным математическим ожиданием, а $a,b\in \mathbb{R}$ — произвольные константы;

Математическое ожидание сохраняет неравенства, то есть если $0 \leq X \leq Y$ почти наверное, и $Y$ — случайная величина с конечным математическим ожиданием, то математическое ожидание случайной величины $X$ также конечно, и более того

$0 \leq M[X] \leq M[Y]$ ;

Математическое ожидание не зависит от поведения случайной величины на событии вероятности нуль, то есть если $X = Y$ почти наверное, то

$M[X]=M[Y]$ .

Математическое ожидание произведения двух независимых случайных величин $X,Y$ равно произведению их математических ожиданий

$M[XY] = M[X]M[Y]$ .

Дополнительные свойства математического ожидания

Неравенство Маркова.

Пусть случайная величина $X:\:\Omega \to \mathbb{R}$ определена на вероятностном пространстве $(\Omega, \mathcal{F},\mathbb{P})$ , и её математическое ожидание конечно. Тогда

$\mathbb{P}\left(|X| \geq a\right) \leq \frac{M[X]}{a}$ ,

где $a>0$ .

Теорема Леви о монотонной сходимости.

Пусть $\{X_n\}_{n=1}^{\infty}$ — монотонная последовательность неотрицательных почти наверное интегрируемых случайных величин. Тогда

$M\left[\lim\limits_{n\to \infty} X_n\right] = \lim\limits_{n\to\infty} M\left[X_n\right]$ .

Теорема Лебега о мажорируемой сходимости.

Пусть есть сходящаяся почти наверное последовательность случайных величин: $X_n\to X$ почти наверное. Пусть в дополнение существует интегрируемая случайная величина $Y$ , такая что $\forall n\in\mathbb{N}\quad|X_n|\leq Y$ почти наверное. Тогда случайные величины $X_n,\;X$ интегрируемы и

$\lim\limits_{n\to\infty}M\left[X_n\right]=M\left[X\right]$ .

Тождество Вальда.

Пусть $X_1,...,X_N$ — независимые одинаково распределенные случайные величины. $N$ — также является случайной величиной имеющей дискретное распределение и принимающая положительные целые значения. Далее, $X_i$ и $N$ должны иметь конечное математическое ожидание и $N$ должно быть независимым от $X_i$ . Тогда

$M\left[\sum_{i=1}^{N}X_i\right]=M[N]M[X]$ .

Лемма Фату.

Пусть есть неотрицательная последовательность интегрируемых случайных величин $\{X_n\}_{n=1}^{\infty}$ . Тогда выполняется следующее неравенство для нижних пределов:

$M\left[{\liminf\limits_{n\to \infty}}X_n\right] \le {\liminf\limits_{n\to \infty}} \,M\left[X_n\right]$ .

Математическое ожидание случайной величины $X$ может быть выражено через её производящую функцию моментов $G(u)$ как значение первой производной в нуле: $M[X] = G'(0)$

Примеры

Пусть случайная величина имеет дискретное равномерное распределение, то есть $\mathbb{P}(X = x_i) = \frac{1}{n},\; i=1,\ldots, n.$ Тогда её математическое ожидание

$M[X] = \frac{1}{n} \sum\limits_{i=1}^n x_i$

равно среднему арифметическому всех принимаемых значений.

Пусть случайная величина имеет непрерывное равномерное распределение на интервале $[a,b]$ , где $a<b$ . Тогда её плотность имеет вид $f_X(x) = \frac{1}{b-a} \mathbf{1}_{[a,b]}(x)$ и математическое ожидание равно

$M[X] = \int\limits_{a}^b\!\frac{x}{b-a}\, dx = \frac{a+b}{2}$ .

Пусть случайная величина $X$ имеет стандартное распределение Коши. Тогда

$\int\limits_{-\infty}^{\infty}\!xf_X(x)\, dx = \infty$ ,

то есть математическое ожидание $X$ не определено.

Литература

В.Феллер Глава XI. Целочисленные величины. Производящие функции // Введение в теорию вероятностей и её приложения = An introduction to probability theory and its applicatons, Volume I second edition. — 2-е изд. — М.: Мир, 1964. — С. 270—272.

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9C%D0%B0%D1%82%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B5_%D0%BE%D0%B6%D0%B8%D0%B4%D0%B0%D0%BD%D0%B8%D0%B5»

Категория: Теория вероятностей