Математическое ожидание
Материал из MachineLearning.
Математическое ожидание — мера среднего значения случайной величины в теории вероятностей. В зарубежной литературе обозначается через (например, от англ. Expected value или нем. Erwartungswert), в русской (возможно, от англ. Mean value).
Содержание |
Определение
Пусть задано вероятностное пространство и определённая на нём случайная величина . Тогда, если существует интеграл Лебега от по пространству , то он называется математическим ожиданием, или средним значением, и обозначается или .
Основные формулы для математического ожидания
- Если — функция распределения случайной величины, то её математическое ожидание задаётся интегралом Лебега — Стилтьеса:
- .
Математическое ожидание дискретного распределения
- Если — дискретная случайная величина, имеющая распределение
- ,
то прямо из определения интеграла Лебега следует, что
- .
Математическое ожидание целочисленной величины
- Если — положительная целочисленная случайная величина (частный случай дискретной), имеющая распределение вероятностей
то её математическое ожидание может быть выражено через производящую функцию последовательности
как значение первой производной в единице: . Если математическое ожидание бесконечно, то и мы будем писать
Теперь возьмём производящую функцию последовательности «хвостов» распределения
Эта производящая функция связана с определённой ранее функцией свойством: при . Из этого по теореме о среднем (формуле конечных приращений) следует, что математическое ожидание равно просто значению этой функции в единице:
Математическое ожидание абсолютно непрерывного распределения
- Математическое ожидание абсолютно непрерывной случайной величины, распределение которой задаётся плотностью , равно
- .
Математическое ожидание случайного вектора
Пусть — случайный вектор. Тогда по определению
- ,
то есть математическое ожидание вектора определяется покомпонентно.
Математическое ожидание преобразования случайной величины
Пусть — борелевская функция, такая что случайная величина имеет конечное математическое ожидание. Тогда для него справедлива формула:
- ,
если имеет дискретное распределение;
- ,
если имеет абсолютно непрерывное распределение.
Если распределение случайной величины общего вида, то
- .
В специальном случае, когда , Математическое ожидание называется -тым моментом случайной величины.
Простейшие свойства математического ожидания
- Математическое ожидание числа есть само число.
- — константа;
- Математическое ожидание линейно, то есть
- ,
- где — случайные величины с конечным математическим ожиданием, а — произвольные константы;
- Математическое ожидание сохраняет неравенства, то есть если почти наверное, и — случайная величина с конечным математическим ожиданием, то математическое ожидание случайной величины также конечно, и более того
- ;
- Математическое ожидание не зависит от поведения случайной величины на событии вероятности нуль, то есть если почти наверное, то
- .
- Математическое ожидание произведения двух независимых случайных величин равно произведению их математических ожиданий
- .
Дополнительные свойства математического ожидания
- Неравенство Маркова.
Пусть случайная величина определена на вероятностном пространстве , и её математическое ожидание конечно. Тогда
- ,
где .
- Теорема Леви о монотонной сходимости.
Пусть — монотонная последовательность неотрицательных почти наверное интегрируемых случайных величин. Тогда
- .
- Теорема Лебега о мажорируемой сходимости.
Пусть есть сходящаяся почти наверное последовательность случайных величин: почти наверное. Пусть в дополнение существует интегрируемая случайная величина , такая что почти наверное. Тогда случайные величины интегрируемы и
- .
- Тождество Вальда.
Пусть — независимые одинаково распределенные случайные величины. — также является случайной величиной имеющей дискретное распределение и принимающая положительные целые значения. Далее, и должны иметь конечное математическое ожидание и должно быть независимым от . Тогда
- .
- Лемма Фату.
Пусть есть неотрицательная последовательность интегрируемых случайных величин . Тогда выполняется следующее неравенство для нижних пределов:
- .
- Математическое ожидание случайной величины может быть выражено через её производящую функцию моментов как значение первой производной в нуле:
Примеры
- Пусть случайная величина имеет дискретное равномерное распределение, то есть Тогда её математическое ожидание
равно среднему арифметическому всех принимаемых значений.
- Пусть случайная величина имеет непрерывное равномерное распределение на интервале , где . Тогда её плотность имеет вид и математическое ожидание равно
- .
- Пусть случайная величина имеет стандартное распределение Коши. Тогда
- ,
то есть математическое ожидание не определено.
Литература
- В.Феллер Глава XI. Целочисленные величины. Производящие функции // Введение в теорию вероятностей и её приложения = An introduction to probability theory and its applicatons, Volume I second edition. — 2-е изд. — М.: Мир, 1964. — С. 270—272.