Биномиальное распределение
Материал из MachineLearning.
--Vitsemgol 11:09, 6 декабря 2012 (MSK)
Функция вероятности | |
Функция распределения | |
Параметры | — число «испытаний» — вероятность «успеха» |
Носитель | |
Функция вероятности | |
Функция распределения | |
Математическое ожидание | |
Медиана | одно из |
Мода | |
Дисперсия | |
Коэффициент асимметрии | |
Коэффициент эксцесса | |
Информационная энтропия | |
Производящая функция моментов | |
Характеристическая функция |
Традиционная интерпретация 20-го века
Определение
Биномиальное распределение — дискретное распределение вероятностей случайной величины принимающей целочисленные значения с вероятностями:
Данное распределение характеризуется двумя параметрами: целым числом называемым числом испытаний, и вещественным числом называемом вероятностью успеха в одном испытании. Биномиальное распределение — одно из основных распределений вероятностей, связанных с последовательностью независимых испытаний. Если проводится серия из независимых испытаний, в каждом из которых может произойти "успех" с вероятностью то случайная величина, равная числу успехов во всей серии, имеет указанное распределение. Эта величина также может быть представлена в виде суммы независимых слагаемых, имеющих распределение Бернулли.
Основные свойства
- Математическое ожидание:
- Дисперсия:
- Асимметрия: при распределение симметрично относительно центра
Асимптотические приближения при больших
Если значения велики, то непосредственное вычисление вероятностей событий, связанных с данной случайной величиной, технически затруднительно. В этих случаях можно использовать приближения биномиального распределения распределением Пуассона и нормальным (приближение Муавра-Лапласа).
Приближение Пуассона
Приближение распределением Пуассона применяется в ситуациях, когда значения большие, а значения близки к нулю. При этом биномиальное распределение аппроксимируется распределением Пуассона с параметром
Строгая формулировка: если и таким образом, что то
Более того, справедлива следующая оценка. Пусть — случайная величина, имеющая распределение Пуассона с параметром Тогда для произвольного множества справедливо неравенство:
Доказательство и обзор более точных результатов, касающихся точности данного приближения, можно найти в [1, гл. III, §12].
Нормальное приближение
Приближение нормальным распределением используется в ситуациях, когда а фиксировано. Это приближение можно рассматривать как частный случай центральной предельной теоремы, применение которой основано на представлении в виде суммы слагаемых. Приближение основано на том, что при указанных условиях распределение нормированной величины
- где
близко к стандартному нормальному.
Локальная теорема Муавра-Лапласа
Данная теорема используется для приближенного вычисления вероятностей отдельных значений биномиального распределения. Она утверждает [1, гл. I, §6], что равномерно по всем значениям таким что имеет место
где — плотность стандартного нормального распределения.
Интегральная теорема Муавра-Лапласа
На практике необходимость оценки вероятностей отдельных значений, которую дает локальная теорема Муавра-Лапласа, возникает нечасто. Гораздо более важно оценивать вероятности событий, включающих в себя множество значений. Для этого используется интегральная теорема, которую можно сформулировать в следующем виде [1, гл. I, §6]:
- при
где случайная величина имеет стандартное нормальное распределение и аппроксимирующая вероятность определяется по формуле
где — функция распределения стандартного нормального закона:
Есть ряд результатов, позволяющих оценить скорость сходимости. В [1, гл. I, §6] приводится следующий результат, являющийся частным случаем теоремы Берри-Эссеена:
где — функция распределения случайной величины На практике решение о том, насколько следует доверять нормальному приближению, принимают исходя из величины Чем она больше, тем меньше будет погрешность приближения.
Заметим, что асимптотический результат не изменится, если заменить строгие неравенства на нестрогие и наоборот. Предельная вероятность от такой замены также не поменяется, так как нормальное распределение абсолютно непрерывно и вероятность принять любое конкретное значение для него равна нулю. Однако исходная вероятность от такой замены может измениться, что вносит в формулу некоторую неоднозначность. Для больших значений изменение будет невелико, однако для небольших это может внести дополнительную погрешность.
Для устранения этой неоднозначности, а также повышения точности приближения рекомендуется задавать интересующие события в виде интервалов с полуцелыми границами. При этом приближение получается точнее. Это связано с тем интуитивно понятным соображением, что аппроксимация кусочно-постоянной функции (функции распределения биномиального закона) с помощью непрерывной функции дает более точные приближения между точками разрыва, чем в этих точках.
Пример
Пусть Оценим вероятность того, что число успехов будет отличаться от наиболее вероятного значения не более чем на . Заметим, что значение очень мало, поэтому применение нормального приближения здесь довольно ненадежно.
Точная вероятность рассматриваемого события равна
Применим нормальное приближение с той расстановкой неравенств, которая дана выше (снизу строгое, сверху нестрогое):
Ошибка приближения равна .
Теперь построим приближение, используя интервал с концами в полуцелых точках:
Ошибка приближения равна — примерно в 5 раз меньше, чем в предыдущем подходе.
Литература
1. Ширяев А.Н. Вероятность. — М.: МЦНМО, 2004.
Ссылки
- Биномиальное распределение (Википедия)
- Binomial distribution (Wikipedia)
Настоящая интерпретация 21-го века
Биномиальное распределение традиционной интерпретации основано на трех ложных постулатах:
- Биномиальное распределение — распределение одной случайной величины;
- Биномиальное распределение появляется в последовательности независимых испытаний (экспериментов);
- Математическое ожидание биномиального распределения равно , где - конечное число независимых испытаний с двумя взаимно исключающими исходами каждое: положительный исход 1 c вероятностью и отрицательный исход 0 с вероятностью .
Доказательство ложности постулатов [1], [1].
Теорема 1. Биномиальное распределение не является распределением одной случайной величины.
Доказательство.
Если энциклопедически известно [1], что биномиальное распределение является частным случаем традиционной интерпретации полиномиального распределения как совместного распределения вероятностей независимых случайных величин при сокращении в нём числа случайных величин до двух, то подставляя условие в формулу традиционной интерпретации полиномиального распределения
- ,
- ,
получим формулу биномиального распределения не одной случайной величины, а двух случайных величин
- ,
- ,
что и требовалось доказать.
Примечание.
Характер зависимости второй случайной величины от первой описан ниже.
Доказательство ложности второго и третьего постулатов.
Теорема 2. Биномиальное распределение не появляется в последовательности независимых испытаний (экспериментов) и его математическое ожидание не равно .
Доказательство.
Допустим, что
математическое ожидание биномиального распределения, появляющегося в последовательности независимых испытаний (экспериментов). Тогда при выполнении условия
математическое ожидание этого распределения будет больше единицы, что противоречит аксиоматике Колмогорова, согласно которой сумма всех вероятностей распределения, включая и его математическое ожидание, должна быть равной единице.
Теорема 2 доказана.
Биномиальная схема повторных циклов случайных зависимых экспериментов
Каждый цикл экспериментов осуществляют методом выбора без возвращения в дискретной временной последовательности
- .
Каждая из случайных величин распределения
это наступлений одного события
в - ый момент времени при условии, что в - ый момент произошло наступлений предшествующего события , — распределения Бернулли с успехом, вероятности которых нормированы
и неизменны во время проведения экспериментов.
Если в каждом цикле экспериментов вероятность наступления события равна , то биномиальная вероятность равна вероятности того, что при экспериментах события наступят раз соответственно.
Случайная величина биномиального распределения
в соответствующей точке дискретной временной последовательности имеет:
пространство элементарных событий
- ,
вероятность
- ,
математическое ожидание
и дисперсию
- .
Пространство элементарных событий биномиального распределения есть сумма точечных пространств элементарных событий его случайных величин, образующих дискретную последовательность точек цикла, а вероятность биномиального распределения — произведение вероятностей его случайных величин.
Технические задачи и технические результаты
Для получения биномиального распределения необходимо решить две технические задачи и получить технические результаты, относящиеся к математической физике [1], [1].
Первая и вторая технические задачи — соответственно получение вероятности и математического ожидания биномиального распределения.
Технические результаты — набор технических параметров, с одной стороны, минимально необходимый для описания биномиального распределения и его случайных величин, с другой стороны, позволяющий при необходимости расширить число параметров с целью получения дополнительных сведений о распределении, например, таких как корреляционная матрица, ковариационная матрица и другие.
Минимально необходимый набор параметров при решении первой технической задачи: пространство элементарных событий, вероятность, математическое ожидание и дисперсия каждой случайной величины распределения, дисперсия распределения и произведение математических ожиданий его случайных величин как исходное выражение для решения второй технической задачи.
При решении второй технической задачи минимально необходимый набор параметров аналогичен предыдущему набору. Исключен из-за ненадобности один параметр — произведение математических ожиданий случайных величин и дополнен двумя параметрами — максимальной вероятностью и максимальной дисперсией биномиального распределения.
Биномиальное распределение — совместное распределение двух случайных величин [1]
- ,
- ,
определённых на точечных пространствах элементарных событий
и принимающих в дискретные последовательные моменты времени
целые неотрицательные значения
- ,
взаимосвязанные условием
- ,
согласно которому
если в первый момент времени первая случайная величина приняла значение
- ,
то во второй момент времени вторая случайная величина принимает значение
- .
Характер зависимости случайных величин в каждом цикле экспериментов:
- только первая случайная величина является независимой, а вторая случайная величина зависима от первой;
- если первая случайная величина в первый момент времени приняла своё максимально возможное значение, равное , то вторая случайная величина во второй момент времени обязана принять своё минимальное (нулевое) значение в противном случае не будет выполнено условие суммирования числовых значений случайных величин распределения, согласно которому ;
- если первая случайная величина в первый момент времени приняла своё минимальное (нулевое) значение , то вторая случайная величина во второй момент времени обязана принять своё максимальное значение в противном случае не будет выполнено условие .
Характеристики случайных величин биномиального распределения:
пространство элементарных событий
- ,
вероятность
- ,
математическое ожидание
- ,
дисперсия
- ,
производящая
и характеристическая
функции.
Характеристики биномиального распределения:
пространство элементарных событий
- ,
расположенное в точках временной последовательности,
вероятность
- ,
дисперсия
- ,
ковариационная матрица , где
- ,
корреляционная матрица , где
- квадрат критерий для полиномиально распределенных случайных величин
- .
Урновая модель биномиального распределения содержит одну исходную урну и две приёмные урны. В начальный момент времени исходная урна содержит - множество различимых неупорядоченных элементов, а приёмные урны пусты. Объем каждой из них не менее объёма исходной урны. Нумерация приёмных урн соответствует нумерации случайных величин биномиального распределения.
Первая выборка
в первый момент времени направляется в первую приёмную урну с вероятностью каждого элемента.
Во второй момент времени все оставшиеся элементы исходной урны, образующие вторую выборку
- ,
направляются во вторую приёмную урну с вероятностью каждого элемента.
В результате исходная урна пуста, а все её элементы размещены в приёмных урнах.
После обработки результатов разбиения множества на подмножества элементы возвращают на прежнее место, и урновая модель готова к проведению очередного цикла зависимых экспериментов.
Произведение вероятностей попадания элементов в две приёмные урны есть биномиальное распределение .
Математическое ожидание биномиального распределения
получают одним из двух способов: как максимум произведения математических ожиданий его случайных величин, или как максимум вероятности распределения.
Необходимые
и достаточные
условия получения математического ожидания биномиального распределения.
Математическое ожидание
- ,
максимальная вероятность
-
равна математическому ожиданию,
максимальная дисперсия
- .
Пространство элементарных событий биномиального распределения при получении его математического ожидания
расположено в точках временной последовательности.
Урновая модель получения математического ожидания биномиального распределения содержит одну исходную урну и две приёмные урны единичных объемов. Нумерация приёмных урн соответствует нумерации случайных величин биномиального распределения.
В начальный момент времени исходная урна содержит два различимых элемента, а приёмные урны пусты.
В первый момент времени из исходной урны выбирают один элемент и направляют его в первую приёмную урну с вероятностью .
Во второй момент времени оставшийся элемент исходной урны отправляют во вторую приёмную урну с вероятностью .
В результате исходная урна пуста, а её два элемента по одному размещены в приёмных урнах. После обработки результатов разбиения исходного множества на два подмножества все элементы из приёмных урн возвращают в исходную урну. На этом один цикл повторных зависимых экспериментов закончен, и урновая модель готова к проведению следующего цикла экспериментов.
Произведение вероятностей попадания по одному произвольному элементу в каждую приёмную урну есть математическое ожидание биномиального распределения.
Изменение характеристик биномиального распределения в окрестности его математического ожидания приведено в таблице 1.
Числовые значения первой случайной величины Числовые значения второй случайной величины Вероятность распределения Дисперсия распределения Математическое ожидание распределения 1 1 0,50 0,75 0,50 2 0 0,25 0,50 0 2 0,25 0,50 Таблица 1 – Окрестности математического ожидания биномиального распределения настоящей интерпретации 21-го века Вероятность биномиального распределения как функция двух переменных является симметричной функцией относительно своего математического ожидания.
Биномиальное распределение как процесс выполнения взаимосвязанных действий над объектами
Объекты: множество, его подмножества и их элементы как объективная реальность, существующая вне нас и независимо от нас.
Биномиальное распределение это:
- случайный процесс безвозвратного разделения последовательно во времени и в пространстве конечного - множества различимых неупорядоченных элементов на две части случайных объёмов, сумма которых равна объёму исходного множества: ,
- разделение множества осуществляют выборками без возвращения (изъятые из множества элементы не возвращают обратно во множество до полного окончания экспериментов),
- вероятность попадания одного произвольного элемента множества в каждое из подмножеств принимают за вероятность случайной величины распределения Бернулли с положительным исходом ,
- результаты испытаний Бернулли неизменны во время проведения разбиения множества и пронормированы согласно аксиоматике Колмогорова,
- очерёдность следования выборок принимают за очередность следования во времени и нумерацию случайных величин биномиального распределения,
- случайный объём каждой выборки в момент времени принимают за числовое значение соответствующей случайной величины биномиального распределения,
- первая случайная величина биномиального распределения является независимой и может принимать любое случайное значение в пределах от нуля до числового значения исходного множества ,
- вторая случайная величина биномиального распределения принимает числовое значение , равное числу элементов множества оставшееся после изъятия из него первой выборкой случайного числа элементов ,
- результаты каждого разбиения обрабатывают вероятностными методами, определяют технические характеристике всех выборок и принимают их за технические характеристики случайных величин биномиального распределения,
- минимально необходимый набор технических характеристик случайных величин и биномиального распределения в целом это: пространство элементарных событий, вероятность , математическое ожидание и дисперсия,
- математическое ожидание биномиального распределения имеет место, когда число выборок равно числу элементов -множества и численно равно .
Сравнительная оценка характеристик биномиальных распределений настоящей и традиционной интерпретаций
Цель сравнительной оценки показать, что биномиальное распределение настоящей интерпретации (таблица 2) соответствует, а биномиальное распределение традиционной интерпретации (таблица 3) не соответствует современным требованиям аксиоматики Колмогорова.
Несоответствие состоит в том, что, во-первых, биномиальное распределение традиционной интерпретации представлено распределением одной случайной величины, а по своей сути и определению оно должно быть распределением двух случайных величин.
Во-вторых, при неограниченном увеличении числа независимых испытаний ( ) математическое ожидание () биномиального распределения традиционной интерпретации устремляется к бесконечности, что недопустимо, поскольку сумма всех вероятностей распределения, включая и его математическое ожидание, в любом распределении обязана быть равной единице (см., например, таблицу 1). Кроме того, математическое ожидание () и дисперсия () первой случайной величины биномиального распределения настоящей интерпретации (таблица 2) приняты за математическое ожидание () и дисперсию () биномиального распределения традиционной интерпретации (таблица 3).
Характеристики Пространство элементарных событий Вероятность Математическое ожидание Дисперсия Распределение 0,5 Первая случайная величина распределения Вторая случайная величина Таблица 2 – Характеристики биномиального распределения настоящей интерпретации 21-го века Характеристики Пространство элементарных событий Вероятность распределения Математическое ожидание распределения Дисперсия распределения Распределение Произвольная последовательность независимых испытаний с двумя взаимоисключающими исходами каждый: исход 1 с вероятностью , исход 0 с вероятностью Таблица 3 – Основные характеристики биномиального распределения интерпретации 20-го века Историческая справка [1]
Литература