Биномиальное распределение с равновероятными успехами испытаний Бернулли

Материал из MachineLearning.

Перейти к: навигация, поиск

Содержание

Определение

Биномиальное распределение с равновероятными успехами испытаний Бернулли — совместное распределение двух случайных величин, первая независимая, а вторая зависимая от первой

\prod_{i=1}^kP(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=\frac{n!}{n_1!n_2!}2^{-n},
i=1,2=k, \quad 2\le k \le n,

определённых на точечных пространствах элементарных событий

\Omega_1, \quad \Omega _2

и принимающих в дискретные последовательные моменты времени

t_1, \quad t_2, \quad t_i<t_{i+1}

целые неотрицательные значения

n_1, \quad n_2,

с равновероятными успехами

p_1=p_2=2^{-1},\quad p_1+p_2=1,

соответствующих распределений Бернулли и взаимосвязанные условием

n_1+n_2=n <\infty,

согласно которому

t_2, X_2=n_2 \mid t_1, X_1=n_1

если в первый момент времени t_1 первая случайная величина X_1 приняла случайное значение n _1, \quad 0\le n_1\le n, то во второй момент времени t_2,\quad t_2> t_1 вторая случайная величина X_2 вынуждена принять единственно возможное значение n_2=n-n_1, \quad 0\le n_2=n-n_1\le n.

Пояснение

Вероятность первой случайной величины X_1, принявшей в первый момент времени t_1 числовое значение n_1, равна числу сочетаний из n по n_1 {n \choose n_1}, умноженному на вероятность выбора одного элемента p_1=2^{-1}, возведённую в степень числа n_1 выбранных элементов

P_1( t_1,X_1=n_1)= {n \choose n_1}p_1^{n_1}= {n \choose n_1}2^{-n_1}.

Вероятность второй случайной величины X_2 принимает во второй момент времени t_2 числовое значение n_2=n-n_1 при условии, что в первый момент времени t_1 первая случайная величина X_1 приняла числовое значение n_1 равна числу сочетаний из n-n_1 по n_2=n-n_1 {n-n_1 \choose n_2=n-n_1}= {n-n_1 \choose n-n_1}=1, умноженному на вероятность выбора одного элемента p_2=2^{-1}, возведённую в степень числа n_2 выбранных элементов

P_2(t_2,X_2=n_2 \mid t_1,X_1=n_1)=p_2^{n_2}= 2^{-n_2}.

Произведение вероятностей первой и второй случайных величин есть вероятность биномиального распределения с равновероятными успехами испытаний Бернулли

P_1( t_1,X_1=n_1) P_2(t_2,X_2=n_2 \mid t_1,X_1=n_1)={n \choose n_1}2^{-n_1}2^{-n_2}=\frac{n!}{n_1! n_2!}2^{-n}.

где \frac{n!}{n_1! n_2!}= {n \choose n_1}={n\choose n_2}, \quad n_1+n_2=n .

Технические задачи и технические результаты

Для получения биномиального распределения необходимо решить две технические задачи и получить технические результаты, относящиеся к математической физике [1], [1]. Первая и вторая технические задачи — соответственно получение вероятности и математического ожидания биномиального распределения. Технические результаты — набор технических параметров, с одной стороны, минимально необходимый для описания биномиального распределения и его случайных величин, с другой стороны, позволяющий при необходимости расширить число параметров с целью получения дополнительных сведений о распределении, например, таких как корреляционная матрица, ковариационная матрица, \chi^2 -квадрат критерий и другие. Минимально необходимый набор параметров при решении первой технической задачи: пространство элементарных событий, вероятность, математическое ожидание и дисперсия каждой случайной величины распределения, дисперсия распределения и произведение математических ожиданий его случайных величин как исходное выражение для решения второй технической задачи.

При решении второй технической задачи минимально необходимый набор параметров аналогичен предыдущему набору. Исключен из-за ненадобности один параметр — произведение математических ожиданий случайных величин и дополнен двумя параметрами — максимальной вероятностью и максимальной дисперсией биномиального распределения (таблица 1).

Таблица 1 – Характеристики биномиального распределения с равновероятными успехами испытаний Бернулли
Пространство элементарных событий \sum_{i=1}^{k=2}\Omega_i(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})
Вероятность \prod_{i=1}^{k=2}P(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=\frac{n!}{n_1! n_2!}2^{-n}
Максимальная вероятность

(при математическом ожидании распределения)

\left(\frac{n!}{n_i!n_2!}2^{-n}\right)_{max}= \frac{1}{2}
Математическое ожидание

(как максимальное произведение математических ожиданий случайных величин)

\left(\prod_{i=1}^{k=2}E(t_i, X_i=n_i \mid t_{i-1},X_{i-1})\right)_{max}=\frac{1}{2}
Дисперсия \sum_{i=1}^{k=2}D(t_i,X_i \mid t_{i-1},X_{i-1})=\sum_{i=1}^2(n-n_{i-1})\frac{k-1}{k^2}
Максимальная дисперсия

(при математическом ожидании распределения)

D(X_1,X_2|X_1)_{max}=\left(\sum_{i-1}^{k=2}(n-n_{i-1})p_iq_i \right)_{max}=\frac{3}{4}
Ковариационная матрица B=\| b_{ij} \|, где\rho _{ij} = \begin{cases} 1, & i=j,\\ 0, & i \not= j \end{cases}

Корреляционная матрица P=\| \rho_{ij} \|, где \rho _{ij} = \begin{cases} 1, & i=j,\\ 0, & i \not= j \end{cases}

\chi^2 - критерий \chi^2=\sum_{i=1}^2 [X_i-(n -n_{i-1})p_i^{(0)}]^2/(n -n_{i-1})p_i^{(0)}==-n+\sum_{i=1}^2X_i^2 /(n-n_{i-1})p_i^{(0)}

Схема повторных циклов случайных зависимых экспериментов с равновероятными успехами испытаний Бернулли

Биномиальное распределение с равновероятными успехами испытаний Бернулли появляется в так называемой биномиальной схеме повторных циклов случайных зависимых экспериментов. Каждый цикл экспериментов осуществляют методом выбора без возвращения в дискретной временной последовательности t_1,\quad t_2 , номера точек которой соответствуют номерам случайных величин.

Каждая из случайных величин распределения X_i=n_i|X_{i-1}=n_{i-1} — это число n_i наступлений одного соответствующего события

x_i,\quad i=1,\quad 2=k

в i - ый момент времени при условии, что в (i-1) - ый момент произошло n_{i-1} наступлений предшествующего события x_{i-1} с положительным исходом, все вероятности которых равны p_1=p_2 нормированы p_1+p_2=1 и неизменны во время проведения экспериментов. Если в каждом цикле экспериментов вероятность наступления события x_i равна p_i, то биномиальная вероятность равна вероятности того, что при n экспериментах события x_1, \quad x_2 наступят n_1,\quad n_2 раз соответственно. Случайная величина биномиального распределения с равновероятными успехами испытаний Бернулли в соответствующей точке дискретной временной последовательности t_1,\quad t_2 имеет: пространство элементарных событий

\Omega_i(t_i, X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=[0\le n_i \le n-\ldots-n_{i-1}],

вероятность

P(t_i, X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})={n-\ldots-n_{i-1}\choose n_i}k^{-1}={n-\ldots-n_{i-1}\choose n_i}2^{-1},

математическое ожидание

E(t_i, X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=(n-\ldots-n_{i-1})k^{-1}=(n-\ldots-n_{i-1})2^{-1}

и дисперсию

D(t_i,X_i \mid t_{i-1},X_{i-1})=( n-\ldots-n_{i-1})\frac{k-1}{k^2}=( n-\ldots-n_{i-1})\frac{1}{4}

Пространство элементарных событий биномиального распределения с равновероятными успехами испытаний Бернулли есть сумма точечных пространств элементарных событий его случайных величин, образующих дискретную последовательность точек t_1,\quad t_2 цикла, а вероятность биномиального распределения с равновероятными успехами испытаний Бернулли — произведение вероятностей его случайных величин.

Вероятностная схема биномиального распределения с равновероятными успехами испытаний Бернулли

содержит циклы повторных зависимых экспериментов. Количество циклов не ограничено. В каждом цикле число экспериментов равно числу случайных величин распределения. Первый эксперимент является независимым, а второй эксперимент в цикле зависим от результата первого эксперимента. Все эксперименты осуществляют методом выбора без возвращения — изъятые элементы не возвращают на свое прежнее место до полного окончания данного цикла.

Случайные события – выборки случайных объемов n_i,\quad i=1,2=k, \sum_{i=1}^{k=2}n_i=n осуществляют из n - множества различимых (различающиеся между собой хотя бы одним признаком, например, порядковым номером) неупорядоченных (хаотично расположенных) элементов и следуют в последовательные моменты времени t_1,\quad t_2.

Число выборок k=2 равно числу случайных величин распределения.

Случайные величины X_1,\quad X_2 распределения — появления случайного числа элементов n - множества в n_i - подмножествах n_i, n_2 , с равными вероятностями p_i=p_2=k^{-1}=2^{-1} каждого элемента.

Попадание одного произвольного элемента n - множества в одно из подмножеств — независимое событие — испытание Бернулли с положительным исходом; вероятности этих испытаний равны p_1=p_2, нормированы p_1+p_2=1 и неизменны во время проведения повторных зависимых экспериментов. Один цикл повторных зависимых экспериментов, осуществляемых методом выбора без возвращения — последовательность k=2 выборок случайных объёмов n_1,\quad n_2, обработка результатов разделения n - множества на два подмножества n_1,\quad n_2 в последовательные моменты времени t_1, \quad t_2 и возврат всех n изъятых элементов на прежнее место к началу следующего цикла. Совместное проявление вероятностей попадания k=2 выборок случайных объёмов n_1,\quad n_2 в одном цикле экспериментов — вероятность биномиального распределения с равновероятными успехами испытаний Бернулли p_i=p_2=k^{-1}=2^{-1}.

Урновая модель биномиального распределения с равновероятными успехами испытаний Бернулли

Состав: одна исходная урна и две приёмных урн. Объем каждой из них не менее объёма исходной урны. Нумерация приёмных урн соответствует нумерации случайных величин биномиального распределения. В начальный момент времени t_0 исходная урна содержит n - множество различимых неупорядоченных элементов, а все приёмные урны пусты. В первый момент времени t_1 из исходной урны осуществляют первую выборку n_1, 0\le n_1\le n случайного объёма и направляют её в первую приёмную урну с вероятностью p_1=k^{-1}=2^{-1} каждого элемента. Во второй момент времени t_2 все элементы n_2=n-n_1, оставшиеся в исходной урне, направляют во вторую приёмную урну с вероятностью p_2=k^{-1}=2^{-1} каждого. В результате исходная урна пуста, а все её элементы размещены в приёмных урнах. После обработки результатов разбиения исходного n - множества на два подмножества все элементы из приёмных урн возвращают в исходную урну. На этом один цикл повторных зависимых экспериментов закончен, и урновая модель готова к проведению следующего аналогичного цикла. Произведение вероятностей попадания n_1, 0\le n_1\le n, \quad n_2=n-n_1 элементов исходного n - множества в первую и вторую урны соответственно есть вероятность биномиального распределения с равновероятными исходами испытаний Бернулли.

Два способа получения вероятностей биномиального распределения с равновероятными успехами испытаний Бернулли

Первый способ относится к способам разделения дискретного целого на две части случайных объёмов, в сумме равные исходному целому.

Второй способ является частным случаем способа разделения дискретного целого на несколько частей случайных объёмов, в сумме равных исходному целому.

Первый способ

Целым является множество дискретных элементов, различимых (хотя бы одним признаком, например, порядковыми номерами) и не упорядоченных (хаотично расположенных): 2\le n < \infty .

Составные части — два дискретных подмножества, в сумме равные объёму множества.

Разделение множества на подмножества осуществляют выборками без возвращения. Выборки следуют во времени одна за другой. В начальный момент времени t_0 , не обязательно равный нулю t_0 \ne 0, множество содержит n, 2\le n < \infty различимых неупорядоченных элементов. В первый момент времени t_1 из n-множества осуществляют первую выборку случайного объёма n_1, 0 \le n_1 \le n с вероятностью p_1=2^{-1} каждого её элемента. Вероятность первой случайной величины P_1(t_1,\quad X_1=n_1) биномиального распределения определяется числом сочетаний {n \choose n_1} из n по n_1, умноженным на вероятность p_1=2^{-1} выбора одного элемента, возведённую в степень числа n_1 выбранных элементов: P_1(t_1, X_1=n_1)={n \choose n_1}p_1^{n_1}={n \choose n_1}2^{-n_1}. Во второй момент времени t_2 все оставшиеся n-n_1 элементы исходного множества выбирают с вероятностью p_2=2^{-1} каждого её элемента. P_2(t_2, X_2=n_2 \mid t_1,X_1=n_1)={n-n_1 \choose n_2}2^{-n_2}. Произведение двух вероятностей есть вероятность биномиального распределения с равновероятными успехами испытаний Бернулли

\prod_{i=1}^{k=2}P_i(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=\frac{n!}{n_1!n_2!}2^{-n},
\sum_{i=1}^{k=2}n_i=n, \quad \sum_{i=1}^{k=2}p_i=1.

Когда число случайных величин равно k,\quad 0\le k \le n имеют место вероятность мультиномиального распределения с равновероятными успехами испытаний Бернулли.

\prod_{i=1}^kP_i(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=\frac{n!}{n_1!\cdots n_k!}k^{-n},
\sum_{i=1}^kn_i=n, \quad \sum_{i=1}^kp_i=1.

Второй способ

Способ получения вероятности биномиального распределения с равновероятными успехами испытаний Бернулли может быть получен как частный случай способа получения вероятности мультиномиального распределения с равновероятными успехами испытаний Бернулли при сокращении в последнем числа случайных величин до двух: k=2.

В итоге получаем требуемый результат

\prod_{i=1}^{k=2}P_i(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=\frac{n!}{n_1!n_2!}2^{-n},
\sum_{i=1}^{k=2}n_i=n, \quad \sum_{i=1}^{k=2}p_i=1.

Два способа получения математического ожидания биномиального распределения с равновероятными успехами испытаний Бернулли

Первый способ

Этот способ относится к техническим задачам разделения дискретного целого на две составные части случайных объёмов. От способа получения математического ожидания полиномиального распределения тем, что число выборок k равно числу k=2 случайных величин биномиального распределения. При этом, как и в полиномиальном распределении каждая выборка имеет единичный объём: n_i=1, \quad i=1,2=k, \quad k=n . Целым является множество дискретных элементов, различимых (хотя бы одним признаком, например, порядковыми номерами) и не упорядоченных (хаотично расположенных): 2\le n < \infty . Составные части — дискретные подмножества 2\le k \le n < \infty , в сумме равные объёму множества. Разделение множества на подмножества осуществляют выборками без возвращения. Выборки следуют во времени одна за другой. В начальный момент времени t_0 , не обязательно равный нулю t_0 \ne 0, множество содержит два n=2 различимых неупорядоченных элементов. В первый момент времени t_1 из n-множества осуществляют первую выборку n_1=1 единичного объёма с вероятностью p_1=n^{-1}. Вероятность первой случайной величины P_1(t_1, X_1=n_1=1) биномиального распределения определяется числом сочетаний {n \choose n_1} из n по n_1=1, умноженным на вероятность p_1=n^{-1} выбора одного элемента: P_1(t_1, X_1=n_1=1)={n \choose n_1}p_1={n \choose 1}n^{-1}=\frac{n}{n}. Во второй момент времени t_2 из оставшихся n-n_1 элементов исходного множества осуществляют вторую выборку n_2=1 единичного объёма с вероятностью p_2=n^{-1}. Вероятность второй случайной величины P_2(t_2, X_2=n_2=1) при условии, что в первый момент времени вероятность первая случайная величина полиномиального распределения приняла значение P_1(t_1, X_1=n_1=1), определяется числом сочетаний {n-n_1 \choose n_2} из n-n_1 по n_2=1, умноженным на вероятность p_2=n^{-1} выбора одного элемента:

P_2(t_2, X_2=n_2=1 \mid t_1,X_1=n_1=1)={n-n_1 \choose n_2}p_2={n-n_1 \choose 1}n^{-1}=\frac{n-1}{n}.

Произведение вероятностей есть математическое ожидание биномиального распределения с равновероятными успехами испытаний Бернулли

P_1(t_1, X_1=n_1=1)P_2(t_2, X_2=n_2=1 \mid t_1,X_1=n_1=1)=\frac{n-1}{n}\frac{n}{n}=\frac{n-1}{n}=\frac{1}{2},

\sum_{i=1}^{n=2}n_i=n, \quad \sum_{i=1}^{k=2}p_i=1.

Второй способ

Математическое ожидание биномиального распределения с равновероятными успехами испытаний Бернулли получают как частный случай математического ожидания мультиномиального распределения с равновероятными успехами испытаний Бернулли при одновременном сокращении числа случайных величин до двух и числа испытаний до двух k=2,\quad n=2 :

\prod_{i=1}^{n=2}P_i(t_i,X_i=n_i=1 \mid t_{i-1},X_{i-1}=n_{i-1}=1)=\prod_{i=1}^{n=2}\frac{n-n_{i-1}}{n}=\frac {n!}{n^n}=\frac {1}{2},
\sum_{i=1}^{n=2}n_i=n, \quad \sum_{i=1}^{k=2}p_i=1.

Биномиальное распределение как процесс выполнения взаимосвязанных действий над объектами

Объекты: множество, его подмножества и их элементы как объективная реальность, существующая вне нас и независимо от нас. Биномиальное распределение с равновероятными успехами испытаний Бернулли это:

  • случайный процесс безвозвратного разделения последовательно во времени t_1,\quad t_2 и в пространстве конечного n- множества различимых неупорядоченных элементов на две части n_1, \quad n_2 случайных объёмов, сумма которых равна объёму исходного множества: n_1+ n_2=n, \quad 2\le n<\infty ,
  • разделение множества осуществляют выборками без возвращения (изъятые из множества элементы не возвращают обратно во множество до полного окончания экспериментов),
  • вероятность попадания одного произвольного элемента множества в каждое из подмножеств принимают за соответствующую вероятность успеха (успешного завершения испытания) распределения Бернулли 0\le p_i<1, \quad i=1,2,
  • вероятности успехов Бернулли распределений нормируют \sum _{i=1}^{k=2} p_i =1 согласно аксиоматике Колмогорова и принимают неизменными до окончания испытаний,
  • очерёдность следования выборок принимают за очередность следования во времени и нумерацию случайных величин X_1, \quad X_2 биномиального распределения,
  • случайный объём каждой выборки n_i, \quad i=1,2 в момент времени t_i, \quad i=1,2 принимают за числовое значение соответствующей случайной величины X_i=n_i, \quad i=1,2 биномиального распределения,
  • если в первый момент времени t_1 первая случайная величина X_1 приняла значение
n_1, \quad 0\le n_1\le n,

то во второй момент времени t_2 вторая случайная величина X _2 принимает значение

n _2, \quad 0\le n_2=n- n_1,
  • результаты каждого разбиения обрабатывают вероятностными методами, определяют технические характеристике всех выборок и принимают их за технические характеристики случайных величин биномиального распределения,
  • минимально необходимый набор технических характеристик случайных величин и биномиального распределения в целом это: пространство элементарных событий, вероятность , математическое ожидание и дисперсия,
  • математическое ожидание биномиального распределения имеет место, когда число выборок k равно числу элементов n-множества k=n и численно равно \frac{n!}{n^n}=\frac{2!}{2^2}=\frac{1}{2}.

Биномиальное распределение как цепь Маркова

Биномиальное распределение с равновероятными успехами испытаний Бернулли появляется в последовательности двух испытаний, первое из них случайное независимое, а второе зависимое от первого испытания. Исходы испытаний конечны и счётны. По сути — это простейшая цепь Маркова. (X_0, называемое начальным распределением цепи Маркова, для биномиального распределения не имеет смысла t_0=0, \quad X_0=0, поскольку нумерация случайных величин начинается с единицы.) Единственная переходная вероятность

P(t_2>t_1,\quad X_2=n_2=n-n_1 \quad |\quad t_1<t_2,\quad X_1=n_1)

заключается в том, что вторая случайная величина X_2 во второй момент времени t_2 вынуждена принять числовое значение, равное 0\le n_2=n-n_1 , при условии, что в первый момент времени t_1 первая случайная величина X_1 приняла случайное значение, равное n_1, \quad 0\le n_1\le n. Следовательно и вероятность биномиального распределения с равновероятными успехами испытаний Бернулли

\prod_{i=1}^{k=2}P(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=\frac{n!}{n_1! n_2!}p_1^{n_1}p_2^{n_2}

как произведение первой независимой и второй зависимой случайных величин является простейшей цепью Маркова. Сумма всех вероятностей биномиального распределения равна единице p_1+p_2=1. Следовательно, биномиальное распределение как цепь Маркова, является стахостической.

Переходная вероятность биномиального распределения является дискретной функцией. Следовательно, биномиальное распределение является марковским процессом с дискретным временем.

Связь с другими распределениями

Если k>2 и p_i\ne p_j хотя бы для одной пары вероятностей, то имеет место мультиномиальное распределение интерпретации 21-го века.

Если p_1=\ldots =p_k, то имеет место мультиномиальное распределение с равновероятными успехами испытаний Бернулли.

Если p_1=\dots p_k и все случайные величины распределения считались независмыми, то в 20-ом веке имели место следующие названия: распределение Максвелла - Больцмана [1], статистика Максвелла - Больцмана [1], распределение Больцмана [1], статистика Больцмана [1]. Если p_1\ne p_2,\quad p_+ p_2=1, то имеет место биномиальное распределение интерпретации 21-го века.

Литература


См.также

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%91%D0%B8%D0%BD%D0%BE%D0%BC%D0%B8%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B5_%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81_%D1%80%D0%B0%D0%B2%D0%BD%D0%BE%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D1%8B%D0%BC%D0%B8_%D1%83%D1%81%D0%BF%D0%B5%D1%85%D0%B0%D0%BC%D0%B8_%D0%B8%D1%81%D0%BF%D1%8B%D1%82%D0%B0%D0%BD%D0%B8%D0%B9_%D0%91%D0%B5%D1%80%D0%BD%D1%83%D0%BB%D0%BB%D0%B8»
Личные инструменты