Мультиномиальное распределение зависимых случайных величин

Материал из MachineLearning.

(Различия между версиями)

Версия 13:51, 1 ноября 2013

Мультиномиальное) распределение зависимых случайных величин — это обобщение биномиального распределения двух случайных величин на случай зависимых испытаний случайного эксперимента с несколькими возможными исходами (таблица 1).

Таблица 1 – Характеристики мультиномиального распределения зависимых случайных величин (настоящей интерпретации 21-го века)
Пространство элементарных событий	$\sum_{i=1}^k\Omega_i(t_i, X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})$
Вероятность	$\prod_{i=1}^kP(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=$ $=\frac{n!}{n_1! \cdots n_k!} p_1^{n_1}\cdots p_k^{n_k}$
Максимальная вероятность (при математическом ожидании распределения)	$\left(\prod_{i=1}^nP(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1}) \right)_{max}=$ $=\left(\frac{n!}{n_1! \cdots n_n!} p_1^{n_1}\cdots p_n^{n_n}\right)_{max}=\frac{n!}{n^n}$
Математическое ожидание (как максимальное произведение математических ожиданий случайных величин)	$\left(\prod_{i=1}^nE(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})\right)_{max}=$ $=\left(\prod_{i=1}^n(n-\ldots-n_{i-1})p_i)\right)_{max}=\frac{n!}{n^n}$
Дисперсия	$\sum_{i=1}^kD(t_i,X_i=n_i)=\sum_{i=1}^k(n-\ldots-n_{i-1})p_iq_i$
Максимальная дисперсия (при математическом ожидании распределения)	$\left(\sum_{i=1}^nD(t_i,X_i =n_i)\right)_{max}=$ $=\left(\sum_{i=1}^n(n-\ldots-n_{i-1})p_iq_i\right)_{max}=\frac{n^2-1}{2n}$
Ковариационная матрица	$B=\\| b_{ij} \\|$ , где $b_{ij} = \begin{cases} (n-\ldots-n_{i-1})p_iq_i, & i=j,\\ 0, & i \not= j \end{cases}$
Корреляционная матрица	$P=\\| \rho_{ij} \\|$ , где $\rho _{ij} = \begin{cases} 1, & i=j,\\ 0, & i \not= j \end{cases}$
$\chi^2$ - критерий	$\chi^2=\sum_{i=1}^k [X_i-(n-\ldots-n_{i-1})p_i^{(0)}]^2/( n-\ldots-n_{i-1})p_i^{(0)}=$ $=-n+\sum_{i=1}^kX_i^2 /( n-\ldots-n_{i-1})p_i^{(0)}$

Мультиномиальное распределение (полиномиальное распределение) — совместное распределение вероятностей зависимых (кроме первой, в

общем случае) случайных величин

$\prod_{i=1}^kP(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=\frac{n!}{n_1! \cdots n_k!} p_1^{n_1}\cdots p_k^{n_k},$

$2\le k \le n <\infty,$

определённых на точечных пространствах элементарных событий

$\Omega_1, \ldots, \Omega _k$

и принимающих в дискретные последовательные моменты времени

$t_1, \ldots, t_k, \quad t_i<t_{i+1}$

целые неотрицательные значения

$n_1, \ldots, n_k,$

взаимосвязанные условием

$n_1+\ldots+n_k=n,$

согласно которому

$X_i=n_i \mid X_{i-1}=n_{i-1}$ .

Содержание

1 Характеристики случайных величин полиномиального распределения:
2 Схема повторных циклов случайных зависимых экспериментов
3 Технические задачи и технические результаты
4 Два варианта получения математического ожидания полиномиального распределения:
5 Свойства дисперсии полиномиального распределения
6 Мультиномиальное распределение как процесс выполнения взаимосвязанных действий над объектами
7 Мультиномиальное распределение и цепи Маркова: совпадения и отличия, частный случай
8 Сравнительная оценка характеристик полиномиальных распределений зависимых и независимых случайных величин
9 Погрешности традиционной интерпретации
10 Причины возникновения погрешностей
11 Литература

Характеристики случайных величин полиномиального распределения:

пространство элементарных событий

$\Omega_i(t_i, X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=[0 \le n_i \le n-\ldots-n_{i-1}],$

вероятность

$P(t_i, X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})={n-\ldots-n_{i-1}\choose n_i}p_i^{n_i},$

математическое ожидание

$E(t_i,X_i=n_i \mid t_{i-1},X_{i-1})=(n-\ldots-n_{i-1})p_i,$

дисперсия

$D(t_i,X_i=n_i)=( n-\ldots-n_{i-1})p_iq_i, \quad q_i=1-p_i,$

производящая

$A(s_i)=(1+p_is_i)^{ n-\ldots-n_{i-1}}$

и характеристическая

$f(t_i)=(1+p_ie^{jt_i})^{ n-\ldots-n_{i-1}}$

функции .

Схема повторных циклов случайных зависимых экспериментов

Мультиномиальное распределение появляется в так называемой полиномиальной схеме повторных циклов случайных зависимых экспериментов. Каждый цикл экспериментов осуществляют методом выбора без возвращения в дискретной временной последовательности $t_1,\ldots,t_k$ , номера точек которой соответствуют номерам случайных величин.

Каждая из случайных величин распределения $X_i=n_i \mid X_{i-1}=n_{i-1}$ — это число $n_i$ наступлений одного соответствующего события

$x_i,\quad i=1,\ldots,k$

в $i$ - ый момент времени при условии, что в $(i-1)$ - ый момент произошло $n_{i-1}$ наступлений предшествующего события $x_{i-1}$ с положительным исходом, все вероятности которых $p_i, \quad i=1,\ldots,k$ нормированы $p_1+\ldots+p_k=1$ и неизменны во время проведения экспериментов.

Если в каждом цикле экспериментов вероятность наступления события $x_i$ равна $p_i$ , то полиномиальная вероятность равна вероятности того, что при $n$ экспериментах события $x_1,\ldots,x_k$ наступят $n_1,\ldots,n_k$ раз соответственно.

Случайная величина мультиномиального распределения в соответствующей точке дискретной временной последовательности $t_1,\ldots,t_k$ имеет:

пространство элементарных событий

$\Omega_i(t_i, X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=[0\le n_i \le n-\ldots-n_{i-1}],$

вероятность

$P(t_i, X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})={n-\ldots-n_{i-1}\choose n_i}p_i^{n_i},$

математическое ожидание

$E(t_i, X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=(n-\ldots-n_{i-1})p_i$

и дисперсию

$D(t_i,X_i=n_i)=( n-\ldots-n_{i-1})p_iq_i, \quad q_i=1-p_i.$

Пространство элементарных событий мультиномиального распределения есть сумма точечных пространств элементарных событий его случайных величин, образующих дискретную последовательность точек $t_1,\ldots,t_k,$ цикла, а вероятность мультиномиального распределения — произведение вероятностей его случайных величин.

Технические задачи и технические результаты

Для получения мультиномиального распределения необходимо решить две технические задачи и получить технические результаты, относящиеся к математической физике [1,2].

Первая и вторая технические задачи — соответственно получение вероятности и математического ожидания мультиномиального распределения.

Технические результаты — набор технических параметров, с одной стороны, минимально необходимый для описания мультиномиального распределения и его случайных величин, с другой стороны, позволяющий при необходимости расширить число параметров с целью получения дополнительных сведений о распределении, например, таких как корреляционная матрица, ковариационная матрица , $\chi^2$ критерий и другие.

Минимально необходимый набор параметров при решении первой технической задачи: пространство элементарных событий,

вероятность, математическое ожидание и дисперсия каждой случайной величины распределения, дисперсия распределения и произведение математических ожиданий его случайных величин как исходное выражение для решения второй технической задачи.

При решении второй технической задачи минимально необходимый набор параметров аналогичен предыдущему набору. Исключен из-за ненадобности один параметр — произведение математических ожиданий случайных величин и дополнен двумя параметрами — максимальной вероятностью и максимальной дисперсией мультиномиального распределения.

Вероятностная схема полиномиального распределения

содержит циклы повторных зависимых экспериментов. Количество циклов не ограничено. В каждом цикле число экспериментов равно числу случайных величин распределения и в общем случае только первый эксперимент является независимым, а все последующие эксперименты в цикле зависимы от результатов предшествующих экспериментов. Все эксперименты осуществляют методом выбора без возвращения — изъятые элементы не возвращают на свое прежнее место до полного окончания данного цикла.

Случайные события — выборки случайного объема $n_i$ , $i=1,\ldots,k$ , $\sum_{i=1}^kn_i=n$ из $n$ -

множества различимых (различающиеся между собой хотя бы одним признаком, например, порядковым номером) неупорядоченных (хаотично расположенных) элементов, осуществляемые в последовательные моменты времени $t_1,\ldots,t_k$ .

Число выборок $k, \quad 2\le k\le n<\infty$ равно числу случайных величин распределения.

Случайные величины $X_i,\quad i=1,\ldots,k$ распределения — появления случайного числа элементов $n$ -множества в $n_i$ -

подмножествах ( $n_i,\quad i=1,\ldots,k$ ) с вероятностями $p_i$ каждого из них.

Попадание одного произвольного элемента $n$ -множества в одно из $n_i$ -подмножеств — независимое событие с положительным исходом

соответствующего Бернулли распределения; вероятности этих исходов нормированы $\sum_{i=1}^kp_i=1$ согласно

аксиоматике Колмогорова и неизменны в процессе проведения повторных зависимых экспериментов.

Один цикл повторных зависимых экспериментов, осуществляемых методом выбора без возвращения — последовательность $k$ выборок

случайных объёмов $n_1,\ldots,n_k$ , обработка результатов разделения $n$ -множества на $n_i$ -подмножества, $i=1,\ldots,k$

в последовательные моменты времени $t_1, \ldots, t_k$ и возврат всех $n$ изъятых элементов на прежнее место к началу следующего цикла.

Совместное проявление вероятностей попадания $k$ выборок случайных объёмов $n_1,\ldots,n_k$ в $k$ подмножеств в одном

цикле экспериментов — вероятность полиномиального распределения.

Урновая модель полиномиального распределения

содержит одну исходную урну и $k$ приёмных урн. Объем каждой из них не менее объёма исходной урны. Нумерация приёмных урн соответствует нумерации случайных величин полиномиального распределения.

В начальный момент времени $t_0$ исходная урна содержит $n$ - множество различимых неупорядоченных элементов, а все приёмные урны пусты.

В первый момент времени $t_1$ из исходной урны осуществляют первую выборку $n_1, \quad 0\le n_1\le n$ случайного объёма и направляют её в первую приёмную урну с вероятностью $p_1$ каждого элемента.

Во второй момент времени $t_2$ из оставшихся $n-n_1$ различимых неупорядоченных элементов исходной урны осуществляют вторую выборку

$n_2, \quad0\le n_2\le{n-n_1}$ случайного объёма и направляют её во вторую приёмную урну с вероятностью $p_2$ каждого элемента.

И так далее.

Наконец, в $k$ -ый момент времени все элементы $n_k=n-\ldots-n_{k-1}$ , оставшиеся в исходной урне, направляют в $k$ -ую приёмную урну с вероятностью $p_k$ каждого.

В результате исходная урна пуста, а все её элементы размещены в приёмных урнах. После обработки результатов разбиения исходного $n$ -множества на

$k$ подмножеств все элементы из приёмных урн возвращают в исходную урну.

На этом один цикл повторных зависимых экспериментов закончен, и урновая модель готова к проведению следующего аналогичного цикла.

Произведение вероятностей попаданий $n_1,n_2,\ldots,n_k$ элементов в приёмные урны есть вероятность полиномиального распределения.

Способ получения вероятностей мультиномиального распределения

Этот способ относится к техническим задачам разделения дискретного целого на составные части случайных объёмов.

Целым является множество дискретных элементов, различимых (хотя бы одним признаком, например, порядковыми номерами) и не упорядоченных (хаотично расположенных): $2\le n < \infty$ .

Составные части — дискретные подмножества $2\le k \le n < \infty$ , в сумме равные объёму множества.

Разделение множества на подмножества осуществляют выборками без возвращения.

Выборки следуют во времени одна за другой.

В начальный момент времени $t_0$ , не обязательно равный нулю $t_0 \ne 0$ , множество содержит $n, 2\le n < \infty$ различимых неупорядоченных элементов.

В первый момент времени $t_1$ из $n$ -множества осуществляют первую выборку случайного объёма $n_1, 0 \le n_1 \le n$ с вероятностью $p_1$ каждого её элемента.

Вероятность первой случайной величины $P_1(t_1,\quad X_1=n_1)$ мультиномиального распределения определяется числом сочетаний ${n \choose n_1} $ из $n$ по $n_1$ , умноженным на вероятность $p_1$ выбора одного элемента, возведённую в степень числа $n_1$ выбранных элементов:

$P_1(t_1, X_1=n_1)={n \choose n_1}p_1^{n_1}.$

Во второй момент времени $t_2$ из оставшихся $n-n_1$ элементов исходного множества осуществляют вторую выборку случайного объёма

$n_2,0 \le n_2 \le n-n_1$ с вероятностью $p_2$ каждого её элемента.

Вероятность второй случайной величины $P_2(t_2,\quad X_2=n_2)$ при условии, что в первый момент времени вероятность первой случайной величины

мультиномиального распределения приняла значение $P(t_1,\quad X_1=n_1)$ , определяется числом сочетаний ${n-n_1 \choose n_2}$ из $n-n_1$ по $n_2$ , умноженным на вероятность $p_2$ выбора одного её элемента, возведённую в степень числа $n_2$ выбранных элементов:

$P_2(t_2, X_2=n_2 \mid t_1,X_1=n_1)={n-n_1 \choose n_2}p_2^{n_2}.$

И так далее.

В $i$ -ый момент времени из оставшихся $n-n_{i-1}$ элементов исходного множества осуществляют $i$ -ую выборку случайного объёма $n_i, 0 \le n_i \le n-n_{i-1}$ с вероятностью $p_i$ каждого её элемента. Вероятность $i$ -ой случайной величины $P_i(t_i,\quad X_i=n_i)$ при условии, что в $i-1$ -ый момент времени вероятность $i-1$ -ой случайной величины полиномиального распределения приняла значение $P_{i-1}(t_{i-1},\quad X_{i-1}=n_{i-1})$ , определяется числом сочетаний ${n-n_{i-1}\choose n_i}$ из $n-n_{i-1}$ по $n_i=1$ , умноженным на вероятность $p_i$ выбора одного её элемента, возведённую в степень числа $n_i$ выбранных элементов:

$P_i(t_i,X_i=n_i \mid t_{i-1},X_{i-1})={n-n_{i-1}\choosen_i}p_i^{n_i}.$

Произведение всех вероятностей есть вероятности полиномиального распределения интерпретации 21-го века — совместное распределение вероятностей

зависимых (кроме первой) случайных величин

$\prod_{i=1}^kP_i(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=\frac{n!}{n_1! \cdots n_k!}p_1^{n_1}\cdots p_k^{n_k},$

$\sum_{i=1}^kn_i=n, \quad \sum_{i=1}^kp_i=1.$

В частном случае, когда число случайных величин $k=2$ равно двум и множество содержит два элемента $n=2$ , имеют место вероятности биномиального распределения интерпретации 21-го века

$\prod_{i=1}^2P_i(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=\frac{n!}{n_1!n_2!}p_1^{n_1}p_2^{n_2},$

$\sum_{i=1}^2n_i=n, \quad \sum_{i=1}^2p_i=1.$

Способ получения математического ожидания полиномиального распределения

Этот способ относится к техническим задачам разделения дискретного целого на составные части и отличается от способа получения вероятностей

полиномиального распределения интерпретации 21-го века тем, что число выборок $k$ равно числу $n$ элементов исходного множества

$k=n$ и каждая выборка имеет единичный объём: $n_i=1,\quad i=1, \ldots, n, \quad k=n$ .

Составные части — дискретные подмножества $2\le k \le n < \infty$ , в сумме равные объёму множества.

Разделение множества на подмножества осуществляют выборками без возвращения.

Выборки следуют во времени одна за другой.

В первый момент времени $t_1$ из $n$ -множества осуществляют первую выборку $n_1=1$ единичного объёма с вероятностью $p_1=n^{-1}$ .

Вероятность первой случайной величины $P_1(t_1, X_1=n_1=1)$ мультиномиального распределения определяется числом сочетаний ${n \choose n_1}$

из $n$ по $n_1=1$ , умноженным на вероятность $p_1=n^{-1}$ выбора одного элемента:

$P_1(t_1, X_1=n_1=1)={n \choose n_1}p_1={n \choose 1}n^{-1}=\frac{n}{n}.$

Во второй момент времени $t_2$ из оставшихся $n-n_1$ элементов исходного множества осуществляют вторую выборку $n_2=1$ единичного объёма с вероятностью $p_2=n^{-1}$ .

Вероятность второй случайной величины $P_2(t_2, X_2=n_2=1)$ при условии, что в первый момент времени вероятность первая случайная величина

полиномиального распределения приняла значение $P_1(t_1, X_1=n_1=1)$ , определяется числом сочетаний ${n-n_1 \choose n_2}$ из $n-n_1$ по $n_2=1$ , умноженным на вероятность $p_2=n^{-1}$ выбора одного элемента:

$P_2(t_2, X_2=n_2=1 \mid t_1,X_1=n_1=1)={n-n_1 \choose n_2}p_2={n-n_1 \choose 1}n^{-1}=\frac{n-1}{n}.$

И так далее.

В $i$ -ый момент времени из оставшихся $n-n_{i-1}$ элементов исходного множества осуществляют $i$ -ую выборку $n_i=1$ единичного объёма с вероятностью $p_i=n^{-1}$ .

Вероятность $i$ -ой случайной величины $P_i(t_i, X_i=n_i=1)$ при условии, что в $i-1$ -ый момент времени вероятность $i-1$ -ой случайной величины полиномиального распределения приняла значение $P_{i-1}(t_{i-1}, X_{i-1}=n_{i-1}=1)$ , определяется числом сочетаний

${n-n_{i-1} \choose n_i}$ из $n-n_{i-1}$ по $n_i=1$ , умноженным на вероятность $p_i=n^{-1}$ выбора одного элемента:

$P_i(t_i, X_i=n_i=1 \mid t_{i-1},X_{i-1}=1)={n-n_{i-1}\choose n_i}p_i={n-n_{i-1}\choose 1}n^{-1}=\frac{n-n_{i-1}}{n}.$

Произведение всех вероятностей есть математическое ожидание полиномиального распределения интерпретации 21-го века

$\prod_{i=1}^nP_i(t_i,X_i=n_i=1 \mid t_{i-1},X_{i-1}=n_{i-1}=1)=\prod_{i=1}^n\frac{n-n_{i-1}}{n}=\frac {n!}{n^n},$

$\sum_{i=1}^nn_i=n, \quad \sum_{i=1}^np_i=1.$

В частном случае, когда число случайных величин $k=2$ равно двум и множество содержит два элемента $n=2$ , имеет место

математическое ожидание биномиального распределения интерпретации 21-го века

$\prod_{i=1}^2P_i(t_i,X_i=n_i=1 \mid t_{i-1},X_{i-1}=n_{i-1}=1)=\prod_{i=1}^2\frac{n-n_{i-1}}{n}=\frac{1}{2},$

$\sum_{i=1}^2n_i=n, \quad \sum_{i=1}^2p_i=1.$

Два варианта получения математического ожидания полиномиального распределения:

или как максимум произведения математических ожиданий случайных величин полиномиального распределения,

или как максимум вероятности полиномиального распределения.

Необходимые условия в обоих вариантах одни и те же:

$n=k, \qquad n_i=1, \qquad 0<p_i<1, \qquad i=1,\ldots,n,$

но выполняются двояко:

либо увеличением числа $k$ случайных величин в цикле до числа $n$ экспериментов ( $k=n$ ),

либо сокращением числа $n$ экспериментов в цикле до числа $k$ случайных величин ( $n=k$ ).

Достаточные условия:

в первом варианте

$p_1=\ldots=p_n=n^{-1},$

во втором варианте

$p_1=\ldots=p_k=K^{-1},$

где $K$ — сокращенное число $n$ экспериментов в цикле до числа $k$ случайных величин: ( $K=n=k$ ).

Первый вариант

Математическое ожидание и максимальная вероятность полиномиального распределения соответственно

$\left(\prod_{i=1}^nE(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})\right)_{max}=\left(\prod_{i=1}^n(n-\ldots-n_{i-1})p_i)\right)_{max}=\frac{n!}{n^n},$

$\left(\prod_{i=1}^nP(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1}) \right)_{max}=\left(\frac{n!}{n_1! \cdots n_n!} p_1^{n_1}\cdots p_n^{n_n}\right)_{max}=\frac{n!}{n^n},$

максимальная дисперсия

$\left(\sum_{i=1}^nD(t_i,X_i=n_i)\right)_{max}=\left(\sum_{i=1}^n(n-\ldots-n_{i-)p_iq_i\right)_{max}=\frac{n^2-1}{2n},$

пространство элементарных событий

$\sum_{i=1}^n\Omega_i(t_i, X_i=n_i=1 \mid t_{i-1}, X_{i-1}=n_{i-1}=1),$

расположенное в точках    временной последовательности.

Число случайных величин распределения равно $n$ и каждая случайная величина принимает единичное значение: $X_i=n_i=1, \quad i=1,\ldots,n$ .

Характеристики случайных величин первого варианта получения математического ожидании мультиномиального распределения:

пространство элементарных событий

$\Omega_i(t_i, X_i=n_i=1)=[n_j=1, j=1,\ldots,n-i+1], \qquad i=1,\ldots,n,$

вероятность

$P(t_i, X_i=n_i=1 \mid t_{i-1},X_{i-1}=n_{i-1}=1)= {n-i+1\choose n_i}{p_i^{n_i}}=\frac{n-i+1}{n},$

математическое ожидание

$E(t_i,X_i=n_i=1 \mid t_{i-1},X_{i-1}=n_{i-1}=1)=\frac{n-i+1}{n},$

дисперсия

$D(t_i,X_i=n_i)=(n-i+1)p_iq_i=(n-i+1)\frac{n-i}{n^2}.$

Урновая модель первого варианта

получения математического ожидания полиномиального распределения

содержит одну исходную урну и $n$ приёмных урн единичных объемов. Нумерация приёмных урн соответствует нумерации случайных величин распределения.

В первый момент времени $t_1$ из исходной урны осуществляют первую выборку единичного объёма $n_1=1$ и направляют её в первую приёмную урну с вероятностью $p_1=n^{-1}$ .

Во второй момент времени $t_2$ из исходной урны, содержащей $n-1$ элементов осуществляют вторую выборку единичного объёма $n_2=1$ и направляют её во вторую приёмную урну с вероятностью $p_2=n^{-1}$ .

И так далее.

Наконец, в последний, $n$ - ый момент времени из исходной урны, содержащей один элемент $n-\ldots-n_{n-1}=1$ , направляют его в $n$ - ую приемную урну с вероятностью $p_n=n^{-1}$ .

В результате исходная урна пуста, а все её $n$ элементов по одному размещены в приёмных урнах.

После обработки результатов разбиения исходного $n$ - множества на $n$ - подмножеств все элементы из приёмных урн возвращают в исходную урну.

Произведение вероятностей попадания по одному произвольному элементу исходного $n$ - множества в $n$ приёмных урн есть математическое ожидание мультиномиального распределения.

Второй вариант

Математическое ожидание и максимальная вероятность соответственно

$\left(\prod_{i=1}^kE(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})\right)_{max}=\left(\prod_{i=1}^k(n-\ldots-n_{i-1})p_i)\right)_{max}=\frac{K!}{K^k},$

$\left(\prod_{i=1}^kP(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1}) \right)_{max}=\left(\frac{K!}{K_1! \cdots K_k!} p_1^{K_1}\cdots p_k^{K_k}\right)_{max}=\frac{K!}{K^k},$

максимальная дисперсия

$\left(\sum_{i=1}^kD(t_i,X_i=n_i)\right)_{max}=\left(\sum_{i=1}^k(K-\ldots-K_{i-1})p_iq_i\right)_{max}=\frac{K^2-1}{2K},$

пространство элементарных событий

$\sum_{i=1}^k\Omega_i(t_i, X_i=K_i=1\mid t_{i-1},X_{i-1}=K_{i-1}=1)$

расположено в точках $t_1,\ldots,t_k$ временной последовательности. Число испытаний $K$ и число случайных величин распределения равно $k$ и каждая случайная величина $X_i$ принимает единичное значение $X_i=K_i=1$ , $i,\ldots k$ .

Характеристики случайных величин второго варианта получения математического ожидании полиномиального распределения:

пространство элементарных событий

$\Omega_i(t_i, X_i=K_i=1)=[K_j=1, j=1,\ldots,K-i+1], \quad i=1,\ldots,k,$

вероятность

$P(t_i,X_i=K_i=1\mid t_{i-1},X_{i-1}=K_{i-1}=1)={K-i +1\choose K_i}p_i^{K_i}=\frac{K-i+1}{K},$

математическое ожидание

$E(t_i,X_i=K_i=1\mid t_{i-1},X_{i-1}=K_{i-1}=1)=\frac{K-i+1}{K},$

дисперсия

$D(t_i,X_i=n_i)=(K-i+1)p_iq_i=(K-i+1)\frac{K-1}{K^2}.$

Урновая модель второго варианта

получения математического ожидания полиномиального распределения содержит одну исходную урну и $k$ приёмных урн единичных объемов.

Нумерация приёмных урн соответствует нумерации случайных величин полиномиального распределения.

В начальный момент времени $t_0$ исходная урна содержит $K$ - множество различимых неупорядоченных элементов, а все приёмные урны пусты.

В первый момент времени $t_1$ из исходной урны, содержащей $K$ различимых неупорядоченных элементов, осуществляют первую выборку единичного объёма $K_1=1$ и направляют её в первую приёмную урну с вероятностью $p_1=K^{-1}$ .

Во второй момент времени $t_2$ из исходной урны, содержащей $K-1$ различимых неупорядоченных элементов, осуществляют вторую выборку

единичного объёма $K_2=1$ и направляют во вторую приёмную урну с вероятностью $p_2=K^{-1}$ .

И так далее.

Наконец, в последний, $k$ - ый момент времени из исходной урны, содержащей $K-\ldots-K_{k-1}=1$ один элемент, направляют его в

$k$ - ую приемную урну с вероятностью $p_k=K^{-1}$ .

В результате исходная урна пуста, а все её $K$ элементов по одному размещены в приёмных урнах. После обработки результатов разбиения исходного

$K$ - множества на $k$ - подмножеств выборками единичных объёмов все элементы из приёмных урн возвращают в исходную урну. На этом один цикл повторных зависимых экспериментов закончен, и урновая модель готова к проведению следующего цикла экспериментов.

Произведение вероятностей попаданий $k$ выборок единичных объёмов (по одному произвольному элементу исходного $K$ - множества) в $k$ приёмных урн — математическое ожидание мультиномиального распределения.

Локальные экстремумы математического ожидания мультиномиального распределения

Полиномиальное распределение в окрестности своего математического ожидания (таблица 2, строка 2) имеет локальные экстремумы и вероятности, и дисперсии.

Таблица 2 – Локальные экстремумы математического ожидания полиномиального распределения зависимых случайных величин
Значения восьми случайных величин								Вероятность	Дисперсия	Экстремумы
1	1	1	1	1	1	1	1	0.240×10^-2	3.937	Математическое ожидание
2	1	1	1	1	1	1	0	0.120×10^-2	3.172
2	2	1	1	1	1	0	0	0.600×10^-3	2.625
2	2	2	1	1	0	0	0	0.300×10^-3	2.297
2	2	2	2	0	0	0	0	0.150×10^-3	2.187	1-й локальный минимум
3	1	1	1	1	1	0	0	0.400×10^-3	2,516	1-й локальный максимум
3	2	1	1	1	0	0	0	0.200×10^-3	2.078
3	2	2	1	0	0	0	0	0.100×10^-3	1.859
3	3	2	1	0	0	0	0	0.334×10^-4	1.641	2-й локальный минимум
4	1	1	1	1	0	0	0	0.100×10^-3	1.969	2-й локальный максимум
4	2	1	1	0	0	0	0	0.500×10^-4	1.641
4	2	2	0	0	0	0	0	0.250×10^-4	1.531
4	2	2	0	0	0	0	0	0.250×10^-4	1.531
4	3	1	0	0	0	0	0	0.167×10^-5	1.422
4	4	0	0	0	0	0	0	0.417×10^-5	1.312	3-й локальный минимум
5	1	1	1	0	0	0	0	0.200×10^-4	1.531	3-й локальный максимум
5	2	1	0	0	0	0	0	0.100×10^-4	1.312
5	3	0	0	0	0	0	0	0.334×10^-5	1.203
6	1	1	0	0	0	0	0	0.334×10^-5	1.203
6	2	0	0	0	0	0	0	0.167×10^-5	1.094
7	1	0	0	0	0	0	0	0.477×10^-6	0.984
8	0	0	0	0	0	0	0	0.596×10^-7	0.875

Локальные максимумы и минимумы

Локальные максимумы (жирный шрифт) соответствуют таким числовым значениям случайных величин, когда одна из них имеет значение, отличное от единичного, а остальные принимают единичные значения. При этом, чем меньшее значение, отличное от единичного, принимает одна случайная величина и чем больше единичных значений принимают остальные случайные величины распределения, тем ближе локальный максимум к математическому ожиданию мультиномиального распределения. В пределе, когда все случайные величины принимают единичные значения (при условии k=n), имеет место математическое ожидание полиномиального распределения. При математическом ожидании мультиномиального распределения максимальна и дисперсия мультиномиального распределения, а максимальная вероятность мультиномиального распределения численно равна математическому ожиданию мультиномиального распределения.

Локальные минимумы (наклонный шрифт), как правило, расположены между локальными максимумами и уменьшаются по мере удаления от математического ожидания мультиномиального распределения. Исключение составляют комбинации, предшествующие локальному максимуму и имеющие равные знаменатели мультиномиального коэффициента (строки 4 и 5 снизу: 5!3!=6!1!1! и 0!=1!=1).

Определение локальных экстремумов основано на вычислении вероятностей мультиномиального распределения. При этом все комбинации значений случайных величин равно возможны и вероятность каждой из них равна $n^{-n}$ . В частности, в таблице 1 $n=k=8$ , $n^{-n}=8^{-8}$ . Вероятность мультиномиального распределения, у которого, например, (таблица 1, 3-я строка сверху: 22111100) две случайные величины имеют числовые значения 2, четыре случайные величины имеют числовые значения 1 и две случайные величины имеют числовые значения 0 и которые могут быть расположены в произвольном порядке, определяется по формуле

$\frac{n!}{n_1!\cdots n_n!} n^{-n}=\frac{8!}{2!2!1!1!1!1!0!}8^{-8}=\frac{8!}{2!2!}8^{-8}=0,600x10^{-3}, \qquad n_1+\ldots+n_n=n.$

Аналогично рассчитываются вероятности мультиномиального распределения для всех других комбинаций случайных величин.

Свойства дисперсии полиномиального распределения

Дисперсия полиномиального распределения:

1) это случайная величина;

2) равна сумме дисперсий случайных величин полиномиального распределения

$D(X_1=n_1,\ldots, X_k=n_k)=\sum_{i=1}^k(n-\ldots-n_{i-1})p_iq_i,$

поскольку случайные величины распределения определены на непересекающихся пространствах элементарных событий

$\sum_{i=1}^k\Omega_i(t_i, X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1});$

3) увеличивается с ростом числа случайных величин полиномиального распределения, а дисперсии случайных величин полиномиального распределения убывают с

возрастанием своих порядковых номеров,

причём дисперсия первой случайной величины полиномиального распределения совпадает с дисперсией первой случайной величины соответствующего биномиального

распределения $D (X_1=n_1)=np_1q_1,\quad 0\le n_1\le n, \quad q_1=1-p;$

4) имеет множество значений из-за неоднозначности определения произведений $p_iq_i, \quad i=1,\ldots,k;$

5) максимальна при тех же условиях

$X_1=n_1=1,\ldots, X_n=n_n=1, \quad k=n,$

при которых максимальны одновременно и вероятность, и математическое ожидание полиномиального распределения.

Максимальная дисперсия полиномиального распределения

$D(X_1=n_1,\ldots, X_k=n_k)_{max}=D(X_1=n_1=1,\ldots, X_n=n_n=1)=\frac{n^2-1}{2n}:$

1) с возрастанием числа случайных величин распределения стремится к бесконечности, приближаясь к линейной зависимости $\frac{1}{2}n;$

2) в $\frac{2(n^2-1)}{3n}$ раз превышает максимальную дисперсию соответствующего биномиального распределения $D(X_1=n_1,X_2=n_2 )_{max}=\left (\sum_{i=1}^2(n-n_{i-1})p_iq_i \right)_{max}=\frac{3}{4}.$

Мультиномиальное распределение как процесс выполнения взаимосвязанных действий над объектами

Объекты: множество, его подмножества и их элементы как объективная реальность, существующая вне нас и независимо от нас.

Мультиномиальное распределение это:

случайный процесс безвозвратного разделения во времени $t_1,\ldots, t_k, \quad 2\le k\le n$ и в пространстве

конечного $n$ - множества различимых неупорядоченных элементов ( $2\le n<\infty$ ),

разделение множества осуществляют выборками без возвращения (изъятые из множества элементы не возвращают обратно во множество до полного окончания экспериментов),

сумма объёмов всех выборок равна объёму исходного множества $\sum _{i=1}^k n_i =n$ , при этом только одна из выборок может иметь случайный объём в пределах всего объёма исходного множества $0\le n_i\le n$ ,

попадание одного произвольного элемента множества в каждое из подмножеств принимают за событие успеха соответствующего Бернулли распределения ,

вероятности $0\le p_i<1, \quad i=1,\ldots,k\le n$ успехов Бернулли распределений нормируют $\sum _{i=1}^k p_i =1$ согласно аксиоматике Колмогорова и сохраняют неизменными в процессе разбиения множества,

очерёдность следования выборок принимают за нумерацию случайных величин $X_1,\ldots,X_k$ мультиномиального распределения,

случайный объём каждой выборки $n_i, \quad i=1,\ldots, k\le n$ в момент времени $t_i$ принимают за числовое значение соответствующей

случайной величины $X_i=n_i \mid X_{i-1}=n_{i-1}$ мультиномиального распределения при условии, что в предшествующий момент времени $t_{i-1}$ предшествующая случайная величина $X_{i-1}$ приняла числовое значение $n_{i-1}$ ,

результаты каждого разбиения обрабатывают вероятностными методами, определяют технические характеристике всех выборок и принимают их за технические характеристики случайных величин мультиномиального распределения,

минимально необходимый набор технических характеристик случайных величин и мультиномиального распределения в целом это: пространство элементарных событий, вероятность, математическое ожидание и дисперсия,

математическое ожидание мультиномиального распределения имеет место, когда число выборок $k$ равно числу элементов $n$ -множества $k=n$ и численно равно $\frac{n!}{n^n}, \quad 2\le n, <\infty$ , откуда $n=2, \quad \frac{n!}{n^n}=\frac{2!}{2^2}=\frac{1}{2}$ -

математическое ожидание биномиального распределения.

Мультиномиальное распределение и цепи Маркова: совпадения и отличия, частный случай

Мультиномиальное распределение появляется в последовательности зависимых случайных испытаний с конечным или счётным числом исходов. По сути — это цепь Маркова, где $X_{i+1}$ -ая случайная величина зависима от предшествующей $X_i$ -ой случайной величины

$t_{i+1}>t_i,X_{i+1}=n_{i+1} | t_i<t_{i+1}, X_i=n_i,\quad i=1,\ldots,k \le n$

следующим образом: $X_{i+1}$ -ая случайная величина в $t_{i+1}$ -ый момент времени принимает числовое значение, равное $n_{i+1}$ ,при условии, что в $t_i$ -ый момент времени $X_i$ -ая случайная величина приняла числовое значение, равное $n_i$ .

Случайные величины следуют одна за другой в порядке возрастания своих номеров.

$X_0$ , называемое начальным распределением цепи Маркова, для мультиномиального распределения не имеет смысла $t_0=0,\quad X_0=0$ , поскольку нумерация случайных величин начинается с единицы: $t_1, X_1,\ldots, t_k, X_k$ .

Переходная вероятность мультиномиального распределения

$P(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1}),\quad 0\le n_i\le n< \infty$

является дискретной функцией времени. Следовательно, и мультиномиальное распределение

$\prod_{i=1}^kP(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=\frac{n!}{n_1! \cdots n_k!} p_1^{n_1}\cdots p_k^{n_k},$

как произведение его случайных величин, является дискретной функцией времени, иными словами, полиномиальное распределение является марковским процессом с дискретным временем.

Сумма всех вероятностей полиномиального распределения равна единице. Следовательно, полиномиальное распределение как цепь Маркова, является стахостической.

Однако в отличие от марковских цепей и марковских процессов полиномиальное распределение не обладает свойством отсутствия последействия, согласно которому для любого испытания допускается зависимость его от непосредственно предшествующего ему испытания (и только от него).

Причина заключается в том, что в мультиномиальном распределении имеется ещё одна зависимость — каждая случайная величина (кроме первой) зависима от всех ей предшествующих случайных величин.

Зависимость проявляется в том, что предшествующая случайная величина ( $X_i$ ) мультиномиального распределения в соответствующий момент времени ( $t_i$ ) сокращает на своё числовое значение ( $n_i$ ) верхнюю границу пространства элементарных событий следующей за ней случайной величины $X_{i+1}$ ):

$\Omega_{i+1}(t_{i+1}, X_{i+1}=n_{i+1} \mid t_i,X_i=n_i)=[0 \le n_{i+1} \le n-\ldots-n_i],\quad i=1,\ldots,k \le n.$

В частном случае, когда $k= 2$ , имеет место биномиального распределения интерпретации 21-го века. С точки зрения цепей Маркова — биномиальное распределение интерпретации 21-го века — это простейший марковский процесс с дискретным временем, в котором:

вторая случайная величина зависима от первой (и только от неё)

$t_2>t_i,X_2=n_2 \mid t_i<t_2, X_1=n_1, \quad n_1+n_2=1;$

всего лишь одна переходная вероятность

$P(t_2,X_2=n_2 \mid t_1,X_1=n_1);$

процесс стахостический, поскольку сумма вероятностей равна единице $p1 + p2 = 1$ ;

как и в мультиномиальном распределении, начальное состояние цепи Маркова $X_0$ , для биномиального распределения не имеет смысла $t_0=0,\quad X_0=0$ , поскольку нумерация случайных величин начинается с единицы: $t_1, X_1, \quad t_2, X_2$ .

Сравнительная оценка характеристик полиномиальных распределений зависимых и независимых случайных величин

Цель сравнительной оценки показать, что полиномиальное распределение зависимых случайных величин (таблица 3)соответствует, а полиномиальное распределение

независимых случайных величин (таблица 4) не соответствует современным требованиям аксиоматики Колмогорова. Сравнение выполнено на основе минимально

необходимого набора параметров, который для каждого распределения и каждой его случайной величины включает в себя четыре параметра: пространство элементарных

событий, вероятность, математическое ожидание и дисперсию.

Таблица 3 – Характеристики минимально необходимого набора параметров полиномиального распределения зависимых случайных величин (настоящей интерпретации 21-го века)
Характеристики	распределения	$X_i$ -ой случайной величины распределения
Пространство элементарных событий	$\sum_{i=1}^k\Omega_i(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1}),$ $2\le k\le n<\infty$	$\Omega_i(t_i, X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=$ $=[0\le n_i \le n-\ldots-n_{i-1}]$
Вероятность	$\prod_{i=1}^kP(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=$ $=\frac{n!}{n_1! \cdots n_k!} p_1^{n_1}\cdots p_k^{n_k}$	$\prod_{i=1}^kP(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=$ $=\frac{n!}{n_1! \cdots n_k!} p_1^{n_1}\cdots p_k^{n_k}$
Математическое ожидание	$\frac{n!}{n^n}, \quad k=n, \quad X_1=\ldots =X_n=1$	$E(t_i, X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=$ $=(n-\ldots-n_{i-1})p_i$
Дисперсия	$\sum_{i=1}^kD(t_i,X_i=n_i)=\sum_{i=1}^k(n-\ldots-n_{i-1})p_iq_i$	$D(t_i,X_i=n_i)=( n-\ldots-n_{i-1})p_iq_i$

Таблица 4 – Характеристики минимально необходимого набора параметров полиномиального распределения независимых случайных величин (традиционной интерпретации 20-го века)
Характеристики	распределения	$X_i$ -ой случайной величины распределения
Пространство элементарных событий	Произвольная последовательность $n$ независимых испытаний с несколькими $k$ взаимоисключающими исходами каждый	Произвольная последовательность $n$ независимых испытаний с несколькими $k$ взаимоисключающими исходами каждый
Вероятность	$P(X_1=n_1,\ldots,X_k=n_k)=$ $=\frac{n!}{n_1! \cdots n_k!}p_1^{n_1}\cdots p_k^{n_k}$	$P(X_i=n_i)= {n\choose n_i} p_i^{n_i}q_i^{n-n_i}$
Математическое ожидание	не определено	$np_i, \quad q_i=1-p_i$
Дисперсия	не определена	$np_iq_i$

Полиномиальное распределение зависимых случайных величин (настоящей интерпретации 21-го века)

Пространство элементарных событий распределения это совокупность пространств элементарных событий его случайных величин, представленных в виде дискретной

временной последовательности $i=1,\ldots,k$ точек, нумерация по возрастанию которых соответствует нумерации случайных величин распределения

$X_1,\ldots,X_k$ .

Вероятность распределения это произведение вероятностей зависимых его случайных величин. Зависимость заключается в том, что каждая предшествующая случайная

величина распределения сокращает пространство элементарных событий последующей случайной величины на своё числовое значение.

Математическое ожидание распределения с ростом числа испытаний и числа случайных величин стремительно убывает к нулю от максимального значения, равного

$0,5,\quad k=n=2$ (случай биномиального распределения настоящей интерпретации).

Дисперсия распределения равна сумме дисперсий случайных величин на том основании, что все случайные величины распределения определены на не пересекающихся

пространствах элементарных событий.

Все характеристики полиномиального распределения интерпретации соответствуют требованиям аксиоматики Колмогорова.

Полиномиальное распределение независимых случайных величин (традиционной интерпретации 20-го века)

Пространство элементарных событий едино и для распределения и для каждой его случайных величин. Это произвольная последовательность $n$

независимых испытаний с $k$ взаимоисключающими исходами каждый, $k\le n<\infty$ .

Вероятность распределения – произведение вероятностей независимых случайных величин.

Математическое ожидание распределения до сих пор не определено и в принципе не будет определено, если принимать случайные величины распределения за

независимые (см. доказательство теоремы 1). По этим причинам математические ожидания и дисперсии случайных величин определены не верно.

Дисперсия распределения до сих пор тоже не определена, но по неизвестным причинам. Но если бы и была определена, то была бы ложной из-за принятия

независимости случайных величин.

Таким образом, в полиномиальном распределении традиционной интерпретации:

ни одна характеристика из минимально необходимого набора за исключением вероятности распределения (и то верен лишь конечный результат) определена не верно;

математическое ожидание $np_i$ каждой случайной величины $X_i$ при условии $n>p_i^{-1}$ оказывается больше единицы, что

противоречит аксиоматики Колмогорова;

математическое ожидание распределения $E(X_1=n_1\cdots X_k=n_k)=np_1\cdots np_k=n^kp_1\cdots p_k$ при неограниченном возрастании числа

$n$ независимых экспериментов стремится к бесконечности, что недопустимо, поскольку сумма всех вероятностей распределения, включая и его

математическое ожидание, согласно аксиоматике Колмогорова обязана быть равной единице.

Погрешности традиционной интерпретации

Относительные погрешности традиционной интерпретации параметров полиномиального распределения по сравнению с настоящей интерпретацией

содержат три уровня [3,4]:

низший (элементный) уровень — погрешности случайных величин полиномиального распределения (вероятности, математические ожидания и дисперсии);

средний (функциональный) уровень — погрешности самого полиномиального распределения (математические ожидания и дисперсии. Погрешность

вероятности полиномиального распределения отсутствует, поскольку в обеих его интерпретациях правые части формул полностью совпадают).

На этих двух уровнях погрешности вычисляются аналогично;

высший (системный или пользовательский) уровень — погрешности, связанные с использованием мультиномиального распределения в прикладных задачах (в частности, $\chi^2$ - критерий).

Низший (элементный) уровень

Погрешность $\Delta$ вероятности $P(X_i)$ $i$ - ой случайной величины $X_i$ мультиномиального распределения

традиционной интерпретации относительно её настоящей интерпретации

$\Delta{P(X_i)}= \frac{P(X_i=n_i)-P(X_i=n_i \mid X_{i-1}=n_{i-1})}{ P(X_i=n_i \mid X_{i-1}=n_{i-1})}=\frac{n!(n-\ldots-n_i)!}{(n-n_i)!(n-\ldots-n_{i- 1})!}q_i^{n-n_i}-1$

Средний (функциональный) уровень

В традиционной интерпретации мультиномиального распределения его математическое ожидание и дисперсия имеют независимые составляющие, на основании чего за математическое ожидание и дисперсию распределения соответственно примем произведение этих составляющих

$E(X_1\cdots X_k)=n^kp_1\cdots p_k,$

$D(X_1,\ldots, X_k)=n^k(p_1q_1+\ldots+p_kq_k).$

Относительные погрешности математического ожидания $\Delta E(X_1\cdots X_k)$ и дисперсии $\Delta D(X_1,\ldots,X_k)$ распределения на

функциональном уровне будут

$\Delta E(X_1\cdots X_k)=\frac{n^n}{n!}-1,$

$\Delta D(X_1\ldots X_k)=\frac{2^n}{n=1}-1.$

Расчёты погрешностей (таблица 6) для числа $k$ , равного $n$ , случайных величин мультиномиального распределения: 2 ( $k=n=2$ -случай биномиального распределения), 5, 10 и 20.

Таблица 6 - Относительные погрешности (в процентах) математических ожиданий и дисперсий случайных величин (первая строка формул и результатов) и математического ожидания и дисперсии полиномиального распределения (вторая и третья строки)
Погрешности математических ожиданий и дисперсий	Число случайных величин
$k=n$ - число случайных величин равно числу испытаний	2	5	10	20
$\Delta_{M.O.}E(X_i)=\Delta_{M.O.}D(X_i)=\frac{i-1}{n-i+1}, \qquad i=1,\ldots,n$	10 ²	4.0×10²	9.0×10²	1.9×10³
$\Delta E(X_1\cdots X_k)=\frac{n^n}{n!}-1, \qquad 2\le k=n<\infty$	10 ²	2.5×10²	2.7 ×10⁵	4.3×10¹⁰
$\Delta D(X_1\ldots X_k)=\frac{2^n}{n+1}-1$	10 ²	10 ⁵	9.0×10¹⁰	4.9×10²⁶

Высший (системный или пользовательский) уровень

$\chi^2$ - критерий относится к непараметрическим критериям математической статистики и был предложен К. Пирсоном в 1903 г. для проверки гипотезы, согласно которой случайный вектор частот имеет независимые компоненты со средними значениями $np_i^{(0)}$ и заданное мультиномиальное распределение традиционной интерпретации.

Замена опытных данных $np_i^{(0)}$ мультиномиального распределения традиционной интерпретации средними значениями $(n-\ldots-n_{i-1})p_i^{(0)}$ мультиномиального распределения настоящей интерпретации позволяет непосредственно использовать критерий для оценки погрешностей принятия

мультиномиального распределения традиционной интерпретации за распределение независимых случайных величин.

В результате возникли две погрешности: погрешность гипотезы $\Delta (H_0)$ и погрешность уровня значимости $\Delta (\alpha)$ , причем уровень значимости должен быть в пределах $0<\alpha<0,5$ .

В $\chi^2$ - критерии отсутствуют погрешности, когда погрешность гипотезы и погрешность уровня значимости одновременно равны нулю. Теоретически это возможно в двух случаях: когда значения всех случайных величин за исключением последней равны нулю (последняя строка таблицы 5); в биномиальных распределениях с независимыми характеристиками случайных величин. Однако такие распределения не соответствуют требованиям аксиоматики Колмогорова.

Погрешности гипотезы и уровня значимости возрастают по мере уменьшения различия числовых значений случайных величин. При этом каждый раз, когда последняя

случайная величина распределения принимает нулевое значение, у погрешности гипотезы возникает неопределённость типа $(0/0)-1$ . Погрешность уровня значимости, оставаясь отрицательной, почти вдвое может превышать допустимый уровень значимости.

Причины возникновения погрешностей

Причины возникновения погрешностей — три объективные и четыре субъективные [6].

Первая объективная причина. До первой половины 20-го века отсутствовал требуемый математический аппарат.

Биномиальное распределение стало зарождаться во второй половине 17-го века, а мультиномиальное распределение — в первой половине 19-го века, когда

руководящей философской идеей развития теории вероятностей было убеждение во всеобщности понятия независимости. Авторы того времени, вплоть до конца 19-го

века, как правило, не оговаривали это предположение [7, с. 208].

Известны были только условно независимые (неравновозможные) события. Если “…встречались не все равновозможны, - пояснял В. Я. Буняковский - то чрез

дробление на другие, оне могут быть приведены к равновозможным…” [8, c.6-8].

Вторая объективная причина. С появлением цепей Маркова (1907 год) казалось бы, можно было исключить объективные причины. Однако цепи Маркова, интенсивно развиваясь, в первой

половине 20-го века находились в начальной стадии своего развития, и еще не были определены их области применения.

Третья объективная причина. Теория вероятностей не являлась строгой математической дисциплиной [9] до создания аксиоматики Колмогорова, впервые опубликованной в 1933 году на немецком

языке и переизданной в 1974 году на русском языке [10].

Первая монография по теории вероятностей, которая по существу начинается с изложения аксиоматики Колмогорова, принадлежит А. А. Боровкову [11] и появилась

только через 70 лет после первой публикации и через 29 лет после повторной публикации аксиоматики Колмогорова.

Результат трех объективных причин — биномиальное и полиномиальное распределения эволюционно стали развиваться как распределения независимых

случайных величин.

Первая субъективная причина — очевидное невероятное. Очевидно, что в разложении полинома $1=(p_1+\ldots+p_k)^n$ его правая часть

совпадает с вероятностью полиномиального распределения

$\prod_{i=1}^kP(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=\frac{n!}{n_1! \cdots n_k!} p_1^{n_1}\cdots p_k^{n_k}.$

Следовательно, остается только найти наибольший по величине член разложения этого полинома и принять его за математическое ожидание полиномиального

распределения. Однако был избран иной путь, до конца так и не приведший к определению математического ожидания полиномиального распределения.

Вторая субъективная причина — методическая — заключается в том, что биномиальное, а затем и полиномиальное распределение, стали относить

к распределениям, полученным методом выбора с возвращением [12, с. 184]. Видимо на это повлиял процесс извлечения из урны и возвращения обратно в урну

одного произвольного шара в урновой модели Лапласа [13]. Лаплас им иллюстрировал одно испытание Бернулли — независимое повторное испытание с двумя

взаимоисключающими исходами каждый (вынут белый или чёрный шар) с вероятностями $p$ и $q$ соответственно, а этот процесс был принят за

метод выбора с возвращением (шара в урну). Однако, как было доказано выше, полиномиальному распределению и биномиальному распределению, как частному случаю

полиномиального, свойственен метод выбора без возвращения.

Третья субъективная причина — логическая — заключается в неправильном обобщении биномиального распределения на полиномиальное распределение

[12, с. 184] и биномиальных коэффициентов на полиномиальные коэффициенты [14]: “Биноминальные коэффициенты допускают ряд обобщений. Среди них —

полиномиальные коэффициенты…”. Логически правильно [18] обобщение понятия общего (полиномиального) на частное (биномиальное).

Четвёртая субъективная причина — гносеологическая — заключается в недооценки роли философии в познании проблем математики. Почти абсолютно

прав был английский философ 13-го века Роджер Бэкон (около 1214-1292), утверждавший, что “…ни одна наука не может быть познана без

математики” [16, с. 875]. Но если теория вероятностей как один из разделов математической науки познает саму себя, то, по всей видимости, одной математики

недостаточно. Не будем осуждать немецкого писателя Новалиса (1772-1801годы) за столь же категоричное, но противоположное утверждение: “В конце

концов, математика — это лишь элементарная философия, а философия — это высшая математика вообще” [17, с. 10]. Согласно [[аксиоматика

Колмогорова|аксиоматике Колмогорова]] каждое из этих высказываний имеет свою вероятность достоверности. Ближе к истине как к математическому ожиданию и

золотой середине был французский философ Ж. Б. Бордас-Дамулен (1778-1859 годы): “Без математики — не постичь глубин философии,

без философии — не постичь глубин математики, без обеих не постичь ничего” [17, с. 33]. Опыт философии теории вероятностей Лапласа тому

подтверждение [13]. Французский писатель Ф. Журден (1876-1958 годы) уточнил: “…во второй половине 19-го века математики сами начали развивать

философию или скорее логику” [17, с. 80]. Оказалось далеко не все.

Цицерон (106-43 до н.э.), вопрошая, пророчески утверждал: “Вероятностные знания? вот предел человеческого разумения” [18].

Таким образом, погрешности существующих парадигм распределений составляют сотню (для биномиального распределения традиционной интерпретации), тысячи и

миллионы процентов (для полиномиального распределения традиционной интерпретации).

Литература

1. http://ru.wikipedia.org/wiki/ Математическая физика

2.Голоборщенко В. С. Основы теории дискретных распределений. Часть 5: Как технические задачи и технические результаты математической физики. // Проблемы

создания информационных технологий. М.: ООО Техполиграфцентр, 2010. Вып. 19, с. 31–36.

3. Голоборщенко В. С. Парадоксы в современной теории вероятностей. Часть 3: Погрешности существующих парадигм. Сборник научных трудов МАИТ // М.: ООО

Техполиграфцентр, 2007. Вып.15, с. 5-11.

4. Никулин М. С. Хи-квадрат критерий // Вероятность и математическая статистика: Энциклопедия. М.: Большая Российская энциклопедия, 1999, с. 787-789.

ISBN 585270265X

5. Голоборщенко В. С. Столетие ошибочного применения Хи-квадрат критерия в полиномиальном распределении: причины, последствия и пути устранения. //

Проблемы создания информационных технологий. Сборник научных трудов. Минск: МАИТ, 2005. Вып.11. Том 1, с. 13-19.

6. Голоборщенко В. С. Парадоксы в современной теории вероятностей. Часть 4: Причины возникновения и пути устранения // Проблемы создания информационных

технологий. Сборник научных трудов МАИТ. М.: ООО Техполиграфцентр, 2007. Вып. 16, с. 9-15.

7. Математика X1X века. М.: Наука, 1978, 255с.

8. Буняковский В.Я. Основания математической теории вероятностей. Сочинение Императорской Академии Наук ординарного академика, профессора

С.Петербургского университета и доктора математических наук Парижской Академии. САНКТПЕТЕРБУРГ, Типография Императорской Академии Наук. 1846, 477с.

9. Крамер Г. Полвека с теорией вероятностей… Современные проблемы математики. М.: Знание, 1979. 60 с.

10. Колмогоров А. Н. Основные понятия теории вероятностей. 2-е издание. М.: Наука, 1974. 120 с.

11. Боровков А. А. Теория вероятностей. М., Эдиториал УРСС, 2003, 472 с. ISBN 5354004128

12. Феллер В. Введение в теорию вероятностей и ее приложения, т. 1. М.: Мир, 1984. 527 с.

13. Лаплас П. Опыт философии теории вероятностей. // Вероятность и математическая статистика: Энциклопедия. М.: Большая Российская энциклопедия, 1999, с.

834-863. ISBN 585270265X

14. Ватутин В. А. Биномиальный коэффициент. // Вероятность и математическая статистика: Энциклопедия. М.: Большая Российская энциклопедия, 1999, с. 50.

ISBN 585270265X

15. Горский Д. П. Обобщение и познание. М.: Мысль, 1985. 208 с.

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9C%D1%83%D0%BB%D1%8C%D1%82%D0%B8%D0%BD%D0%BE%D0%BC%D0%B8%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B5_%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B7%D0%B0%D0%B2%D0%B8%D1%81%D0%B8%D0%BC%D1%8B%D1%85_%D1%81%D0%BB%D1%83%D1%87%D0%B0%D0%B9%D0%BD%D1%8B%D1%85_%D0%B2%D0%B5%D0%BB%D0%B8%D1%87%D0%B8%D0%BD»

@@ Строка 825: / Строка 825: @@
 математическое ожидание биномиального распределения.
-==Полиномиальное распределение и цепи Маркова: совпадения и отличия, частный случай==
+==Мультиномиальное распределение и цепи Маркова: совпадения и отличия, частный случай==
-Полиномиальное распределение появляется в последовательности зависимых случайных испытаний с конечным или счётным числом исходов. По сути &mdash; это [[цепи
+Мультиномиальное распределение появляется в последовательности зависимых случайных испытаний с конечным или счётным числом исходов. По сути &mdash; это [[цепи Маркова| цепь Маркова]], где    <tex>X_{i+1}</tex>-ая случайная величина зависима от предшествующей <tex>X_i</tex>-ой случайной величины
-Маркова| цепь Маркова]], где    <tex>X_{i+1}</tex>-ая случайная величина зависима от предшествующей <tex>X_i</tex>-ой случайной величины
 :<tex>t_{i+1}>t_i,X_{i+1}=n_{i+1} | t_i<t_{i+1}, X_i=n_i,\quad i=1,\ldots,k \le n</tex>
-следующим образом: <tex>X_{i+1}</tex>-ая  случайная величина в <tex>t_{i+1}</tex>-ый  момент времени  принимает числовое значение, равное <tex>n_{i+1}</tex>,
+следующим образом: <tex>X_{i+1}</tex>-ая  случайная величина в <tex>t_{i+1}</tex>-ый  момент времени  принимает числовое значение, равное <tex>n_{i+1}</tex>,при условии, что в <tex>t_i</tex>-ый момент времени  <tex>X_i</tex>-ая случайная величина приняла числовое значение, равное <tex>n_i</tex>.
-при условии, что в <tex>t_i</tex>-ый момент времени  <tex>X_i</tex>-ая случайная величина приняла числовое значение, равное <tex>n_i</tex>.
 Случайные величины следуют одна за другой в порядке  возрастания своих номеров.
-<tex>X_0</tex>, называемое начальным распределением цепи Маркова, для полиномиального распределения не имеет смысла <tex>t_0=0,
+<tex>X_0</tex>, называемое начальным распределением цепи Маркова, для мультиномиального распределения не имеет смысла <tex>t_0=0,\quad X_0=0</tex>, поскольку нумерация случайных величин начинается с единицы:
- \quad  X_0=0</tex>, поскольку нумерация случайных величин начинается с единицы: <tex>t_1, X_1,\ldots, t_k, X_k</tex>.
+<tex>t_1, X_1,\ldots, t_k, X_k</tex>.
-Переходная вероятность полиномиального распределения
+Переходная вероятность мультиномиального распределения
 :<tex>P(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1}),\quad 0\le n_i\le n< \infty</tex>
-является дискретной функцией времени. Следовательно, и полиномиальное распределение
+является дискретной функцией времени. Следовательно, и мультиномиальное распределение
 :<tex>\prod_{i=1}^kP(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=\frac{n!}{n_1! \cdots n_k!} p_1^{n_1}\cdots p_k^{n_k},</tex>
@@ Строка 856: / Строка 852: @@
 Сумма всех вероятностей полиномиального распределения равна единице. Следовательно, полиномиальное распределение  как цепь Маркова,  является стахостической.
-Однако в отличие от марковских цепей и марковских процессов полиномиальное распределение не обладает свойством отсутствия последействия, согласно которому
+Однако в отличие от марковских цепей и марковских процессов полиномиальное распределение не обладает свойством отсутствия последействия, согласно которому для любого испытания допускается зависимость его от непосредственно предшествующего ему испытания (и только от него).
-для любого испытания допускается зависимость его от непосредственно предшествующего ему испытания (и только от него).
+Причина заключается в том, что в мультиномиальном распределении имеется ещё одна зависимость &mdash; каждая случайная величина (кроме первой) зависима от всех ей предшествующих случайных величин.
-Причина заключается в том, что в полиномиальном распределении имеется ещё одна зависимость &mdash; каждая случайная величина (кроме первой) зависима от всех
+Зависимость проявляется в том, что  предшествующая  случайная величина (<tex>X_i</tex>) мультиномиального распределения в соответствующий момент времени (<tex>t_i</tex>) сокращает на своё числовое значение (<tex>n_i</tex>) верхнюю границу пространства элементарных событий следующей за ней случайной величины <tex>X_{i+1}</tex>):
-ей предшествующих случайных величин.
-Зависимость проявляется в том, что  предшествующая  случайная величина (<tex>X_i</tex>) полиномиального распределения в соответствующий момент времени (
-<tex>t_i</tex>) сокращает на своё числовое значение (<tex>n_i</tex>) верхнюю границу пространства элементарных событий следующей за ней случайной величины
-(<tex>X_{i+1}</tex>):
 :<tex>\Omega_{i+1}(t_{i+1}, X_{i+1}=n_{i+1} \mid t_i,X_i=n_i)=[0 \le n_{i+1} \le n-\ldots-n_i],\quad i=1,\ldots,k \le n.</tex>
@@ Строка 885: / Строка 873: @@
 процесс стахостический, поскольку сумма вероятностей равна единице <tex>p1 + p2 = 1</tex>;
-как и в полиномиальном распределении,  начальное состояние цепи Маркова <tex>X_0</tex>,  для биномиального распределения не имеет смысла <tex>t_0=0,  \quad
+как и в мультиномиальном распределении,  начальное состояние цепи Маркова <tex>X_0</tex>,  для биномиального распределения не имеет смысла <tex>t_0=0,\quad X_0=0</tex>, поскольку нумерация случайных величин начинается с единицы: <tex>t_1, X_1, \quad t_2, X_2</tex>.
-X_0=0</tex>, поскольку нумерация случайных величин начинается с единицы: <tex>t_1, X_1, \quad t_2, X_2</tex>.
 == Сравнительная оценка характеристик полиномиальных распределений зависимых и независимых случайных величин  ==

Мультиномиальное распределение зависимых случайных величин

Материал из MachineLearning.

Версия 13:51, 1 ноября 2013

Содержание

Характеристики случайных величин полиномиального распределения:

Схема повторных циклов случайных зависимых экспериментов

Технические задачи и технические результаты

Вероятностная схема полиномиального распределения

Урновая модель полиномиального распределения

Способ получения вероятностей мультиномиального распределения

Способ получения математического ожидания полиномиального распределения

Два варианта получения математического ожидания полиномиального распределения:

Первый вариант

Урновая модель первого варианта

Второй вариант

Урновая модель второго варианта

Локальные экстремумы математического ожидания мультиномиального распределения

Локальные максимумы и минимумы

Свойства дисперсии полиномиального распределения

Мультиномиальное распределение как процесс выполнения взаимосвязанных действий над объектами

Мультиномиальное распределение и цепи Маркова: совпадения и отличия, частный случай

Сравнительная оценка характеристик полиномиальных распределений зависимых и независимых случайных величин

Погрешности традиционной интерпретации

Низший (элементный) уровень

Средний (функциональный) уровень

Высший (системный или пользовательский) уровень

Причины возникновения погрешностей

Литература

Просмотры

Личные инструменты

Навигация

Поиск

Инструменты