Парадоксы мультиномиального распределения

Материал из MachineLearning.

(Различия между версиями)

Версия 10:16, 29 октября 2013

Предисловие. По мнению Карла Пирсона, в математике нет другого такого раздела науки, в котором столь же легко допустить ошибку, как в теории вероятностей.": см. http://www.vixri.ru/d/Sekej%'20G.%20_Paradoksy%20v%20teorii%20verojatnostej_.pdf ^[1]. Мультиномиальное распределение традиционной интерпретации — известное с давних пор как распределение независимых случайных величин получено так называемым методом выбора с возвращением (каждый раз в процессе проведения очередного независимого испытания выбранные элементы возвращают на прежнее место, в исходное состояние). Мультиномиальное распределение настоящей интерпретации — распределение зависимых случайных величин (кроме первой) получено в этом столетии методом выбора без возвращения в процессе разделения множества различимых и неупорядоченных элементов на подмножества случайных объёмов, в сумме составляющих исходное множество и число подмножеств равно числу случайных величин распределения. Суть метода выбора без возвращения — выбранные элементы множества не возвращают на прежнее место до окончания процесса разбиения исходного множества на его подмножества. Биномиальное распределение традиционной интерпретации — известное с давних пор как распределение одной случайной величины получено так называемым методом выбора с возвращением.

Биномиальное распределение настоящей интерпретации — получено в этом столетии как распределение двух случайных величин. Первая из них независимая, а вторая зависима от первой. Распределение получено методом выбора без возвращения в процессе разделения множества различимых и неупорядоченных элементов на два подмножества, в сумме составляющих исходное множество и число подмножеств равно числу случайных величин распределения. Излагается в рамках минимально необходимого набора параметров, под которым для мультиномиального распределения и каждой его случайной величины понимается: пространство элементарных событий, вероятность, математическое ожидание и дисперсия ^[1]. К дополнительным параметрам отнесены, например, производящая и характеристическая функции ^[1], $\xi^2-$ критерий.

Содержание

1 Парадокс №1. Мультиномиальное распределение не является распределением независимых случайных величин
2 Парадокс №2. Каждая случайная величина мультиномиального распределения не имеет биномиальное распределение
3 Парадокс №3. Математическое ожидание мультиномиального распределения не является произведением математических ожиданий биномиальных распределений
4 Парадокс №4. Математическое ожидание каждой случайной величины мультиномиального распределения не является математическим ожиданием соответствующего биномиального распределения
5 Парадокс №5. Биномиальное распределение традиционной интерпретации не является частным случаем мультиномиального распределения традиционной интерпретации
6 Мультиномиальное распределение как процесс выполнения взаимосвязанных действий над материальными объектами
7 Мультиномиальное распределение и цепи Маркова: совпадения и отличия, частный случай
8 Заключение
9 Литература
10 См.также

Парадокс №1. Мультиномиальное распределение не является распределением независимых случайных величин

Если утверждается, что мультиномиальное распределение традиционной интерпретации является совместным распределением независимых случайных величин и что каждая его случайная величина имеет биномиальное распределение традиционной интерпретации, то произведение вероятностей соответствующих случайных величин биномиальных распределений

$P(X_i=n_i)= {n\choose n_i} p_i^{n_i}q_i^{n-n_i}, \quad i=1,\ldots,k$

должно быть вероятностью мультиномиального распределения

$P(X_1=n_1,\ldots,X_k=n_k)={n\choose n_1}\cdots {n\choose n_k}p_1^{n_1}q_1^{n-n_1}\cdots p_k^{n_k}q_k^{n-n_k}.$

днако полученный результат не соответствует формуле вероятностей мультиномиального распределения

$P(X_1=n_1,\ldots,X_k=n_k)=\frac{n!}{n_1!\cdots n_k!}p_1^{n_1}\cdots p_k^{n_k}.$

Следовательно, мультиномиальное распределение традиционной интерпретации не является распределением независимых случайных величин, что и требовалось доказать.

Парадокс №2. Каждая случайная величина мультиномиального распределения не имеет биномиальное распределение

Этот парадокс доказывается аналогично парадоксу №1. Если каждая случайная величина мультиномиального распределения традиционной интерпретации имеет биномиальное распределение традиционной интерпретации

$P(X_i=n_i)= {n\choose n_i} p_i^{n_i}q_i^{n-n_i}, \quad i=1,\ldots,k,$

то произведение этих случайных величин должно быть вероятностью мультиномиального распределения. Однако полученный результат перемножения

$\prod_{i=1}^k P(X_i=n_i)={n\choose n_1}\cdots {n\choose n_k}p_1^{n_1}q_1^{n-n_1}\cdots p_k^{n_k}q_k^{n-n_k}$

не соответствует формуле вероятностей мультиномиального распределения. Что и требовалось доказать.

Парадокс №3. Математическое ожидание мультиномиального распределения не является произведением математических ожиданий биномиальных распределений

Если утверждается, что мультиномиальное распределение традиционной интерпретации является совместным распределением независимых случайных величин и что каждая его случайная величина имеет биномиальное распределение традиционной интерпретации с математическим ожиданием

$E(X_i=n_i)= p_in, \quad i=1,\ldots,k,$

то произведение математических ожиданий соответствующих случайных величин биномиальных распределений, как произведение независимых случайных величин, должно приводить к математическому ожиданию миультиномиального распределения традиционной интерпретации. Однако полученный результат при условии $n>{1\choose\sqrt[k]{p_1,\cdots,p_k}}$ оказывается больше единицы

$\prod_{i=1}^kE(X_i=n_i)=p_1\cdots p_kn^k >1,$

что противоречит аксиоматике Колмогорова . Согласно второй её аксиоме сумма всех вероятностей, включая и математическое ожидание распределения, должна быть равной единице. Что и требовалось доказать. Более того, при безграничном возрастании числа $n$ испытаний полученный результат стремится к бесконечности.

Парадокс №4. Математическое ожидание каждой случайной величины мультиномиального распределения не является математическим ожиданием соответствующего биномиального распределения

Доказывается аналогично доказательству парадокса №3. Если утверждается, что математическое ожидание каждой случайной величины мультиномиального распределения является математическим ожиданием соответствующего биномиального распределения традиционной интерпретации, то произведение математических ожиданий соответствующих биномиальных распределений обязано привести к математическому ожиданию мультиномиального распределения. Однако это произведение

$\prod_{i=1}^kE(X_i=n_i)=p_1\cdots p_kn^k$

не является математическим ожиданием мультиномиального распределения ни современной, ни традиционной интерпретаций, поскольку при условии $n>{1\choose\sqrt[k]{p_1,\cdots,p_k}}$ оно оказывается больше единицы и противоречит второй аксиоме аксиоматики Колмогорова. Что и требовалось доказать.

Парадокс №5. Биномиальное распределение традиционной интерпретации не является частным случаем мультиномиального распределения традиционной интерпретации

Если утверждается, что биномиальное распределение традиционной интерпретации является частным случаем мультиномиального распределения традиционной интерпретации

$P(X_1=n_1,\ldots,X_k=n_k) = \frac{n!}{n_1! \cdots n_k!} p_1^{n_1} \cdots p_k^{n_k},$

$2\le k \le n< \infty, \quad n_1+\ldots+n_k=n, \quad p_1+\ldots +p_k=1$

при сокращении в нём числа случайных величин до двух, то сокращая число случайных величин до двух $k=2$ , получаем биномиальное распределение двух случайных величин

$P(X_1=n_1,X_2=n_2) = \frac{n!}{n_1! n_2!} p_1^{n_1}p_2^{n_2},$

$n_1+n_2=n, \quad p_1+p_2=1,$

а не одной, каким принято считать биномиальное распределение традиционной интерпретации. Что и требовалось доказать.

Мультиномиальное распределение как процесс выполнения взаимосвязанных действий над материальными объектами

Объекты: множество, его подмножества и их элементы как объективная реальность, существующая вне нас и независимо от нас. Мультиномиальное распределение это:

случайный процесс безвозвратного разделения во времени $t_1,\ldots, t_k, \quad 2\le k\le n$ и в пространстве конечного $n$ - множества различимых неупорядоченных элементов ( $2\le n<\infty$ ),
разделение множества осуществляют выборками без возвращения (изъятые из множества элементы не возвращают обратно во множество до полного окончания экспериментов),
сумма объёмов всех выборок равна объёму исходного множества $\sum _{i=1}^k n_i =n$ , при этом только одна из выборок может иметь случайный объём в пределах всего объёма исходного множества $0\le n_i\le n$ ,
вероятность попадания одного произвольного элемента множества в каждое из подмножеств $0\le p_i<1, \quad i=1,\ldots,k\le n$ принимают за вероятность события с положительным исходом соответствующего распределения Бернулли ,
эти вероятности неизменны в процессе разбиения множества и пронормированы $\sum _{i=1}^k p_i =1$ согласно аксиоматике Колмогорова,
очерёдность следования выборок принимают за нумерацию случайных величин $X_1, \ldots, X_k$ мультиномиального распределения,
случайный объём каждой выборки $n_i, \quad i=1,\ldots, k\le n$ в момент времени $t_i$ принимают за числовое значение соответствующей случайной величины $X_i=n_i \mid X_{i-1}=n_{i-1}$ мультиномиального распределения при условии, что в предшествующий момент времени $t_{i-1}$ предшествующая случайная величина $X_{i-1}$ приняла числовое значение $n_{i-1}$ ,
результаты каждого разбиения обрабатывают вероятностными методами, определяют технические характеристике всех выборок и принимают их за технические характеристики случайных величин мультиномиального распределения,
минимально необходимый набор технических характеристик случайных величин и мультиномиального распределения в целом это: пространство элементарных событий, вероятность, математическое ожидание и дисперсия,
математическое ожидание мультиномиального распределения имеет место, когда число выборок $k$ равно числу элементов $n$ -множества $k=n$ и численно равно $\frac{n!}{n^n}, \quad 2\le n, <\infty$ , откуда $n=2, \quad \frac{n!}{n^n}=\frac{2!}{2^2}=\frac{1}{2}$ - математическое ожидание биномиального распределения.

Мультиномиальное распределение и цепи Маркова: совпадения и отличия, частный случай

Мультиномиальное распределение появляется в последовательности зависимых случайных испытаний с конечным или счётным числом исходов. По сути — это цепь Маркова, где $X_{i+1}$ -ая случайная величина зависима от предшествующей $X_i$ -ой случайной величины

$t_{i+1}>t_i,X_{i+1}=n_{i+1} \mid t_i<t_{i+1}, X_i=n_i,\quad i=1,\ldots,k \le n$

следующим образом: $X_{i+1}$ -ая случайная величина в $t_{i+1}$ -ый момент времени принимает числовое значение, равное $n_{i+1}$ , при условии, что в $t_i$ -ый момент времени $X_i$ -ая случайная величина приняла числовое значение, равное $n_i$ . Случайные величины следуют одна за другой в порядке возрастания своих номеров. $X_0$ , называемое начальным распределением цепи Маркова, для мультиномиального распределения не имеет смысла $t_0=0, \quad X_0=0$ , поскольку нумерация случайных величин начинается с единицы: $t_1, X_1,\ldots, t_k, X_k$ .

Переходная вероятность мультиномиального распределения

$P(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1}),\quad 0\le n_i\le n< \infty$

является дискретной функцией времени. Следовательно, и мультиномиальное распределение

$\prod_{i=1}^kP(t_i,X_i=n_i \mid t_{i-1},X_{i-1}=n_{i-1})=\frac{n!}{n_1! \cdots n_k!} p_1^{n_1}\cdots p_k^{n_k},$

как произведение его случайных величин, является дискретной функцией времени, иными словами, мультиномиальное распределение является марковским процессом с дискретным временем. Сумма всех вероятностей мультиномиального распределения равна единице. Следовательно, мультиномиальное распределение как цепь Маркова, является стахостической. Однако в отличие от марковских цепей и марковских процессов мультиномиальное распределение не обладает свойством отсутствия последействия, согласно которому для любого испытания допускается зависимость его от непосредственно предшествующего ему испытания (и только от него). Причина заключается в том, что в мультиномиальном распределении имеется ещё одна зависимость — каждая случайная величина (кроме первой) зависима от всех ей предшествующих случайных величин. Зависимость проявляется в том, что предшествующая случайная величина ( $X_i$ ) мультиномиального распределения в соответствующий момент времени ( $t_i$ ) сокращает на своё числовое значение ( $n_i$ ) верхнюю границу пространства элементарных событий следующей за ней случайной величины ( $X_{i+1}$ ):

$\Omega_{i+1}(t_{i+1}, X_{i+1}=n_{i+1} \mid t_i,X_i=n_i)=[0 \le n_{i+1} \le n-\ldots-n_i],$

$i=1,\ldots,k \le n.$

Как следствие, все предшествующие случайные величины (если их числовые значения отличны от нуля) поочерёдно в соответствующие моменты времени сокращают на свои числовые значения верхнюю границу пространства элементарных событий последней случайной величины.

В частном случае, когда $k=2$ , имеет место биномиального распределения интерпретации 21-го века.

С точки зрения цепей Маркова — биномиальное распределение интерпретации 21-го века — это простейший марковский процесс с дискретным временем, в котором: вторая случайная величина зависима от первой (и только от неё)

$t_2>t_i,X_2=n_2 \mid t_i<t_2, X_1=n_1, \quad n_1+n_2=1;$

всего лишь одна переходная вероятность

$P(t_2,X_2=n_2 \mid t_1,X_1=n_1);$

процесс стахостический, поскольку сумма вероятностей равна единице $p_1+p_2=1$ ; как и в мультиномиальном распределении, начальное состояние цепи Маркова $X_0$ , для биномиального распределения не имеет смысла $t_0=0, \quad X_0=0$ , поскольку нумерация случайных величин начинается с единицы: $t_1, X_1, \quad t_2, X_2$ .

Заключение

По числу парадоксов (как минимум 5, а с учётом парадоксов производящих, характеристических функций и $\xi^2$ - критерия 8) мультиномиальному распределению нет равных. Главные причины возникновения парадоксов — ошибки в логике и в методе получения распределения. В частности, мультиномиальное не потому что его формула содержит мультиномиальные (полиномиальные) коэффициенты, а потому что оно первоначально было образовано из полинома (многочлена).

На самом деле мультиномиальное распределение появляется в процессе разбиения ('методом без возвращения) множества различимых и неупорядоченных элементов на несколько подмножеств случайных объёмов, в сумме составляющих исходное множество и число подмножеств равно числу случайных величин распределения.

Главным распространителем парадоксов мультиномиального распределения и биномиального распределения является Википедия, которая нарушает заодно и свои же правила ВП МАРГ: http://ru.wikipedia.org/wiki/Мультиномиальное распределение и http://ru.wikipedia.org/wiki/Биномиальное распределение (в ней не представлено ни одного источника, не говоря об авторитетном).

Пришло время, когда биномиальное распределение и мультиномиальное распределение описаны на единой методологической основе: методом индукции от биномиального распределения приходим к мультииномиальному;

методом дедукции от мультиномиального распределения приходим к биномиальному.

Если и найдётся человек-чудак, который всерьёз будет утверждать, что << мультиномиальное распределение — это распределение независимых случайных величин >>, поприветствуем его как человека из прошлого века.

Литература

См.также

Биномиальное распределение одной случайной величины
Биномиальное распределение двух случайных величин
Биномиальное распределение с равновероятными успехами испытаний Бернулли
Парадоксы биномиального распределения
Мультиномиальное распределение независимых случайных величин
Мультиномиальное распределение зависимых случайных величин
Мультиномиальное распределение с равновероятными успехами испытаний Бернулли
Парадоксы мультиномиального распределения

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9F%D0%B0%D1%80%D0%B0%D0%B4%D0%BE%D0%BA%D1%81%D1%8B_%D0%BC%D1%83%D0%BB%D1%8C%D1%82%D0%B8%D0%BD%D0%BE%D0%BC%D0%B8%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B3%D0%BE_%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%B8%D1%8F»

@@ Строка 104: / Строка 104: @@
 ==См.также==
-*[[Биномиальное распределение]]одной случайной величины
+*[[Биномиальное распределение]] одной случайной величины
 *[[Биномиальное распределение двух случайных величин]]
 *[[Биномиальное распределение с равновероятными успехами испытаний Бернулли]]