Мультиномиальное распределение независимых случайных величин

Материал из MachineLearning.

(Различия между версиями)

Текущая версия

Уважаемые коллеги!

Эта статья всё же содержит, по крайней мере, одну грубую математическую ошибку, причём уже в названии. Во-первых, название должно быть "Мультиномиальное распределение". Во-вторых, величины, имеющие мультиномиальное распределение (т.е. частоты), являются зависимыми. Независимыми являются испытания (и величины, соответствующие результатам отдельных испытаний). Можно сравнить со статьёй на Википедии. --В.М. Неделько 19:56, 7 сентября 2015 (MSD)

Мультиномиальное распределение — совместное распределение вероятностей независимых случайных величин

$\xi_1, \ldots, \xi_k,$

принимающих целые неотрицательные значения

$n_1, \ldots, n_k,$

удовлетворяющие условиям

$n_1+\ldots+n_k=n,$

с вероятностями

$\mathbf{P}(\xi_1=n_1,\ldots,\xi_k=n_k) = \frac{n!}{n_1! \cdots n_k!} p_1^{n_1} \cdots p_k^{n_k},$

где $p_i \geq 0$ , $\sum_{i=1}^n p_i = 1$ ; является многомерным дискретным распределением случайного вектора $(\xi_1, \ldots, \xi_k)$ такого, что

$\xi_1+\ldots+\xi_n = n$

(по существу это распределение является $(k-1)$ -мерным, так как в пространстве $\mathbb{R}^k$ оно вырождено).

Мультииномиальное распределение появляется в так называемой полиномиальной схеме случайных экспериментов: каждая из случайных величин $\xi_j$ —это число наступлений одного из взаимоисключающих событий $x_j, j=1,\ldots,k$ , при повторных независимых экспериментах. Если в каждом эксперименте вероятность наступления события $x_j$ равна $p_j$ , то полиномиальная вероятность равна вероятности того, что при $n$ экспериментах события $x_1, \ldots, x_k$ наступят $n_1, \ldots, n_k$ раз соответственно.

Каждая из случайных величин $\xi_i$ имеет биномиальное распределение с математическим ожиданием $np_i$ и дисперсией $np_i(1-p_i)$ .

Случайный вектор $(\xi_1, \ldots, \xi_k)$ имеет математическое ожидание $(np_1, \ldots, np_k)$ и ковариационную матрицу $B=\| b_{ij} \|$ , где

$b_{ij} = \begin{cases} np_i(1-p_i), & i=j,\\-n p_i p_j, & i \not= j.\end{cases}$

Ранг матрицы $B$ равен $k-1$ в силу того, что $\sum_{i=1}^k n_i=n$ .

Характеристическая функция:

$f(t_1,\ldots,t_k) = \left( p_1 e^{it_1}+\ldots+ p_k e^{it_k}\right)^n.$

При $n \to \infty$ распределение случайного вектора $(\eta_1, \ldots, \eta_k)$ с нормированными компонентами

$\eta_i = (\xi_i-np_i)/\sqrt{np_i(1-p_i)}$

стремится к некоторому многомерному нормальному распределению, а распределение суммы

$\sum_{i=1}^k (1-p_i)\eta_i^2,$

которая используется в математической статистике при построении $\chi^2$ -критерия, стремится к $\chi^2$ -распределению с $k-1$ степенями свободы.

Мультиномиальное распределение независимых случайных величин впервые получил В.Я. Буняковский ^[1] путем разложения полиинома по степеням и делением каждого члена разложения на весь полином.

Имея в виду и аналогичное разложение бинома, В.Я. Буняковский на с.19 написал: "Так как вся эта теория основана на весьма простом разложении степени многочленного количества, то мы считаем излишним входить в дальнейшие подробности по этому вопросу."

Литература

См. также

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9C%D1%83%D0%BB%D1%8C%D1%82%D0%B8%D0%BD%D0%BE%D0%BC%D0%B8%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B5_%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5_%D0%BD%D0%B5%D0%B7%D0%B0%D0%B2%D0%B8%D1%81%D0%B8%D0%BC%D1%8B%D1%85_%D1%81%D0%BB%D1%83%D1%87%D0%B0%D0%B9%D0%BD%D1%8B%D1%85_%D0%B2%D0%B5%D0%BB%D0%B8%D1%87%D0%B8%D0%BD»

Категория: Вероятностные распределения

@@ Строка 1: / Строка 1: @@
-'''Мультиномиа́льное (полиномиа́льное) распределе́ние''' в [[Теория вероятностей|теории вероятностей]] — это обобщение [[Биномиальное распределение|биномиального распределения]] на случай независимых испытаний [[Случайный эксперимент|случайного эксперимента]] с несколькими возможными исходами.
+{{stop|'''Уважаемые коллеги!'''
+Эта статья всё же содержит, по крайней мере, одну грубую математическую ошибку, причём уже в названии.
+Во-первых, название должно быть "Мультиномиальное распределение".
+Во-вторых, величины, имеющие мультиномиальное распределение (т.е. частоты), являются зависимыми. Независимыми являются испытания (и величины, соответствующие результатам отдельных испытаний).
+Можно сравнить со статьёй на Википедии.
+--[[Участник:Nvm|В.М. Неделько]] 19:56, 7 сентября 2015 (MSD)
+}}
-'''Мультиномиа́льное (полиномиа́льное) распределе́ние''' в [[Теория вероятностей|теории вероятностей]] — это обобщение [[Биномиальное распределение|биномиального распределения]] на случай независимых испытаний [[Случайный эксперимент|случайного эксперимента]] с несколькими возможными исходами.
-==Определение==
+'''Мультиномиальное распределение''' — совместное
+распределение вероятностей '''независимых случайных величин'''
+:<tex>\xi_1, \ldots, \xi_k,</tex>
+принимающих целые неотрицательные значения
+:<tex>n_1, \ldots, n_k,</tex>
+удовлетворяющие условиям
+:<tex>n_1+\ldots+n_k=n,</tex>
+с вероятностями
+:<tex>\mathbf{P}(\xi_1=n_1,\ldots,\xi_k=n_k) = \frac{n!}{n_1! \cdots n_k!} p_1^{n_1} \cdots p_k^{n_k},</tex>
+где <tex>p_i \geq 0</tex>, <tex>\sum_{i=1}^n p_i = 1</tex>; является многомерным дискретным распределением случайного вектора <tex>(\xi_1, \ldots, \xi_k)</tex> такого, что
+:<tex>\xi_1+\ldots+\xi_n = n</tex>
+(по существу это распределение является <tex>(k-1)</tex>-мерным, так как в пространстве <tex>\mathbb{R}^k</tex> оно вырождено).
-Пусть <tex>X_1,\ldots, X_n</tex> - [[Независимость (теория вероятностей)|независимые]] одинаково распределённые [[Случайная величина|случайные величины]], такие, что их [[распределение]] задаётся [[Функция вероятности|функцией вероятности]]:
+Мультииномиальное распределение появляется в так называемой ''полиномиальной схеме'' случайных экспериментов: каждая из случайных величин <tex>\xi_j</tex> &mdash;это число наступлений одного из взаимоисключающих событий <tex>x_j, j=1,\ldots,k</tex>, при повторных независимых экспериментах. Если в каждом эксперименте вероятность наступления события <tex>x_j</tex> равна <tex>p_j</tex>, то полиномиальная вероятность равна вероятности того, что при <tex>n</tex> экспериментах события <tex>x_1, \ldots, x_k</tex> наступят <tex>n_1, \ldots, n_k</tex> раз соответственно.
-:<tex>\mathbb{P}(X_i = j) = p_j,\; j=1,\ldots, k</tex>.
-Интуитивно [[Случайное событие|событие]] <tex>\{X_i = j\}</tex> означает, что испытание с номером <tex>i</tex> привело к исходу <tex>j</tex>. Пусть случайная величина <tex>Y_j</tex> равна количеству испытаний, приведших к исходу <tex>j</tex>:
+Каждая из случайных величин <tex>\xi_i</tex> имеет биномиальное распределение с математическим ожиданием <tex>np_i</tex> и дисперсией <tex>np_i(1-p_i)</tex>.
-:<tex>Y_j = \sum_{i=1}^n \mathbf{1}_{\{X_i = j\}},\; j = 1,\ldots, k</tex>.
-Тогда распределение вектора <tex>\mathbf{Y} = (Y_1,\ldots,Y_k)^{\top}</tex> имеет функцию вероятности
+Случайный вектор <tex>(\xi_1, \ldots, \xi_k)</tex> имеет математическое ожидание <tex>(np_1, \ldots, np_k)</tex> и ковариационную матрицу <tex>B=\| b_{ij} \|</tex>, где
-<tex>p_{\mathbf{Y}}(\mathbf{y}) = \left\{\begin{matrix}
+:<tex>b_{ij} = \begin{cases} np_i(1-p_i), & i=j,\\-n p_i p_j, & i \not= j.\end{cases}</tex>
-{n \choose {y_1 \ldots y_k}} p_1^{y_1}\ldots p_k^{y_k}, & \sum\limits_{j=1}^k y_i = n \\
+Ранг матрицы <tex>B</tex> равен <tex>k-1</tex> в силу того, что <tex>\sum_{i=1}^k n_i=n</tex>.
-, & \sum\limits_{j=1}^k y_i \not= n
-\end{matrix}
-\right., \quad \mathbf{y} = (y_1,\ldots, y_k)^{\top} \in \mathbb{N}^k_0</tex>,где
-:<tex>{n \choose {y_1 \ldots y_k}} \equiv \frac{n!}{y_1! \ldots y_k!}</tex> — [[мультиномиальный коэффициент]] (полиномиальный коэффициент).
-== Вектор средних и матрица ковариации ==
+''Характеристическая функция'':
+:<tex>f(t_1,\ldots,t_k) = \left( p_1 e^{it_1}+\ldots+ p_k e^{it_k}\right)^n.</tex>
+При <tex>n \to \infty</tex> распределение случайного вектора <tex>(\eta_1, \ldots, \eta_k)</tex> с нормированными компонентами
+:<tex>\eta_i = (\xi_i-np_i)/\sqrt{np_i(1-p_i)}</tex>
+стремится к некоторому многомерному нормальному распределению, а распределение суммы
+:<tex>\sum_{i=1}^k (1-p_i)\eta_i^2,</tex>
+которая используется в математической статистике при построении <tex>\chi^2</tex>-критерия, стремится к <tex>\chi^2</tex>-распределению с <tex>k-1</tex> степенями свободы.
-[[Математическое ожидание]] случайной величины <tex>Y_j</tex> имеет вид:
+Мультиномиальное распределение независимых случайных величин впервые получил В.Я. [[ Буняковский]] <ref> ''Буняковский В. Я.'' ОСНОВАНИЯ МАТЕМАТИЧЕСКОЙ ТЕОРИИ ВЕРОЯТНОСТЕЙ сочинение В. Я. БУНЯКОВСКОГО, ИМПЕРАТОРСКОЙ АКАДЕМИИ НАУК, ОРДИНАРНОГО АКАДЕМИКА, ПРОФЕССОРА С. ПЕТЕРБУРГСКОГО УНИВЕРСИТЕТА, ДОКТОРА МАТЕМАТИЧЕСКИХ НАУК ПАРИЖСКОЙ АКАДЕМИИ. САНКТПЕТЕРБУРГ. В Типографии Императорской Академии Наук. 1846. 477 с. </ref> путем разложения полиинома по степеням и делением каждого члена разложения на весь полином.
-<tex>\mathbb{E}[Y_j] = np_j</tex>.
-Диагональные элементы [[Ковариационная матрица|матрицы ковариации]] <tex>\Sigma = (\sigma_{ij})</tex> являются [[Дисперсия случайной величины|дисперсиями]] биномиальных случайных величин, а следовательно
-: <tex>\sigma_{jj}=\mathrm{D}[Y_j] = np_j(1-p_j),\; j =1,\ldots, k</tex>.
-Для остальных элементов имеем
-: <tex>\sigma_{ij} = \mathrm{cov}(Y_i,Y_j) = -np_ip_j,\; i \not= j</tex>.
-[[Ранг матрицы]] ковариации мультиномиального распределения равен <tex>k-1</tex>.
-==Вектор средних и матрица ковариации==
+Имея в виду и аналогичное разложение бинома, В.Я. Буняковский на с.19   написал: "Так как вся эта теория основана на весьма простом разложении степени многочленного количества, то мы считаем излишним входить в дальнейшие подробности по этому вопросу."
-[[Математическое ожидание]] случайной величины <tex>Y_j</tex>имеет вид:
+===Литература===
-<tex>\mathbb{E}[Y_j] = np_j</tex>.
+<references />
-Диагональные элементы [[Ковариационная матрица|матрицы ковариации]] <tex>\Sigma = (\sigma_{ij})</tex> являются [[Дисперсия случайной величины|дисперсиями]] биномиальных случайных величин, а следовательно
-:<tex>\sigma_{jj}=\mathrm{D}[Y_j] = np_j(1-p_j),\; j =1,\ldots, k</tex>.
-Для остальных элементов имеем
-:<tex>\sigma_{ij} = \mathrm{cov}(Y_i,Y_j) = -np_ip_j,\; i \not= j</tex>.
-[[Ранг матрицы]] ковариации мультиномиального распределения равен <tex>k-1</tex>.
 ===См. также===

Мультиномиальное распределение независимых случайных величин

Материал из MachineLearning.

Текущая версия

Литература

См. также

Просмотры

Личные инструменты

Навигация

Поиск

Инструменты