Мультиномиальное распределение независимых случайных величин

Материал из MachineLearning.

Уважаемые коллеги!

Эта статья всё же содержит, по крайней мере, одну грубую математическую ошибку, причём уже в названии. Во-первых, название должно быть "Мультиномиальное распределение". Во-вторых, величины, имеющие мультиномиальное распределение (т.е. частоты), являются зависимыми. Независимыми являются испытания (и величины, соответствующие результатам отдельных испытаний). Можно сравнить со статьёй на Википедии. --В.М. Неделько 19:56, 7 сентября 2015 (MSD)

Мультиномиальное распределение — совместное распределение вероятностей независимых случайных величин

$\xi_1, \ldots, \xi_k,$

принимающих целые неотрицательные значения

$n_1, \ldots, n_k,$

удовлетворяющие условиям

$n_1+\ldots+n_k=n,$

с вероятностями

$\mathbf{P}(\xi_1=n_1,\ldots,\xi_k=n_k) = \frac{n!}{n_1! \cdots n_k!} p_1^{n_1} \cdots p_k^{n_k},$

где $p_i \geq 0$ , $\sum_{i=1}^n p_i = 1$ ; является многомерным дискретным распределением случайного вектора $(\xi_1, \ldots, \xi_k)$ такого, что

$\xi_1+\ldots+\xi_n = n$

(по существу это распределение является $(k-1)$ -мерным, так как в пространстве $\mathbb{R}^k$ оно вырождено).

Мультииномиальное распределение появляется в так называемой полиномиальной схеме случайных экспериментов: каждая из случайных величин $\xi_j$ —это число наступлений одного из взаимоисключающих событий $x_j, j=1,\ldots,k$ , при повторных независимых экспериментах. Если в каждом эксперименте вероятность наступления события $x_j$ равна $p_j$ , то полиномиальная вероятность равна вероятности того, что при $n$ экспериментах события $x_1, \ldots, x_k$ наступят $n_1, \ldots, n_k$ раз соответственно.

Каждая из случайных величин $\xi_i$ имеет биномиальное распределение с математическим ожиданием $np_i$ и дисперсией $np_i(1-p_i)$ .

Случайный вектор $(\xi_1, \ldots, \xi_k)$ имеет математическое ожидание $(np_1, \ldots, np_k)$ и ковариационную матрицу $B=\| b_{ij} \|$ , где

$b_{ij} = \begin{cases} np_i(1-p_i), & i=j,\\-n p_i p_j, & i \not= j.\end{cases}$

Ранг матрицы $B$ равен $k-1$ в силу того, что $\sum_{i=1}^k n_i=n$ .

Характеристическая функция:

$f(t_1,\ldots,t_k) = \left( p_1 e^{it_1}+\ldots+ p_k e^{it_k}\right)^n.$

При $n \to \infty$ распределение случайного вектора $(\eta_1, \ldots, \eta_k)$ с нормированными компонентами

$\eta_i = (\xi_i-np_i)/\sqrt{np_i(1-p_i)}$

стремится к некоторому многомерному нормальному распределению, а распределение суммы

$\sum_{i=1}^k (1-p_i)\eta_i^2,$

которая используется в математической статистике при построении $\chi^2$ -критерия, стремится к $\chi^2$ -распределению с $k-1$ степенями свободы.

Мультиномиальное распределение независимых случайных величин впервые получил В.Я. Буняковский ^[1] путем разложения полиинома по степеням и делением каждого члена разложения на весь полином.

Имея в виду и аналогичное разложение бинома, В.Я. Буняковский на с.19 написал: "Так как вся эта теория основана на весьма простом разложении степени многочленного количества, то мы считаем излишним входить в дальнейшие подробности по этому вопросу."