Нормальное распределение

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Новая: {{Вероятностное распределение| name =Нормальное распределение| type =Плотность| pdf_image =[[Файл:Normal ...)
Строка 42: Строка 42:
* {{не переведено|есть=:en:Shapiro-Wilk test|надо=Критерий Шапиро-Вилка}}
* {{не переведено|есть=:en:Shapiro-Wilk test|надо=Критерий Шапиро-Вилка}}
* {{не переведено|есть=:en:Rankit|надо=График нормальности}} — не столько критерий, сколько графическая иллюстрация: точки специально построенного графика должны лежать почти на одной прямой.
* {{не переведено|есть=:en:Rankit|надо=График нормальности}} — не столько критерий, сколько графическая иллюстрация: точки специально построенного графика должны лежать почти на одной прямой.
 +
 +
== Многомерное нормальное распределение ==
 +
 +
'''Многоме́рное норма́льное распределе́ние''' (или '''многоме́рное га́уссовское распределе́ние''') в [[Теория вероятностей|теории вероятностей]] — это обобщение [[Нормальное распределение|одномерного нормального распределения]].
 +
 +
[[Случайный вектор]] <tex>\mathbf{X} = (X_1,\ldots, X_n)^{\top}: \Omega \to \mathbb{R}^n</tex> имеет многомерное нормальное распределение, если выполняется одно из следующих эквивалентных условий:
 +
 +
* Произвольная [[линейная комбинация]] компонентов вектора <tex>\sum\limits_{i=1}^n a_i X_i</tex> имеет нормальное распределение или является константой.
 +
* Существует вектор независимых [[Нормальное распределение|стандартных нормальных случайных]] величин <tex>\mathbf{Z}=(Z_1,\ldots, Z_m)^{\top}</tex>, вещественный вектор <tex>\mathbf{\mu} = (\mu_1,\ldots, \mu_m)^{\top}</tex> и [[Матрица (математика)|матрица]] <tex>\mathbf{A}</tex> размерности <tex>n \times m</tex>, такие что:
 +
: <tex>\mathbf{X} = \mathbf{A} \mathbf{Z} + \mathbf{\mu}</tex>.
 +
* Существует вектор <tex>\mathbf{\mu} \in \mathbb{R}^n</tex> и [[Положительно определённая матрица|неотрицательно определённая]] симметричная матрица <tex>\mathbf{\Sigma}</tex> размерности <tex>n \times n</tex>, такие что [[плотность вероятности]] вектора <tex>\mathbf{X}</tex> имеет вид:
 +
: <tex>f_{\mathbf{X}}(\mathbf{x}) = \frac{1}{(2\pi )^{n/2} | \Sigma |^{1/2}} e^{-\frac{1}{2}(\mathbf{x} - \mathbf{\mu})^{\top} \Sigma^{-1} (\mathbf{x} - \mathbf{\mu})},\; \mathbf{x} \in \mathbb{R}^n</tex>,
 +
где <tex>| \Sigma | </tex> — определитель матрицы <tex>\Sigma</tex>, а <tex>\Sigma^{-1}</tex> — матрица [[Обратная матрица|обратная]] к <tex>\Sigma</tex>.
 +
* Существует вектор <tex>\mathbf{\mu} \in \mathbb{R}^n</tex> и неотрицательно определённая симметричная матрица <tex>\mathbf{\Sigma}</tex> размерности <tex>n \times n</tex>, такие что [[Характеристическая функция случайной величины|характеристическая функция]] вектора <tex>\mathbf{X}</tex> имеет вид:
 +
: <tex>\phi_{\mathbf{X}}(\mathbf{u}) = e^{i \mathbf{\mu}^{\top} \mathbf{u} - \frac{1}{2}\mathbf{u}^{\top} \Sigma \mathbf{u}},\; \mathbf{u} \in \mathbb{R}^n</tex>.
 +
 +
== Замечания ==
 +
 +
* Если одно из приведённых выше определений принято в качестве основного, то другие выводятся в качестве [[Теорема|теорем]].
 +
* Вектор <tex>\mathbf{\mu}</tex> является вектором [[Математическое ожидание|средних значений]] <tex>\mathbf{X}</tex>, а <tex>\Sigma</tex> — его [[ковариационная матрица]].
 +
* В случае <tex>n = 1</tex>, многомерное нормальное распределение сводится к обычному нормальному распределению.
 +
* Если случайный вектор <tex>\mathbf{X}</tex> имеет многомерное нормальное распределение, то пишут <tex>\mathbf{X} \sim \mathrm{N}(\mathbf{\mu},\Sigma)</tex>.
 +
 +
== Свойства многомерного нормального распределения ==
 +
 +
* Если вектор <tex>\mathbf{X} = (X_1,\ldots, X_n)^{\top}</tex> имеет многомерное нормальное распределение, то его компоненты <tex>X_i, i=1,\ldots, n,</tex> имеют одномерное нормальное распределение. Обратное, вообще говоря, неверно!
 +
* Если случайные величины <tex>X_1,\ldots,X_n</tex> имеют одномерное нормальное распределение и совместно [[Независимость (теория вероятностей)|независимы]], то случайный вектор <tex>\mathbf{X} = (X_1,\ldots, X_n)^{\top}</tex> имеет многомерное нормальное распределение. Матрица ковариаций <tex>\Sigma</tex> такого вектора диагональна.
 +
* Если <tex>\mathbf{X} = (X_1,\ldots, X_n)^{\top}</tex> имеет многомерное нормальное распределение, и его компоненты попарно [[Корреляция|некоррелированы]], то они независимы. Однако, если только компоненты <tex>X_i,\; i = 1 , \ldots, n</tex> имеют одномерное нормальное распределение и попарно не коррелируют, то отсюда ''не'' следует, что они независимы.
 +
 +
: '''Контрпример.''' Пусть <tex>X \sim \mathrm{N}(0,1)</tex>, а <tex>\alpha = \pm 1</tex> с равными вероятностями. Тогда если <tex>Y = \alpha X \sim \mathrm{N}(0,1)</tex>, то корреляция <tex>X</tex> и <tex>Y</tex> равна нулю. Однако, эти случайные величины зависимы.
 +
* Многомерное нормальное распределение [[Устойчивое распределение|устойчиво]] относительно [[Линейный оператор|линейных преобразований]]. Если <tex>\mathbf{X} \sim \mathrm{N}(\mathbf{\mu},\Sigma)</tex>, а <tex>\mathbf{A}</tex> — произвольная матрица размерности <tex>m \times n</tex>, то
 +
: <tex>\mathbf{A}\mathbf{X} \sim \mathrm{N}\left(\mathbf{A}\mathbf{\mu},\mathbf{A}\Sigma \mathbf{A}^{\top}\right)</tex>.
== Заключение ==
== Заключение ==

Версия 14:37, 19 ноября 2009

Нормальное распределение
Плотность вероятности
325px|Плотность нормального распределения
Зеленая линия соответствует стандартному нормальному распределению
Функция распределения
325px|Функция распределения нормального распределения
Цвета на этом графике соответствуют графику наверху
Параметры \mu - коэффициент сдвига (вещественное число)
\sigma>0 - коэффициент масштаба (вещественный, строго положительный)
Носитель x \in (-\infty;+\infty)\!
Плотность вероятности \frac1{\sigma\sqrt{2\pi}}\; \exp\left(-\frac{\left(x-\mu\right)^2}{2\sigma^2} \right) \!
Функция распределения \frac1{\sigma\sqrt{2\pi}}\;\int\limits_{-\infin}^{x} \exp\left(-\frac{\left(t-\mu\right)^2}{2\sigma^2} \right) dt\!
Математическое ожидание \mu\,
Медиана \mu\,
Мода \mu\,
Дисперсия \sigma^2\,
Коэффициент асимметрии 0\,
Коэффициент эксцесса 0\,
Информационная энтропия \ln\left(\sigma\sqrt{2\,\pi\,e}\right)\!
Производящая функция моментов M_X(t)= \exp\left(\mu\,t+\frac{\sigma^2 t^2}{2}\right)
Характеристическая функция \phi_X(t)=\exp\left(\mu\,i\,t-\frac{\sigma^2 t^2}{2}\right)


Нормальное распределение, также называемое распределением Гаусса, — распределение вероятностей, которое играет важнейшую роль во многих областях знаний, особенно в физике. Физическая величина подчиняется нормальному распределению, когда она подвержена влиянию огромного числа случайных помех. Ясно, что такая ситуация крайне распространена, поэтому можно сказать, что из всех распределений в природе чаще всего встречается именно нормальное распределение — отсюда и произошло одно из его названий.

Нормальное распределение зависит от двух параметров — смещения и масштаба, то есть является с математической точки зрения не одним распределением, а целым их семейством. Значения параметров соответствуют значениям среднего (математического ожидания) и разброса (стандартного отклонения).

Стандартным нормальным распределением называется нормальное распределение с математическим ожиданием 0 и стандартным отклонением 1.

Содержание

Моделирование нормальных случайных величин

Простейшие, но неточные методы моделирования основываются на центральной предельной теореме. Именно, если сложить много независимых одинаково распределённых величин с конечной дисперсией, то сумма будет распределена примерно нормально. Например, если сложить 12 независимых базовых случайных величин, получится грубое приближение стандартного нормального распределения. Тем не менее, с увеличением слагаемых распределение суммы стремится к нормальному.

Использование точных методов предпочтительно, поскольку у них практически нет недостатков. В частности, преобразование Бокса — Мюллера является точным, быстрым и простым для реализации методом генерации.

Свойства

Если случайные величины X_1 и X_2 независимы и имеют нормальное распределение с математическими ожиданиями \mu_1 и \mu_2 и дисперсиями \sigma_1^2 и \sigma_2^2 соответственно, то X_1+X_2 также имеет нормальное распределение с математическим ожиданием \mu_1+\mu_2 и дисперсией \sigma_1^2+\sigma_2^2.

Статистическая проверка принадлежности нормальному распределению

Поскольку нормальное распределение часто встречается на практике, то для него разработаны специальные статистические критерии проверки на «нормальность»:

Многомерное нормальное распределение

Многоме́рное норма́льное распределе́ние (или многоме́рное га́уссовское распределе́ние) в теории вероятностей — это обобщение одномерного нормального распределения.

Случайный вектор \mathbf{X} = (X_1,\ldots, X_n)^{\top}: \Omega \to \mathbb{R}^n имеет многомерное нормальное распределение, если выполняется одно из следующих эквивалентных условий:

  • Произвольная линейная комбинация компонентов вектора \sum\limits_{i=1}^n a_i X_i имеет нормальное распределение или является константой.
  • Существует вектор независимых стандартных нормальных случайных величин \mathbf{Z}=(Z_1,\ldots, Z_m)^{\top}, вещественный вектор \mathbf{\mu} = (\mu_1,\ldots, \mu_m)^{\top} и матрица \mathbf{A} размерности n \times m, такие что:
\mathbf{X} = \mathbf{A} \mathbf{Z} + \mathbf{\mu}.
f_{\mathbf{X}}(\mathbf{x}) = \frac{1}{(2\pi )^{n/2} | \Sigma |^{1/2}} e^{-\frac{1}{2}(\mathbf{x} - \mathbf{\mu})^{\top} \Sigma^{-1} (\mathbf{x} - \mathbf{\mu})},\; \mathbf{x} \in \mathbb{R}^n,

где | \Sigma | — определитель матрицы \Sigma, а \Sigma^{-1} — матрица обратная к \Sigma.

  • Существует вектор \mathbf{\mu} \in \mathbb{R}^n и неотрицательно определённая симметричная матрица \mathbf{\Sigma} размерности n \times n, такие что характеристическая функция вектора \mathbf{X} имеет вид:
\phi_{\mathbf{X}}(\mathbf{u}) = e^{i \mathbf{\mu}^{\top} \mathbf{u} - \frac{1}{2}\mathbf{u}^{\top} \Sigma \mathbf{u}},\; \mathbf{u} \in \mathbb{R}^n.

Замечания

  • Если одно из приведённых выше определений принято в качестве основного, то другие выводятся в качестве теорем.
  • Вектор \mathbf{\mu} является вектором средних значений \mathbf{X}, а \Sigma — его ковариационная матрица.
  • В случае n = 1, многомерное нормальное распределение сводится к обычному нормальному распределению.
  • Если случайный вектор \mathbf{X} имеет многомерное нормальное распределение, то пишут \mathbf{X} \sim \mathrm{N}(\mathbf{\mu},\Sigma).

Свойства многомерного нормального распределения

  • Если вектор \mathbf{X} = (X_1,\ldots, X_n)^{\top} имеет многомерное нормальное распределение, то его компоненты X_i, i=1,\ldots, n, имеют одномерное нормальное распределение. Обратное, вообще говоря, неверно!
  • Если случайные величины X_1,\ldots,X_n имеют одномерное нормальное распределение и совместно независимы, то случайный вектор \mathbf{X} = (X_1,\ldots, X_n)^{\top} имеет многомерное нормальное распределение. Матрица ковариаций \Sigma такого вектора диагональна.
  • Если \mathbf{X} = (X_1,\ldots, X_n)^{\top} имеет многомерное нормальное распределение, и его компоненты попарно некоррелированы, то они независимы. Однако, если только компоненты X_i,\; i = 1 , \ldots, n имеют одномерное нормальное распределение и попарно не коррелируют, то отсюда не следует, что они независимы.
Контрпример. Пусть X \sim \mathrm{N}(0,1), а \alpha = \pm 1 с равными вероятностями. Тогда если Y = \alpha X \sim \mathrm{N}(0,1), то корреляция X и Y равна нулю. Однако, эти случайные величины зависимы.
\mathbf{A}\mathbf{X} \sim \mathrm{N}\left(\mathbf{A}\mathbf{\mu},\mathbf{A}\Sigma \mathbf{A}^{\top}\right).

Заключение

Нормальное распределение наиболее часто встречается в природе, нормально распределёнными являются следующие случайные величины:

  • отклонение при стрельбе
  • ошибки при измерениях
  • рост человека

Такое широкое распространение закона связано с тем, что он является предельным законом, к которому приближаются многие другие (например, биномиальный). Доказано, что сумма очень большого числа случайных величин, влияние каждой из которых близко к 0, имеет распределение, близкое к нормальному. Этот факт является содержанием предельной теоремы Ляпунова.

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9D%D0%BE%D1%80%D0%BC%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B5_%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5»
Личные инструменты