Критерий Уилкоксона-Манна-Уитни

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Новая: '''U-критерий Манна-Уитни''' (Mann-Whitney U test) — непараметрический статистический критерий, используемый д...)
Текущая версия (12:14, 19 октября 2013) (править) (отменить)
(→Ссылки)
 
(10 промежуточных версий не показаны.)
Строка 1: Строка 1:
'''U-критерий Манна-Уитни''' (Mann-Whitney U test) — [[непараметрический статистический критерий]], используемый для оценки различий между двумя [[выборка]]ми по признаку, измеренному в количественной или порядковой [[шкала измерения|шкале]].
'''U-критерий Манна-Уитни''' (Mann-Whitney U test) — [[непараметрический статистический критерий]], используемый для оценки различий между двумя [[выборка]]ми по признаку, измеренному в количественной или порядковой [[шкала измерения|шкале]].
 +
U-критерий является [[ранговый критерий|ранговым]], поэтому он инвариантен по отношению к любому монотонному преобразованию шкалы измерения.
Другие названия:
Другие названия:
Строка 5: Строка 6:
критерий суммы рангов Уилкоксона (Wilcoxon rank-sum test) или
критерий суммы рангов Уилкоксона (Wilcoxon rank-sum test) или
критерий Уилкоксона-Манна-Уитни (Wilcoxon-Mann-Whitney test, WMW).
критерий Уилкоксона-Манна-Уитни (Wilcoxon-Mann-Whitney test, WMW).
-
 
-
Критерий часто применяется для проверки равенства средних в двух выборках (отрицание этого предположения называют [[гипотеза сдвига|гипотезой сдвига]]).
 
-
Однако, строго говоря, U-критерий проверяет [[нулевая гипотеза|нулевую гипотезу]] об [[гипотеза однородности|однородности]], то есть гипотезу, что две выборки одинаково распределены.
 
-
Это более сильное предположение.
 
-
С другой стороны, U-критерий гораздо более чувствителен к различию средних, чем к различию дисперсий или других характеристик распределения выборок.
 
-
Для проверки [[гипотеза однородности|однородности]] следует пользоваться более мощными критериями.
 
-
 
-
Критерий Манна-Уитни является непараметрическим аналогом [[Критерий Стьюдента|критерия Стьюдента]].
 
-
Если [[нормальная выборка|выборки нормальные]], то предпочтительно применить более мощный критерий Стьюдента.
 
== Примеры задач ==
== Примеры задач ==
Строка 40: Строка 32:
'''Дополнительные предположения:'''
'''Дополнительные предположения:'''
-
* обе выборки [[простая выборка|простые]];
+
* обе выборки [[простая выборка|простые]], объединённая выборка [[независимая выборка|независима]];
-
* обе выборки взяты из непрерывных распределений.
+
* выборки взяты из неизвестных непрерывных распределений <tex>F(x)</tex> и <tex>G(y)</tex> соответственно.
-
'''[[Нулевая гипотеза]]''' <tex>H_0:</tex> две выборки взяты из одного и того же распределения.
+
'''[[Нулевая гипотеза]]''' <tex>H_0:\; \mathbb{P} \{ x<y \} = 1/2</tex>.
'''Статистика критерия:'''
'''Статистика критерия:'''
# Построить общий [[вариационный ряд]] объединённой выборки <tex>x^{(1)} \leq \cdots \leq x^{(m+n)}</tex> и найти ранги <tex>r(x_i),\; r(y_i)</tex> всех элементов обеих выборок в общем вариационном ряду.
# Построить общий [[вариационный ряд]] объединённой выборки <tex>x^{(1)} \leq \cdots \leq x^{(m+n)}</tex> и найти ранги <tex>r(x_i),\; r(y_i)</tex> всех элементов обеих выборок в общем вариационном ряду.
-
# Вычислить средние ранги обеих выборок и статистику <tex>U</tex>:
+
# Вычислить суммарные ранги обеих выборок и статистику Манна-Уитни <tex>U</tex>:
::<tex>R_x = \sum_{i=1}^m r(x_i);\;\;\;\; U_x = mn + \frac12m(m+1) - R_x;</tex>
::<tex>R_x = \sum_{i=1}^m r(x_i);\;\;\;\; U_x = mn + \frac12m(m+1) - R_x;</tex>
::<tex>R_y = \sum_{i=1}^n r(y_i);\;\;\;\; U_y = mn + \frac12n(n+1) - R_y;</tex>
::<tex>R_y = \sum_{i=1}^n r(y_i);\;\;\;\; U_y = mn + \frac12n(n+1) - R_y;</tex>
::<tex>U = \min\left\{U_x,U_y\right\}.</tex>
::<tex>U = \min\left\{U_x,U_y\right\}.</tex>
-
Замечание: менее рациональный способ вычисления статистик <tex>U_x,\: U_y</tex>:
+
Замечание: менее рациональный способ вычисления статистик Манна-Уитни <tex>U_x,\: U_y</tex>:
::<tex>U_x = \sum_{i=1}^m \sum_{j=1}^n \left[ x_i < y_j\right];</tex>
::<tex>U_x = \sum_{i=1}^m \sum_{j=1}^n \left[ x_i < y_j\right];</tex>
::<tex>U_y = \sum_{i=1}^m \sum_{j=1}^n \left[ x_i > y_j\right].</tex>
::<tex>U_y = \sum_{i=1}^m \sum_{j=1}^n \left[ x_i > y_j\right].</tex>
Строка 58: Строка 50:
'''Критерий''' (при [[уровень значимости|уровне значимости]] <tex>\alpha</tex>):
'''Критерий''' (при [[уровень значимости|уровне значимости]] <tex>\alpha</tex>):
-
* против альтернативы <tex>H_1:\; \bar x \neq \bar y</tex>
+
[[Изображение:Standard_Normal_Density_-_Double-sided_Critical_Area.png|thumb|Критическая область асимптотического критерия Манна-Уитни.]]
-
::если <tex> U < U_{\alpha/2} </tex> или <tex> U < U_{1-\alpha/2} </tex>, то нулевая гипотеза отвергается;
+
-
* против альтернативы <tex>H'_1:\; \bar x < \bar y</tex>
+
* против альтернативы <tex>H_1:\; \mathbb{P} \{ x<y \} \neq 1/2</tex>
-
::если <tex> U < U_{\alpha} </tex>, то нулевая гипотеза отвергается;
+
::если <tex> U \notin \left[ U_{\alpha/2},\, U_{1-\alpha/2} \right] </tex>, то нулевая гипотеза отвергается;
-
* против альтернативы <tex>H''_1:\; \bar x > \bar y</tex>
+
* против альтернативы <tex>H'_1:\; \mathbb{P} \{ x<y \} > 1/2</tex>
-
::если <tex> U > U_{1-\alpha} </tex>, то нулевая гипотеза отвергается;
+
::если <tex> U_x > U_{1-\alpha} </tex>, то нулевая гипотеза отвергается;
 +
 
 +
* против альтернативы <tex>H''_1:\; \mathbb{P} \{ x<y \} < 1/2</tex>
 +
::если <tex> U_y > U_{1-\alpha} </tex>, то нулевая гипотеза отвергается;
где
где
<tex> U_{\alpha} </tex> есть <tex>\alpha</tex>-[[квантиль]] табличного распределения Уилкоксона-Манна-Уитни с параметрами <tex>m,\,n</tex>.
<tex> U_{\alpha} </tex> есть <tex>\alpha</tex>-[[квантиль]] табличного распределения Уилкоксона-Манна-Уитни с параметрами <tex>m,\,n</tex>.
-
'''Асимптотический критерий''' при <tex>m,\,n > 8</tex>:
+
'''Асимптотический критерий''':
-
::<tex>\tilde U = \frac{U-\frac12mn}{\sqrt{\frac1{12}mn(m+n+1)}}</tex> асимптотически имеет стандартное нормальное распределение.
+
нормированная и центрированная статистика Манна-Уитни
 +
::<tex>\tilde U = \frac{U-\frac12mn}{\sqrt{\frac1{12}mn(m+n+1)}}</tex>
 +
асимптотически имеет стандартное нормальное распределение при <tex>m,\,n > 8</tex>.
 +
 
 +
== Свойства и границы применимости U-критерия ==
 +
 
 +
Иногда ошибочно считают, что U-критерий проверяет нулевую [[гипотеза однородности|гипотезу однородности]]
 +
<tex>H_{00}:\; F(x)=G(y)</tex>, то есть что две выборки взяты из одного и того же распределения.
 +
U-критерий не является состоятельным против общей альтернативы
 +
<tex>H_1:\; F(x) \neq G(y)</tex>.
 +
Это означает, что гипотеза однородности будет приниматься чаще, чем она на самом деле верна.
 +
Существуют ситуации, когда гипотеза <tex>H_{0}</tex> верна, а более сильная гипотеза однородности <tex>H_{00}</tex> не верна [Орлов].
 +
Для проверки [[гипотеза однородности|однородности]] существуют более мощные критерии, в частности, [[критерий Смирнова]] или [[критерий Лемана-Розенблатта]].
 +
 
 +
Иногда ошибочно считают, что U-критерий проверяет нулевую гипотезу равенства медиан в двух выборках.
 +
Существуют распределения, для которых гипотеза <tex>H_{0}</tex> верна, но их медианы различны.
 +
 
 +
U-критерий можно применять для проверки [[гипотеза сдвига|гипотезы сдвига]] в качестве альтернативной
 +
<tex>H_{1}:\; F(x)=G(x+r)</tex>, где <tex>r</tex> — некоторая константа, отличная от нуля.
 +
При этой альтернативе U-критерий является [[состоятельный критерий|состоятельным]].
 +
Его целесообразно применять, если одним и тем же прибором проводятся две серии измерений двух значений некоторой физической величины. При этом функция распределения <tex>G(x)</tex> описывает погрешности измерения одного значения, а <tex>G(x+r)</tex> — другого. Однако во многих приложениях (в&nbsp;частности, эконометрических) нет особых оснований предполагать, что распределение второй выборки лишь сдвигается, но не меняется каким-либо иным образом.
 +
 
 +
U-критерий является непараметрическим аналогом [[Критерий Стьюдента|критерия Стьюдента]].
 +
Если выборки [[Нормальное распределение|нормальные]], то для проверки гипотезы сдвига предпочтительно применить более мощный критерий Стьюдента.
== История ==
== История ==
Строка 79: Строка 96:
# ''Mann H. B., Whitney D. R.'' On a test of whether one of two random variables is stochastically larger than the other. // Annals of Mathematical Statistics. — 1947, №18. — Pp.&nbsp;50-60.
# ''Mann H. B., Whitney D. R.'' On a test of whether one of two random variables is stochastically larger than the other. // Annals of Mathematical Statistics. — 1947, №18. — Pp.&nbsp;50-60.
# ''Wilcoxon F.'' Individual Comparisons by Ranking Methods. // Biometrics Bulletin&nbsp;1. 1945. — Pp.&nbsp;80–83.
# ''Wilcoxon F.'' Individual Comparisons by Ranking Methods. // Biometrics Bulletin&nbsp;1. 1945. — Pp.&nbsp;80–83.
 +
# ''Орлов А. И.'' Эконометрика. — М.:&nbsp;Экзамен, 2003. — 576&nbsp;с. (§4.5&nbsp;Какие гипотезы можно проверять с&nbsp;помощью двухвыборочного критерия Вилкоксона?)
# ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006. — 816&nbsp;с.
# ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006. — 816&nbsp;с.
Строка 88: Строка 106:
* [http://ru.wikipedia.org/wiki/U-%D0%BA%D1%80%D0%B8%D1%82%D0%B5%D1%80%D0%B8%D0%B9_%D0%9C%D0%B0%D0%BD%D0%BD%D0%B0-%D0%A3%D0%B8%D1%82%D0%BD%D0%B8 U-критерий Манна-Уитни] (Википедия).
* [http://ru.wikipedia.org/wiki/U-%D0%BA%D1%80%D0%B8%D1%82%D0%B5%D1%80%D0%B8%D0%B9_%D0%9C%D0%B0%D0%BD%D0%BD%D0%B0-%D0%A3%D0%B8%D1%82%D0%BD%D0%B8 U-критерий Манна-Уитни] (Википедия).
* [http://msu.edu/course/sw/430/2005/tables/wmw.pdf Таблица критических значений U-критерия Манна-Уитни]
* [http://msu.edu/course/sw/430/2005/tables/wmw.pdf Таблица критических значений U-критерия Манна-Уитни]
-
* [http://www.saburchill.com/IBbiology/downloads/002.pdf Critical Values for the Mann-Whitney U-Test.]
+
* [[Media:Critical_Values_for_the_Mann-Whitney_U-Test.pdf|Critical Values for the Mann-Whitney U-Test; p=5%.]]
 +
* [[Media:Critical_Values_for_the_Mann-Whitney_U-Test_p5_1.pdf‎|Критические_значения_критерия_U_Манна.pdf‎; p=5%, 1%]]
 +
* [http://ami.nstu.ru/~headrd/seminar/publik_html/Homogeneity_averages.pdf О параметрических и непараметрических критериях проверки гипотез об однородности средних и их мощности на сайте Новосибирского государственного технического университета]
[[Категория:Статистические тесты]]
[[Категория:Статистические тесты]]
[[Категория:Непараметрические статистические тесты]]
[[Категория:Непараметрические статистические тесты]]

Текущая версия

U-критерий Манна-Уитни (Mann-Whitney U test) — непараметрический статистический критерий, используемый для оценки различий между двумя выборками по признаку, измеренному в количественной или порядковой шкале. U-критерий является ранговым, поэтому он инвариантен по отношению к любому монотонному преобразованию шкалы измерения.

Другие названия: критерий Манна-Уитни-Уилкоксона (Mann-Whitney-Wilcoxon, MWW), критерий суммы рангов Уилкоксона (Wilcoxon rank-sum test) или критерий Уилкоксона-Манна-Уитни (Wilcoxon-Mann-Whitney test, WMW).

Содержание

Примеры задач

Пример 1. Первая выборка — это пациенты, которых лечили препаратом А. Вторая выборка — пациенты, которых лечили препаратом Б. Значения в выборках — это некоторая характеристика эффективности лечения (уровень метаболита в крови, температура через три дня после начала лечения, срок выздоровления, число койко-дней, и т.д.) Требуется выяснить, имеется ли значимое различие эффективности препаратов А и Б, или различия являются чисто случайными и объясняются «естественной» дисперсией выбранной характеристики.

Пример 2. Первая выборка — это поля, обработанные агротехническим методом А. Вторая выборка — поля, обработанные агротехническим методом Б. Значения в выборках — это урожайность. Требуется выяснить, является ли один из методов эффективнее другого, или различия урожайности обусловлены случайными факторами.

Пример 3. Первая выборка — это дни, когда в супермаркете проходила промо-акция типа А (красные ценники со скидкой). Вторая выборка — дни промо-акции типа Б (каждая пятая пачка бесплатно). Значения в выборках — это показатель эффективности промо-акции (объём продаж, либо выручка в рублях). Требуется выяснить, какой из типов промо-акции более эффективен.

Описание критерия

Заданы две выборки x^m = (x_1,\ldots,x_m),\; x_i \in \mathbb{R};\;\; y^n = (y_1,\ldots,y_n),\; y_i \in \mathbb{R}.

Дополнительные предположения:

  • обе выборки простые, объединённая выборка независима;
  • выборки взяты из неизвестных непрерывных распределений F(x) и G(y) соответственно.

Нулевая гипотеза H_0:\; \mathbb{P} \{ x<y \} = 1/2.

Статистика критерия:

  1. Построить общий вариационный ряд объединённой выборки x^{(1)} \leq \cdots \leq x^{(m+n)} и найти ранги r(x_i),\; r(y_i) всех элементов обеих выборок в общем вариационном ряду.
  2. Вычислить суммарные ранги обеих выборок и статистику Манна-Уитни U:
R_x = \sum_{i=1}^m r(x_i);\;\;\;\; U_x = mn + \frac12m(m+1) - R_x;
R_y = \sum_{i=1}^n r(y_i);\;\;\;\; U_y = mn + \frac12n(n+1) - R_y;
U = \min\left\{U_x,U_y\right\}.

Замечание: менее рациональный способ вычисления статистик Манна-Уитни U_x,\: U_y:

U_x = \sum_{i=1}^m \sum_{j=1}^n \left[ x_i < y_j\right];
U_y = \sum_{i=1}^m \sum_{j=1}^n \left[ x_i > y_j\right].

Критерий (при уровне значимости \alpha):

Критическая область асимптотического критерия Манна-Уитни.
Критическая область асимптотического критерия Манна-Уитни.
  • против альтернативы H_1:\; \mathbb{P} \{ x<y \} \neq 1/2
если U \notin \left[ U_{\alpha/2},\, U_{1-\alpha/2} \right] , то нулевая гипотеза отвергается;
  • против альтернативы H'_1:\; \mathbb{P} \{ x<y \} > 1/2
если U_x > U_{1-\alpha} , то нулевая гипотеза отвергается;
  • против альтернативы H''_1:\; \mathbb{P} \{ x<y \} < 1/2
если U_y > U_{1-\alpha} , то нулевая гипотеза отвергается;

где U_{\alpha} есть \alpha-квантиль табличного распределения Уилкоксона-Манна-Уитни с параметрами m,\,n.

Асимптотический критерий: нормированная и центрированная статистика Манна-Уитни

\tilde U = \frac{U-\frac12mn}{\sqrt{\frac1{12}mn(m+n+1)}}

асимптотически имеет стандартное нормальное распределение при m,\,n > 8.

Свойства и границы применимости U-критерия

Иногда ошибочно считают, что U-критерий проверяет нулевую гипотезу однородности H_{00}:\; F(x)=G(y), то есть что две выборки взяты из одного и того же распределения. U-критерий не является состоятельным против общей альтернативы H_1:\; F(x) \neq G(y). Это означает, что гипотеза однородности будет приниматься чаще, чем она на самом деле верна. Существуют ситуации, когда гипотеза H_{0} верна, а более сильная гипотеза однородности H_{00} не верна [Орлов]. Для проверки однородности существуют более мощные критерии, в частности, критерий Смирнова или критерий Лемана-Розенблатта.

Иногда ошибочно считают, что U-критерий проверяет нулевую гипотезу равенства медиан в двух выборках. Существуют распределения, для которых гипотеза H_{0} верна, но их медианы различны.

U-критерий можно применять для проверки гипотезы сдвига в качестве альтернативной H_{1}:\; F(x)=G(x+r), где r — некоторая константа, отличная от нуля. При этой альтернативе U-критерий является состоятельным. Его целесообразно применять, если одним и тем же прибором проводятся две серии измерений двух значений некоторой физической величины. При этом функция распределения G(x) описывает погрешности измерения одного значения, а G(x+r) — другого. Однако во многих приложениях (в частности, эконометрических) нет особых оснований предполагать, что распределение второй выборки лишь сдвигается, но не меняется каким-либо иным образом.

U-критерий является непараметрическим аналогом критерия Стьюдента. Если выборки нормальные, то для проверки гипотезы сдвига предпочтительно применить более мощный критерий Стьюдента.

История

Данный метод выявления различий между выборками был предложен в 1945 году Френком Уилкоксоном. В 1947 году он был существенно переработан и расширен Манном и Уитни, по именам которых сегодня обычно и называется.

Литература

  1. Mann H. B., Whitney D. R. On a test of whether one of two random variables is stochastically larger than the other. // Annals of Mathematical Statistics. — 1947, №18. — Pp. 50-60.
  2. Wilcoxon F. Individual Comparisons by Ranking Methods. // Biometrics Bulletin 1. 1945. — Pp. 80–83.
  3. Орлов А. И. Эконометрика. — М.: Экзамен, 2003. — 576 с. (§4.5 Какие гипотезы можно проверять с помощью двухвыборочного критерия Вилкоксона?)
  4. Кобзарь А. И. Прикладная математическая статистика. — М.: Физматлит, 2006. — 816 с.

Ссылки

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9A%D1%80%D0%B8%D1%82%D0%B5%D1%80%D0%B8%D0%B9_%D0%A3%D0%B8%D0%BB%D0%BA%D0%BE%D0%BA%D1%81%D0%BE%D0%BD%D0%B0-%D0%9C%D0%B0%D0%BD%D0%BD%D0%B0-%D0%A3%D0%B8%D1%82%D0%BD%D0%B8»
Личные инструменты