Участник:Василий Ломакин/Критерий Уилкоксона двухвыборочный

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
Строка 1: Строка 1:
{{TOCright}}
{{TOCright}}
-
 
-
TODO:
 
-
# Графики
 
-
# Поправка
 
'''Критерий Уилкоксона (Вилкоксона) двухвыборочный''' — [[непараметрический статистический критерий]], используемый для оценки различий между двумя выборками, взятыми из закона распределения, отличного от нормального, либо измеренными с использованием [[Теория измерений|порядковой шкалы]]. Имеется [[Критерий_Уилкоксона_для_связных_выборок|аналог]] критерия Уилкоксона для связанных повторных наблюдений. Критерий является [[Ранговый критерий|ранговым]], поэтому он инвариантен по отношению к любому монотонному преобразованию шкалы измерения.
'''Критерий Уилкоксона (Вилкоксона) двухвыборочный''' — [[непараметрический статистический критерий]], используемый для оценки различий между двумя выборками, взятыми из закона распределения, отличного от нормального, либо измеренными с использованием [[Теория измерений|порядковой шкалы]]. Имеется [[Критерий_Уилкоксона_для_связных_выборок|аналог]] критерия Уилкоксона для связанных повторных наблюдений. Критерий является [[Ранговый критерий|ранговым]], поэтому он инвариантен по отношению к любому монотонному преобразованию шкалы измерения.
Строка 17: Строка 13:
'''Дополнительные предположения:''' обе выборки [[простая выборка|простые]], объединённая выборка [[независимая выборка|независима]];
'''Дополнительные предположения:''' обе выборки [[простая выборка|простые]], объединённая выборка [[независимая выборка|независима]];
-
'''[[Нулевая гипотеза]]''' <tex>H_0:\; \mathbb{P} \{ x<y \} = 1/2. </tex>
+
'''[[Нулевая гипотеза]]''' <tex>H_0:\; \mathbb{P} \{ x\ <\ y \} = 1/2. </tex>
'''Вычисление статистики критерия:'''
'''Вычисление статистики критерия:'''
Строка 28: Строка 24:
'''Критерий''' (при [[уровень значимости|уровне значимости]] <tex>\alpha</tex>):
'''Критерий''' (при [[уровень значимости|уровне значимости]] <tex>\alpha</tex>):
-
Против альтернативы <tex>H_1:\; \mathbb{P} \{ x < y \} \neq 1/2</tex>:
+
Против альтернативы <tex>H_1:\; \mathbb{P} \{ x\ <\ y \} \neq 1/2</tex>:
:если <tex>W \notin \left[ W_{\alpha/2},\,W_{1-\alpha/2} \right]</tex> , то нулевая гипотеза отвергается. Здесь <tex>W_{\alpha}</tex> есть <tex>\alpha</tex>-[[квантиль]] табличного распределения Уилкоксона с параметрами <tex>m,\,n</tex>. <ref>Кобзарь А. И. Прикладная математическая статистика. — 457 c.</ref><ref>Лапач С. Н. Статистика в науке и бизнесе. — 150 с.</ref>
:если <tex>W \notin \left[ W_{\alpha/2},\,W_{1-\alpha/2} \right]</tex> , то нулевая гипотеза отвергается. Здесь <tex>W_{\alpha}</tex> есть <tex>\alpha</tex>-[[квантиль]] табличного распределения Уилкоксона с параметрами <tex>m,\,n</tex>. <ref>Кобзарь А. И. Прикладная математическая статистика. — 457 c.</ref><ref>Лапач С. Н. Статистика в науке и бизнесе. — 150 с.</ref>
Строка 40: Строка 36:
:<tex>\tilde W = \frac{W - \frac{m(m + n + 1)}{2}}{sqrt{\frac{mn(m + n + 1)}{12}}}</tex>;
:<tex>\tilde W = \frac{W - \frac{m(m + n + 1)}{2}}{sqrt{\frac{mn(m + n + 1)}{12}}}</tex>;
-
<tex>\tilde W</tex> асимптотически имеет стандартное нормальное распределение. Нулевая гипотеза (против альтернативы <tex>H_1</tex>) отвергается, если <tex> |\tilde W| > \Phi_{1-\alpha/2} </tex>, где <tex>\Phi_{\alpha}</tex> есть <tex>\alpha</tex>-[[квантиль]] стандартного нормального распределения.
+
<tex>\tilde W</tex> асимптотически имеет стандартное нормальное распределение. Нулевая гипотеза (против альтернативы <tex>H_1</tex>) отвергается, если <tex> |\tilde W|\ >\ \Phi_{1-\alpha/2} </tex>, где <tex>\Phi_{\alpha}</tex> есть <tex>\alpha</tex>-[[квантиль]] стандартного нормального распределения.
Приближение можно использовать, если размер хотя бы одной из выборок превышает 25. Если размеры выборок равны, то данная аппроксимация хорошо работает до <tex>m = n = 8</tex>.<ref>Лапач С. Н. Статистика в науке и бизнесе. — 161 с.</ref>
Приближение можно использовать, если размер хотя бы одной из выборок превышает 25. Если размеры выборок равны, то данная аппроксимация хорошо работает до <tex>m = n = 8</tex>.<ref>Лапач С. Н. Статистика в науке и бизнесе. — 161 с.</ref>
 +
 +
'''Случай совпадающих наблюдений:'''
При наличии [[Вариационный ряд|связок]] необходимо учесть их с помощью поправки. Выражение в знаменателе необходимо заменить на следующее:
При наличии [[Вариационный ряд|связок]] необходимо учесть их с помощью поправки. Выражение в знаменателе необходимо заменить на следующее:
-
:<tex>\left{ \frac{mn(n+m+1)}{12} \left[ 1 - \frac{\sum^k_{i = 1}t_i(t_i^2-1)}{(n+m)(n+m-1)(n+m+1)} \right] \right}^{1/2},</tex><ref>Кобзарь А. И. Прикладная математическая статистика. — 454 c.</ref><ref>Лагутин М. Б. Наглядная математическая статистика. — 206 с.</ref>
+
:<tex>\left{ \frac{mn(n+m+1)}{12} \left[ 1 - \frac{\sum^k_{i = 1}t_i(t_i^2-1)}{(n+m)(n+m-1)(n+m+1)} \right] \right}^{1/2}.</tex><ref>Кобзарь А. И. Прикладная математическая статистика. — 454 c.</ref><ref>Лагутин М. Б. Наглядная математическая статистика. — 206 с.</ref>
-
:где <tex>k</tex> - количество только тех связок, в которые входят ранги как одной, так и другой выборок, <tex>t_1, \ldots, t_k</tex> - их размеры. Совпадения, целиком состоящие из элементов одной и той же выборки, на величину <tex>\tilde W</tex> не влияют. Наблюдения, не совпадающие с другими, рассматриваются как связки размера 1. Для элементов связок вычисляется [[Вариационный ряд|средний ранг]].
+
:Здесь <tex>k</tex> - количество только тех связок, в которые входят ранги как одной, так и другой выборок, <tex>t_1, \ldots, t_k</tex> - их размеры. Совпадения, целиком состоящие из элементов одной и той же выборки, на величину <tex>\tilde W</tex> не влияют. Наблюдения, не совпадающие с другими, рассматриваются как связки размера 1. Для элементов связок вычисляется [[Вариационный ряд|средний ранг]].
 +
 
 +
'''Поправка:'''<ref>Лагутин М. Б. Наглядная математическая статистика. — 205-206 с.</ref>
 +
 
 +
В 1976 году Р. Иман предложил следующую аппроксимацию, обеспечивающую значительное снижение относительной ошибки для критических значений, в том числе на малых выборках. Поправка использует полусумму нормальной и стьюдентовской квантилей. Положим <tex>N = n + m</tex>. Тогда:
 +
 
 +
:<tex>\tilde W^{*} = \frac12 \tilde W \left[ 1 + \sqrt{(n-2)(n - 1 - (\tilde W)^2)} \right]</tex>.
 +
 
 +
Гипотеза <tex>H_0</tex> отвергается, если <tex>\tilde W ^{*} \ge (x_{1-\alpha}+y_{1-\alpha})/2</tex>, где <tex>x_{1-\alpha},\; y_{1-\alpha}</tex> обозначают соответственно квантили уровня <tex>1-\alpha</tex> стандартного нормального распределения и [[Распределение Стьюдента|распределения Стьюдента]] с <tex>N-2</tex> степенью свободы.
== Применение критерия ==
== Применение критерия ==
Строка 56: Строка 62:
Критерий является аналогом критерия [[Критерий Стьюдента|t-критерия Стьюдента для независимых выборок]] в случае закона распределения, отличного от нормального, либо данных, измеренных с использованием порядковой шкалы. Для нормально распределённых совокупностей следует использовать более мощный t-критерий.
Критерий является аналогом критерия [[Критерий Стьюдента|t-критерия Стьюдента для независимых выборок]] в случае закона распределения, отличного от нормального, либо данных, измеренных с использованием порядковой шкалы. Для нормально распределённых совокупностей следует использовать более мощный t-критерий.
-
== Критерий Вилкоксона и [[Критерий Уилкоксона-Манна-Уитни|U-критерий Манна-Уитни]] ==
+
== Критерий Уилкоксона и [[Критерий Уилкоксона-Манна-Уитни|U-критерий Манна-Уитни]] ==
-
Статистики критериев Вилкоксона и Вилкоксона-Манна-Уитни линейно связаны, поэтому, по сути, нет смысла говорить о двух различных критериях.<ref>Орлов А. И. Эконометрика. — 75 c.</ref> Оба они проверяют одну и ту же гипотезу и их границы применимости также совпадают. В то же время в литературе можно встретить рекомендации использовать критерий Вилкоксона для проверки равенства средних, когда нет предположений о дисперсиях,<ref>Лапач С. Н. Статистика в науке и бизнесе. — 160 с.</ref>, а в случае равных дисперсий применять [[Критерий_Уилкоксона-Манна-Уитни|U-критерий Манна-Уитни]].<ref>Лапач С. Н. Статистика в науке и бизнесе. — 118 с.</ref>
+
Статистики критериев Уилкоксона и Уилкоксона-Манна-Уитни линейно связаны, поэтому, по сути, нет смысла говорить о двух различных критериях.<ref>Орлов А. И. Эконометрика. — 75 c.</ref> Оба они проверяют одну и ту же гипотезу и их границы применимости также совпадают. В то же время в литературе можно встретить рекомендации использовать критерий Уилкоксона для проверки равенства средних, когда нет предположений о дисперсиях,<ref>Лапач С. Н. Статистика в науке и бизнесе. — 160 с.</ref>, а в случае равных дисперсий применять [[Критерий_Уилкоксона-Манна-Уитни|U-критерий Манна-Уитни]].<ref>Лапач С. Н. Статистика в науке и бизнесе. — 118 с.</ref>
-
Проведём эксперимент: будем строить график [[Достигаемый уровень значимости|достигаемого уровня значимости]] как функцию размера выборок и параметров распределения. Будем усреднять p-value по нескольким десяткам экспериментов.
+
Проведём эксперимент: будем строить график [[Достигаемый уровень значимости|достигаемого уровня значимости]] как функцию размера выборок (по оси ординат) и параметров распределения (по оси абсцисс). Будем усреднять p-value по нескольким десяткам экспериментов.
Общие параметры для всех экспериментов:
Общие параметры для всех экспериментов:
Строка 66: Строка 72:
* Размер выборок варьируется от 50 до 500 с шагом 50.
* Размер выборок варьируется от 50 до 500 с шагом 50.
* Значение p-value усредняется по 50 экспериментам.
* Значение p-value усредняется по 50 экспериментам.
 +
* Размер выборки откладывается по вертикальной оси, переменный параметр по горизонтальной.
 +
{| class="standard"
{| class="standard"
Строка 83: Строка 91:
|[[Изображение:UNorm_50-50-1000_0_-3-0.3-3_5_5_50.png|400px]]
|[[Изображение:UNorm_50-50-1000_0_-3-0.3-3_5_5_50.png|400px]]
|-
|-
-
|align="center"|[[Критерий Уилкоксона-Манна-Уитни|U-критерий Манна-Уитни]]
+
|align="center"|Критерий Уилкоксона
|Среднее первой выборки: 0.
|Среднее первой выборки: 0.
-
Среднее второй выборки: -30:3:30.
+
Среднее второй выборки: -3:0.3:3.
-
Дисперсия первой выборки: 1.
+
Дисперсия первой выборки: 5.
-
Дисперсия второй выборки: 50.
+
Дисперсия второй выборки: 5.
-
|[[Изображение:UNorm 50-50-1000 0 -30-3-30 1 50 50.png|400px]]
+
|[[Изображение:WNorm 50-50-1000 0 -3-0.3-3 5 5 50.png|400px]]
|-
|-
-
|align="center"|Критерий Уилкоксона
+
|align="center"|[[Критерий Уилкоксона-Манна-Уитни|U-критерий Манна-Уитни]]
|Среднее первой выборки: 0.
|Среднее первой выборки: 0.
-
Среднее второй выборки: -3:0.3:3.
+
Среднее второй выборки: -30:3:30.
Дисперсия первой выборки: 1.
Дисперсия первой выборки: 1.
Строка 103: Строка 111:
Дисперсия второй выборки: 50.
Дисперсия второй выборки: 50.
-
|[[Изображение:WNorm 50-50-1000 0 -3-0.3-3 5 5 50.png|400px]]
+
|[[Изображение:UNorm 50-50-1000 0 -30-3-30 1 50 50.png|400px]]
-
|}
+
|-
-
 
+
-
 
+
-
 
+
-
<График p-value критерия Вилкоксона для равных дисперсий. Размер выборок 50:50:500. Выборка1 <tex>\mathbb{N}(100, 5)</tex>. Выборка2 <tex>\mathbb{N}(100+-0.3, 5)</tex>>
+
-
|-
+
|align="center"|Критерий Уилкоксона
|align="center"|Критерий Уилкоксона
Строка 121: Строка 124:
|[[Изображение:WNorm 50-50-1000 0 -30-3-30 1 50 50.png|400px]]
|[[Изображение:WNorm 50-50-1000 0 -30-3-30 1 50 50.png|400px]]
 +
|}
 +
 +
Легко видеть, что при одинаковых параметрах экспериментов графики p-value критериев Уилкоксона и Уилкоксона-Манна-Уитни практически совпадают, в том числе и в случае, когда дисперсии выборок существенно различаются.
== Примечания ==
== Примечания ==

Версия 20:31, 4 января 2010

Содержание

Критерий Уилкоксона (Вилкоксона) двухвыборочный — непараметрический статистический критерий, используемый для оценки различий между двумя выборками, взятыми из закона распределения, отличного от нормального, либо измеренными с использованием порядковой шкалы. Имеется аналог критерия Уилкоксона для связанных повторных наблюдений. Критерий является ранговым, поэтому он инвариантен по отношению к любому монотонному преобразованию шкалы измерения.

Пример задачи

Задача - сравнить две методики подготовки роженицы к родам. Сравнивается эффективность по оценке состояния новорожденного в баллах (шкала является порядковой).

Описание критерия

Заданы две выборки x^m = (x_1,\ldots,x_m),\; x_i \in \mathbb{R};\;\; y^n = (y_1,\ldots,y_n),\; y_i \in \mathbb{R};\; m \le n, в противном случае следует поменять выборки местами.

Дополнительные предположения: обе выборки простые, объединённая выборка независима;

Нулевая гипотеза H_0:\; \mathbb{P} \{ x\ <\ y \} = 1/2.

Вычисление статистики критерия:

  1. Построить общий вариационный ряд объединённой выборки x^{(1)} \leq \cdots \leq x^{(m+n)} и найти ранги r(x_i),\; r(y_i) всех элементов обеих выборок в общем вариационном ряду.
  2. Рассчитать суммы рангов, соответствующих обеим выборкам:
    R_x = \sum_{i=1}^m r(x_i);
    R_y = \sum_{i=1}^n r(y_i);
  3. Если размеры выборок совпадают (m=n), то значение статистики W будет равняется одной из сумм рангов R_x или R_y (любой). Если же выборки не равны, то W = R_x, то есть сумме рангов, соответствующей меньшей выборке. Заметим, что статистика W линейно связана со статистикой U-критерия Манна-Уитни.

Критерий (при уровне значимости \alpha):

Против альтернативы H_1:\; \mathbb{P} \{ x\ <\ y \} \neq 1/2:

если W \notin \left[ W_{\alpha/2},\,W_{1-\alpha/2} \right] , то нулевая гипотеза отвергается. Здесь W_{\alpha} есть \alpha-квантиль табличного распределения Уилкоксона с параметрами m,\,n. [1][2]

Асимптотический критерий:

Критическая область двухвыборочного критерия Уилкоксона.
Критическая область двухвыборочного критерия Уилкоксона.

Рассмотрим нормированную и центрированную статистика Уилкоксона:

\tilde W = \frac{W - \frac{m(m + n + 1)}{2}}{sqrt{\frac{mn(m + n + 1)}{12}}};

\tilde W асимптотически имеет стандартное нормальное распределение. Нулевая гипотеза (против альтернативы H_1) отвергается, если |\tilde W|\ >\ \Phi_{1-\alpha/2} , где \Phi_{\alpha} есть \alpha-квантиль стандартного нормального распределения.

Приближение можно использовать, если размер хотя бы одной из выборок превышает 25. Если размеры выборок равны, то данная аппроксимация хорошо работает до m = n = 8.[3]

Случай совпадающих наблюдений:

При наличии связок необходимо учесть их с помощью поправки. Выражение в знаменателе необходимо заменить на следующее:

\left{ \frac{mn(n+m+1)}{12} \left[ 1 - \frac{\sum^k_{i = 1}t_i(t_i^2-1)}{(n+m)(n+m-1)(n+m+1)} \right] \right}^{1/2}.[4][5]
Здесь k - количество только тех связок, в которые входят ранги как одной, так и другой выборок, t_1, \ldots, t_k - их размеры. Совпадения, целиком состоящие из элементов одной и той же выборки, на величину \tilde W не влияют. Наблюдения, не совпадающие с другими, рассматриваются как связки размера 1. Для элементов связок вычисляется средний ранг.

Поправка:[6]

В 1976 году Р. Иман предложил следующую аппроксимацию, обеспечивающую значительное снижение относительной ошибки для критических значений, в том числе на малых выборках. Поправка использует полусумму нормальной и стьюдентовской квантилей. Положим N = n + m. Тогда:

\tilde W^{*} = \frac12 \tilde W \left[ 1 + \sqrt{(n-2)(n - 1 - (\tilde W)^2)} \right].

Гипотеза H_0 отвергается, если \tilde W ^{*} \ge (x_{1-\alpha}+y_{1-\alpha})/2, где x_{1-\alpha},\; y_{1-\alpha} обозначают соответственно квантили уровня 1-\alpha стандартного нормального распределения и распределения Стьюдента с N-2 степенью свободы.

Применение критерия

В биологических и эконометрических приложениях метод часто используется для проверки гипотезы о равенстве средних двух независимых выборок. Вообще говоря, данное использование критерия некорректно. Можно построить примеры, когда \mathbb{P} \{ x<y \} = 1/2, и средние выборок не совпадают.[7] При этом надо заметить, что данный недостаток не является редкостью, о многих популярных в математической статистике критериях можно сказать, что они не позволяют проверять те гипотезы, с которыми традиционно связаны. При применении подобных критериев к анализу реальных данных необходимо тщательно взвешивать их достоинства и недостатки.[8]

Критерий является аналогом критерия t-критерия Стьюдента для независимых выборок в случае закона распределения, отличного от нормального, либо данных, измеренных с использованием порядковой шкалы. Для нормально распределённых совокупностей следует использовать более мощный t-критерий.

Критерий Уилкоксона и U-критерий Манна-Уитни

Статистики критериев Уилкоксона и Уилкоксона-Манна-Уитни линейно связаны, поэтому, по сути, нет смысла говорить о двух различных критериях.[9] Оба они проверяют одну и ту же гипотезу и их границы применимости также совпадают. В то же время в литературе можно встретить рекомендации использовать критерий Уилкоксона для проверки равенства средних, когда нет предположений о дисперсиях,[10], а в случае равных дисперсий применять U-критерий Манна-Уитни.[11]

Проведём эксперимент: будем строить график достигаемого уровня значимости как функцию размера выборок (по оси ординат) и параметров распределения (по оси абсцисс). Будем усреднять p-value по нескольким десяткам экспериментов.

Общие параметры для всех экспериментов:

  • Выборки генерируются независимо из нормального распределения с заданными параметрами.
  • Размер выборок варьируется от 50 до 500 с шагом 50.
  • Значение p-value усредняется по 50 экспериментам.
  • Размер выборки откладывается по вертикальной оси, переменный параметр по горизонтальной.


Тип критерия Параметры эксперимента График
U-критерий Манна-Уитни Среднее первой выборки: 0.

Среднее второй выборки: -3:0.3:3.

Дисперсия первой выборки: 5.

Дисперсия второй выборки: 5.

Критерий Уилкоксона Среднее первой выборки: 0.

Среднее второй выборки: -3:0.3:3.

Дисперсия первой выборки: 5.

Дисперсия второй выборки: 5.

U-критерий Манна-Уитни Среднее первой выборки: 0.

Среднее второй выборки: -30:3:30.

Дисперсия первой выборки: 1.

Дисперсия второй выборки: 50.

Критерий Уилкоксона Среднее первой выборки: 0.

Среднее второй выборки: -30:3:30.

Дисперсия первой выборки: 1.

Дисперсия второй выборки: 50.

Легко видеть, что при одинаковых параметрах экспериментов графики p-value критериев Уилкоксона и Уилкоксона-Манна-Уитни практически совпадают, в том числе и в случае, когда дисперсии выборок существенно различаются.

Примечания

  1. ↑ Кобзарь А. И. Прикладная математическая статистика. — 457 c.
  2. ↑ Лапач С. Н. Статистика в науке и бизнесе. — 150 с.
  3. ↑ Лапач С. Н. Статистика в науке и бизнесе. — 161 с.
  4. ↑ Кобзарь А. И. Прикладная математическая статистика. — 454 c.
  5. ↑ Лагутин М. Б. Наглядная математическая статистика. — 206 с.
  6. ↑ Лагутин М. Б. Наглядная математическая статистика. — 205-206 с.
  7. ↑ Орлов А. И. Эконометрика. — 79 с.
  8. ↑ Орлов А. И. Эконометрика. — 83 с.
  9. ↑ Орлов А. И. Эконометрика. — 75 c.
  10. ↑ Лапач С. Н. Статистика в науке и бизнесе. — 160 с.
  11. ↑ Лапач С. Н. Статистика в науке и бизнесе. — 118 с.

Литература

  1. Лагутин М. Б. Наглядная математическая статистика. В двух томах. — М.: П-центр, 2003. — 204-209 с.
  2. Лапач С. Н. , Чубенко А. В., Бабич П. Н. Статистика в науке и бизнесе. — Киев: Морион, 2002. — 160-164 с.
  3. Орлов А. И. Эконометрика. — М.: Экзамен, 2003. — §4.5.
  4. Кобзарь А. И. Прикладная математическая статистика. — М.: Физматлит, 2006. — 454-456 с.

Ссылки

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:%D0%92%D0%B0%D1%81%D0%B8%D0%BB%D0%B8%D0%B9_%D0%9B%D0%BE%D0%BC%D0%B0%D0%BA%D0%B8%D0%BD/%D0%9A%D1%80%D0%B8%D1%82%D0%B5%D1%80%D0%B8%D0%B9_%D0%A3%D0%B8%D0%BB%D0%BA%D0%BE%D0%BA%D1%81%D0%BE%D0%BD%D0%B0_%D0%B4%D0%B2%D1%83%D1%85%D0%B2%D1%8B%D0%B1%D0%BE%D1%80%D0%BE%D1%87%D0%BD%D1%8B%D0%B9»
Личные инструменты