Критерий Неменьи

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Новая: '''Критерий Неменьи''' (также ''Nemenyi test'', ''Nemenyi-Damico-Wolfe-Dunn test'') — [[Статистический критерий|статистический ...)
м
 
(2 промежуточные версии не показаны)
Строка 5: Строка 5:
== Общая идея ==
== Общая идея ==
-
Данный критерий основан на ранжировании всей выборки. Если в выборке всего k групп по n наблюдений в каждой, то наименьшему наблюдению присваивается ранг 1, а наибольшему - ранг k*n. Затем суммируются ранги кждой из групп и вычисляются абсолютные значения их разностей. По сравнению этих значений с некоторыми пороговыми значениями делается вывод об уровне сходства или различия в группах.
+
Данный критерий основан на ранжировании всей выборки. Если в выборке всего k групп по n наблюдений в каждой, то наименьшему наблюдению присваивается ранг 1, а наибольшему - ранг k*n. Затем для каждой из групп подсчитывается средний ранг и вычисляются абсолютные значения их разностей. По сравнению этих значений с некоторыми пороговыми значениями (critical difference) делается вывод об уровне сходства или различия в группах.
== Математическая формулировка ==
== Математическая формулировка ==
 +
Пусть заданы <i>k</i> выборок одинакового объема n: <tex>x_1=\left\{x_{11},\dots,x_{1n}\right\}, \dots, x_k=\left\{x_{k1},\dots,x_{kn}\right\}</tex> из неизвестных непрерывных распределений <tex>F_1(x),\dots,F_k(x)</tex>. Объединённая выборка: <tex>x=x_1\cup x_2\cup \dots \cup x_k</tex>.
-
Если рассматриваемый ряд имеет вид:
+
Нулевая гипотеза <tex>H_0:\; F_1(x)=\dots=F_k(x)</tex> при альтернативе <tex>H_1:\; F_1(x)=F_2(x-\Delta_1)=\dots=F_k(x-\Delta_{k-1})</tex>.
-
::<tex> y_t = c_t + \delta t + e_t ,</tex>
+
Для применения критерия Неменьи упорядочим все <tex>N = n*k</tex> элементов объединенной выборки по возрастанию и зададим каждому элементу <tex>x_{ij}</tex> ранг <tex>r_{ij}=\#x_{ij}</tex> (если в объединенной выборке присутствуют одинаковые элементы, то им следует задавать одинаковый ранг таким образом, чтобы в сумме их ранги давали число, равное сумме их последовательных номеров при ранжировании). Далее для каждой выборки подсчитаем ее ранг как средний ранг ее элементов: <tex>R_i = \frac{1}{n}\sum_{j=1}^n r_{ij}</tex>. Статистикой критерия являются абсолютные значения разностей рангов выборок:
-
::<tex> c_t = c_{t-1} + u_t ,</tex>
+
::<tex>D_{l,m} = |R_l-R_m|, \quad l,m\in\{1,\dots,k\}</tex>
-
где
+
В качестве critical differebce необходимо взять величину
-
::<tex> \delta </tex> — коэффициент тренда,
+
::<tex>CD = q_{\alpha}'\frac{k(k+1)}{6N}</tex>,
-
::<tex> e_t </tex> — некоторый стационарный процесс,
+
где <tex>\alpha</tex> — необходимый уровень значимости, а <tex>q_{\alpha}'</tex> — значение статистики стьюдентизированного размаха (studentized range statistic)<ref>[http://en.wikipedia.org/wiki/Studentized_range Studentized range]</ref>, деленной на <tex>\sqrt{2}</tex>.
-
::<tex> u_t </tex> — некоторый независимый и одинаково распределенный с <tex> e_t </tex> процесс с математическим ожиданием 0 и дисперсией <tex> \sigma ^2 </tex>.
+
-
Выдвигаются две конкурирующие гипотезы:
+
Если <tex>D_{lm}>CD</tex>, то частная нулевая гипотеза <tex>H_0:\;\Delta_l=\Delta_m</tex> отклоняется против двусторонней альтернативы.
-
::<tex>H_0</tex>: временной ряд являются стационарным (или, аналогично <tex> \sigma ^2 = 0 </tex>),
+
== Пример использования ==
-
::<tex>H_1</tex>: временной ряд не являются стационарным (<tex> \sigma ^2 \ne 0</tex>).
+
-
Вычисляем статистику:
+
См. Ермолаев О.Ю. Математическая статистика для психологов. Задача 10.5.
-
::<tex> \frac {\sum_{t = 1}^{T} S_{t}^2}{s^2 T^2} </tex>,
+
В 4 группах спортсменов высокой квалификации (футболисты, гимнасты, теннисисты и пловцы, по 5 человек в каждой) сравнивались время реакции выбора в мс. Психолог выясняет, будут ли различия во времени реакции у спортсменов разного профиля.
-
где
+
В этой задаче гипотеза <tex>H_0</tex> констатирует отсутствие различий между группами, а также отсутствие влияния специализации на время реакции.
-
:: <tex> T </tex> — размер выборки,
+
-
:: <tex> S_t = e_1 + e_2 + ... + e_t ,</tex>
+
-
:: <tex> s^2 </tex> — [http://ru.wikipedia.org/wiki/%D0%A1%D1%82%D0%B0%D0%BD%D0%B4%D0%B0%D1%80%D1%82%D0%BD%D1%8B%D0%B5_%D0%BE%D1%88%D0%B8%D0%B1%D0%BA%D0%B8_%D0%B2_%D1%84%D0%BE%D1%80%D0%BC%D0%B5_%D0%9D%D1%8C%D1%8E%D0%B8-%D0%A3%D0%B5%D1%81%D1%82%D0%B0 стандартная ошибка в форме Ньюи-Уеста (Newey–West estimate)] <ref name="ENW"> Newey, Whitney K; West, Kenneth D (1987). "A Simple, Positive Semi-definite, Heteroskedasticity and Autocorrelation Consistent Covariance Matrix". Econometrica 55 (3): 703–708. </ref>
+
 +
Результаты экспериментов приведены в таблице ниже, в которой проведено необходимое ранжирование экспериментальных данных одновременно по всей выборке в целом.
 +
 +
{| class="wikitable"
 +
|-
 +
! colspan="2" | 1 группа
 +
! colspan="2" | 2 группа
 +
! colspan="2" | 3 группа
 +
! colspan="2" | 4 группа
 +
|-
 +
| Баллы
 +
| Ранги
 +
| Баллы
 +
| Ранги
 +
| Баллы
 +
| Ранги
 +
| Баллы
 +
| Ранги
 +
|-
 +
| 203
 +
| 12
 +
| 213
 +
| 16
 +
| 171
 +
| 5
 +
| 207
 +
| 13
 +
|-
 +
| 184
 +
| 7.5
 +
| 246
 +
| 18
 +
| 208
 +
| 14
 +
| 152
 +
| 2
 +
|-
 +
| 169
 +
| 4
 +
| 184
 +
| 7.5
 +
| 260
 +
| 19
 +
| 176
 +
| 6
 +
|-
 +
| 216
 +
| 17
 +
| 282
 +
| 20
 +
| 193
 +
| 10
 +
| 200
 +
| 11
 +
|-
 +
| 209
 +
| 15
 +
| 190
 +
| 9
 +
| 160
 +
| 3
 +
| 145
 +
| 1
 +
|-
 +
| Сумма рангов по столбцам
 +
| 55.5
 +
|
 +
| 70.5
 +
|
 +
| 51
 +
|
 +
| 33
 +
|}
 +
 +
Имеем:
 +
::<tex>D_{1,2} = 15,</tex>
 +
::<tex>D_{1,3} = 4.5,</tex>
 +
::<tex>D_{1,4} = 22.5,</tex>
 +
::<tex>D_{2,3} = 19.5,</tex>
 +
::<tex>D_{2,4} = 37.5,</tex>
 +
::<tex>D_{3,4} = 18.</tex>
 +
 +
Для уровня значимости <tex>\alpha = 0.05</tex> critical difference <tex>CD = 48.1</tex>. В итоге получаем, что различия в скорости реакции спортсменов имеют случайный характер и тип специализации не влияет на эти показатели.
== Реализации ==
== Реализации ==
* В системе [[Matlab]]: функция FriedmanTest в [https://sites.google.com/site/sparsereptool/ <code>Sparse Representation Toolbox</code>] <ref>[https://sites.google.com/site/sparsereptool/ Nemenyi test for MATLAB]</ref>.
* В системе [[Matlab]]: функция FriedmanTest в [https://sites.google.com/site/sparsereptool/ <code>Sparse Representation Toolbox</code>] <ref>[https://sites.google.com/site/sparsereptool/ Nemenyi test for MATLAB]</ref>.
* В системе [[R]]: функция [http://www.inside-r.org/packages/cran/coin/docs/oneway_test <code>oneway_test</code>] в пакете [http://cran.r-project.org/web/packages/coin/index.html <code>coin</code>] <ref>[http://hosho.ees.hokudai.ac.jp/~kubo/Rdoc/library/tseries/html/kpss.test.html Nemenyi test for R]</ref>.
* В системе [[R]]: функция [http://www.inside-r.org/packages/cran/coin/docs/oneway_test <code>oneway_test</code>] в пакете [http://cran.r-project.org/web/packages/coin/index.html <code>coin</code>] <ref>[http://hosho.ees.hokudai.ac.jp/~kubo/Rdoc/library/tseries/html/kpss.test.html Nemenyi test for R]</ref>.
-
 
-
 
-
== Пример использования ==
 
-
 
-
:: a = 1:100;
 
-
:: b = normrnd(50, 20, 100, 1);
 
-
:: [~,pValuea] = kpsstest(a);
 
-
:: [~,pValueb] = kpsstest(b);
 
-
 
-
Полученные значения p-value 0.1 и 0.001 соответственно, то есть гипотеза о стационарности в первом случае отклоняется, во втором - нет.
 
== Литература ==
== Литература ==
Строка 53: Строка 121:
# ''Кобзарь А.И.'' Прикладная математическая статистика. — М.: Физматлит, 2006.
# ''Кобзарь А.И.'' Прикладная математическая статистика. — М.: Физматлит, 2006.
# ''Ермолаев О.Ю.'' Математическая статистика для психологов. 2 издание. — Москва: Флинта, 2003.
# ''Ермолаев О.Ю.'' Математическая статистика для психологов. 2 издание. — Москва: Флинта, 2003.
 +
# ''Nathalie Japkowicz, Mohak Shah'' Evaluating Learning Algorithms: A Classification Perspective. Cambridge University Press, 2011.
== Ссылки ==
== Ссылки ==
<references />
<references />
-
# [http://en.wikipedia.org/wiki/Nemenyi_test Nemenyi test] в Wikipedia
+
*[http://en.wikipedia.org/wiki/Nemenyi_test Nemenyi test] в Wikipedia
== См. также ==
== См. также ==
Строка 65: Строка 134:
[[Категория:Прикладная статистика]]
[[Категория:Прикладная статистика]]
 +
[[Категория:Статистические тесты]]
[[Категория:Дисперсионный анализ]]
[[Категория:Дисперсионный анализ]]

Текущая версия

Критерий Неменьи (также Nemenyi test, Nemenyi-Damico-Wolfe-Dunn test) — статистический критерий, используемый для проверки наличия сдвига между группами в однофакторном непараметрическом дисперсионном анализе.

Критерий предложен Петром Неменьи в 1963 году.[1]

Содержание

Общая идея

Данный критерий основан на ранжировании всей выборки. Если в выборке всего k групп по n наблюдений в каждой, то наименьшему наблюдению присваивается ранг 1, а наибольшему - ранг k*n. Затем для каждой из групп подсчитывается средний ранг и вычисляются абсолютные значения их разностей. По сравнению этих значений с некоторыми пороговыми значениями (critical difference) делается вывод об уровне сходства или различия в группах.

Математическая формулировка

Пусть заданы k выборок одинакового объема n: x_1=\left\{x_{11},\dots,x_{1n}\right\}, \dots, x_k=\left\{x_{k1},\dots,x_{kn}\right\} из неизвестных непрерывных распределений F_1(x),\dots,F_k(x). Объединённая выборка: x=x_1\cup x_2\cup \dots \cup x_k.

Нулевая гипотеза H_0:\; F_1(x)=\dots=F_k(x) при альтернативе H_1:\; F_1(x)=F_2(x-\Delta_1)=\dots=F_k(x-\Delta_{k-1}).

Для применения критерия Неменьи упорядочим все N = n*k элементов объединенной выборки по возрастанию и зададим каждому элементу x_{ij} ранг r_{ij}=\#x_{ij} (если в объединенной выборке присутствуют одинаковые элементы, то им следует задавать одинаковый ранг таким образом, чтобы в сумме их ранги давали число, равное сумме их последовательных номеров при ранжировании). Далее для каждой выборки подсчитаем ее ранг как средний ранг ее элементов: R_i = \frac{1}{n}\sum_{j=1}^n r_{ij}. Статистикой критерия являются абсолютные значения разностей рангов выборок:

D_{l,m} = |R_l-R_m|, \quad l,m\in\{1,\dots,k\}

В качестве critical differebce необходимо взять величину

CD = q_{\alpha}'\frac{k(k+1)}{6N},

где \alpha — необходимый уровень значимости, а q_{\alpha}' — значение статистики стьюдентизированного размаха (studentized range statistic)[1], деленной на \sqrt{2}.

Если D_{lm}>CD, то частная нулевая гипотеза H_0:\;\Delta_l=\Delta_m отклоняется против двусторонней альтернативы.

Пример использования

См. Ермолаев О.Ю. Математическая статистика для психологов. Задача 10.5.

В 4 группах спортсменов высокой квалификации (футболисты, гимнасты, теннисисты и пловцы, по 5 человек в каждой) сравнивались время реакции выбора в мс. Психолог выясняет, будут ли различия во времени реакции у спортсменов разного профиля.

В этой задаче гипотеза H_0 констатирует отсутствие различий между группами, а также отсутствие влияния специализации на время реакции.

Результаты экспериментов приведены в таблице ниже, в которой проведено необходимое ранжирование экспериментальных данных одновременно по всей выборке в целом.

1 группа 2 группа 3 группа 4 группа
Баллы Ранги Баллы Ранги Баллы Ранги Баллы Ранги
203 12 213 16 171 5 207 13
184 7.5 246 18 208 14 152 2
169 4 184 7.5 260 19 176 6
216 17 282 20 193 10 200 11
209 15 190 9 160 3 145 1
Сумма рангов по столбцам 55.5 70.5 51 33

Имеем:

D_{1,2} = 15,
D_{1,3} = 4.5,
D_{1,4} = 22.5,
D_{2,3} = 19.5,
D_{2,4} = 37.5,
D_{3,4} = 18.

Для уровня значимости \alpha = 0.05 critical difference CD = 48.1. В итоге получаем, что различия в скорости реакции спортсменов имеют случайный характер и тип специализации не влияет на эти показатели.

Реализации

Литература

  1. Лапач С.Н. , Чубенко А.В., Бабич П.Н. Статистика в науке и бизнесе. — Киев: Морион, 2002.
  2. Кобзарь А.И. Прикладная математическая статистика. — М.: Физматлит, 2006.
  3. Ермолаев О.Ю. Математическая статистика для психологов. 2 издание. — Москва: Флинта, 2003.
  4. Nathalie Japkowicz, Mohak Shah Evaluating Learning Algorithms: A Classification Perspective. Cambridge University Press, 2011.

Ссылки

См. также

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9A%D1%80%D0%B8%D1%82%D0%B5%D1%80%D0%B8%D0%B9_%D0%9D%D0%B5%D0%BC%D0%B5%D0%BD%D1%8C%D0%B8»
Личные инструменты