Участник:Василий Ломакин/Коэффициент корреляции Спирмена

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
Строка 5: Строка 5:
# Рисунки
# Рисунки
# Определение корреляции
# Определение корреляции
-
# Ссылка на Лапача
+
 
 +
'''Коэффициент корреляции Спирмена''' (Spearman rank correlation coefficient) — мера линейной связи между случайными величинами. Корреляция Спирмена является [[Ранговая корреляция|ранговой]], то есть для оценки силы связи используются не численные значения, а соответствующие им ранги. Коэффициент инвариантен по отношению к любому монотонному преобразованию шкалы измерения.
==Определение==
==Определение==
Заданы две выборки <tex>x = (x_1,\ldots,x_n),\;\; y = (y_1,\ldots,y_n)</tex>.
Заданы две выборки <tex>x = (x_1,\ldots,x_n),\;\; y = (y_1,\ldots,y_n)</tex>.
 +
 +
'''Вычисление корреляции Спирмена:'''
 +
 +
Коэффициент корреляции Спирмена вычисляется по формуле:
 +
:<tex>\rho=1-\frac{6}{n(n-1)(n+1)}\sum_{i=1}^n(R_i-S_i)^2</tex>,<ref>Лагутин М. Б. Наглядная математическая статистика. — 343 с.</ref> где <tex>R_i</tex> - ранг наблюдения <tex>x_i</tex> в ряду <tex>x</tex>, <tex>S_i</tex> - ранг наблюдения <tex>y_i</tex> в ряду <tex>y</tex>.
 +
 +
Коэффициент <tex>\rho</tex> принимает значения из отрезка <tex>[-1;\;1]</tex>. Равенство <tex>\rho=1</tex> указывает на строгую прямую линейную зависимость, <tex>\rho=-1</tex> на обратную.
 +
 +
'''Случай совпадающих наблюдений:'''
 +
 +
При наличии [[Вариационный ряд|связок]] коэффициент корреляции Спирмена следует вычислять следующим образом:
 +
 +
:<tex>\rho = \frac{\sum_{i=1}^n{(R_i-(n+1)/2)(S_i-(n+1)/2)}}{n(n-1)(n+1)-\Delta},</tex><ref>Лапач С. Н. Статистика в науке и бизнесе. — 182 с.</ref>
 +
:где <tex>\Delta=\frac{1}{2}\sum_{l=1}^q{u_i^x((u_i^x)^2-1)+\frac{1}{2}\sum_{i=1}^{f}{u_i^y((u_i^y)^2-1)}}</tex>.
 +
:Здесь <tex>q</tex> и <tex>f</tex> — количество связок в выборках <tex>x</tex> и <tex>y</tex>, <tex>u^x_1, \ldots, u^x_q</tex>, <tex>u^y_1, \ldots, u^y_f</tex> — их размеры. Для элементов связок вычисляется [[Вариационный ряд|средний ранг]].
 +
 +
'''Обоснование критерия Спирмена:'''
 +
 +
Будем говорить, что пары <tex>(x_i,\; y_i)</tex> и <tex>(x_j,\; y_j)</tex> согласованы, если <tex>x_i\ <\ y_j</tex> и <tex>x_i\ <\ y_j</tex> или <tex>x_i\ >\ y_j</tex> и <tex>x_i\ >\ y_j</tex>, то есть <tex>sign(x_j-x_i)sign(y_j-y_i)=1</tex>. Пусть <tex>S</tex> - число согласованных пар, <tex>R</tex> - число несогласованных пар. Тогда, в предположении, что среди <tex>x_i</tex> и среди <tex>y_i</tex> нет совпадений, превышение согласованности над несогласованностью есть:
 +
 +
:<tex>T = S - R = \sum_{i < j}sign(x_j-x_i)sign(y_j-y_i)</tex>.
 +
 +
Для измерения степени согласия Кенделл предложил следующий коэффициент:
 +
 +
:<tex>\tau = \frac{T}{max{T}} = \frac{2T}{n(n-1)} = \frac{2(S-R)}{n(n-1)} = 1 - \frac{4}{n(n-1)}R</tex>.
 +
 +
Таким образом, коэффициент <tex>\tau</tex> (линейно связанный с <tex>R</tex>) можно считать ''мерой неупорядоченности'' второй последовательности относительно первой.<ref>Лагутин М. Б. Наглядная математическая статистика. — 345 с.</ref>
 +
Обозначим через <tex>L_x</tex> — число [[вариационный ряд|связок]] в выборке <tex>x</tex>;
Обозначим через <tex>L_x</tex> — число [[вариационный ряд|связок]] в выборке <tex>x</tex>;
Строка 19: Строка 48:
::<tex>R_y=(R_{y_1},\ldots,R_{y_n})</tex>, где <tex>R_{y_i}</tex> — ранг <tex>i</tex>-го объекта в [[вариационный ряд|вариационном ряду]] выборки <tex>y</tex>.
::<tex>R_y=(R_{y_1},\ldots,R_{y_n})</tex>, где <tex>R_{y_i}</tex> — ранг <tex>i</tex>-го объекта в [[вариационный ряд|вариационном ряду]] выборки <tex>y</tex>.
-
'''Коэффициент корреляции Спирмена''' вычисляется по формуле
+
Коэффициент корреляции Спирмена вычисляется по формуле
::<tex>\rho=\frac{\sum_{i=1}^n{(R_{x_i}-\frac{n+1}{2})(R_{y_i}-\frac{n+1}{2})}}{\frac{1}{12}(n^3-n)-\Delta},</tex>
::<tex>\rho=\frac{\sum_{i=1}^n{(R_{x_i}-\frac{n+1}{2})(R_{y_i}-\frac{n+1}{2})}}{\frac{1}{12}(n^3-n)-\Delta},</tex>
где <tex>\Delta=\frac{1}{2}\sum_{l=1}^{L_{x}}{T_{x_l}(T_{x_l}^2-1)+\frac{1}{2}\sum_{l=1}^{L_y}{T_{y_l}(T_{y_l}^2-1)}}</tex>.
где <tex>\Delta=\frac{1}{2}\sum_{l=1}^{L_{x}}{T_{x_l}(T_{x_l}^2-1)+\frac{1}{2}\sum_{l=1}^{L_y}{T_{y_l}(T_{y_l}^2-1)}}</tex>.
Строка 27: Строка 56:
==Статистическая проверка наличия корреляции==
==Статистическая проверка наличия корреляции==
-
'''Гипотеза <tex>H_0</tex>:''' Выборки <tex>x</tex> и <tex>y</tex> не коррелируют, <tex>\rho=0</tex>.
+
'''[[Нулевая гипотеза]]''' <tex>H_0</tex>: Выборки <tex>x</tex> и <tex>y</tex> не коррелируют (<tex>\rho = 0</tex>).
-
'''Статистика критерия:'''
+
'''Статистика критерия:''' <tex>\rho.</tex>
-
::<tex>\frac{\rho\sqrt{n-2}}{\sqrt{1-\rho^2}}\sim t_{n-2}</tex>,
+
-
где <tex>t_{n-2}</tex> — [[распределение Стьюдента]] с <tex>n-2</tex> степенями свободы.
+
'''Критерий''' (при [[уровень значимости|уровне значимости]] <tex>\alpha</tex>):
'''Критерий''' (при [[уровень значимости|уровне значимости]] <tex>\alpha</tex>):
-
*против альтернативы <tex>H_1</tex>: наличие корреляции
 
-
:: если <tex>\rho > t_{n-2,\alpha} </tex>, где <tex>t_{n-2,\alpha}</tex> — <tex>\alpha</tex>-квантиль [[распределение Стьюдента]] с <tex>n-2</tex> степенями свободы..
 
-
==Связь коэффициента корреляции Спирмена с [[коэффициент корреляции Пирсона|коэффициентом корреляции Пирсона]]==
+
Против альтернативы <tex>H_1:\; \rho\ >\ 0</tex>:
 +
: если <tex>\rho</tex> больше табличного значения критерия Спирмена <tex>p</tex><ref>Лагутин М. Б. Наглядная математическая статистика. — 455 с.</ref> с уровнем значимости <tex>\alpha/2</tex>, то нулевая гипотеза отвергается.
-
В случае выборок из нормального распределения коэффициент корреляции Спирмена <tex>\rho</tex> может быть использован для оценки [[коэффициент корреляции Пирсона|коэффициента корреляции Пирсона]] <tex>r</tex> по формуле
+
'''Асимптотический критерий:'''
-
:: <tex>r=sin{\frac{\pi\rho}{2}}</tex>
+
[[Изображение:Standard_Normal_Density_-_Double-sided_Critical_Area.png|thumb|Критическая область критерия Спирмена.]]
-
==Связь коэффициента корреляции Спирмена с [[Коэффициент корреляции Кенделла|коэффициентом корреляциии Кенделла]]==
+
Рассмотрим центрированную и нормированную статистику Спирмена:
 +
 
 +
:<tex>\tilde{\rho} = \frac{\rho}{\sqrt{D_{\rho}}},</tex>, где <tex>D_{\rho}=\frac{1}{n-1}</tex>.
 +
 
 +
Нулевая гипотеза отвергается (против альтернативы <tex>H_2</tex> — <tex>\left| \rho \right|\ >\ 0</tex>), если:
 +
 
 +
: <tex> \left|\tilde{\rho}\right| \ge \Phi_{1-\alpha/2} </tex>,<ref>Кобзарь А. И. Прикладная математическая статистика. — 627 с.</ref><ref>Лагутин М. Б. Наглядная математическая статистика. — 344 с.</ref> где <tex>\Phi_{1-\alpha}</tex> есть <tex>(1-\alpha)</tex>-[[квантиль]] стандартного нормального распределения.
 +
 
 +
Аппроксимация удовлетворительно работает, начиная с <tex>n\geq 50</tex>.<ref>Лагутин М. Б. Наглядная математическая статистика. — 344 с.</ref>
 +
 
 +
'''Поправка:'''<ref>Лагутин М. Б. Наглядная математическая статистика. — 345 с.</ref><ref>Кобзарь А. И. Прикладная математическая статистика. — 627 с.</ref>
 +
 
 +
В 1978 году Р. Иман и У. Коновер предложили следующую поправку, значительно повышающую точность аппроксимации. Она использует линейную комбинацию нормальной и стьюдентовской квантилей. Положим:
 +
 
 +
<tex>\tilde{\rho} ^{*} = \frac12 \tilde{\rho} \left[ \sqrt{n-1} + \sqrt{\frac{n-2}{1 - (\tilde{\rho})^2}} \right]</tex>.
 +
 
 +
Гипотеза <tex>H_0</tex> отвергается в пользу альтернативы <tex>H_1\ (\rho\ >\ 0)</tex>, если <tex>\tilde{\rho} ^{*} \ge (x_{1-\alpha}+y_{1-\alpha})/2</tex>, где <tex>x_{1-\alpha},\; y_{1-\alpha}</tex> обозначают соответственно квантили уровня <tex>(1-\alpha)</tex> стандартного нормального распределения и распределения Стьюдента с <tex>n-2</tex> степенями свободы.
 +
 
 +
==Примеры==
 +
 
 +
Ниже приведены примеры вычисления корреляций Кенделла и Спирмена. Значения коэффициентов указаны над каждым изображением в виде <tex>(\tau,\ \rho)</tex>, где <tex>\tau</tex> - корреляция Кенделла, <tex>\rho</tex> - Спирмена. Заметно, что в большинстве случаев <tex>\left| \rho \right|\ >\ \left| \tau \right|</tex>. Объяснение этого эффекта приводится [[Коэффициент_корреляции_Кенделла#Связь коэффициентов корреляции Кенделла и Спирмена|ниже]].
 +
 
 +
===Направление линейной зависимости===
 +
 
 +
[[Изображение:Fig1.1-c2.png|left|frame|Корреляции Кенделла и Спирмена. Нормальные сгущения.]]<br clear="both" />
 +
 
 +
Коэффициенты корреляции реагируют на изменение направления и зашумлённость линейной зависимости между переменными.
 +
 
 +
===Наклон линейного тренда===
 +
 
 +
[[Изображение:Kendall Spearman 2.png|left|frame|Корреляции Кенделла и Спирмена. Вращающаяся полоса.]]<br clear="both" />
 +
 
 +
Коэффициенты корреляции реагируют на изменение направления, но не реагируют на изменение наклона тренда. На первом, четвёртом и седьмом рисунках дисперсия одной из переменных близка к нулю, поэтому не удаётся зафиксировать факт линейной зависимости.
 +
 
 +
===Нелинейная зависимость===
 +
 
 +
[[Изображение:Kendall Spearman 3.png|left|frame|Корреляции Кенделла и Спирмена. Нелинейная зависимость.]]<br clear="both" />
 +
 
 +
Корреляции Кенделла и Спирмена не отражают меры нелинейной зависимости между переменными.
 +
 
 +
===Линейная и нелинейная зависимости===
 +
 
 +
На каждой из приведённых ниже иллюстраций осуществляется переход от линейной зависимости к нелинейной. Коэффициенты корреляции Кенделла и Спирмена реагируют на это одинаковым образом.
 +
 
 +
[[Изображение:Kendall Spearman 1.2.png|left|frame|Корреляции Кенделла и Спирмена. Перекрещенные полосы.]]<br clear="both" />
 +
[[Изображение:Kendall Spearman 1.3.png|left|frame|Корреляции Кенделла и Спирмена. Расширяющаяся полоса.]]<br clear="both" />
 +
[[Изображение:Kendall Spearman 1.4.png|left|frame|Корреляции Кенделла и Спирмена. Синусоида с переменной амплитудой.]]<br clear="both" />
 +
 
 +
По мере смены линейной зависимости нелинейной значения коэффициентов корреляции падают.
 +
 
 +
 
 +
==Связь коэффициентов корреляции Спирмена и [[коэффициент корреляции Пирсона|Пирсона]]==
 +
 
 +
В случае выборок из нормального распределения коэффициент корреляции Спирмена <tex>\rho</tex> может быть использован для оценки [[коэффициент корреляции Пирсона|коэффициента корреляции Пирсона]] <tex>r</tex> по формуле:
 +
:<tex>r=2sin{\frac{\pi}{6}\rho}</tex>.<ref>Кобзарь А. И. Прикладная математическая статистика. — 627 с.</ref>
 +
 
 +
==Связь коэффициентов корреляции Кенделла и [[Коэффициент корреляции Спирмена|Спирмена]]==
Выборкам <tex>x</tex> и <tex>y</tex> соответствуют последовательности рангов:
Выборкам <tex>x</tex> и <tex>y</tex> соответствуют последовательности рангов:
-
::<tex>R_x=(R_{x_1},\ldots,R_{x_n})</tex>, где <tex>R_{x_i}</tex> — ранг <tex>i</tex>-го объекта в [[вариационный ряд|вариационном ряду]] выборки <tex>x</tex>;
+
:<tex>R_x=(R_{x_1},\ldots,R_{x_n})</tex>, где <tex>R_{x_i}</tex> — ранг <tex>i</tex>-го объекта в [[вариационный ряд|вариационном ряду]] выборки <tex>x</tex>;
-
::<tex>R_y=(R_{y_1},\ldots,R_{y_n})</tex>, где <tex>R_{y_i}</tex> — ранг <tex>i</tex>-го объекта в [[вариационный ряд|вариационном ряду]] выборки <tex>y</tex>.
+
:<tex>R_y=(R_{y_1},\ldots,R_{y_n})</tex>, где <tex>R_{y_i}</tex> — ранг <tex>i</tex>-го объекта в [[вариационный ряд|вариационном ряду]] выборки <tex>y</tex>.
Проведем операцию упорядочивания рангов.
Проведем операцию упорядочивания рангов.
-
Расположим ряд значений <tex>x_i</tex> в порядке возрастания величины: <tex>x_1\leq x_2\leq\cdots\leq x_n</tex>. Тогда последовательность рангов упорядоченной выборки <tex>x</tex> будет представлять собой последовательность натуральных чисел <tex>1,2,\cdots,n</tex>. Значения <tex>y</tex>, соответствующие значениям <tex>x</tex>, образуют в этом случае некоторую последовательность рангов <tex>T=(T_1,\cdots,T_n)</tex>.
+
Расположим ряд значений <tex>x_i</tex> в порядке возрастания величины: <tex>x_1\leq x_2\leq\cdots\leq x_n</tex>. Тогда последовательность рангов упорядоченной выборки <tex>x</tex> будет представлять собой последовательность натуральных чисел <tex>1,2,\cdots,n</tex>. Значения <tex>y</tex>, соответствующие значениям <tex>x</tex>, образуют в этом случае некоторую последовательность рангов <tex>T=(T_1,\cdots,T_n)</tex>:
-
::<tex>(R_{x_i},\;R_{y_i})\rightarrow^{sort} (i,\;T_i),\; i=1,\cdots,n</tex> (<tex>sort</tex> — операция упорядочивания рангов).
+
:<tex>(R_{x_i},\;R_{y_i})\rightarrow^{sort} (i,\;T_i),\; i=1,\cdots,n</tex>.
-
Коэффициент корреляции Спирмена <tex>\rho</tex> и [[коэффициент корреляции Кенделла]] <tex>\tau</tex> выражаются через ранги <tex>T_i,\; i=1,\cdots,n</tex> следующим образом:
+
Коэффициент корреляции Кенделла <tex>\tau</tex> и [[коэффициент корреляции Спирмена]] <tex>\rho</tex> выражаются через ранги <tex>T_i,\; i=1,\cdots,n</tex> следующим образом:
-
::<tex>\rho=1-\frac{12}{n^3-n}\sum_{i<j}{(j-i)[T_i>T_j]};</tex>
+
:<tex>\rho=1-\frac{12}{n^3-n}\sum_{i<j}{(j-i)[T_i\ >\ T_j]};</tex>
-
::<tex>\tau=1-\frac{4}{n^2-1}\sum_{i<j}[T_i>T_j];</tex>
+
:<tex>\tau=1-\frac{4}{n^2-1}\sum_{i<j}[T_i\ >\ T_j];</tex>
-
Коэффициент корреляции Спирмена учитывает насколько сильна неупорядоченность.
+
Заметно, что в случае <tex>\rho</tex> инверсиям придаются дополнительные веса <tex>(j-i)</tex>, таким образом <tex>\rho</tex> сильнее реагирует на несогласие ранжировок, чем <tex>\tau</tex>. Этот эффект проявляется в приведённых выше примерах: в большинстве из них <tex>\left| \rho \right|\ >\ \left| \tau \right|</tex>.
-
'''Утверждение.''' Если выборки <tex>x</tex> и <tex>y</tex> не коррелируют (выполняется гипотеза <tex>H_0</tex>), то коэффициент корреляции между величинами <tex>\rho</tex> и <tex>\tau</tex> можно вычислить по формуле:
+
'''Утверждение.'''<ref>Лагутин М. Б. Наглядная математическая статистика. — 345-346 с.</ref> Если выборки <tex>x</tex> и <tex>y</tex> не коррелируют (выполняется гипотеза <tex>H_0</tex>), то величины <tex>\rho</tex> и <tex>\tau</tex> сильно закоррелированы. Коэффициент корреляции между ними можно вычислить по формуле:
-
::<tex>corr(\rho,\;\tau)=\frac{2n+2}{\sqrt{4n^2+10n}}</tex>.
+
:<tex>corr(\rho,\;\tau)=\frac{2n+2}{\sqrt{4n^2+10n}}</tex>.
-
== Литература ==
+
==История==
-
# ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006. — 816&nbsp;с.
+
Критерий был предложен британским психологом Чарльзом Эдвардом Спирменом в 1904 году.
-
# ''Лагутин М. Б.'' Наглядная математическая статистика. В двух томах. — М.: П-центр, 2003
+
-
==См. также==
+
==Примечания==
-
*[[Коэффициент корреляции Пирсона]]
+
<\references>
-
*[[Ранговая корреляция]]
+
 
-
*[[Коэффициент корреляции Кенделла]]
+
== Литература ==
 +
# ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006. — 626-628 с.
 +
# ''Лагутин М. Б.'' Наглядная математическая статистика. В двух томах. — М.: П-центр, 2003. — 343-345 с.
 +
# ''Лапач С. Н., Чубенко А. В., Бабич П. Н.'' Статистика в науке и бизнесе. — Киев: Морион, 2002. — 182-184 с.
==Ссылки==
==Ссылки==
-
*[http://ru.wikipedia.org/wiki/Коэффициент_корреляции Коэффициент корреляции](Википедия)
+
*[[Ранговая корреляция]]
-
*[http://ru.wikipedia.org/wiki/Корреляционный_анализ Корреляционный анализ] (Википедия)
+
*[[Коэффициент корреляции Кенделла]] — другой способ расчёта ранговой корреляции.
 +
*[[Коэффициент корреляции Пирсона]]
 +
*[http://ru.wikipedia.org/wiki/Коэффициент_корреляции Коэффициент корреляции] — статья в русскоязычной Википедии.
 +
*[http://en.wikipedia.org/wiki/Spearman%27s_rank_correlation_coefficient Spearman rank correlation coefficient] — статья в англоязычной Википедии.

Версия 16:59, 4 января 2010

Содержание

TODO:

  1. Орфография, пунктуация
  2. Рисунки
  3. Определение корреляции

Коэффициент корреляции Спирмена (Spearman rank correlation coefficient) — мера линейной связи между случайными величинами. Корреляция Спирмена является ранговой, то есть для оценки силы связи используются не численные значения, а соответствующие им ранги. Коэффициент инвариантен по отношению к любому монотонному преобразованию шкалы измерения.

Определение

Заданы две выборки x = (x_1,\ldots,x_n),\;\; y = (y_1,\ldots,y_n).

Вычисление корреляции Спирмена:

Коэффициент корреляции Спирмена вычисляется по формуле:

\rho=1-\frac{6}{n(n-1)(n+1)}\sum_{i=1}^n(R_i-S_i)^2,[1] где R_i - ранг наблюдения x_i в ряду x, S_i - ранг наблюдения y_i в ряду y.

Коэффициент \rho принимает значения из отрезка [-1;\;1]. Равенство \rho=1 указывает на строгую прямую линейную зависимость, \rho=-1 на обратную.

Случай совпадающих наблюдений:

При наличии связок коэффициент корреляции Спирмена следует вычислять следующим образом:

\rho = \frac{\sum_{i=1}^n{(R_i-(n+1)/2)(S_i-(n+1)/2)}}{n(n-1)(n+1)-\Delta},[2]
где \Delta=\frac{1}{2}\sum_{l=1}^q{u_i^x((u_i^x)^2-1)+\frac{1}{2}\sum_{i=1}^{f}{u_i^y((u_i^y)^2-1)}}.
Здесь q и f — количество связок в выборках x и y, u^x_1, \ldots, u^x_q, u^y_1, \ldots, u^y_f — их размеры. Для элементов связок вычисляется средний ранг.

Обоснование критерия Спирмена:

Будем говорить, что пары (x_i,\; y_i) и (x_j,\; y_j) согласованы, если x_i\ <\ y_j и x_i\ <\ y_j или x_i\ >\ y_j и x_i\ >\ y_j, то есть sign(x_j-x_i)sign(y_j-y_i)=1. Пусть S - число согласованных пар, R - число несогласованных пар. Тогда, в предположении, что среди x_i и среди y_i нет совпадений, превышение согласованности над несогласованностью есть:

T = S - R = \sum_{i < j}sign(x_j-x_i)sign(y_j-y_i).

Для измерения степени согласия Кенделл предложил следующий коэффициент:

\tau = \frac{T}{max{T}} = \frac{2T}{n(n-1)} = \frac{2(S-R)}{n(n-1)} = 1 - \frac{4}{n(n-1)}R.

Таким образом, коэффициент \tau (линейно связанный с R) можно считать мерой неупорядоченности второй последовательности относительно первой.[3]


Обозначим через L_x — число связок в выборке x;

T_{x_l} — число объектов в l-ой связке, l=1,\ldots,L_x;
L_y — число связок в выборке y;
T_{y_l} — число объектов в l-ой связке, l=1,\ldots,L_y;

Выборкам x и y соответствуют последовательности рангов:

R_x=(R_{x_1},\ldots,R_{x_n}), где R_{x_i} — ранг i-го объекта в вариационном ряду выборки x;
R_y=(R_{y_1},\ldots,R_{y_n}), где R_{y_i} — ранг i-го объекта в вариационном ряду выборки y.

Коэффициент корреляции Спирмена вычисляется по формуле

\rho=\frac{\sum_{i=1}^n{(R_{x_i}-\frac{n+1}{2})(R_{y_i}-\frac{n+1}{2})}}{\frac{1}{12}(n^3-n)-\Delta},

где \Delta=\frac{1}{2}\sum_{l=1}^{L_{x}}{T_{x_l}(T_{x_l}^2-1)+\frac{1}{2}\sum_{l=1}^{L_y}{T_{y_l}(T_{y_l}^2-1)}}.

Коэффициент корреляции Спирмена \rho изменяется от -1 до 1. Равенство \rho=1 указывает на строгую линейную корреляцию, \rho=0 указывает на отсутствие корреляции.

Статистическая проверка наличия корреляции

Нулевая гипотеза H_0: Выборки x и y не коррелируют (\rho = 0).

Статистика критерия: \rho.

Критерий (при уровне значимости \alpha):

Против альтернативы H_1:\; \rho\ >\ 0:

если \rho больше табличного значения критерия Спирмена p[4] с уровнем значимости \alpha/2, то нулевая гипотеза отвергается.

Асимптотический критерий:

Критическая область критерия Спирмена.
Критическая область критерия Спирмена.

Рассмотрим центрированную и нормированную статистику Спирмена:

\tilde{\rho} = \frac{\rho}{\sqrt{D_{\rho}}},, где D_{\rho}=\frac{1}{n-1}.

Нулевая гипотеза отвергается (против альтернативы H_2\left| \rho \right|\ >\ 0), если:

 \left|\tilde{\rho}\right| \ge \Phi_{1-\alpha/2} ,[5][6] где \Phi_{1-\alpha} есть (1-\alpha)-квантиль стандартного нормального распределения.

Аппроксимация удовлетворительно работает, начиная с n\geq 50.[7]

Поправка:[8][9]

В 1978 году Р. Иман и У. Коновер предложили следующую поправку, значительно повышающую точность аппроксимации. Она использует линейную комбинацию нормальной и стьюдентовской квантилей. Положим:

\tilde{\rho} ^{*} = \frac12 \tilde{\rho} \left[ \sqrt{n-1} + \sqrt{\frac{n-2}{1 - (\tilde{\rho})^2}} \right].

Гипотеза H_0 отвергается в пользу альтернативы H_1\ (\rho\ >\ 0), если \tilde{\rho} ^{*} \ge (x_{1-\alpha}+y_{1-\alpha})/2, где x_{1-\alpha},\; y_{1-\alpha} обозначают соответственно квантили уровня (1-\alpha) стандартного нормального распределения и распределения Стьюдента с n-2 степенями свободы.

Примеры

Ниже приведены примеры вычисления корреляций Кенделла и Спирмена. Значения коэффициентов указаны над каждым изображением в виде (\tau,\ \rho), где \tau - корреляция Кенделла, \rho - Спирмена. Заметно, что в большинстве случаев \left| \rho \right|\ >\ \left| \tau \right|. Объяснение этого эффекта приводится ниже.

Направление линейной зависимости

Корреляции Кенделла и Спирмена. Нормальные сгущения.
Корреляции Кенделла и Спирмена. Нормальные сгущения.

Коэффициенты корреляции реагируют на изменение направления и зашумлённость линейной зависимости между переменными.

Наклон линейного тренда

Корреляции Кенделла и Спирмена. Вращающаяся полоса.
Корреляции Кенделла и Спирмена. Вращающаяся полоса.

Коэффициенты корреляции реагируют на изменение направления, но не реагируют на изменение наклона тренда. На первом, четвёртом и седьмом рисунках дисперсия одной из переменных близка к нулю, поэтому не удаётся зафиксировать факт линейной зависимости.

Нелинейная зависимость

Корреляции Кенделла и Спирмена. Нелинейная зависимость.
Корреляции Кенделла и Спирмена. Нелинейная зависимость.

Корреляции Кенделла и Спирмена не отражают меры нелинейной зависимости между переменными.

Линейная и нелинейная зависимости

На каждой из приведённых ниже иллюстраций осуществляется переход от линейной зависимости к нелинейной. Коэффициенты корреляции Кенделла и Спирмена реагируют на это одинаковым образом.

Корреляции Кенделла и Спирмена. Перекрещенные полосы.
Корреляции Кенделла и Спирмена. Перекрещенные полосы.

Корреляции Кенделла и Спирмена. Расширяющаяся полоса.
Корреляции Кенделла и Спирмена. Расширяющаяся полоса.

Корреляции Кенделла и Спирмена. Синусоида с переменной амплитудой.
Корреляции Кенделла и Спирмена. Синусоида с переменной амплитудой.

По мере смены линейной зависимости нелинейной значения коэффициентов корреляции падают.


Связь коэффициентов корреляции Спирмена и Пирсона

В случае выборок из нормального распределения коэффициент корреляции Спирмена \rho может быть использован для оценки коэффициента корреляции Пирсона r по формуле:

r=2sin{\frac{\pi}{6}\rho}.[10]

Связь коэффициентов корреляции Кенделла и Спирмена

Выборкам x и y соответствуют последовательности рангов:

R_x=(R_{x_1},\ldots,R_{x_n}), где R_{x_i} — ранг i-го объекта в вариационном ряду выборки x;
R_y=(R_{y_1},\ldots,R_{y_n}), где R_{y_i} — ранг i-го объекта в вариационном ряду выборки y.

Проведем операцию упорядочивания рангов.

Расположим ряд значений x_i в порядке возрастания величины: x_1\leq x_2\leq\cdots\leq x_n. Тогда последовательность рангов упорядоченной выборки x будет представлять собой последовательность натуральных чисел 1,2,\cdots,n. Значения y, соответствующие значениям x, образуют в этом случае некоторую последовательность рангов T=(T_1,\cdots,T_n):

(R_{x_i},\;R_{y_i})\rightarrow^{sort} (i,\;T_i),\; i=1,\cdots,n.

Коэффициент корреляции Кенделла \tau и коэффициент корреляции Спирмена \rho выражаются через ранги T_i,\; i=1,\cdots,n следующим образом:

\rho=1-\frac{12}{n^3-n}\sum_{i<j}{(j-i)[T_i\ >\ T_j]};
\tau=1-\frac{4}{n^2-1}\sum_{i<j}[T_i\ >\ T_j];

Заметно, что в случае \rho инверсиям придаются дополнительные веса (j-i), таким образом \rho сильнее реагирует на несогласие ранжировок, чем \tau. Этот эффект проявляется в приведённых выше примерах: в большинстве из них \left| \rho \right|\ >\ \left| \tau \right|.

Утверждение.[11] Если выборки x и y не коррелируют (выполняется гипотеза H_0), то величины \rho и \tau сильно закоррелированы. Коэффициент корреляции между ними можно вычислить по формуле:

corr(\rho,\;\tau)=\frac{2n+2}{\sqrt{4n^2+10n}}.

История

Критерий был предложен британским психологом Чарльзом Эдвардом Спирменом в 1904 году.

Примечания

<\references>

Литература

  1. Кобзарь А. И. Прикладная математическая статистика. — М.: Физматлит, 2006. — 626-628 с.
  2. Лагутин М. Б. Наглядная математическая статистика. В двух томах. — М.: П-центр, 2003. — 343-345 с.
  3. Лапач С. Н., Чубенко А. В., Бабич П. Н. Статистика в науке и бизнесе. — Киев: Морион, 2002. — 182-184 с.

Ссылки

Личные инструменты