Участник:Василий Ломакин/Коэффициент корреляции Спирмена

Материал из MachineLearning.

(Различия между версиями)

Версия 17:45, 4 января 2010

Содержание

1 Определение
2 Статистическая проверка наличия корреляции
3 Примеры
4 Связь коэффициентов корреляции Спирмена и Пирсона
5 Связь коэффициентов корреляции Кенделла и Спирмена
6 История
7 Примечания
8 Литература
9 Ссылки

TODO:

Орфография, пунктуация
Рисунки
Определение корреляции

Коэффициент корреляции Спирмена (Spearman rank correlation coefficient) — мера линейной связи между случайными величинами. Корреляция Спирмена является ранговой, то есть для оценки силы связи используются не численные значения, а соответствующие им ранги. Коэффициент инвариантен по отношению к любому монотонному преобразованию шкалы измерения.

Определение

Заданы две выборки $x = (x_1,\ldots,x_n),\;\; y = (y_1,\ldots,y_n)$ .

Вычисление корреляции Спирмена:

Коэффициент корреляции Спирмена вычисляется по формуле:

$\rho=1-\frac{6}{n(n-1)(n+1)}\sum_{i=1}^n(R_i-S_i)^2$ ,^[1] где $R_i$ - ранг наблюдения $x_i$ в ряду $x$ , $S_i$ - ранг наблюдения $y_i$ в ряду $y$ .

Коэффициент $\rho$ принимает значения из отрезка $[-1;\;1]$ . Равенство $\rho=1$ указывает на строгую прямую линейную зависимость, $\rho=-1$ на обратную.

Случай совпадающих наблюдений:

При наличии связок коэффициент корреляции Спирмена следует вычислять следующим образом:

$\rho = \frac{\sum_{i=1}^n{(R_i-(n+1)/2)(S_i-(n+1)/2)}}{n(n-1)(n+1)-\Delta},$ ^[2]

где $\Delta=\frac{1}{2}\sum_{l=1}^q{u_i^x((u_i^x)^2-1)+\frac{1}{2}\sum_{i=1}^{f}{u_i^y((u_i^y)^2-1)}}$ .

Здесь $q$ и $f$ — количество связок в выборках $x$ и $y$ , $u^x_1, \ldots, u^x_q$ , $u^y_1, \ldots, u^y_f$ — их размеры. Для элементов связок вычисляется средний ранг.

Обоснование критерия Спирмена:

Статистикой критерия Спирмена служит выборочный коэффициент корреляции $\rho$ ранговых наборов $(R_1 \ldots R_n)$ и $(S_1 \ldots S_n)$ . Он определяется следующей формулой:

$\rho = \sum_{i=1}^n(R_i-\bar R)(S_i-\bar S) \left/ \left[ \sum_{i=1}^n(R_i-\bar R)^2 \sum_{i=1}^n(S_i-\bar S)^2 \right] ^ {1/2}$ .

В этой формуле $\bar R = \bar S = \frac1n\sum_{i=1}^n i = \frac{n+1}{2}$ .

Воспользовавшись тем, что $\sum_{i=1}^ni^2 = \frac{n(n+1)(2n+1}{6}$ , получим:

$\sum_{i=1}^n(R_i-\bar R)^2 = \sum_{i=1}^n(S_i-\bar S)^2 = \sum_{i=1}^n\left( i - \frac{n+1}{2} \right)^2 = \frac{n(n-1)(n+1)}{12}$ .

Переставив пары $(R_i,\ S_i)$ в порядке возрастания первой компоненты, получим набор $(1,\ T_1) \ldots (n,\ T_n)$ . Тогда коэффициент корреляции Спирмена можно переписать в виде:

$\rho = \frac{12}{n(n-1)(n+1)}\sum_{i=1}^n \left( i - \frac{n+1}{2} \right) \left( T_i - \frac{n+1}{2} \right)$ .

Таким образом, $\rho$ - линейная функция от рангов $T_i$ . Правую часть равенства можно представить в следующем виде:

$\rho = 1 - \frac{6}{n(n-1)(n+1)}\sum_{i=1}^n(i - T_i)^2 = 1 - \frac{6}{n(n-1)(n+1)}\sum_{i=1}^n \left( R_i - S_i \right)^2,$ который наиболее удобен для вычислений.

Статистическая проверка наличия корреляции

Нулевая гипотеза $H_0$ : Выборки $x$ и $y$ не коррелируют ( $\rho = 0$ ).

Статистика критерия: $\rho.$

Критерий (при уровне значимости $\alpha$ ):

Против альтернативы $H_1:\; \rho\ >\ 0$ :

если $\rho$ больше табличного значения критерия Спирмена $p$ ^[3] с уровнем значимости $\alpha/2$ , то нулевая гипотеза отвергается.

Асимптотический критерий:

Критическая область критерия Спирмена.

Рассмотрим центрированную и нормированную статистику Спирмена:

$\tilde{\rho} = \frac{\rho}{\sqrt{D_{\rho}}},$ , где $D_{\rho}=\frac{1}{n-1}$ .

Нулевая гипотеза отвергается (против альтернативы $H_2$ — $\left| \rho \right|\ >\ 0$ ), если:

$\left|\tilde{\rho}\right| \ge \Phi_{1-\alpha/2}$ ,^[4]^[5] где $\Phi_{1-\alpha}$ есть $(1-\alpha)$ -квантиль стандартного нормального распределения.

Аппроксимация удовлетворительно работает, начиная с $n\geq 50$ .^[6]

Поправка:^[7]^[8]

В 1978 году Р. Иман и У. Коновер предложили следующую поправку, значительно повышающую точность аппроксимации. Она использует линейную комбинацию нормальной и стьюдентовской квантилей. Положим:

$\tilde{\rho} ^{*} = \frac12 \tilde{\rho} \left[ \sqrt{n-1} + \sqrt{\frac{n-2}{1 - (\tilde{\rho})^2}} \right]$ .

Гипотеза $H_0$ отвергается в пользу альтернативы $H_1\ (\rho\ >\ 0)$ , если $\tilde{\rho} ^{*} \ge (x_{1-\alpha}+y_{1-\alpha})/2$ , где $x_{1-\alpha},\; y_{1-\alpha}$ обозначают соответственно квантили уровня $(1-\alpha)$ стандартного нормального распределения и распределения Стьюдента с $n-2$ степенями свободы.

Примеры

Ниже приведены примеры вычисления корреляций Кенделла и Спирмена. Значения коэффициентов указаны над каждым изображением в виде $(\tau,\ \rho)$ , где $\tau$ - корреляция Кенделла, $\rho$ - Спирмена. Заметно, что в большинстве случаев $\left| \rho \right|\ >\ \left| \tau \right|$ . Объяснение этого эффекта приводится ниже.

Направление линейной зависимости

Корреляции Кенделла и Спирмена. Нормальные сгущения.

Коэффициенты корреляции реагируют на изменение направления и зашумлённость линейной зависимости между переменными.

Наклон линейного тренда

Корреляции Кенделла и Спирмена. Вращающаяся полоса.

Коэффициенты корреляции реагируют на изменение направления, но не реагируют на изменение наклона тренда. На первом, четвёртом и седьмом рисунках дисперсия одной из переменных близка к нулю, поэтому не удаётся зафиксировать факт линейной зависимости.

Нелинейная зависимость

Корреляции Кенделла и Спирмена. Нелинейная зависимость.

Корреляции Кенделла и Спирмена не отражают меры нелинейной зависимости между переменными.

Линейная и нелинейная зависимости

На каждой из приведённых ниже иллюстраций осуществляется переход от линейной зависимости к нелинейной. Коэффициенты корреляции Кенделла и Спирмена реагируют на это одинаковым образом.

Корреляции Кенделла и Спирмена. Перекрещенные полосы.

Корреляции Кенделла и Спирмена. Расширяющаяся полоса.

Корреляции Кенделла и Спирмена. Синусоида с переменной амплитудой.

По мере смены линейной зависимости нелинейной значения коэффициентов корреляции падают.

Связь коэффициентов корреляции Спирмена и Пирсона

В случае выборок из нормального распределения коэффициент корреляции Спирмена $\rho$ может быть использован для оценки коэффициента корреляции Пирсона $r$ по формуле:

$r=2sin{\frac{\pi}{6}\rho}$ .^[9]

Связь коэффициентов корреляции Кенделла и Спирмена

Выборкам $x$ и $y$ соответствуют последовательности рангов:

$R_x=(R_{x_1},\ldots,R_{x_n})$ , где $R_{x_i}$ — ранг $i$ -го объекта в вариационном ряду выборки $x$ ;

$R_y=(R_{y_1},\ldots,R_{y_n})$ , где $R_{y_i}$ — ранг $i$ -го объекта в вариационном ряду выборки $y$ .

Проведем операцию упорядочивания рангов.

Расположим ряд значений $x_i$ в порядке возрастания величины: $x_1\leq x_2\leq\cdots\leq x_n$ . Тогда последовательность рангов упорядоченной выборки $x$ будет представлять собой последовательность натуральных чисел $1,2,\cdots,n$ . Значения $y$ , соответствующие значениям $x$ , образуют в этом случае некоторую последовательность рангов $T=(T_1,\cdots,T_n)$ :

$(R_{x_i},\;R_{y_i})\rightarrow^{sort} (i,\;T_i),\; i=1,\cdots,n$ .

Коэффициент корреляции Кенделла $\tau$ и коэффициент корреляции Спирмена $\rho$ выражаются через ранги $T_i,\; i=1,\cdots,n$ следующим образом:

$\rho=1-\frac{12}{n^3-n}\sum_{i<j}{(j-i)[T_i\ >\ T_j]};$

$\tau=1-\frac{4}{n^2-1}\sum_{i<j}[T_i\ >\ T_j];$

Заметно, что в случае $\rho$ инверсиям придаются дополнительные веса $(j-i)$ , таким образом $\rho$ сильнее реагирует на несогласие ранжировок, чем $\tau$ . Этот эффект проявляется в приведённых выше примерах: в большинстве из них $\left| \rho \right|\ >\ \left| \tau \right|$ .

Утверждение.^[10] Если выборки $x$ и $y$ не коррелируют (выполняется гипотеза $H_0$ ), то величины $\rho$ и $\tau$ сильно закоррелированы. Коэффициент корреляции между ними можно вычислить по формуле:

$corr(\rho,\;\tau)=\frac{2n+2}{\sqrt{4n^2+10n}}$ .

История

Критерий был предложен британским психологом Чарльзом Эдвардом Спирменом в 1904 году.

Примечания

↑ Лагутин М. Б. Наглядная математическая статистика. — 343 с.
↑ Лапач С. Н. Статистика в науке и бизнесе. — 182 с.
↑ Лагутин М. Б. Наглядная математическая статистика. — 455 с.
↑ Кобзарь А. И. Прикладная математическая статистика. — 627 с.
↑ Лагутин М. Б. Наглядная математическая статистика. — 344 с.
↑ Лагутин М. Б. Наглядная математическая статистика. — 344 с.
↑ Лагутин М. Б. Наглядная математическая статистика. — 345 с.
↑ Кобзарь А. И. Прикладная математическая статистика. — 627 с.
↑ Кобзарь А. И. Прикладная математическая статистика. — 627 с.
↑ Лагутин М. Б. Наглядная математическая статистика. — 345-346 с.

Литература

Кобзарь А. И. Прикладная математическая статистика. — М.: Физматлит, 2006. — 626-628 с.
Лагутин М. Б. Наглядная математическая статистика. В двух томах. — М.: П-центр, 2003. — 343-345 с.
Лапач С. Н., Чубенко А. В., Бабич П. Н. Статистика в науке и бизнесе. — Киев: Морион, 2002. — 182-184 с.

Ссылки

Ранговая корреляция
Коэффициент корреляции Кенделла — другой способ расчёта ранговой корреляции.
Коэффициент корреляции Пирсона
Коэффициент корреляции — статья в русскоязычной Википедии.
Spearman rank correlation coefficient — статья в англоязычной Википедии.

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:%D0%92%D0%B0%D1%81%D0%B8%D0%BB%D0%B8%D0%B9_%D0%9B%D0%BE%D0%BC%D0%B0%D0%BA%D0%B8%D0%BD/%D0%9A%D0%BE%D1%8D%D1%84%D1%84%D0%B8%D1%86%D0%B8%D0%B5%D0%BD%D1%82_%D0%BA%D0%BE%D1%80%D1%80%D0%B5%D0%BB%D1%8F%D1%86%D0%B8%D0%B8_%D0%A1%D0%BF%D0%B8%D1%80%D0%BC%D0%B5%D0%BD%D0%B0»

@@ Строка 28: / Строка 28: @@
 '''Обоснование критерия Спирмена:'''
-Будем говорить, что пары <tex>(x_i,\; y_i)</tex> и <tex>(x_j,\; y_j)</tex> согласованы, если <tex>x_i\ <\ y_j</tex> и <tex>x_i\ <\ y_j</tex> или <tex>x_i\ >\ y_j</tex> и <tex>x_i\ >\ y_j</tex>, то есть <tex>sign(x_j-x_i)sign(y_j-y_i)=1</tex>. Пусть <tex>S</tex> - число согласованных пар, <tex>R</tex> - число несогласованных пар. Тогда, в предположении, что среди <tex>x_i</tex> и среди <tex>y_i</tex> нет совпадений, превышение согласованности над несогласованностью есть:
+Статистикой критерия Спирмена служит выборочный коэффициент корреляции <tex>\rho</tex> ранговых наборов <tex>(R_1 \ldots R_n)</tex> и <tex>(S_1 \ldots S_n)</tex>. Он определяется следующей формулой:
-:<tex>T = S - R = \sum_{i < j}sign(x_j-x_i)sign(y_j-y_i)</tex>.
+:<tex>\rho = \sum_{i=1}^n(R_i-\bar R)(S_i-\bar S) \left/ \left[ \sum_{i=1}^n(R_i-\bar R)^2 \sum_{i=1}^n(S_i-\bar S)^2 \right] ^ {1/2}</tex>.
-Для измерения степени согласия Кенделл предложил следующий коэффициент:
+В этой формуле <tex>\bar R = \bar S = \frac1n\sum_{i=1}^n i = \frac{n+1}{2}</tex>.
-:<tex>\tau = \frac{T}{max{T}} = \frac{2T}{n(n-1)} = \frac{2(S-R)}{n(n-1)} = 1 - \frac{4}{n(n-1)}R</tex>.
+Воспользовавшись тем, что <tex>\sum_{i=1}^ni^2 = \frac{n(n+1)(2n+1}{6}</tex>, получим:
+:<tex>\sum_{i=1}^n(R_i-\bar R)^2 = \sum_{i=1}^n(S_i-\bar S)^2 = \sum_{i=1}^n\left( i - \frac{n+1}{2} \right)^2 = \frac{n(n-1)(n+1)}{12}</tex>.
-Таким образом, коэффициент <tex>\tau</tex> (линейно связанный с <tex>R</tex>) можно считать ''мерой неупорядоченности'' второй последовательности относительно первой.<ref>Лагутин М. Б. Наглядная математическая статистика. — 345 с.</ref>
+Переставив пары <tex>(R_i,\ S_i)</tex> в порядке возрастания первой компоненты, получим набор <tex>(1,\ T_1) \ldots (n,\ T_n)</tex>. Тогда коэффициент корреляции Спирмена можно переписать в виде:
+:<tex>\rho = \frac{12}{n(n-1)(n+1)}\sum_{i=1}^n \left( i - \frac{n+1}{2} \right) \left( T_i - \frac{n+1}{2} \right)</tex>.
+Таким образом, <tex>\rho</tex> - линейная функция от рангов <tex>T_i</tex>. Правую часть равенства можно представить в следующем виде:
-Обозначим через <tex>L_x</tex> — число [[вариационный ряд|связок]] в выборке <tex>x</tex>;
+:<tex>\rho = 1 - \frac{6}{n(n-1)(n+1)}\sum_{i=1}^n(i - T_i)^2 = 1 - \frac{6}{n(n-1)(n+1)}\sum_{i=1}^n \left( R_i - S_i \right)^2,</tex> который наиболее удобен для вычислений.
-: <tex>T_{x_l}</tex> — число объектов в <tex>l</tex>-ой связке, <tex>l=1,\ldots,L_x</tex>;
-: <tex>L_y</tex> — число [[вариационный ряд|связок]] в выборке <tex>y</tex>;
-: <tex>T_{y_l}</tex> — число объектов в <tex>l</tex>-ой связке, <tex>l=1,\ldots,L_y</tex>;
-Выборкам <tex>x</tex> и <tex>y</tex>  соответствуют последовательности рангов:
-::<tex>R_x=(R_{x_1},\ldots,R_{x_n})</tex>, где <tex>R_{x_i}</tex> — ранг <tex>i</tex>-го объекта в [[вариационный ряд|вариационном ряду]] выборки <tex>x</tex>;
-::<tex>R_y=(R_{y_1},\ldots,R_{y_n})</tex>, где <tex>R_{y_i}</tex> — ранг <tex>i</tex>-го объекта в [[вариационный ряд|вариационном ряду]] выборки <tex>y</tex>.
-Коэффициент корреляции Спирмена вычисляется по формуле
-::<tex>\rho=\frac{\sum_{i=1}^n{(R_{x_i}-\frac{n+1}{2})(R_{y_i}-\frac{n+1}{2})}}{\frac{1}{12}(n^3-n)-\Delta},</tex>
-где <tex>\Delta=\frac{1}{2}\sum_{l=1}^{L_{x}}{T_{x_l}(T_{x_l}^2-1)+\frac{1}{2}\sum_{l=1}^{L_y}{T_{y_l}(T_{y_l}^2-1)}}</tex>.
-Коэффициент корреляции Спирмена <tex>\rho</tex> изменяется от -1 до 1. Равенство <tex>\rho=1</tex> указывает на строгую линейную корреляцию, <tex>\rho=0</tex> указывает на отсутствие корреляции.
 ==Статистическая проверка наличия корреляции==
@@ Строка 117: / Строка 107: @@
 По мере смены линейной зависимости нелинейной значения коэффициентов корреляции падают.
 ==Связь коэффициентов корреляции Спирмена и [[коэффициент корреляции Пирсона|Пирсона]]==
@@ Строка 149: / Строка 138: @@
 ==Примечания==
-<\references>
+<references/>
 == Литература ==