Участник:Василий Ломакин/Коэффициент корреляции Кенделла

Материал из MachineLearning.

< Участник:Василий Ломакин(Различия между версиями)
Перейти к: навигация, поиск
 
Строка 3: Строка 3:
<ref>Лагутин М. Б. Наглядная математическая статистика. — 223 с.</ref>
<ref>Лагутин М. Б. Наглядная математическая статистика. — 223 с.</ref>
<ref>Кобзарь А. И. Прикладная математическая статистика. — 625 с.</ref>
<ref>Кобзарь А. И. Прикладная математическая статистика. — 625 с.</ref>
 +
<ref>Лапач С. Н. Статистика в науке и бизнесе. — 156 с.</ref>
 +
'''Коэффициент корреляции Кенделла''' (Kendall tau rank correlation coefficient) — мера линейной связи между случайными величинами. Корреляция Кенделла является [[Ранговая корреляция|ранговой]], то есть для оценки силы связи используются не численные значения, а соответствующие им ранги. Коэффициент инвариантен по отношению к любому монотонному преобразованию шкалы измерения.
'''Коэффициент корреляции Кенделла''' (Kendall tau rank correlation coefficient) — мера линейной связи между случайными величинами. Корреляция Кенделла является [[Ранговая корреляция|ранговой]], то есть для оценки силы связи используются не численные значения, а соответствующие им ранги. Коэффициент инвариантен по отношению к любому монотонному преобразованию шкалы измерения.
Строка 16: Строка 18:
Коэффициент <tex>\tau</tex> принимает значения из отрезка <tex>[-1;\;1]</tex>. Равенство <tex>\tau=1</tex> указывает на строгую прямую линейную зависимость, <tex>\tau=-1</tex> на обратную.
Коэффициент <tex>\tau</tex> принимает значения из отрезка <tex>[-1;\;1]</tex>. Равенство <tex>\tau=1</tex> указывает на строгую прямую линейную зависимость, <tex>\tau=-1</tex> на обратную.
 +
 +
'''Случай совпадающих наблюдений:'''
 +
 +
При наличии [[Вариационный ряд|связок]] коэффициент корреляции Кенделла следует вычислять следующим образом:
 +
 +
:<tex>\tau = \frac{2T}{sqrt{n(n-1)-U_x}sqrt{n(n-1)-U_y}},\ U_x=\sum_{i=1}^{q}u^x_i((u^x_i)^2-1),\ U_y=\sum_{i=1}^{f}u^y_i((u^y_i)^2-1),</tex><ref>Кобзарь А. И. Прикладная математическая статистика. — 625 с.</ref>
 +
:где <tex>q</tex> и <tex>f</tex> — количество связок в выборках <tex>x</tex> и <tex>y</tex>, <tex>u^x_1, \ldots, u^x_q</tex>, <tex>u^y_1, \ldots, u^y_f</tex> — их размеры. Для элементов связок вычисляется [[Вариационный ряд|средний ранг]].
'''Обоснование критерия Кенделла:'''
'''Обоснование критерия Кенделла:'''
Строка 48: Строка 57:
Аппроксимация удовлетворительно работает, начиная с <tex>n\geq 10</tex>.<ref>Кобзарь А. И. Прикладная математическая статистика. — 625 с.</ref>
Аппроксимация удовлетворительно работает, начиная с <tex>n\geq 10</tex>.<ref>Кобзарь А. И. Прикладная математическая статистика. — 625 с.</ref>
-
 
-
'''Случай совпадающих наблюдений:'''
 
-
 
-
При наличии [[Вариационный ряд|связок]] коэффициент корреляции Кенделла следует вычислять следующим образом:
 
-
 
-
:<tex>\tau = \frac{2T}{sqrt{n(n-1)-U_x}sqrt{n(n-1)-U_y}},\ U_x=\sum_{i=1}^{q}u^x_i(u^x_i-1),\ U_y=\sum_{i=1}^{f}u^y_i(u^y_i-1),</tex><ref>Кобзарь А. И. Прикладная математическая статистика. — 625 с.</ref>
 
-
:где <tex>q</tex> и <tex>f</tex> — количество связок в выборках <tex>x</tex> и <tex>y</tex>, <tex>u^x_1, \ldots, u^x_q</tex>, <tex>u^y_1, \ldots, u^y_f</tex> — их размеры. Для элементов связок вычисляется [[Вариационный ряд|средний ранг]].
 
==Примеры==
==Примеры==
Строка 86: Строка 88:
[[Изображение:Kendall Spearman 1.4.png|left|frame|Корреляции Кенделла и Спирмена. Синусоида с переменной амплитудой.]]<br clear="both" />
[[Изображение:Kendall Spearman 1.4.png|left|frame|Корреляции Кенделла и Спирмена. Синусоида с переменной амплитудой.]]<br clear="both" />
-
По мере смены линейной зависимости нелинейной коэффициенты корреляции падают.
+
По мере смены линейной зависимости нелинейной значения коэффициентов корреляции падают.
==Связь коэффициентов корреляции Кенделла и [[коэффициент корреляции Пирсона|Пирсона]]==
==Связь коэффициентов корреляции Кенделла и [[коэффициент корреляции Пирсона|Пирсона]]==

Текущая версия

Содержание

[1] [2] [3]


Коэффициент корреляции Кенделла (Kendall tau rank correlation coefficient) — мера линейной связи между случайными величинами. Корреляция Кенделла является ранговой, то есть для оценки силы связи используются не численные значения, а соответствующие им ранги. Коэффициент инвариантен по отношению к любому монотонному преобразованию шкалы измерения.

Описание

Заданы две выборки x = (x_1,\ldots,x_n),\; y = (y_1,\ldots,y_n).

Вычисление корреляции Кенделла:

Коэффициент корреляции Кенделла вычисляется по формуле:

\tau=1-\frac{4}{n(n-1)}R, где R = \sum_{i=1}^{n-1}\sum_{j=i+1}^n\left[ \left[ x_i\ <\ x_j \right] \neq \left[ y_i\ <\ y_j \right] \right] — количество инверсий, образованных величинами y_i, расположенными в порядке возрастания соответствующих x_i.

Коэффициент \tau принимает значения из отрезка [-1;\;1]. Равенство \tau=1 указывает на строгую прямую линейную зависимость, \tau=-1 на обратную.

Случай совпадающих наблюдений:

При наличии связок коэффициент корреляции Кенделла следует вычислять следующим образом:

\tau = \frac{2T}{sqrt{n(n-1)-U_x}sqrt{n(n-1)-U_y}},\ U_x=\sum_{i=1}^{q}u^x_i((u^x_i)^2-1),\ U_y=\sum_{i=1}^{f}u^y_i((u^y_i)^2-1),[4]
где q и f — количество связок в выборках x и y, u^x_1, \ldots, u^x_q, u^y_1, \ldots, u^y_f — их размеры. Для элементов связок вычисляется средний ранг.

Обоснование критерия Кенделла:

Будем говорить, что пары (x_i,\; y_i) и (x_j,\; y_j) согласованы, если x_i\ <\ y_j и x_i\ <\ y_j или x_i\ >\ y_j и x_i\ >\ y_j, то есть sign(x_j-x_i)sign(y_j-y_i)=1. Пусть S - число согласованных пар, R - число несогласованных пар. Тогда, в предположении, что среди x_i и среди y_i нет совпадений, превышение согласованности над несогласованностью есть:

T = S - R = \sum_{i < j}sign(x_j-x_i)sign(y_j-y_i).

Для измерения степени согласия Кенделл предложил следующий коэффициент:

\tau = \frac{T}{max{T}} = \frac{2T}{n(n-1)} = \frac{2(S-R)}{n(n-1)} = 1 - \frac{4}{n(n-1)}R.

Таким образом, коэффициент \tau (линейно связанный с R) можно считать мерой неупорядоченности второй последовательности относительно первой.[5]

Статистическая проверка наличия корреляции

Критическая область критерия Кенделла.
Критическая область критерия Кенделла.

Нулевая гипотеза H_0: Выборки x и y не коррелируют.

Статистика критерия: \tau.

Асимптотический критерий (при уровне значимости \alpha):

Рассмотрим центрированную и нормированную статистику Кенделла:

\tilde{\tau} = \frac{\tau}{\sqrt{D_{\tau}}},, где D_{\tau}=\frac{2(2n+5)}{9n(n-1)}.

Нулевая гипотеза отвергается (против альтернативы H_1 - наличие корреляции), если:

 \left|\tilde{\tau}\right| \ge \Phi_{1-\alpha/2} , где \Phi_{1-\alpha} есть (1-\alpha)-квантиль стандартного нормального распределения.

Аппроксимация удовлетворительно работает, начиная с n\geq 10.[6]

Примеры

Ниже приведены примеры вычисления корреляций Кенделла и Спирмена. Значения коэффициентов указаны над каждым изображением в виде (\tau,\ \rho), где \tau - корреляция Кенделла, \rho - Спирмена. Заметно, что в большинстве случаев \left| \rho \right|\ >\ \left| \tau \right|. Объяснение этого эффекта приводится ниже.

Направление линейной зависимости

Корреляции Кенделла и Спирмена. Нормальные сгущения.
Корреляции Кенделла и Спирмена. Нормальные сгущения.

Коэффициенты корреляции реагируют на изменение направления и зашумлённость линейной зависимости между переменными.

Наклон линейного тренда

Корреляции Кенделла и Спирмена. Вращающаяся полоса.
Корреляции Кенделла и Спирмена. Вращающаяся полоса.

Коэффициенты корреляции реагируют на изменение направления, но не реагируют на изменение наклона тренда. На первом, четвёртом и седьмом рисунках дисперсия одной из переменных близка к нулю, поэтому не удаётся зафиксировать факт линейной зависимости.

Нелинейная зависимость

Корреляции Кенделла и Спирмена. Нелинейная зависимость.
Корреляции Кенделла и Спирмена. Нелинейная зависимость.

Корреляции Кенделла и Спирмена не отражают меры нелинейной зависимости между переменными.

Линейная и нелинейная зависимости

На каждой из приведённых ниже иллюстраций осуществляется переход от линейной зависимости к нелинейной. Коэффициенты корреляции Кенделла и Спирмена реагируют на это одинаковым образом.

Корреляции Кенделла и Спирмена. Перекрещенные полосы.
Корреляции Кенделла и Спирмена. Перекрещенные полосы.

Корреляции Кенделла и Спирмена. Расширяющаяся полоса.
Корреляции Кенделла и Спирмена. Расширяющаяся полоса.

Корреляции Кенделла и Спирмена. Синусоида с переменной амплитудой.
Корреляции Кенделла и Спирмена. Синусоида с переменной амплитудой.

По мере смены линейной зависимости нелинейной значения коэффициентов корреляции падают.

Связь коэффициентов корреляции Кенделла и Пирсона

В случае выборок из нормального распределения коэффициент корреляции Кенделла \tau может быть использован для оценки коэффициента корреляции Пирсона r по формуле:

r=sin{\frac{\pi\tau}{2}}.[7]

Связь коэффициентов корреляции Кенделла и Спирмена

Выборкам x и y соответствуют последовательности рангов:

R_x=(R_{x_1},\ldots,R_{x_n}), где R_{x_i} — ранг i-го объекта в вариационном ряду выборки x;
R_y=(R_{y_1},\ldots,R_{y_n}), где R_{y_i} — ранг i-го объекта в вариационном ряду выборки y.

Проведем операцию упорядочивания рангов.

Расположим ряд значений x_i в порядке возрастания величины: x_1\leq x_2\leq\cdots\leq x_n. Тогда последовательность рангов упорядоченной выборки x будет представлять собой последовательность натуральных чисел 1,2,\cdots,n. Значения y, соответствующие значениям x, образуют в этом случае некоторую последовательность рангов T=(T_1,\cdots,T_n):

(R_{x_i},\;R_{y_i})\rightarrow^{sort} (i,\;T_i),\; i=1,\cdots,n.

Коэффициент корреляции Кенделла \tau и коэффициент корреляции Спирмена \rho выражаются через ранги T_i,\; i=1,\cdots,n следующим образом:

\rho=1-\frac{12}{n^3-n}\sum_{i<j}{(j-i)[T_i\ >\ T_j]};
\tau=1-\frac{4}{n^2-1}\sum_{i<j}[T_i\ >\ T_j];

Заметно, что в случае \rho инверсиям придаются дополнительные веса (j-i), таким образом \rho сильнее реагирует на несогласие ранжировок, чем \tau. Этот эффект проявляется в приведённых выше примерах: в большинстве из них \left| \rho \right|\ >\ \left| \tau \right|.

Утверждение.[8] Если выборки x и y не коррелируют (выполняется гипотеза H_0), то величины \rho и \tau сильно закоррелированы. Коэффициент корреляции между ними можно вычислить по формуле:

corr(\rho,\;\tau)=\frac{2n+2}{\sqrt{4n^2+10n}}.

История

Критерий был введён в 1938 году известным британским статистиком Морисом Джорджем Кенделлом.

Примечания

  1. Лагутин М. Б. Наглядная математическая статистика. — 223 с.
  2. Кобзарь А. И. Прикладная математическая статистика. — 625 с.
  3. Лапач С. Н. Статистика в науке и бизнесе. — 156 с.
  4. Кобзарь А. И. Прикладная математическая статистика. — 625 с.
  5. Лагутин М. Б. Наглядная математическая статистика. — 345 с.
  6. Кобзарь А. И. Прикладная математическая статистика. — 625 с.
  7. Кобзарь А. И. Прикладная математическая статистика. — 625 с.
  8. Лагутин М. Б. Наглядная математическая статистика. — 345-346 с.

Литература

  1. Кобзарь А. И. Прикладная математическая статистика. — М.: Физматлит, 2006. — 624-626 с.
  2. Лагутин М. Б. Наглядная математическая статистика. В двух томах. — М.: П-центр, 2003. — 345-346 с.
  3. Лапач С. Н., Чубенко А. В., Бабич П. Н. Статистика в науке и бизнесе. — Киев: Морион, 2002. — 187-189 с.

Ссылки