Коэффициент корреляции Кенделла

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
м
Строка 1: Строка 1:
{{TOCright}}
{{TOCright}}
Корреляцию Кенделла также называют мерой взаимной неупорядоченности или рассогласования.
Корреляцию Кенделла также называют мерой взаимной неупорядоченности или рассогласования.
 +
 +
==Определение==
Заданы две выборки <tex>x = (x_1,\ldots,x_n),\;\; y = (y_1,\ldots,y_n)</tex>.
Заданы две выборки <tex>x = (x_1,\ldots,x_n),\;\; y = (y_1,\ldots,y_n)</tex>.
-
'''[[Коэффициент корреляции]]''', предложенный Кенделлом, равен
+
'''Коэффициент корреляции Кенделла''', равен
:: <tex>\tau=1-\frac{4}{n(n-1)}\sum_{i=1}^{n-1}\sum_{j=i+1}^n\left[[x_i<x_j]\neq[y_i<y_j]\right]</tex>,
:: <tex>\tau=1-\frac{4}{n(n-1)}\sum_{i=1}^{n-1}\sum_{j=i+1}^n\left[[x_i<x_j]\neq[y_i<y_j]\right]</tex>,
Строка 12: Строка 14:
Коэффициент <tex>\tau</tex> принимает значения от -1 до 1. Равенство <tex>\tau=1</tex> указывает на строгую линейную корреляцию.
Коэффициент <tex>\tau</tex> принимает значения от -1 до 1. Равенство <tex>\tau=1</tex> указывает на строгую линейную корреляцию.
-
'''Гипотеза <tex>H_0</tex>:''' Выборки <tex>x</tex> и <tex>y</tex> независимы.
+
==Статистическая проверка наличия корреляции==
 +
 
 +
'''Гипотеза <tex>H_0</tex>:''' Выборки <tex>x</tex> и <tex>y</tex> не коррелируют.
'''Статистика критерия:'''
'''Статистика критерия:'''
Строка 41: Строка 45:
Расположим ряд значений <tex>x_i</tex> в порядке возрастания величины: <tex>x_1\leq x_2\leq\cdots\leq x_n</tex>. Тогда последовательность рангов упорядоченной выборки <tex>x</tex> будет представлять собой последовательность натуральных чисел <tex>1,2,\cdots,n</tex>. Значения <tex>y</tex>, соответствующие значениям <tex>x</tex>, образуют в этом случае некоторую последовательность рангов <tex>T=(T_1,\cdots,T_n)</tex>.
Расположим ряд значений <tex>x_i</tex> в порядке возрастания величины: <tex>x_1\leq x_2\leq\cdots\leq x_n</tex>. Тогда последовательность рангов упорядоченной выборки <tex>x</tex> будет представлять собой последовательность натуральных чисел <tex>1,2,\cdots,n</tex>. Значения <tex>y</tex>, соответствующие значениям <tex>x</tex>, образуют в этом случае некоторую последовательность рангов <tex>T=(T_1,\cdots,T_n)</tex>.
-
::<tex>(R_{x_i},R_{y_i})\rightarrow (i,T_i),\; i=1,\cdots,n</tex>
+
::<tex>(R_{x_i},R_{y_i})\rightarrow^{sort} (i,T_i),\; i=1,\cdots,n</tex> (<tex>sort</tex> — операция упорядочевания рангов).
-
Коэффициент корриляции Кенделла <tex>\tau</tex> и коэффициент корриляции Спирмена <tex>\rho</tex> выражаются через ранги <tex>T_i,\; i=1,\cdots,n</tex> следующим образом:
+
Коэффициент корреляции Кенделла <tex>\tau</tex> и [[коэффициент корреляции Спирмена]] <tex>\rho</tex> выражаются через ранги <tex>T_i,\; i=1,\cdots,n</tex> следующим образом:
::<tex>\rho=1-\frac{12}{n^3-n}\sum_{i<j}{(j-i)[T_i>T_j]}</tex>
::<tex>\rho=1-\frac{12}{n^3-n}\sum_{i<j}{(j-i)[T_i>T_j]}</tex>
::<tex>\tau=1-\frac{4}{n^2-1}\sum_{i<j}[T_i>T_j]</tex>
::<tex>\tau=1-\frac{4}{n^2-1}\sum_{i<j}[T_i>T_j]</tex>
-
Коэффициент корриляции Спирмена учитывает насколько сильна неупорядоченность.
+
Коэффициент корреляции Спирмена учитывает насколько сильна неупорядоченность.
 +
 
 +
'''Утверждение.''' Если выборки <tex>x</tex> и <tex>y</tex> не коррелируют (выполняется гипотеза <tex>H_0</tex>), то коэффициент корреляции между величинами <tex>\rho</tex> и <tex>\tau</tex> можно вычислить по формуле:
 +
::<tex>corr(\rho,\tau)=\frac{2n+2}{\sqrt{4n^2+10n}}</tex>
 +
 
== Литература ==
== Литература ==
# ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006. — 816&nbsp;с.
# ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006. — 816&nbsp;с.
-
{{UnderConstruction|[[Участник:Tsurko Varvara]] 13:33, 11 ноября 2008 (MSK)}}
+
==См. также==
-
 
+
*[[Коэффициент корреляции Пирсона]]
 +
*[[Ранговая корреляция]]
 +
*[[Коэффициент корреляции Спирмена]]
-
{{stub}}
+
==Ссылки==
 +
*[http://ru.wikipedia.org/wiki/Коэффициент_корреляции Коэффициент корреляции](Википедия)
 +
*[http://ru.wikipedia.org/wiki/Корреляционный_анализ Корреляционный анализ] (Википедия)
[[Категория:Прикладная статистика]]
[[Категория:Прикладная статистика]]
[[Категория:Энциклопедия анализа данных]]
[[Категория:Энциклопедия анализа данных]]
 +
[[Категория: Корреляционный анализ]]

Версия 20:47, 12 ноября 2008

Содержание

Корреляцию Кенделла также называют мерой взаимной неупорядоченности или рассогласования.

Определение

Заданы две выборки x = (x_1,\ldots,x_n),\;\; y = (y_1,\ldots,y_n).

Коэффициент корреляции Кенделла, равен

\tau=1-\frac{4}{n(n-1)}\sum_{i=1}^{n-1}\sum_{j=i+1}^n\left[[x_i<x_j]\neq[y_i<y_j]\right],

где [логическое выражение]=1, если логическое выражение верно, иначе, 0, например, [x_i<x_j]=\left\{ \begin{array}{l} 1, x_i>x_j;\\ 0, x_i \geq x_j.\\ \end{array} \right

Коэффициент \tau принимает значения от -1 до 1. Равенство \tau=1 указывает на строгую линейную корреляцию.

Статистическая проверка наличия корреляции

Гипотеза H_0: Выборки x и y не коррелируют.

Статистика критерия:

\frac{\tau}{\sqrt{D_{\tau}}},

где D_{\tau}=\frac{2(2n+5)}{9n(n-1)}.

При n\geq 10 статистику критерия можно приблизить нормальным распределением с параметрами (0,1):

\frac{\tau}{\sqrt{D_{\tau}}}\sim N(0,1)

Критерий (при уровне значимости \alpha):

  • против альтернативы H_1: наличие корреляции
если |\tau| > \tau_{\alpha}=u_{\alpha}\cdot\sqrt{D_{\tau_{xy}}} , где u_{\alpha} — \alpha-квантиль стандартного нормального распределения.

Связь коэффициента корреляции Кенделла с коэффициентом корреляции Пирсона

В случае выборок из нормального распределения коэффициент корреляции Кенделла \tau может быть использован для оценки коэффициента корреляции Пирсона r по формуле

r=sin{\frac{\pi\tau}{2}}

Связь коэффициента корреляции Кенделла с коэффициентом корреляциии Спирмена

Выборкам x и y соответствуют последовательности рангов:

R_x=(R_{x_1},\ldots,R_{x_n}), где R_{x_i} — ранг i-го объекта в вариационном ряду выборки x;
R_y=(R_{y_1},\ldots,R_{y_n}), где R_{y_i} — ранг i-го объекта в вариационном ряду выборки y.

Проведем операцию упорядочевания рангов.

Расположим ряд значений x_i в порядке возрастания величины: x_1\leq x_2\leq\cdots\leq x_n. Тогда последовательность рангов упорядоченной выборки x будет представлять собой последовательность натуральных чисел 1,2,\cdots,n. Значения y, соответствующие значениям x, образуют в этом случае некоторую последовательность рангов T=(T_1,\cdots,T_n).

(R_{x_i},R_{y_i})\rightarrow^{sort} (i,T_i),\; i=1,\cdots,n (sort — операция упорядочевания рангов).

Коэффициент корреляции Кенделла \tau и коэффициент корреляции Спирмена \rho выражаются через ранги T_i,\; i=1,\cdots,n следующим образом:

\rho=1-\frac{12}{n^3-n}\sum_{i<j}{(j-i)[T_i>T_j]}
\tau=1-\frac{4}{n^2-1}\sum_{i<j}[T_i>T_j]

Коэффициент корреляции Спирмена учитывает насколько сильна неупорядоченность.

Утверждение. Если выборки x и y не коррелируют (выполняется гипотеза H_0), то коэффициент корреляции между величинами \rho и \tau можно вычислить по формуле:

corr(\rho,\tau)=\frac{2n+2}{\sqrt{4n^2+10n}}

Литература

  1. Кобзарь А. И. Прикладная математическая статистика. — М.: Физматлит, 2006. — 816 с.

См. также

Ссылки

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9A%D0%BE%D1%8D%D1%84%D1%84%D0%B8%D1%86%D0%B8%D0%B5%D0%BD%D1%82_%D0%BA%D0%BE%D1%80%D1%80%D0%B5%D0%BB%D1%8F%D1%86%D0%B8%D0%B8_%D0%9A%D0%B5%D0%BD%D0%B4%D0%B5%D0%BB%D0%BB%D0%B0»
Личные инструменты