Коэффициент корреляции Пирсона

Материал из MachineLearning.

(Различия между версиями)

Текущая версия

Содержание

1 Введение и определение
- 1.1 Свойства и границы
2 Статистическая проверка наличия корреляции
3 Ложная корреляция и слабые стороны
- 3.1 Влияние сужения диапазона (Range restriction)
4 Частная и полу-частичная корреляция
5 Связь с линейной регрессией и множественная корреляция
6 Другие коэффициенты корреляции и вычислительная устойчивость
7 Практические рекомендации
8 Литература
9 См. также
10 Ссылки

Статья написана с использованием LLM Gemini Pro и доработана с привлечением DeepSeek-R1. Проверена участником Dmitrii Vishovan 14:00, 12 июля 2026 (MSD)

Введение и определение

Коэффициент корреляции Пирсона — это статистический показатель, характеризующий силу и направленность линейной зависимости между двумя непрерывными случайными величинами. Он представляет собой нормированную ковариацию, что делает его безразмерным и инвариантным к линейным преобразованиям шкал.

Генеральный коэффициент корреляции $\rho_{XY}$ для случайных величин $X, Y$ с конечными вторыми моментами определяется как:

$\rho_{XY} = \frac{\operatorname{Cov}(X,Y)}{\sqrt{\operatorname{D}(X)\operatorname{D}(Y)}}.$

Пусть даны две выборки конечного объёма $x^m = (x_1,\dots,x_m)$ и $y^m = (y_1,\dots,y_m)$ . Выборочный коэффициент корреляции Пирсона рассчитывается по формуле:

$r_{xy} = \frac{\sum_{i=1}^{m} (x_i-\bar{x})(y_i-\bar{y})}{\sqrt{\sum_{i=1}^{m} (x_i-\bar{x})^2 \cdot \sum_{i=1}^{m} (y_i-\bar{y})^2}} = \frac{\operatorname{cov}(x,y)}{\sqrt{s_x^2 s_y^2}},$

где $\bar{x}, \bar{y}$ — выборочные средние, $s_x^2, s_y^2$ — выборочные дисперсии (с делителем $m$ ).

Примечание. При использовании несмещённых оценок дисперсии и ковариации (с делителем $m-1$ ) коэффициент корреляции остаётся неизменным, поскольку множители $1/m$ и $1/(m-1)$ сокращаются в числителе и знаменателе. Выборочный коэффициент $r_{xy}$ является состоятельной (при $m \to \infty$ ) и (при нормальности) асимптотически несмещённой оценкой для $\rho_{XY}$ .

Геометрическая интерпретация. Рассмотрим центрированные векторы $\tilde{\mathbf{x}} = (x_1-\bar{x}, \dots, x_m-\bar{x})$ и $\tilde{\mathbf{y}} = (y_1-\bar{y}, \dots, y_m-\bar{y})$ в евклидовом пространстве $\mathbb{R}^m$ . Тогда коэффициент корреляции Пирсона есть в точности косинус угла между этими векторами:

$r_{xy} = \frac{\langle \tilde{\mathbf{x}}, \tilde{\mathbf{y}} \rangle}{\|\tilde{\mathbf{x}}\| \|\tilde{\mathbf{y}}\|} = \cos \theta,$

где $\langle \cdot, \cdot \rangle$ – скалярное произведение, $\|\cdot\|$ – евклидова норма. Такая трактовка наглядно объясняет границы $[-1, 1]$ и условие линейной зависимости ( $\theta = 0$ или $\pi$ ). Она также служит мостом к методам ортогональных проекций в регрессионном анализе.

Свойства и границы

Коэффициент $r_{xy}$ всегда лежит в отрезке $[-1, 1]$ . Это прямое следствие неравенства Коши–Буняковского для центрированных векторов $\tilde{x}_i = x_i - \bar{x}$ , $\tilde{y}_i = y_i - \bar{y}$ :

$\left| \sum_{i=1}^m \tilde{x}_i \tilde{y}_i \right| \le \sqrt{ \sum_{i=1}^m \tilde{x}_i^2 \cdot \sum_{i=1}^m \tilde{y}_i^2 },$

откуда немедленно получаем $|r_{xy}| \le 1$ . Равенство $|r_{xy}| = 1$ достигается тогда и только тогда, когда векторы $\tilde{x}$ и $\tilde{y}$ линейно зависимы, то есть существует строгая линейная связь $y_i = a + b x_i$ для всех $i$ (при $b>0$ имеем $r=+1$ , при $b<0$ — $r=-1$ ). Значение $r_{xy} = 0$ указывает на отсутствие линейной зависимости, но не исключает наличия нелинейной закономерности.

Инвариантность. Коэффициент Пирсона не меняется при строго возрастающих линейных преобразованиях каждой из переменных:

$r_{a+bx,\, c+dy} = \operatorname{sgn}(bd)\, r_{xy} \quad (b d \ne 0),$

где знак $b d$ определяет направление корреляции. Это свойство делает $r$ удобным для сравнения связей в разных шкалах измерения.

Статистическая проверка наличия корреляции

На практике выборочный $r$ может отличаться от нуля случайно. Для проверки гипотезы об отсутствии корреляции в генеральной совокупности используют статистические критерии.

Нулевая гипотеза $H_0: \rho = 0$ (истинный коэффициент корреляции равен нулю). Альтернативная гипотеза $H_1: \rho \ne 0$ (двусторонняя); возможны также односторонние альтернативы, если направление связи известно априори. Статистика критерия:

$T = \frac{r_{xy} \sqrt{m-2}}{\sqrt{1 - r_{xy}^2}} \sim t_{m-2}$

при условии, что $H_0$ верна и данные имеют двумерное нормальное распределение. Здесь $t_{m-2}$ — распределение Стьюдента с $m-2$ степенями свободы.

Правило принятия решения: $H_0$ отвергается на уровне значимости $\alpha$ , если $|T| > t_{1-\alpha/2}(m-2)$ , где $t_{1-\alpha/2}$ — квантиль распределения Стьюдента. При нормальности выборки и $\rho=0$ выборочный коэффициент $r$ имеет плотность $f(r) = \frac{1}{\mathrm{B}(1/2, (m-2)/2)} (1-r^2)^{(m-4)/2}$ . Преобразование в $T$ даёт плотность Стьюдента с $m-2$ степенями свободы (классический результат Фишера).

Распределение при $\rho \ne 0$

В предположении двумерной нормальности плотность выборочного коэффициента корреляции $r$ имеет вид (Фишер, 1915):

$f(r) = \frac{(m-2)\,\Gamma(m-1)}{\sqrt{2\pi}\,\Gamma(m-\tfrac12)} (1-\rho^2)^{(m-1)/2} (1-r^2)^{(m-4)/2} \sum_{k=0}^{\infty} \frac{[2\rho r]^k}{k!} \Gamma^2\left(\frac{m-1+k}{2}\right),$

что при $\rho=0$ сводится к ранее приведённой бета-плотности. Для практических целей часто используют асимптотическую нормальность $r$ с математическим ожиданием $\rho - \frac{\rho(1-\rho^2)}{2(m-1)} + O(m^{-2})$ и дисперсией $(1-\rho^2)^2/(m-1) + O(m^{-2})$ .

Доверительные интервалы для $\rho$

Построение доверительного интервала удобно выполнять с помощью z-преобразование Фишера, которое стабилизирует дисперсию и ускоряет сходимость к нормальному закону:

$z = \frac12 \ln \frac{1+r}{1-r} = \operatorname{arctanh}(r).$

При больших $m$ величина $z$ приближённо нормальна со средним $\frac12 \ln \frac{1+\rho}{1-\rho}$ и стандартным отклонением $SE = 1/\sqrt{m-3}$ . Это позволяет построить доверительный интервал для $z$ , а затем применить обратное преобразование $\rho = \tanh(z)$ .

Альтернативные процедуры проверки значимости

Пермутационный тест. Когда предположение о нормальности сомнительно, можно использовать перестановочный критерий. Статистика $r$ пересчитывается для всех $m!$ перестановок значений $y$ относительно $x$ (или используется аппроксимация Монте-Карло). Полученное эмпирическое распределение позволяет вычислить p-значение без параметрических допущений.
Бутстрэп-доверительные интервалы. Вместо преобразования Фишера можно построить интервалы для $\rho$ с помощью процентильного или BCa-бутстрэпа, что даёт корректное покрытие даже при отклонениях от нормальности.

Ложная корреляция и слабые стороны

Четыре различных набора данных (Квартет Энскомба), коэффициент корреляции на которых одинаков и равен 0.81

Неустойчивость к выбросам. Коэффициент Пирсона крайне чувствителен к аномальным значениям. Одна точка, сильно отклоняющаяся от основной линии, может кардинально изменить $r$ (например, с 0.9 до 0.2 или сменить знак).
Только линейность. $r$ измеряет лишь силу линейной связи. Нелинейные зависимости могут давать $r \approx 0$ даже при функциональной связи. Всегда следует сопровождать расчёт диаграммой рассеяния.
Корреляция ≠ причинность. Наблюдаемая связь может быть следствием влияния третьей (скрытой) переменной, общей для обеих (например, продажи мороженого и солнечные ожоги). Для выявления причинно-следственных связей применяют методы структурного моделирования (DAG), инструментальные переменные.
Ложная корреляция во временных рядах. При анализе зависимых во времени данных даже независимые процессы с трендом или сезонностью могут давать высокий $|r|$ . Для устранения эффекта применяют декорреляцию: вычисление корреляции для остатков после удаления тренда (методом первых разностей), а также проверку на коинтеграцию.

Влияние сужения диапазона (Range restriction)

Если выборка не репрезентативна по одной из переменных (например, отобраны только субъекты с высокими значениями $x$ ), наблюдаемый коэффициент $r$ систематически занижается по сравнению с истинным значением в полной популяции. Для скорректированной оценки используется формула (Thorndike, 1949):

$r_{\text{corr}} = \frac{r_{\text{obs}}\, \sigma_x^{\text{full}}}{\sqrt{\sigma_x^{2\text{full}} - r_{\text{obs}}^2 (\sigma_x^{2\text{full}} - \sigma_x^{2\text{restricted}})}},$

где $\sigma_x^{\text{full}}$ – стандартное отклонение $x$ в генеральной совокупности, а $\sigma_x^{\text{restricted}}$ – в усечённой выборке. Коррекция широко применяется в психометрике и эпидемиологии.

Частная и полу-частичная корреляция

Частный коэффициент корреляции измеряет линейную связь между двумя переменными при исключении влияния одной или нескольких других переменных. Для трёх переменных $x, y, z$ формула имеет вид:

$r_{xy \setminus z} = \frac{r_{xy} - r_{xz} r_{yz}}{\sqrt{(1 - r_{xz}^2)(1 - r_{yz}^2)}}.$

Для случая $k$ переменных используется матричное представление. Пусть $R = (r_{ij})$ — корреляционная матрица. Частный коэффициент между $i$ -й и $j$ -й переменными при исключении остальных равен:

$r_{ij \setminus \text{rest}} = - \frac{R_{ij}}{\sqrt{R_{ii} R_{jj}}},$

где $R_{ij} = (-1)^{i+j} M_{ij}$ — алгебраическое дополнение в матрице $R$ , а $M_{ij}$ — главный минор. Значения $R_{ii}$ и $R_{jj}$ для корреляционной матрицы всегда положительны.

Полу-частичная (part) корреляция отличается от частной тем, что из $x$ исключается влияние $z$ , а из $y$ – нет (или наоборот). Она характеризует уникальный вклад $x$ в объяснение $y$ за вычетом доли, общей с $z$ :

$r_{y(x \setminus z)} = \frac{r_{xy} - r_{xz} r_{yz}}{\sqrt{1 - r_{xz}^2}}.$

Эта мера востребована в регрессионном анализе при оценке значимости отдельных предикторов.

Связь с линейной регрессией и множественная корреляция

В модели парной линейной регрессии $y = a + b x + \varepsilon$ выборочный коэффициент наклона $b$ связан с корреляцией соотношением:

$b = r_{xy} \frac{s_y}{s_x},\qquad a = \bar{y} - b \bar{x}.$

Таким образом, $r_{xy}$ – это наклон регрессии при стандартизации обеих переменных ( $b^* = r_{xy}$ ). В множественной регрессии стандартизованные коэффициенты $\beta_j$ выражаются через элементы обратной корреляционной матрицы: $\beta_j = -R_{jj}^{-1} R_{jy}$ , и они равны частным корреляциям с точностью до масштаба.

Множественный коэффициент корреляции $R$ характеризует силу связи между зависимой переменной $y$ и набором предикторов ${x_1, \dots, x_k}$ . Он равен парной корреляции между $y$ и её прогнозом $\hat{y}$ :

$R = \sqrt{1 - \frac{\det R_{\text{full}}}{\det R_{xx}}}.$

Коэффициент детерминации $R^2$ в множественной модели равен квадрату множественной корреляции (доля дисперсии отклика, объяснённая регрессией).

Другие коэффициенты корреляции и вычислительная устойчивость

Помимо коэффициента Пирсона, существуют меры для различных типов данных:

Коэффициент корреляции Спирмена – основан на рангах; инвариантен к монотонным преобразованиям, устойчив к выбросам.
Коэффициент корреляции Кендалла – также ранговый, основан на подсчёте конкордантных пар; предпочтителен при малых выборках.
Точечно-бисериальная корреляция – для связи непрерывной и бинарной переменной (частный случай Пирсона, если бинарную переменную закодировать как 0/1).
Тетрахорическая и полихорическая корреляции – оценивают связь между латентными нормальными переменными по наблюдаемым категориальным данным.
Корреляционное отношение (эта-квадрат) – измеряет долю дисперсии зависимой переменной, объяснённую группирующим фактором (нелинейная связь).

Вычислительная устойчивость. При расчёте $r$ на компьютере возможна потеря точности из-за вычитания близких больших чисел (при центрировании). Рекомендуется использовать двухпроходный алгоритм (сначала вычисление средних, затем центрирование) или метод суммирования с компенсацией (Кахана). В большинстве статистических пакетов эти меры уже реализованы.

Практические рекомендации

Визуализация матриц. Матрица рассеяния (scatterplot matrix) и тепловая карта корреляций – стандартные инструменты для первичного анализа. Тепловая карта выявляет кластеры сильно коррелирующих переменных. При визуализации рекомендуется указывать числовые значения $r$ или только значимые (с $p < 0.05$ ).
Проверка мультиколлинеарности. В задачах множественной регрессии высокие корреляции между предикторами ( $|r| > 0.8$ ) ведут к неустойчивости оценок. Рассчитывайте VIF (variance inflation factor). Значения VIF > 5–10 сигнализируют о проблеме.
Предобработка данных. Перед расчётом $r$ необходимо обработать пропуски и выбросы (использовать межквартильный размах). Для нелинейных связей рассмотрите логарифмирование с последующим расчётом корреляции.
Проверка предположений и выбросов. При отклонениях от нормальности или при наличии выбросов предпочтительнее использовать ранговые корреляции.
Коррекция на множественные сравнения. При вычислении корреляций для многих пар переменных одновременно, применяйте поправку (метод Бонферрони, контроль FDR).

Литература

Кобзарь А. И. Прикладная математическая статистика. Для инженеров и научных работников. — М.: Физматлит, 2006. — С. 571—575. — ISBN 5-9221-0707-0
Ширяев А. Н. Вероятность. — М.: МЦНМО, 2004. — ISBN 5-94057-104-2
Anderson, T. W. An Introduction to Multivariate Statistical Analysis (3rd ed.). — Wiley, 2003. — ISBN 978-0471360919

См. также

Ссылки

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9A%D0%BE%D1%8D%D1%84%D1%84%D0%B8%D1%86%D0%B8%D0%B5%D0%BD%D1%82_%D0%BA%D0%BE%D1%80%D1%80%D0%B5%D0%BB%D1%8F%D1%86%D0%B8%D0%B8_%D0%9F%D0%B8%D1%80%D1%81%D0%BE%D0%BD%D0%B0»

Категории: Корреляционный анализ | Прикладная статистика | Энциклопедия анализа данных

@@ Строка 3: / Строка 3: @@
 == Введение и определение ==
-'''Коэффициент корреляции Пирсона''' — это показатель в [[прикладная статистика|прикладной статистике]], характеризующий силу и направленность [[линейная зависимость|линейной зависимости]] между двумя непрерывными [[случайная величина|случайными величинами]]. Он представляет собой нормированную [[ковариация|ковариацию]], что делает его безразмерным и инвариантным к линейным преобразованиям шкал.
+'''Коэффициент корреляции Пирсона''' — это [[статистика|статистический показатель]], характеризующий силу и направленность [[линейная зависимость|линейной зависимости]] между двумя непрерывными [[случайная величина|случайными величинами]]. Он представляет собой нормированную [[ковариация|ковариацию]], что делает его безразмерным и инвариантным к линейным преобразованиям шкал.
-'''Генеральный коэффициент корреляции''' <tex>\rho_{XY}</tex> для случайных величин <tex>X, Y</tex> с конечными вторыми моментами определяется через ковариацию и [[дисперсия случайной величины|дисперсию]]:
+'''Генеральный коэффициент корреляции''' <tex>\rho_{XY}</tex> для случайных величин <tex>X, Y</tex> с конечными вторыми моментами определяется как:
 ::<tex>\rho_{XY} = \frac{\operatorname{Cov}(X,Y)}{\sqrt{\operatorname{D}(X)\operatorname{D}(Y)}}.</tex>
 Пусть даны две [[выборка|выборки]] конечного объёма <tex>x^m = (x_1,\dots,x_m)</tex> и <tex>y^m = (y_1,\dots,y_m)</tex>. Выборочный коэффициент корреляции Пирсона рассчитывается по формуле:
 ::<tex>r_{xy} = \frac{\sum_{i=1}^{m} (x_i-\bar{x})(y_i-\bar{y})}{\sqrt{\sum_{i=1}^{m} (x_i-\bar{x})^2 \cdot \sum_{i=1}^{m} (y_i-\bar{y})^2}} = \frac{\operatorname{cov}(x,y)}{\sqrt{s_x^2 s_y^2}},</tex>
-где <tex>\bar{x}, \bar{y}</tex> — выборочные средние арифметические, <tex>s_x^2, s_y^2</tex> — выборочные дисперсии (с делителем <tex>m</tex>).
+где <tex>\bar{x}, \bar{y}</tex> — [[выборочное среднее|выборочные средние]], <tex>s_x^2, s_y^2</tex> — [[дисперсия случайной величины|выборочные дисперсии]] (с делителем <tex>m</tex>).
-''Примечание.'' При использовании несмещённых оценок дисперсии и ковариации (с делителем <tex>m-1</tex>) коэффициент корреляции остаётся неизменным, поскольку коррелирующие масштабирующие множители сокращаются в числителе и знаменателе. Выборочный коэффициент <tex{r_{xy}}</tex> является [[состоятельная оценка|состоятельной]] и асимптотически [[несмещенная оценка|несмещённой]] оценкой для генерального параметра <tex>\rho_{XY}</tex>.
+''Примечание.'' При использовании [[Оценка параметра|несмещённых оценок]] дисперсии и ковариации (с делителем <tex>m-1</tex>) коэффициент корреляции остаётся неизменным, поскольку множители <tex>1/m</tex> и <tex>1/(m-1)</tex> сокращаются в числителе и знаменателе. Выборочный коэффициент <tex>r_{xy}</tex> является [[состоятельная оценка|состоятельной]] (при <tex>m \to \infty</tex>) и (при нормальности) асимптотически несмещённой оценкой для <tex>\rho_{XY}</tex>.
-'''Геометрическая интерпретация.''' Рассмотрим центрированные векторы <tex>\tilde{\mathbf{x}} = (x_1-\bar{x}, \dots, x_m-\bar{x})</tex> и <tex>\tilde{\mathbf{y}} = (y_1-\bar{y}, \dots, y_m-\bar{y})</tex> в евклидовом пространстве <tex>\mathbb{R}^m</tex>. Тогда коэффициент корреляции Пирсона есть в точности косинус угла между этими векторами:
+'''Геометрическая интерпретация.''' Рассмотрим центрированные [[вектор|векторы]] <tex>\tilde{\mathbf{x}} = (x_1-\bar{x}, \dots, x_m-\bar{x})</tex> и <tex>\tilde{\mathbf{y}} = (y_1-\bar{y}, \dots, y_m-\bar{y})</tex> в [[евклидово пространство|евклидовом пространстве]] <tex>\mathbb{R}^m</tex>. Тогда коэффициент корреляции Пирсона есть в точности косинус угла между этими векторами:
 ::<tex>r_{xy} = \frac{\langle \tilde{\mathbf{x}}, \tilde{\mathbf{y}} \rangle}{\|\tilde{\mathbf{x}}\| \|\tilde{\mathbf{y}}\|} = \cos \theta,</tex>
-где <tex>\langle \cdot, \cdot \rangle</tex> – скалярное произведение, <tex>\|\cdot\|</tex> – евклидова норма (длина вектора). Такая трактовка наглядно объясняет границы показателя и условия строгой линейной связи (<tex>\theta = 0</tex> или <tex>\pi</tex>). Она также служит мостом к методам ортогональных проекций, используемым в [[регрессионный анализ|регрессионном анализе]].
+где <tex>\langle \cdot, \cdot \rangle</tex> – [[скалярное произведение]], <tex>\|\cdot\|</tex> – [[норма (математика)|евклидова норма]]. Такая трактовка наглядно объясняет границы <tex>[-1, 1]</tex> и условие линейной зависимости (<tex>\theta = 0</tex> или <tex>\pi</tex>). Она также служит мостом к методам ортогональных проекций в [[регрессионный анализ|регрессионном анализе]].
 === Свойства и границы ===
-Коэффициент <tex>r_{xy}</tex> всегда лежит в отрезке <tex>[-1, 1]</tex>. Это прямое следствие неравенства Коши–Буняковского для центрированных выборочных векторов:
+Коэффициент <tex>r_{xy}</tex> всегда лежит в отрезке <tex>[-1, 1]</tex>. Это прямое следствие [[неравенство Коши — Буняковского|неравенства Коши–Буняковского]] для центрированных векторов <tex>\tilde{x}_i = x_i - \bar{x}</tex>, <tex>\tilde{y}_i = y_i - \bar{y}</tex>:
 ::<tex>\left| \sum_{i=1}^m \tilde{x}_i \tilde{y}_i \right| \le \sqrt{ \sum_{i=1}^m \tilde{x}_i^2 \cdot \sum_{i=1}^m \tilde{y}_i^2 },</tex>
-откуда немедленно получаем <tex>|r_{xy}| \le 1</tex>.
+откуда немедленно получаем <tex>|r_{xy}| \le 1</tex>. Равенство <tex>|r_{xy}| = 1</tex> достигается тогда и только тогда, когда векторы <tex>\tilde{x}</tex> и <tex>\tilde{y}</tex> линейно зависимы, то есть существует строгая линейная связь <tex>y_i = a + b x_i</tex> для всех <tex>i</tex> (при <tex>b>0</tex> имеем <tex>r=+1</tex>, при <tex>b<0</tex> — <tex>r=-1</tex>). Значение <tex>r_{xy} = 0</tex> указывает на отсутствие линейной зависимости, но не исключает наличия нелинейной закономерности.
-* Равенство <tex>|r_{xy}| = 1</tex> достигается тогда и только тогда, когда векторы функционально зависимы, то есть существует строгая линейная связь <tex>y_i = a + b x_i</tex> для всех <tex>i</tex> (при <tex>b>0</tex> имеем <tex>r=+1</tex>, при <tex>b<0</tex> — <tex>r=-1</tex>).
-* Значение <tex>r_{xy} = 0</tex> указывает на отсутствие линейной зависимости, но не означает полную независимость величин. Переменные могут быть связаны сильной нелинейной закономерностью. Например, для параболической функции <tex>y = x^2</tex> на симметричном интервале <tex>[-a,a]</tex> выборочный коэффициент Пирсона будет равен нулю.
-'''Инвариантность.''' Коэффициент Пирсона не меняется при строго возрастающих линейных преобразованиях каждой из переменных (например, при [[нормализация и стандартизация признаков|стандартизации признаков]]):
+'''Инвариантность.''' Коэффициент Пирсона не меняется при строго возрастающих линейных преобразованиях каждой из переменных:
 ::<tex>r_{a+bx,\, c+dy} = \operatorname{sgn}(bd)\, r_{xy} \quad (b d \ne 0),</tex>
-где функция <tex>\operatorname{sgn}</tex> определяет направление итоговой связи. Это свойство делает <tex>r</tt> универсальным инструментом для сравнения признаков, измеренных в абсолютно разных шкалах.
+где знак <tex>b d</tex> определяет направление корреляции. Это свойство делает <tex>r</tex> удобным для сравнения связей в разных шкалах измерения.
 == Статистическая проверка наличия корреляции ==
-На практике выборочный коэффициент <tex>r</tt> может отличаться от нуля вследствие случайных колебаний. Для проверки его статистической значимости в генеральной совокупности выдвигается [[проверка статистических гипотез|статистическая гипотеза]].
+На практике выборочный <tex>r</tex> может отличаться от нуля случайно. Для проверки [[статистическая гипотеза|гипотезы]] об отсутствии корреляции в генеральной совокупности используют [[статистический критерий|статистические критерии]].
-* '''Нулевая гипотеза''' <tex>H_0: \rho = 0</tex> (линейная связь в генеральной совокупности отсутствует).
-* '''Альтернативная гипотеза''' <tex>H_1: \rho \ne 0</tex> (связь присутствует, критерий двусторонний).
+'''[[Нулевая гипотеза]]''' <tex>H_0: \rho = 0</tex> (истинный коэффициент корреляции равен нулю).
+'''[[Альтернативная гипотеза]]''' <tex>H_1: \rho \ne 0</tex> (двусторонняя); возможны также односторонние альтернативы, если направление связи известно априори.
 '''Статистика критерия:'''
 ::<tex>T = \frac{r_{xy} \sqrt{m-2}}{\sqrt{1 - r_{xy}^2}} \sim t_{m-2}</tex>
-При условии, что гипотеза <tex>H_0</tt> верна, а исходные данные имеют двумерное [[нормальное распределение]], данная статистика подчиняется [[распределение Стьюдента|распределению Стьюдента]] с <tex>m-2</tt> степенями свободы.
+при условии, что <tex>H_0</tex> верна и данные имеют двумерное [[нормальное распределение]]. Здесь <tex>t_{m-2}</tex> — [[распределение Стьюдента]] с <tex>m-2</tex> степенями свободы.
-'''Правило принятия решения:''' Нулевая гипотеза отвергается на заданном уровне значимости <tex>\alpha</tt>, если наблюдаемое значение статистики по модулю превышает критический [[квантиль]] распределения Стьюдента: <tex>|T| > t_{1-\alpha/2}(m-2)</tt>. При справедливости нормальных допущений и <tex>\rho=0</tt> выборочный коэффициент имеет плотность бета-распределения, что математически доказывает сходимость преобразованной статистики <tex>T</tt> к закону Стьюдента (классический результат Р. Фишера).
+Правило принятия решения: <tex>H_0</tex> отвергается на [[уровень значимости|уровне значимости]] <tex>\alpha</tex>, если <tex>|T| > t_{1-\alpha/2}(m-2)</tex>, где <tex>t_{1-\alpha/2}</tex> — [[квантиль]] распределения Стьюдента. При нормальности выборки и <tex>\rho=0</tex> выборочный коэффициент <tex>r</tex> имеет плотность <tex>f(r) = \frac{1}{\mathrm{B}(1/2, (m-2)/2)} (1-r^2)^{(m-4)/2}</tex>. Преобразование в <tex>T</tex> даёт плотность Стьюдента с <tex>m-2</tex> степенями свободы (классический результат Фишера).
 === Распределение при <tex>\rho \ne 0</tex> ===
-Если истинный коэффициент корреляции <tex>\rho \ne 0</tex>, то в предположении двумерной нормальности точная плотность распределения выборочного коэффициента <tex>r</tt> принимает более сложный вид (Фишер, 1915):
+В предположении двумерной нормальности плотность выборочного коэффициента корреляции <tex>r</tex> имеет вид (Фишер, 1915):
 ::<tex>f(r) = \frac{(m-2)\,\Gamma(m-1)}{\sqrt{2\pi}\,\Gamma(m-\tfrac12)} (1-\rho^2)^{(m-1)/2} (1-r^2)^{(m-4)/2} \sum_{k=0}^{\infty} \frac{[2\rho r]^k}{k!} \Gamma^2\left(\frac{m-1+k}{2}\right),</tex>
-где <tex>\Gamma</tt> — гамма-функция. Для практических расчетов больших выборок используют свойства асимптотической нормальности параметров математического ожидания и дисперсии случайной величины.
+что при <tex>\rho=0</tex> сводится к ранее приведённой бета-плотности. Для практических целей часто используют асимптотическую нормальность <tex>r</tex> с математическим ожиданием <tex>\rho - \frac{\rho(1-\rho^2)}{2(m-1)} + O(m^{-2})</tex> и дисперсией <tex>(1-\rho^2)^2/(m-1) + O(m^{-2})</tex>.
 === Доверительные интервалы для <tex>\rho</tex> ===
-Построение надежных доверительных интервалов выполняют с помощью стабилизирующего дисперсию '''z-преобразования Фишера''':
+Построение [[доверительный интервал|доверительного интервала]] удобно выполнять с помощью '''[[z-преобразование Фишера]]''', которое стабилизирует дисперсию и ускоряет сходимость к нормальному закону:
 ::<tex>z = \frac12 \ln \frac{1+r}{1-r} = \operatorname{arctanh}(r).</tex>
-При росте объема данных случайная величина <tex>z</tt> быстро сходится к нормальному закону со средним <tex>\frac12 \ln \frac{1+\rho}{1-\rho}</tt> и стандартной ошибкой <tex>SE = 1/\sqrt{m-3}</tt>. Это позволяет рассчитать границы интервала в шкале <tex>z</tt>, а затем пересчитать их обратно через гиперболический тангенс <tex>\rho = \tanh(z)</tt>.
+При больших <tex>m</tex> величина <tex>z</tex> приближённо нормальна со средним <tex>\frac12 \ln \frac{1+\rho}{1-\rho}</tex> и стандартным отклонением <tex>SE = 1/\sqrt{m-3}</tex>. Это позволяет построить доверительный интервал для <tex>z</tex>, а затем применить обратное преобразование <tex>\rho = \tanh(z)</tex>.
 === Альтернативные процедуры проверки значимости ===
-* '''Пермутационный тест''' (перестановочный критерий). Применяется, когда закон распределения данных далек от нормального. Нулевая гипотеза о некоррелированности приравнивается к независимости. Значения одной из выборок многократно перемешиваются, формируя эмпирическое распределение, по которому оценивается точное значении <tex>p</tt>-value.
+* '''[[Перестановочный критерий|Пермутационный тест]].''' Когда предположение о нормальности сомнительно, можно использовать перестановочный критерий. Статистика <tex>r</tex> пересчитывается для всех <tex>m!</tex> перестановок значений <tex>y</tex> относительно <tex>x</tex> (или используется аппроксимация [[Метод Монте-Карло|Монте-Карло]]). Полученное эмпирическое распределение позволяет вычислить [[P-значение|p-значение]] без параметрических допущений.
-* '''Бутстрэп-интервалы'''. Построение интервальных оценок методом процентильного или BCa-[[bootstrap (статистика)|бутстрэпа]] позволяет получить корректное покрытие распределения признаков без жестких параметрических допущений.
+* '''[[Бутстрэп|Бутстрэп-доверительные интервалы]].''' Вместо преобразования Фишера можно построить интервалы для <tex>\rho</tex> с помощью процентильного или BCa-бутстрэпа, что даёт корректное покрытие даже при отклонениях от нормальности.
 == Ложная корреляция и слабые стороны ==
 [[Image: Correlation.png|300px|thumb| Четыре различных набора данных (Квартет Энскомба), коэффициент корреляции на которых одинаков и равен 0.81]]
-* '''Неустойчивость к выбросам.''' Коэффициент Пирсона крайне чувствителен к аномалиям в данных. Наличие единичного резкого [[выброс|выброса]] способно исказить значение <tex>r</tt>, искусственно завысив его или изменив знак связи. В таких условиях применяют устойчивые меры (процентный коэффициент) или ранговые методы.
+* '''Неустойчивость к [[выброс (статистика)|выбросам]].''' Коэффициент Пирсона крайне чувствителен к аномальным значениям. Одна точка, сильно отклоняющаяся от основной линии, может кардинально изменить <tex>r</tex> (например, с 0.9 до 0.2 или сменить знак).
-* '''Ограничение линейностью.''' Метод фиксирует исключительно силу линейного тренда. Любые сложные U-образные, квадратичные или периодические паттерны будут пропущены. Расчет числового коэффициента всегда должен сопровождаться [[визуализация|визуализацией данных]] на диаграмме рассеяния.
+* '''Только линейность.''' <tex>r</tex> измеряет лишь силу линейной связи. Нелинейные зависимости могут давать <tex>r \approx 0</tex> даже при функциональной связи. Всегда следует сопровождать расчёт диаграммой рассеяния.
-* '''Независимость и некоррелированность.''' Необходимо четко разделять эти статистические понятия. Из полной независимости величин гарантированно вытекает их некоррелированность, однако обратное утверждение неверно.
+* '''Корреляция ≠ [[Причинно-следственная связь|причинность]].''' Наблюдаемая связь может быть следствием влияния третьей (скрытой) переменной, общей для обеих (например, продажи мороженого и солнечные ожоги). Для выявления причинно-следственных связей применяют методы структурного моделирования (DAG), инструментальные переменные.
-* '''Ложная корреляция (ковариация под влиянием третьего фактора).''' Наличие сильной связи не означает причинно-следственную обусловленность. Переменные могут координироваться скрытым общим предиктором (например, статистика продаж кондиционеров и прохладительных напитков растет из-за жары). Для дифференциации каузальности строят [[причинное машинное обучение|структурные каузальные модели (DAG)]].
+* '''Ложная корреляция во [[временной ряд|временных рядах]].''' При анализе зависимых во времени данных даже независимые процессы с [[тренд|трендом]] или сезонностью могут давать высокий <tex>|r|</tex>. Для устранения эффекта применяют ''декорреляцию'': вычисление корреляции для остатков после удаления тренда (методом первых разностей), а также проверку на [[коинтеграция|коинтеграцию]].
-* '''Эффект автокорреляции в данных рядов.''' При анализе [[временной ряд|временных рядов]] наличие внутренних временных трендов приводит к ложновысоким показателям связи. Для корректного вычисления требуется предварительная декорреляция остатков (например, через взятие первых разностей).
-* '''Сужение диапазона (Range restriction).''' Если [[выборка|выборка данных]] искусственно урезана по одной из осей (например, исследуется зависимость только среди высокорослых людей), наблюдаемый коэффициент Пирсона будет смещен в сторону занижения. Для исправления этой системной ошибки применяют формулу Торндайка:
+=== Влияние сужения диапазона (Range restriction) ===
-::<tex>r_{\text{corr}} = \frac{r_{\text{obs}}\, \sigma_x^{\text{full}}}{\sqrt{\sigma_x^{2\text{full}} - r_{\text{obs}}^2 (\sigma_x^{2\text{full}} - \sigma_x^{2\text{restricted}})}}.</tex>
+Если выборка не репрезентативна по одной из переменных (например, отобраны только субъекты с высокими значениями <tex>x</tex>), наблюдаемый коэффициент <tex>r</tex> систематически занижается по сравнению с истинным значением в полной популяции. Для скорректированной оценки используется формула (Thorndike, 1949):
+::<tex>r_{\text{corr}} = \frac{r_{\text{obs}}\, \sigma_x^{\text{full}}}{\sqrt{\sigma_x^{2\text{full}} - r_{\text{obs}}^2 (\sigma_x^{2\text{full}} - \sigma_x^{2\text{restricted}})}},</tex>
+где <tex>\sigma_x^{\text{full}}</tex> – стандартное отклонение <tex>x</tex> в генеральной совокупности, а <tex>\sigma_x^{\text{restricted}}</tex> – в усечённой выборке. Коррекция широко применяется в психометрике и эпидемиологии.
 == Частная и полу-частичная корреляция ==
-'''[[Частная корреляция|Частный коэффициент корреляции]]''' оценивает чистую линейную связь между переменными <tex>x</tt> и <tex>y</tt>, полностью исключая (фиксируя) математическое влияние третьей переменной <tex>z</tt>:
+'''[[Частная корреляция|Частный коэффициент корреляции]]''' измеряет линейную связь между двумя переменными при исключении влияния одной или нескольких других переменных. Для трёх переменных <tex>x, y, z</tex> формула имеет вид:
 ::<tex>r_{xy \setminus z} = \frac{r_{xy} - r_{xz} r_{yz}}{\sqrt{(1 - r_{xz}^2)(1 - r_{yz}^2)}}.</tex>
+Для случая <tex>k</tex> переменных используется матричное представление. Пусть <tex>R = (r_{ij})</tex> — [[матрица (математика)|корреляционная матрица]]. Частный коэффициент между <tex>i</tex>-й и <tex>j</tex>-й переменными при исключении остальных равен:
-Если требуется исключить влияние многомерного вектора признаков, используют аппарат [[матрица|матричного анализа]]. Через корреляционную матрицу <tex>R = (r_{ij})</tt> частный коэффициент выражается как:
 ::<tex>r_{ij \setminus \text{rest}} = - \frac{R_{ij}}{\sqrt{R_{ii} R_{jj}}},</tex>
-где <tex>R_{ij}</tt> — алгебраическое дополнение (кофактор), рассчитанное через главный минор <tex>M_{ij}</tt> путем вычеркивания строк и столбцов матрицы. В случае многомерного нормального закона это эквивалентно расчету ковариационной матрицы условного распределения случайных величин.
+где <tex>R_{ij} = (-1)^{i+j} M_{ij}</tex> — алгебраическое дополнение в матрице <tex>R</tex>, а <tex>M_{ij}</tex> — [[минор (математика)|главный минор]]. Значения <tex>R_{ii}</tex> и <tex>R_{jj}</tex> для корреляционной матрицы всегда положительны.
-'''Полу-частичная (part) корреляция''' отличается от частной тем, что дисперсия переменной <tex>z</tt> вычитается только из одного целевого признака (например, только из <tex>x</tt>). Она демонстрирует уникальный вклад конкретного предиктора в дисперсию отклика:
+'''Полу-частичная (part) корреляция''' отличается от частной тем, что из <tex>x</tex> исключается влияние <tex>z</tex>, а из <tex>y</tex> – нет (или наоборот). Она характеризует уникальный вклад <tex>x</tex> в объяснение <tex>y</tex> за вычетом доли, общей с <tex>z</tex>:
 ::<tex>r_{y(x \setminus z)} = \frac{r_{xy} - r_{xz} r_{yz}}{\sqrt{1 - r_{xz}^2}}.</tex>
-Эта мера является базовым аналитическим инструментом в задачах [[инженерия признаков|инженерии признаков]] и [[отбор признаков|отбора признаков (feature selection)]].
+Эта мера востребована в регрессионном анализе при оценке значимости отдельных предикторов.
 == Связь с линейной регрессией и множественная корреляция ==
-В рамках построения классической парной [[линейная регрессия|линейной регрессии]] <tex>y = a + b x + \varepsilon</tt> коэффициент корреляции Пирсона напрямую определяет оценку наклона линии регрессии <tex>b</tt>:
+В модели парной [[линейная регрессия|линейной регрессии]] <tex>y = a + b x + \varepsilon</tex> выборочный коэффициент наклона <tex>b</tex> связан с корреляцией соотношением:
 ::<tex>b = r_{xy} \frac{s_y}{s_x},\qquad a = \bar{y} - b \bar{x}.</tex>
-Если перевести обе переменные в стандартизированный вид (с нулевым средним и единичной дисперсией), то коэффициент наклона регрессионной модели будет в точности равен выборочному коэффициенту Пирсона (<tex>\beta = r_{xy}</tt>).
+Таким образом, <tex>r_{xy}</tex> – это наклон регрессии при стандартизации обеих переменных (<tex>b^* = r_{xy}</tex>). В [[множественная регрессия|множественной регрессии]] стандартизованные коэффициенты <tex>\beta_j</tex> выражаются через элементы обратной корреляционной матрицы: <tex>\beta_j = -R_{jj}^{-1} R_{jy}</tex>, и они равны частным корреляциям с точностью до масштаба.
-'''Множественный коэффициент корреляции''' <tex>R</tt> обобщает парный показатель на случай анализа целого набора признаков-предикторов <tex>\{x_1, \dots, x_k\}</tt>. Он вычисляется как парная корреляция Пирсона между реальным откликом <tex>y</tt> и его модельным прогнозом <tex>\hat{y}</tt>:
+'''Множественный коэффициент корреляции''' <tex>R</tex> характеризует силу связи между зависимой переменной <tex>y</tex> и набором предикторов <tex>{x_1, \dots, x_k}</tex>. Он равен парной корреляции между <tex>y</tex> и её прогнозом <tex>\hat{y}</tex>:
 ::<tex>R = \sqrt{1 - \frac{\det R_{\text{full}}}{\det R_{xx}}}.</tex>
-Квадрат этого значения (<tex>R^2</tt>) представляет собой [[коэффициент детерминации|коэффициент детерминации множественной регрессии]], отражающий долю объясненной моделью [[дисперсия|дисперсии]].
+[[Коэффициент детерминации]] <tex>R^2</tex> в множественной модели равен квадрату множественной корреляции (доля дисперсии отклика, объяснённая регрессией).
 == Другие коэффициенты корреляции и вычислительная устойчивость ==
-В зависимости от типа исследуемых [[данные|данных]] применяются альтернативные [[метрики качества в машинном обучении|метрики связи]]:
+Помимо коэффициента Пирсона, существуют меры для различных типов данных:
-* '''[[Коэффициент корреляции Спирмена]]''' — непараметрическая ранговая мера, оценивающая монотонные связи и устойчивая к выбросам.
+* '''[[Коэффициент корреляции Спирмена]]''' – основан на рангах; инвариантен к монотонным преобразованиям, устойчив к выбросам.
-* '''[[Коэффициент корреляции Кенделла]]''' — ранговый показатель, базирующийся на подсчете инверсий и конкордантных пар, эффективный на малых выборках.
+* '''[[Коэффициент корреляции Кендалла]]''' – также ранговый, основан на подсчёте конкордантных пар; предпочтителен при малых выборках.
-* '''Точечно-бисериальная корреляция''' — применяется для оценки связи между непрерывным распределением и строго бинарным признаком (эквивалентен Пирсону при кодировании 0/1).
+* '''Точечно-бисериальная корреляция''' – для связи непрерывной и бинарной переменной (частный случай Пирсона, если бинарную переменную закодировать как 0/1).
-* '''Тетрахорическая корреляция''' — используется для анализа связи скрытых непрерывных величин по наблюдаемым дихотомическим признакам.
+* '''Тетрахорическая и полихорическая корреляции''' – оценивают связь между латентными нормальными переменными по наблюдаемым категориальным данным.
-* '''Корреляционное отношение (эта-квадрат)''' — универсальный нелинейный индикатор, оценивающий долю межгрупповой дисперсии.
+* '''Корреляционное отношение (эта-квадрат)''' – измеряет долю дисперсии зависимой переменной, объяснённую группирующим фактором (нелинейная связь).
-'''Вычислительная устойчивость.''' При программной реализации вычисления формулы Пирсона на ЭВМ возможна катастрофическая потеря точности из-за феномена округления при вычитании близких по величине больших чисел (в момент центрирования). Чтобы избежать вычислительных артефактов в алгоритмах [[машинное обучение|машинного обучения]], применяют двухпроходные схемы расчета среднего или метод компенсационного суммирования Кахана.
+'''Вычислительная устойчивость.''' При расчёте <tex>r</tex> на компьютере возможна потеря точности из-за вычитания близких больших чисел (при центрировании). Рекомендуется использовать двухпроходный алгоритм (сначала вычисление средних, затем центрирование) или метод суммирования с компенсацией (Кахана). В большинстве статистических пакетов эти меры уже реализованы.
 == Практические рекомендации ==
-# '''Визуальный анализ матриц.''' Перед расчетом коэффициентов критически важно построить матрицу рассеяния (scatterplot matrix) и тепловую карту корреляций. Это позволяет оперативно выявить кластерную структуру, аномалии и явную нелинейность. На тепловых картах принято визуализировать исключительно статистически значимые коэффициенты (с уровнем <tex>p < 0.05</tt>).
+# '''Визуализация матриц.''' [[Матрица диаграмм рассеяния|Матрица рассеяния (scatterplot matrix)]] и тепловая карта корреляций – стандартные инструменты для первичного анализа. Тепловая карта выявляет кластеры сильно коррелирующих переменных. При визуализации рекомендуется указывать числовые значения <tex>r</tex> или только значимые (с <tex>p < 0.05</tex>).
-# '''Контроль мультиколлинеарности.''' В многомерных линейных моделях высокая взаимная корреляция признаков (<tex>|r| > 0.8</tt>) провоцирует неустойчивость матричных решений. Рекомендуется отслеживать фактор инфляции дисперсии — VIF. Значения VIF > 5–10 свидетельствуют о наличии острой [[мультиколлинеарность|мультиколлинеарности]] и требуют исключения дублирующих предикторов.
+# '''[[Мультиколлинеарность|Проверка мультиколлинеарности]].''' В задачах множественной регрессии высокие корреляции между предикторами (<tex>|r| > 0.8</tex>) ведут к неустойчивости оценок. Рассчитывайте VIF (variance inflation factor). Значения VIF > 5–10 сигнализируют о проблеме.
-# '''Предобработка признаков.''' До запуска расчетов необходимо провести [[предобработка данных|предобработку данных]]: изолировать или обработать пропуски, отсечь аномальные выбросы по методу межквартильного расстояния (IQR), а при обнаружении экспоненциальных зависимостей применить логарифмирование для перевода связей в линейный базис.
+# '''[[Предобработка данных]].''' Перед расчётом <tex>r</tex> необходимо обработать пропуски и выбросы (использовать межквартильный размах). Для нелинейных связей рассмотрите логарифмирование с последующим расчётом корреляции.
-# '''Учет множественного тестирования.''' Если корреляционная матрица рассчитывается одновременно для сотен признаков, резко возрастает вероятность ложноположительных находок. Обязательно внедрение процедур коррекции на множественные сравнения (поправка Бонферрони или контроль уровня ложных отклонений FDR).
+# '''Проверка предположений и выбросов.''' При отклонениях от нормальности или при наличии выбросов предпочтительнее использовать ранговые корреляции.
+# '''Коррекция на множественные сравнения.''' При вычислении корреляций для многих пар переменных одновременно, применяйте поправку (метод Бонферрони, контроль FDR).
 == Литература ==
@@ Строка 112: / Строка 111: @@
 * [[Коэффициент корреляции Спирмена]]
 * [[Коэффициент корреляции Кенделла]]
-* [[Линейная регрессия]]
+* [[Множественная регрессия]]
 * [[Ковариационная матрица]]