Коэффициент корреляции Пирсона

Материал из MachineLearning.

(Различия между версиями)

Версия 10:15, 12 июля 2026

Содержание

1 Введение и определение
- 1.1 Свойства и границы
2 Частная и полу-частичная корреляция
3 Связь с линейной регрессией и множественная корреляция

Статья написана с использованием LLM Gemini Pro и доработана с привлечением DeepSeek-R1. Проверена участником Dmitrii Vishovan 14:00, 12 июля 2026 (MSD)

Введение и определение

Коэффициент корреляции Пирсона — это показатель в прикладной статистике, характеризующий силу и направленность линейной зависимости между двумя непрерывными случайными величинами. Он представляет собой нормированную ковариацию, что делает его безразмерным и инвариантным к линейным преобразованиям шкал.

Генеральный коэффициент корреляции $\rho_{XY}$ для случайных величин $X, Y$ с конечными вторыми моментами определяется через ковариацию и дисперсию:

$\rho_{XY} = \frac{\operatorname{Cov}(X,Y)}{\sqrt{\operatorname{D}(X)\operatorname{D}(Y)}}.$

Пусть даны две выборки конечного объёма $x^m = (x_1,\dots,x_m)$ и $y^m = (y_1,\dots,y_m)$ . Выборочный коэффициент корреляции Пирсона рассчитывается по формуле:

$r_{xy} = \frac{\sum_{i=1}^{m} (x_i-\bar{x})(y_i-\bar{y})}{\sqrt{\sum_{i=1}^{m} (x_i-\bar{x})^2 \cdot \sum_{i=1}^{m} (y_i-\bar{y})^2}} = \frac{\operatorname{cov}(x,y)}{\sqrt{s_x^2 s_y^2}},$

где $\bar{x}, \bar{y}$ — выборочные средние арифметические, $s_x^2, s_y^2$ — выборочные дисперсии (с делителем $m$ ).

Примечание. При использовании несмещённых оценок дисперсии и ковариации (с делителем $m-1$ ) коэффициент корреляции остаётся неизменным, поскольку коррелирующие масштабирующие множители сокращаются в числителе и знаменателе. Выборочный коэффициент <tex{r_{xy}}</tex> является состоятельной и асимптотически несмещённой оценкой для генерального параметра $\rho_{XY}$ .

Геометрическая интерпретация. Рассмотрим центрированные векторы $\tilde{\mathbf{x}} = (x_1-\bar{x}, \dots, x_m-\bar{x})$ и $\tilde{\mathbf{y}} = (y_1-\bar{y}, \dots, y_m-\bar{y})$ в евклидовом пространстве $\mathbb{R}^m$ . Тогда коэффициент корреляции Пирсона есть в точности косинус угла между этими векторами:

$r_{xy} = \frac{\langle \tilde{\mathbf{x}}, \tilde{\mathbf{y}} \rangle}{\|\tilde{\mathbf{x}}\| \|\tilde{\mathbf{y}}\|} = \cos \theta,$

где $\langle \cdot, \cdot \rangle$ – скалярное произведение, $\|\cdot\|$ – евклидова норма (длина вектора). Такая трактовка наглядно объясняет границы показателя и условия строгой линейной связи ( $\theta = 0$ или $\pi$ ). Она также служит мостом к методам ортогональных проекций, используемым в регрессионном анализе.

Свойства и границы

Коэффициент $r_{xy}$ всегда лежит в отрезке $[-1, 1]$ . Это прямое следствие неравенства Коши–Буняковского для центрированных выборочных векторов:

$\left| \sum_{i=1}^m \tilde{x}_i \tilde{y}_i \right| \le \sqrt{ \sum_{i=1}^m \tilde{x}_i^2 \cdot \sum_{i=1}^m \tilde{y}_i^2 },$

откуда немедленно получаем $|r_{xy}| \le 1$ .

Равенство $|r_{xy}| = 1$ достигается тогда и только тогда, когда векторы функционально зависимы, то есть существует строгая линейная связь $y_i = a + b x_i$ для всех $i$ (при $b>0$ имеем $r=+1$ , при $b<0$ — $r=-1$ ).
Значение $r_{xy} = 0$ указывает на отсутствие линейной зависимости, но не означает полную независимость величин. Переменные могут быть связаны сильной нелинейной закономерностью. Например, для параболической функции $y = x^2$ на симметричном интервале $[-a,a]$ выборочный коэффициент Пирсона будет равен нулю.

Инвариантность. Коэффициент Пирсона не меняется при строго возрастающих линейных преобразованиях каждой из переменных (например, при стандартизации признаков):

$r_{a+bx,\, c+dy} = \operatorname{sgn}(bd)\, r_{xy} \quad (b d \ne 0),$

где функция $\operatorname{sgn}$ определяет направление итоговой связи. Это свойство делает $r</tt> универсальным инструментом для сравнения признаков, измеренных в абсолютно разных шкалах. </li></ul> == Статистическая проверка наличия корреляции == На практике выборочный коэффициент <tex>r</tt> может отличаться от нуля вследствие случайных колебаний. Для проверки его статистической значимости в генеральной совокупности выдвигается [[проверка статистических гипотез|статистическая гипотеза]]. <ul><li> '''Нулевая гипотеза''' <tex>H_0: \rho = 0$ (линейная связь в генеральной совокупности отсутствует).

Альтернативная гипотеза $H_1: \rho \ne 0$ (связь присутствует, критерий двусторонний).

Статистика критерия:

$T = \frac{r_{xy} \sqrt{m-2}}{\sqrt{1 - r_{xy}^2}} \sim t_{m-2}$

При условии, что гипотеза $H_0</tt> верна, а исходные данные имеют двумерное [[нормальное распределение]], данная статистика подчиняется [[распределение Стьюдента|распределению Стьюдента]] с <tex>m-2</tt> степенями свободы. '''Правило принятия решения:''' Нулевая гипотеза отвергается на заданном уровне значимости <tex>\alpha</tt>, если наблюдаемое значение статистики по модулю превышает критический [[квантиль]] распределения Стьюдента: <tex>|T| > t_{1-\alpha/2}(m-2)</tt>. При справедливости нормальных допущений и <tex>\rho=0</tt> выборочный коэффициент имеет плотность бета-распределения, что математически доказывает сходимость преобразованной статистики <tex>T</tt> к закону Стьюдента (классический результат Р. Фишера). === Распределение при <tex>\rho \ne 0$ === Если истинный коэффициент корреляции $\rho \ne 0$ , то в предположении двумерной нормальности точная плотность распределения выборочного коэффициента $r</tt> принимает более сложный вид (Фишер, 1915): </dd><dd><tex>f(r) = \frac{(m-2)\,\Gamma(m-1)}{\sqrt{2\pi}\,\Gamma(m-\tfrac12)} (1-\rho^2)^{(m-1)/2} (1-r^2)^{(m-4)/2} \sum_{k=0}^{\infty} \frac{[2\rho r]^k}{k!} \Gamma^2\left(\frac{m-1+k}{2}\right),$

где $\Gamma</tt> — гамма-функция. Для практических расчетов больших выборок используют свойства асимптотической нормальности параметров математического ожидания и дисперсии случайной величины. === Доверительные интервалы для <tex>\rho$ === Построение надежных доверительных интервалов выполняют с помощью стабилизирующего дисперсию z-преобразования Фишера:

$z = \frac12 \ln \frac{1+r}{1-r} = \operatorname{arctanh}(r).$

При росте объема данных случайная величина $z</tt> быстро сходится к нормальному закону со средним <tex>\frac12 \ln \frac{1+\rho}{1-\rho}</tt> и стандартной ошибкой <tex>SE = 1/\sqrt{m-3}</tt>. Это позволяет рассчитать границы интервала в шкале <tex>z</tt>, а затем пересчитать их обратно через гиперболический тангенс <tex>\rho = \tanh(z)</tt>. </dd></dl> </dd></dl> === Альтернативные процедуры проверки значимости === <ul><li> '''Пермутационный тест''' (перестановочный критерий). Применяется, когда закон распределения данных далек от нормального. Нулевая гипотеза о некоррелированности приравнивается к независимости. Значения одной из выборок многократно перемешиваются, формируя эмпирическое распределение, по которому оценивается точное значении <tex>p</tt>-value. </li><li> '''Бутстрэп-интервалы'''. Построение интервальных оценок методом процентильного или BCa-[[bootstrap (статистика)|бутстрэпа]] позволяет получить корректное покрытие распределения признаков без жестких параметрических допущений. </li></ul> == Ложная корреляция и слабые стороны == [[Image: Correlation.png|300px|thumb| Четыре различных набора данных (Квартет Энскомба), коэффициент корреляции на которых одинаков и равен 0.81]] <ul><li> '''Неустойчивость к выбросам.''' Коэффициент Пирсона крайне чувствителен к аномалиям в данных. Наличие единичного резкого [[выброс|выброса]] способно исказить значение <tex>r</tt>, искусственно завысив его или изменив знак связи. В таких условиях применяют устойчивые меры (процентный коэффициент) или ранговые методы. </li><li> '''Ограничение линейностью.''' Метод фиксирует исключительно силу линейного тренда. Любые сложные U-образные, квадратичные или периодические паттерны будут пропущены. Расчет числового коэффициента всегда должен сопровождаться [[визуализация|визуализацией данных]] на диаграмме рассеяния. </li><li> '''Независимость и некоррелированность.''' Необходимо четко разделять эти статистические понятия. Из полной независимости величин гарантированно вытекает их некоррелированность, однако обратное утверждение неверно. </li><li> '''Ложная корреляция (ковариация под влиянием третьего фактора).''' Наличие сильной связи не означает причинно-следственную обусловленность. Переменные могут координироваться скрытым общим предиктором (например, статистика продаж кондиционеров и прохладительных напитков растет из-за жары). Для дифференциации каузальности строят [[причинное машинное обучение|структурные каузальные модели (DAG)]]. </li><li> '''Эффект автокорреляции в данных рядов.''' При анализе [[временной ряд|временных рядов]] наличие внутренних временных трендов приводит к ложновысоким показателям связи. Для корректного вычисления требуется предварительная декорреляция остатков (например, через взятие первых разностей). </li><li> '''Сужение диапазона (Range restriction).''' Если [[выборка|выборка данных]] искусственно урезана по одной из осей (например, исследуется зависимость только среди высокорослых людей), наблюдаемый коэффициент Пирсона будет смещен в сторону занижения. Для исправления этой системной ошибки применяют формулу Торндайка: </li></ul> <dl><dd><dl><dd><tex>r_{\text{corr}} = \frac{r_{\text{obs}}\, \sigma_x^{\text{full}}}{\sqrt{\sigma_x^{2\text{full}} - r_{\text{obs}}^2 (\sigma_x^{2\text{full}} - \sigma_x^{2\text{restricted}})}}.$

Частная и полу-частичная корреляция

Частный коэффициент корреляции оценивает чистую линейную связь между переменными $x</tt> и <tex>y</tt>, полностью исключая (фиксируя) математическое влияние третьей переменной <tex>z</tt>: </dd><dd><tex>r_{xy \setminus z} = \frac{r_{xy} - r_{xz} r_{yz}}{\sqrt{(1 - r_{xz}^2)(1 - r_{yz}^2)}}.$

Если требуется исключить влияние многомерного вектора признаков, используют аппарат матричного анализа. Через корреляционную матрицу $R = (r_{ij})</tt> частный коэффициент выражается как: </dd><dd><tex>r_{ij \setminus \text{rest}} = - \frac{R_{ij}}{\sqrt{R_{ii} R_{jj}}},$

где $R_{ij}</tt> — алгебраическое дополнение (кофактор), рассчитанное через главный минор <tex>M_{ij}</tt> путем вычеркивания строк и столбцов матрицы. В случае многомерного нормального закона это эквивалентно расчету ковариационной матрицы условного распределения случайных величин. </dd></dl> </dd></dl> '''Полу-частичная (part) корреляция''' отличается от частной тем, что дисперсия переменной <tex>z</tt> вычитается только из одного целевого признака (например, только из <tex>x</tt>). Она демонстрирует уникальный вклад конкретного предиктора в дисперсию отклика: <dl><dd><dl><dd><tex>r_{y(x \setminus z)} = \frac{r_{xy} - r_{xz} r_{yz}}{\sqrt{1 - r_{xz}^2}}.$

Эта мера является базовым аналитическим инструментом в задачах инженерии признаков и отбора признаков (feature selection).

Связь с линейной регрессией и множественная корреляция

В рамках построения классической парной линейной регрессии $y = a + b x + \varepsilon</tt> коэффициент корреляции Пирсона напрямую определяет оценку наклона линии регрессии <tex>b</tt>: </dd><dd><tex>b = r_{xy} \frac{s_y}{s_x},\qquad a = \bar{y} - b \bar{x}.$

Если перевести обе переменные в стандартизированный вид (с нулевым средним и единичной дисперсией), то коэффициент наклона регрессионной модели будет в точности равен выборочному коэффициенту Пирсона ( $\beta = r_{xy}</tt>). </dd></dl> </dd></dl> '''Множественный коэффициент корреляции''' <tex>R</tt> обобщает парный показатель на случай анализа целого набора признаков-предикторов <tex>\{x_1, \dots, x_k\}</tt>. Он вычисляется как парная корреляция Пирсона между реальным откликом <tex>y</tt> и его модельным прогнозом <tex>\hat{y}</tt>: <dl><dd><dl><dd><tex>R = \sqrt{1 - \frac{\det R_{\text{full}}}{\det R_{xx}}}.$

Квадрат этого значения ( $R^2</tt>) представляет собой [[коэффициент детерминации|коэффициент детерминации множественной регрессии]], отражающий долю объясненной моделью [[дисперсия|дисперсии]]. == Другие коэффициенты корреляции и вычислительная устойчивость == В зависимости от типа исследуемых [[данные|данных]] применяются альтернативные [[метрики качества в машинном обучении|метрики связи]]: <ul><li> '''[[Коэффициент корреляции Спирмена]]''' — непараметрическая ранговая мера, оценивающая монотонные связи и устойчивая к выбросам. </li><li> '''[[Коэффициент корреляции Кенделла]]''' — ранговый показатель, базирующийся на подсчете инверсий и конкордантных пар, эффективный на малых выборках. </li><li> '''Точечно-бисериальная корреляция''' — применяется для оценки связи между непрерывным распределением и строго бинарным признаком (эквивалентен Пирсону при кодировании 0/1). </li><li> '''Тетрахорическая корреляция''' — используется для анализа связи скрытых непрерывных величин по наблюдаемым дихотомическим признакам. </li><li> '''Корреляционное отношение (эта-квадрат)''' — универсальный нелинейный индикатор, оценивающий долю межгрупповой дисперсии. </li></ul> '''Вычислительная устойчивость.''' При программной реализации вычисления формулы Пирсона на ЭВМ возможна катастрофическая потеря точности из-за феномена округления при вычитании близких по величине больших чисел (в момент центрирования). Чтобы избежать вычислительных артефактов в алгоритмах [[машинное обучение|машинного обучения]], применяют двухпроходные схемы расчета среднего или метод компенсационного суммирования Кахана. == Практические рекомендации == <ol><li> '''Визуальный анализ матриц.''' Перед расчетом коэффициентов критически важно построить матрицу рассеяния (scatterplot matrix) и тепловую карту корреляций. Это позволяет оперативно выявить кластерную структуру, аномалии и явную нелинейность. На тепловых картах принято визуализировать исключительно статистически значимые коэффициенты (с уровнем <tex>p < 0.05</tt>). </li><li> '''Контроль мультиколлинеарности.''' В многомерных линейных моделях высокая взаимная корреляция признаков (<tex>|r| > 0.8</tt>) провоцирует неустойчивость матричных решений. Рекомендуется отслеживать фактор инфляции дисперсии — VIF. Значения VIF > 5–10 свидетельствуют о наличии острой [[мультиколлинеарность|мультиколлинеарности]] и требуют исключения дублирующих предикторов. </li><li> '''Предобработка признаков.''' До запуска расчетов необходимо провести [[предобработка данных|предобработку данных]]: изолировать или обработать пропуски, отсечь аномальные выбросы по методу межквартильного расстояния (IQR), а при обнаружении экспоненциальных зависимостей применить логарифмирование для перевода связей в линейный базис. </li><li> '''Учет множественного тестирования.''' Если корреляционная матрица рассчитывается одновременно для сотен признаков, резко возрастает вероятность ложноположительных находок. Обязательно внедрение процедур коррекции на множественные сравнения (поправка Бонферрони или контроль уровня ложных отклонений FDR). </li></ol> == Литература == <ul><li> {{Книга | автор = Кобзарь А. И. | заглавие = Прикладная математическая статистика. Для инженеров и научных работников | место = М. | издательство = Физматлит | год = 2006 | страницы = 571—575 | isbn = 5-9221-0707-0 }} </li><li> {{Книга | автор = Ширяев А. Н. | заглавие = Вероятность | место = М. | издательство = МЦНМО | год = 2004 | isbn = 5-94057-104-2 }} </li><li> {{Книга | автор = Anderson, T. W. | заглавие = An Introduction to Multivariate Statistical Analysis (3rd ed.) | издательство = Wiley | год = 2003 | isbn = 978-0471360919 }} </li></ul> == См. также == <ul><li> [[Частная корреляция]] </li><li> [[Коэффициент корреляции Спирмена]] </li><li> [[Коэффициент корреляции Кенделла]] </li><li> [[Линейная регрессия]] </li><li> [[Ковариационная матрица]] </li></ul> == Ссылки == <ul><li> [http://en.wikipedia.org/wiki/Correlation Корреляция (en.wiki)] </li><li> [http://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D1%80%D1%80%D0%B5%D0%BB%D1%8F%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7 Корреляционный анализ (ru.wiki)] </li></ul> [[Категория:Корреляционный анализ|П]] [[Категория:Прикладная статистика]] [[Категория:Энциклопедия анализа данных]]$

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9A%D0%BE%D1%8D%D1%84%D1%84%D0%B8%D1%86%D0%B8%D0%B5%D0%BD%D1%82_%D0%BA%D0%BE%D1%80%D1%80%D0%B5%D0%BB%D1%8F%D1%86%D0%B8%D0%B8_%D0%9F%D0%B8%D1%80%D1%81%D0%BE%D0%BD%D0%B0»

@@ Строка 3: / Строка 3: @@
 == Введение и определение ==
-'''Коэффициент корреляции Пирсона''' — это статистический показатель, характеризующий силу и направленность линейной зависимости между двумя непрерывными случайными величинами. Он представляет собой нормированную ковариацию, что делает его безразмерным и инвариантным к линейным преобразованиям шкал.
+'''Коэффициент корреляции Пирсона''' — это показатель в [[прикладная статистика|прикладной статистике]], характеризующий силу и направленность [[линейная зависимость|линейной зависимости]] между двумя непрерывными [[случайная величина|случайными величинами]]. Он представляет собой нормированную [[ковариация|ковариацию]], что делает его безразмерным и инвариантным к линейным преобразованиям шкал.
-'''Генеральный коэффициент корреляции''' <tex>\rho_{XY}</tex> для случайных величин <tex>X, Y</tex> с конечными вторыми моментами определяется как:
+'''Генеральный коэффициент корреляции''' <tex>\rho_{XY}</tex> для случайных величин <tex>X, Y</tex> с конечными вторыми моментами определяется через ковариацию и [[дисперсия случайной величины|дисперсию]]:
 ::<tex>\rho_{XY} = \frac{\operatorname{Cov}(X,Y)}{\sqrt{\operatorname{D}(X)\operatorname{D}(Y)}}.</tex>
-Пусть даны две выборки конечного объёма <tex>x^m = (x_1,\dots,x_m)</tex> и <tex>y^m = (y_1,\dots,y_m)</tex>. Выборочный коэффициент корреляции Пирсона рассчитывается по формуле:
+Пусть даны две [[выборка|выборки]] конечного объёма <tex>x^m = (x_1,\dots,x_m)</tex> и <tex>y^m = (y_1,\dots,y_m)</tex>. Выборочный коэффициент корреляции Пирсона рассчитывается по формуле:
 ::<tex>r_{xy} = \frac{\sum_{i=1}^{m} (x_i-\bar{x})(y_i-\bar{y})}{\sqrt{\sum_{i=1}^{m} (x_i-\bar{x})^2 \cdot \sum_{i=1}^{m} (y_i-\bar{y})^2}} = \frac{\operatorname{cov}(x,y)}{\sqrt{s_x^2 s_y^2}},</tex>
-где <tex>\bar{x}, \bar{y}</tex> — выборочные средние, <tex>s_x^2, s_y^2</tex> — выборочные дисперсии (с делителем <tex>m</tex>).
+где <tex>\bar{x}, \bar{y}</tex> — выборочные средние арифметические, <tex>s_x^2, s_y^2</tex> — выборочные дисперсии (с делителем <tex>m</tex>).
-''Примечание.'' При использовании несмещённых оценок дисперсии и ковариации (с делителем <tex>m-1</tex>) коэффициент корреляции остаётся неизменным, поскольку множители <tex>1/m</tex> и <tex>1/(m-1)</tex> сокращаются в числителе и знаменателе. Выборочный коэффициент <tex>r_{xy}</tex> является состоятельной (при <tex>m \to \infty</tex>) и (при нормальности) асимптотически несмещённой оценкой для <tex>\rho_{XY}</tex>.
+''Примечание.'' При использовании несмещённых оценок дисперсии и ковариации (с делителем <tex>m-1</tex>) коэффициент корреляции остаётся неизменным, поскольку коррелирующие масштабирующие множители сокращаются в числителе и знаменателе. Выборочный коэффициент <tex{r_{xy}}</tex> является [[состоятельная оценка|состоятельной]] и асимптотически [[несмещенная оценка|несмещённой]] оценкой для генерального параметра <tex>\rho_{XY}</tex>.
 '''Геометрическая интерпретация.''' Рассмотрим центрированные векторы <tex>\tilde{\mathbf{x}} = (x_1-\bar{x}, \dots, x_m-\bar{x})</tex> и <tex>\tilde{\mathbf{y}} = (y_1-\bar{y}, \dots, y_m-\bar{y})</tex> в евклидовом пространстве <tex>\mathbb{R}^m</tex>. Тогда коэффициент корреляции Пирсона есть в точности косинус угла между этими векторами:
 ::<tex>r_{xy} = \frac{\langle \tilde{\mathbf{x}}, \tilde{\mathbf{y}} \rangle}{\|\tilde{\mathbf{x}}\| \|\tilde{\mathbf{y}}\|} = \cos \theta,</tex>
-где <tex>\langle \cdot, \cdot \rangle</tex> – скалярное произведение, <tex>\|\cdot\|</tex> – евклидова норма. Такая трактовка наглядно объясняет границы <tex>[-1, 1]</tex> и условие линейной зависимости (<tex>\theta = 0</tex> или <tex>\pi</tex>). Она также служит мостом к методам ортогональных проекций в регрессионном анализе.
+где <tex>\langle \cdot, \cdot \rangle</tex> – скалярное произведение, <tex>\|\cdot\|</tex> – евклидова норма (длина вектора). Такая трактовка наглядно объясняет границы показателя и условия строгой линейной связи (<tex>\theta = 0</tex> или <tex>\pi</tex>). Она также служит мостом к методам ортогональных проекций, используемым в [[регрессионный анализ|регрессионном анализе]].
 === Свойства и границы ===
-Коэффициент <tex>r_{xy}</tex> всегда лежит в отрезке <tex>[-1, 1]</tex>. Это прямое следствие неравенства Коши–Буняковского для центрированных векторов <tex>\tilde{x}_i = x_i - \bar{x}</tex>, <tex>\tilde{y}_i = y_i - \bar{y}</tex>:
+Коэффициент <tex>r_{xy}</tex> всегда лежит в отрезке <tex>[-1, 1]</tex>. Это прямое следствие неравенства Коши–Буняковского для центрированных выборочных векторов:
 ::<tex>\left| \sum_{i=1}^m \tilde{x}_i \tilde{y}_i \right| \le \sqrt{ \sum_{i=1}^m \tilde{x}_i^2 \cdot \sum_{i=1}^m \tilde{y}_i^2 },</tex>
-откуда немедленно получаем <tex>|r_{xy}| \le 1</tex>. Равенство <tex>|r_{xy}| = 1</tex> достигается тогда и только тогда, когда векторы <tex>\tilde{x}</tex> и <tex>\tilde{y}</tex> линейно зависимы, то есть существует строгая линейная связь <tex>y_i = a + b x_i</tex> для всех <tex>i</tex> (при <tex>b>0</tex> имеем <tex>r=+1</tex>, при <tex>b<0</tex> — <tex>r=-1</tex>). Значение <tex>r_{xy} = 0</tex> указывает на отсутствие линейной зависимости, но не исключает наличия нелинейной закономерности.
+откуда немедленно получаем <tex>|r_{xy}| \le 1</tex>.
+* Равенство <tex>|r_{xy}| = 1</tex> достигается тогда и только тогда, когда векторы функционально зависимы, то есть существует строгая линейная связь <tex>y_i = a + b x_i</tex> для всех <tex>i</tex> (при <tex>b>0</tex> имеем <tex>r=+1</tex>, при <tex>b<0</tex> — <tex>r=-1</tex>).
+* Значение <tex>r_{xy} = 0</tex> указывает на отсутствие линейной зависимости, но не означает полную независимость величин. Переменные могут быть связаны сильной нелинейной закономерностью. Например, для параболической функции <tex>y = x^2</tex> на симметричном интервале <tex>[-a,a]</tex> выборочный коэффициент Пирсона будет равен нулю.
-'''Инвариантность.''' Коэффициент Пирсона не меняется при строго возрастающих линейных преобразованиях каждой из переменных:
+'''Инвариантность.''' Коэффициент Пирсона не меняется при строго возрастающих линейных преобразованиях каждой из переменных (например, при [[нормализация и стандартизация признаков|стандартизации признаков]]):
 ::<tex>r_{a+bx,\, c+dy} = \operatorname{sgn}(bd)\, r_{xy} \quad (b d \ne 0),</tex>
-где знак <tex>b d</tex> определяет направление корреляции. Это свойство делает <tex>r</tex> удобным для сравнения связей в разных шкалах измерения.
+где функция <tex>\operatorname{sgn}</tex> определяет направление итоговой связи. Это свойство делает <tex>r</tt> универсальным инструментом для сравнения признаков, измеренных в абсолютно разных шкалах.
 == Статистическая проверка наличия корреляции ==
-На практике выборочный <tex>r</tex> может отличаться от нуля случайно. Для проверки гипотезы об отсутствии корреляции в генеральной совокупности используют статистические критерии.
+На практике выборочный коэффициент <tex>r</tt> может отличаться от нуля вследствие случайных колебаний. Для проверки его статистической значимости в генеральной совокупности выдвигается [[проверка статистических гипотез|статистическая гипотеза]].
+* '''Нулевая гипотеза''' <tex>H_0: \rho = 0</tex> (линейная связь в генеральной совокупности отсутствует).
+* '''Альтернативная гипотеза''' <tex>H_1: \rho \ne 0</tex> (связь присутствует, критерий двусторонний).
-'''Нулевая гипотеза''' <tex>H_0: \rho = 0</tex> (истинный коэффициент корреляции равен нулю).
-'''Альтернативная гипотеза''' <tex>H_1: \rho \ne 0</tex> (двусторонняя); возможны также односторонние альтернативы, если направление связи известно априори.
 '''Статистика критерия:'''
 ::<tex>T = \frac{r_{xy} \sqrt{m-2}}{\sqrt{1 - r_{xy}^2}} \sim t_{m-2}</tex>
-при условии, что <tex>H_0</tex> верна и данные имеют двумерное нормальное распределение. Здесь <tex>t_{m-2}</tex> — распределение Стьюдента с <tex>m-2</tex> степенями свободы.
+При условии, что гипотеза <tex>H_0</tt> верна, а исходные данные имеют двумерное [[нормальное распределение]], данная статистика подчиняется [[распределение Стьюдента|распределению Стьюдента]] с <tex>m-2</tt> степенями свободы.
-Правило принятия решения: <tex>H_0</tex> отвергается на уровне значимости <tex>\alpha</tex>, если <tex>|T| > t_{1-\alpha/2}(m-2)</tex>, где <tex>t_{1-\alpha/2}</tex> — квантиль распределения Стьюдента. При нормальности выборки и <tex>\rho=0</tex> выборочный коэффициент <tex>r</tex> имеет плотность <tex>f(r) = \frac{1}{\mathrm{B}(1/2, (m-2)/2)} (1-r^2)^{(m-4)/2}</tex>. Преобразование в <tex>T</tex> даёт плотность Стьюдента с <tex>m-2</tex> степенями свободы (классический результат Фишера).
+'''Правило принятия решения:''' Нулевая гипотеза отвергается на заданном уровне значимости <tex>\alpha</tt>, если наблюдаемое значение статистики по модулю превышает критический [[квантиль]] распределения Стьюдента: <tex>|T| > t_{1-\alpha/2}(m-2)</tt>. При справедливости нормальных допущений и <tex>\rho=0</tt> выборочный коэффициент имеет плотность бета-распределения, что математически доказывает сходимость преобразованной статистики <tex>T</tt> к закону Стьюдента (классический результат Р. Фишера).
 === Распределение при <tex>\rho \ne 0</tex> ===
-В предположении двумерной нормальности плотность выборочного коэффициента корреляции <tex>r</tex> имеет вид (Фишер, 1915):
+Если истинный коэффициент корреляции <tex>\rho \ne 0</tex>, то в предположении двумерной нормальности точная плотность распределения выборочного коэффициента <tex>r</tt> принимает более сложный вид (Фишер, 1915):
 ::<tex>f(r) = \frac{(m-2)\,\Gamma(m-1)}{\sqrt{2\pi}\,\Gamma(m-\tfrac12)} (1-\rho^2)^{(m-1)/2} (1-r^2)^{(m-4)/2} \sum_{k=0}^{\infty} \frac{[2\rho r]^k}{k!} \Gamma^2\left(\frac{m-1+k}{2}\right),</tex>
-что при <tex>\rho=0</tex> сводится к ранее приведённой бета-плотности. Для практических целей часто используют асимптотическую нормальность <tex>r</tex> с математическим ожиданием <tex>\rho - \frac{\rho(1-\rho^2)}{2(m-1)} + O(m^{-2})</tex> и дисперсией <tex>(1-\rho^2)^2/(m-1) + O(m^{-2})</tex>.
+где <tex>\Gamma</tt> — гамма-функция. Для практических расчетов больших выборок используют свойства асимптотической нормальности параметров математического ожидания и дисперсии случайной величины.
 === Доверительные интервалы для <tex>\rho</tex> ===
-Построение доверительного интервала удобно выполнять с помощью '''z-преобразования Фишера''', которое стабилизирует дисперсию и ускоряет сходимость к нормальному закону:
+Построение надежных доверительных интервалов выполняют с помощью стабилизирующего дисперсию '''z-преобразования Фишера''':
 ::<tex>z = \frac12 \ln \frac{1+r}{1-r} = \operatorname{arctanh}(r).</tex>
-При больших <tex>m</tex> величина <tex>z</tex> приближённо нормальна со средним <tex>\frac12 \ln \frac{1+\rho}{1-\rho}</tex> и стандартным отклонением <tex>SE = 1/\sqrt{m-3}</tex>. Это позволяет построить доверительный интервал для <tex>z</tex>, а затем применить обратное преобразование <tex>\rho = \tanh(z)</tex>.
+При росте объема данных случайная величина <tex>z</tt> быстро сходится к нормальному закону со средним <tex>\frac12 \ln \frac{1+\rho}{1-\rho}</tt> и стандартной ошибкой <tex>SE = 1/\sqrt{m-3}</tt>. Это позволяет рассчитать границы интервала в шкале <tex>z</tt>, а затем пересчитать их обратно через гиперболический тангенс <tex>\rho = \tanh(z)</tt>.
 === Альтернативные процедуры проверки значимости ===
-* '''Пермутационный тест.''' Когда предположение о нормальности сомнительно, можно использовать перестановочный критерий. Статистика <tex>r</tex> пересчитывается для всех <tex>m!</tex> перестановок значений <tex>y</tex> относительно <tex>x</tex> (или используется аппроксимация Монте-Карло). Полученное эмпирическое распределение позволяет вычислить <tex>p</tex>-значение без параметрических допущений.
+* '''Пермутационный тест''' (перестановочный критерий). Применяется, когда закон распределения данных далек от нормального. Нулевая гипотеза о некоррелированности приравнивается к независимости. Значения одной из выборок многократно перемешиваются, формируя эмпирическое распределение, по которому оценивается точное значении <tex>p</tt>-value.
-* '''Бутстрэп-доверительные интервалы.''' Вместо преобразования Фишера можно построить интервалы для <tex>\rho</tex> с помощью процентильного или BCa-бутстрэпа, что даёт корректное покрытие даже при отклонениях от нормальности.
+* '''Бутстрэп-интервалы'''. Построение интервальных оценок методом процентильного или BCa-[[bootstrap (статистика)|бутстрэпа]] позволяет получить корректное покрытие распределения признаков без жестких параметрических допущений.
 == Ложная корреляция и слабые стороны ==
 [[Image: Correlation.png|300px|thumb| Четыре различных набора данных (Квартет Энскомба), коэффициент корреляции на которых одинаков и равен 0.81]]
-* '''Неустойчивость к выбросам.''' Коэффициент Пирсона крайне чувствителен к аномальным значениям. Одна точка, сильно отклоняющаяся от основной линии, может кардинально изменить <tex>r</tex> (например, с 0.9 до 0.2 или сменить знак).
+* '''Неустойчивость к выбросам.''' Коэффициент Пирсона крайне чувствителен к аномалиям в данных. Наличие единичного резкого [[выброс|выброса]] способно исказить значение <tex>r</tt>, искусственно завысив его или изменив знак связи. В таких условиях применяют устойчивые меры (процентный коэффициент) или ранговые методы.
-* '''Только линейность.''' <tex>r</tex> измеряет лишь силу линейной связи. Нелинейные зависимости могут давать <tex>r \approx 0</tex> даже при функциональной связи. Всегда следует сопровождать расчёт диаграммой рассеяния.
+* '''Ограничение линейностью.''' Метод фиксирует исключительно силу линейного тренда. Любые сложные U-образные, квадратичные или периодические паттерны будут пропущены. Расчет числового коэффициента всегда должен сопровождаться [[визуализация|визуализацией данных]] на диаграмме рассеяния.
-* '''Корреляция ≠ причинность.''' Наблюдаемая связь может быть следствием влияния третьей (скрытой) переменной, общей для обеих (например, продажи мороженого и солнечные ожоги). Для выявления причинно-следственных связей применяют методы структурного моделирования (DAG), инструментальные переменные.
+* '''Независимость и некоррелированность.''' Необходимо четко разделять эти статистические понятия. Из полной независимости величин гарантированно вытекает их некоррелированность, однако обратное утверждение неверно.
-* '''Ложная корреляция во временных рядах.''' При анализе зависимых во времени данных даже независимые процессы с трендом или сезонностью могут давать высокий <tex>|r|</tex>. Для устранения эффекта применяют ''декорреляцию'': вычисление корреляции для остатков после удаления тренда (методом первых разностей), а также проверку на коинтеграцию.
+* '''Ложная корреляция (ковариация под влиянием третьего фактора).''' Наличие сильной связи не означает причинно-следственную обусловленность. Переменные могут координироваться скрытым общим предиктором (например, статистика продаж кондиционеров и прохладительных напитков растет из-за жары). Для дифференциации каузальности строят [[причинное машинное обучение|структурные каузальные модели (DAG)]].
+* '''Эффект автокорреляции в данных рядов.''' При анализе [[временной ряд|временных рядов]] наличие внутренних временных трендов приводит к ложновысоким показателям связи. Для корректного вычисления требуется предварительная декорреляция остатков (например, через взятие первых разностей).
-=== Влияние сужения диапазона (Range restriction) ===
+* '''Сужение диапазона (Range restriction).''' Если [[выборка|выборка данных]] искусственно урезана по одной из осей (например, исследуется зависимость только среди высокорослых людей), наблюдаемый коэффициент Пирсона будет смещен в сторону занижения. Для исправления этой системной ошибки применяют формулу Торндайка:
-Если выборка не репрезентативна по одной из переменных (например, отобраны только субъекты с высокими значениями <tex>x</tex>), наблюдаемый коэффициент <tex>r</tex> систематически занижается по сравнению с истинным значением в полной популяции. Для скорректированной оценки используется формула (Thorndike, 1949):
+::<tex>r_{\text{corr}} = \frac{r_{\text{obs}}\, \sigma_x^{\text{full}}}{\sqrt{\sigma_x^{2\text{full}} - r_{\text{obs}}^2 (\sigma_x^{2\text{full}} - \sigma_x^{2\text{restricted}})}}.</tex>
-::<tex>r_{\text{corr}} = \frac{r_{\text{obs}}\, \sigma_x^{\text{full}}}{\sqrt{\sigma_x^{2\text{full}} - r_{\text{obs}}^2 (\sigma_x^{2\text{full}} - \sigma_x^{2\text{restricted}})}},</tex>
-где <tex>\sigma_x^{\text{full}}</tex> – стандартное отклонение <tex>x</tex> в генеральной совокупности, а <tex>\sigma_x^{\text{restricted}}</tex> – в усечённой выборке. Коррекция широко применяется в психометрике и эпидемиологии.
 == Частная и полу-частичная корреляция ==
-'''Частный коэффициент корреляции''' измеряет линейную связь между двумя переменными при исключении влияния одной или нескольких других переменных. Для трёх переменных <tex>x, y, z</tex> формула имеет вид:
+'''[[Частная корреляция|Частный коэффициент корреляции]]''' оценивает чистую линейную связь между переменными <tex>x</tt> и <tex>y</tt>, полностью исключая (фиксируя) математическое влияние третьей переменной <tex>z</tt>:
 ::<tex>r_{xy \setminus z} = \frac{r_{xy} - r_{xz} r_{yz}}{\sqrt{(1 - r_{xz}^2)(1 - r_{yz}^2)}}.</tex>
-Для случая <tex>k</tex> переменных используется матричное представление. Пусть <tex>R = (r_{ij})</tex> — корреляционная матрица. Частный коэффициент между <tex>i</tex>-й и <tex>j</tex>-й переменными при исключении остальных равен:
+Если требуется исключить влияние многомерного вектора признаков, используют аппарат [[матрица|матричного анализа]]. Через корреляционную матрицу <tex>R = (r_{ij})</tt> частный коэффициент выражается как:
 ::<tex>r_{ij \setminus \text{rest}} = - \frac{R_{ij}}{\sqrt{R_{ii} R_{jj}}},</tex>
-где <tex>R_{ij} = (-1)^{i+j} M_{ij}</tex> — алгебраическое дополнение в матрице <tex>R</tex>, а <tex>M_{ij}</tex> — главный минор. Значения <tex>R_{ii}</tex> и <tex>R_{jj}</tex> для корреляционной матрицы всегда положительны.
+где <tex>R_{ij}</tt> — алгебраическое дополнение (кофактор), рассчитанное через главный минор <tex>M_{ij}</tt> путем вычеркивания строк и столбцов матрицы. В случае многомерного нормального закона это эквивалентно расчету ковариационной матрицы условного распределения случайных величин.
-'''Полу-частичная (part) корреляция''' отличается от частной тем, что из <tex>x</tex> исключается влияние <tex>z</tex>, а из <tex>y</tex> – нет (или наоборот). Она характеризует уникальный вклад <tex>x</tex> в объяснение <tex>y</tex> за вычетом доли, общей с <tex>z</tex>:
+'''Полу-частичная (part) корреляция''' отличается от частной тем, что дисперсия переменной <tex>z</tt> вычитается только из одного целевого признака (например, только из <tex>x</tt>). Она демонстрирует уникальный вклад конкретного предиктора в дисперсию отклика:
 ::<tex>r_{y(x \setminus z)} = \frac{r_{xy} - r_{xz} r_{yz}}{\sqrt{1 - r_{xz}^2}}.</tex>
-Эта мера востребована в регрессионном анализе при оценке значимости отдельных предикторов.
+Эта мера является базовым аналитическим инструментом в задачах [[инженерия признаков|инженерии признаков]] и [[отбор признаков|отбора признаков (feature selection)]].
 == Связь с линейной регрессией и множественная корреляция ==
-В модели парной линейной регрессии <tex>y = a + b x + \varepsilon</tex> выборочный коэффициент наклона <tex>b</tex> связан с корреляцией соотношением:
+В рамках построения классической парной [[линейная регрессия|линейной регрессии]] <tex>y = a + b x + \varepsilon</tt> коэффициент корреляции Пирсона напрямую определяет оценку наклона линии регрессии <tex>b</tt>:
 ::<tex>b = r_{xy} \frac{s_y}{s_x},\qquad a = \bar{y} - b \bar{x}.</tex>
-Таким образом, <tex>r_{xy}</tex> – это наклон регрессии при стандартизации обеих переменных (<tex>b^* = r_{xy}</tex>). В множественной регрессии стандартизованные коэффициенты <tex>\beta_j</tex> выражаются через элементы обратной корреляционной матрицы: <tex>\beta_j = -R_{jj}^{-1} R_{jy}</tex>, и они равны частным корреляциям с точностью до масштаба.
+Если перевести обе переменные в стандартизированный вид (с нулевым средним и единичной дисперсией), то коэффициент наклона регрессионной модели будет в точности равен выборочному коэффициенту Пирсона (<tex>\beta = r_{xy}</tt>).
-'''Множественный коэффициент корреляции''' <tex>R</tex> характеризует силу связи между зависимой переменной <tex>y</tex> и набором предикторов <tex>{x_1, \dots, x_k}</tex>. Он равен парной корреляции между <tex>y</tex> и её прогнозом <tex>\hat{y}</tex>:
+'''Множественный коэффициент корреляции''' <tex>R</tt> обобщает парный показатель на случай анализа целого набора признаков-предикторов <tex>\{x_1, \dots, x_k\}</tt>. Он вычисляется как парная корреляция Пирсона между реальным откликом <tex>y</tt> и его модельным прогнозом <tex>\hat{y}</tt>:
 ::<tex>R = \sqrt{1 - \frac{\det R_{\text{full}}}{\det R_{xx}}}.</tex>
-Коэффициент детерминации <tex>R^2</tex> в множественной модели равен квадрату множественной корреляции (доля дисперсии отклика, объяснённая регрессией).
+Квадрат этого значения (<tex>R^2</tt>) представляет собой [[коэффициент детерминации|коэффициент детерминации множественной регрессии]], отражающий долю объясненной моделью [[дисперсия|дисперсии]].
 == Другие коэффициенты корреляции и вычислительная устойчивость ==
-Помимо коэффициента Пирсона, существуют меры для различных типов данных:
+В зависимости от типа исследуемых [[данные|данных]] применяются альтернативные [[метрики качества в машинном обучении|метрики связи]]:
-* '''Коэффициент Спирмена''' – основан на рангах; инвариантен к монотонным преобразованиям, устойчив к выбросам.
+* '''[[Коэффициент корреляции Спирмена]]''' — непараметрическая ранговая мера, оценивающая монотонные связи и устойчивая к выбросам.
-* '''Коэффициент Кендалла''' – также ранговый, основан на подсчёте конкордантных пар; предпочтителен при малых выборках.
+* '''[[Коэффициент корреляции Кенделла]]''' — ранговый показатель, базирующийся на подсчете инверсий и конкордантных пар, эффективный на малых выборках.
-* '''Точечно-бисериальная корреляция''' – для связи непрерывной и бинарной переменной (частный случай Пирсона, если бинарную переменную закодировать как 0/1).
+* '''Точечно-бисериальная корреляция''' — применяется для оценки связи между непрерывным распределением и строго бинарным признаком (эквивалентен Пирсону при кодировании 0/1).
-* '''Тетрахорическая и полихорическая корреляции''' – оценивают связь между латентными нормальными переменными по наблюдаемым категориальным данным.
+* '''Тетрахорическая корреляция''' — используется для анализа связи скрытых непрерывных величин по наблюдаемым дихотомическим признакам.
-* '''Корреляционное отношение (эта-квадрат)''' – измеряет долю дисперсии зависимой переменной, объяснённую группирующим фактором (нелинейная связь).
+* '''Корреляционное отношение (эта-квадрат)''' — универсальный нелинейный индикатор, оценивающий долю межгрупповой дисперсии.
-'''Вычислительная устойчивость.''' При расчёте <tex>r</tex> на компьютере возможна потеря точности из-за вычитания близких больших чисел (при центрировании). Рекомендуется использовать двухпроходный алгоритм (сначала вычисление средних, затем центрирование) или метод суммирования с компенсацией (Кахана). В большинстве статистических пакетов эти меры уже реализованы.
+'''Вычислительная устойчивость.''' При программной реализации вычисления формулы Пирсона на ЭВМ возможна катастрофическая потеря точности из-за феномена округления при вычитании близких по величине больших чисел (в момент центрирования). Чтобы избежать вычислительных артефактов в алгоритмах [[машинное обучение|машинного обучения]], применяют двухпроходные схемы расчета среднего или метод компенсационного суммирования Кахана.
 == Практические рекомендации ==
-# '''Визуализация матриц.''' Матрица рассеяния (scatterplot matrix) и тепловая карта корреляций – стандартные инструменты для первичного анализа. Тепловая карта выявляет кластеры сильно коррелирующих переменных. При визуализации рекомендуется указывать числовые значения <tex>r</tex> или только значимые (с <tex>p < 0.05</tex>).
+# '''Визуальный анализ матриц.''' Перед расчетом коэффициентов критически важно построить матрицу рассеяния (scatterplot matrix) и тепловую карту корреляций. Это позволяет оперативно выявить кластерную структуру, аномалии и явную нелинейность. На тепловых картах принято визуализировать исключительно статистически значимые коэффициенты (с уровнем <tex>p < 0.05</tt>).
-# '''Проверка мультиколлинеарности.''' В задачах множественной регрессии высокие корреляции между предикторами (<tex>|r| > 0.8</tex>) ведут к неустойчивости оценок. Рассчитывайте VIF (variance inflation factor). Значения VIF > 5–10 сигнализируют о проблеме.
+# '''Контроль мультиколлинеарности.''' В многомерных линейных моделях высокая взаимная корреляция признаков (<tex>|r| > 0.8</tt>) провоцирует неустойчивость матричных решений. Рекомендуется отслеживать фактор инфляции дисперсии — VIF. Значения VIF > 5–10 свидетельствуют о наличии острой [[мультиколлинеарность|мультиколлинеарности]] и требуют исключения дублирующих предикторов.
-# '''Предобработка данных.''' Перед расчётом <tex>r</tex> необходимо обработать пропуски и выбросы (использовать межквартильный размах). Для нелинейных связей рассмотрите логарифмирование с последующим расчётом корреляции.
+# '''Предобработка признаков.''' До запуска расчетов необходимо провести [[предобработка данных|предобработку данных]]: изолировать или обработать пропуски, отсечь аномальные выбросы по методу межквартильного расстояния (IQR), а при обнаружении экспоненциальных зависимостей применить логарифмирование для перевода связей в линейный базис.
-# '''Проверка предположений и выбросов.''' При отклонениях от нормальности или при наличии выбросов предпочтительнее использовать ранговые корреляции.
+# '''Учет множественного тестирования.''' Если корреляционная матрица рассчитывается одновременно для сотен признаков, резко возрастает вероятность ложноположительных находок. Обязательно внедрение процедур коррекции на множественные сравнения (поправка Бонферрони или контроль уровня ложных отклонений FDR).
-# '''Коррекция на множественные сравнения.''' При вычислении корреляций для многих пар переменных одновременно, применяйте поправку (метод Бонферрони, контроль FDR).
 == Литература ==
@@ Строка 111: / Строка 112: @@
 * [[Коэффициент корреляции Спирмена]]
 * [[Коэффициент корреляции Кенделла]]
-* [[Множественная регрессия]]
+* [[Линейная регрессия]]
 * [[Ковариационная матрица]]

Коэффициент корреляции Пирсона

Материал из MachineLearning.

Версия 10:15, 12 июля 2026

Содержание

Введение и определение

Свойства и границы

Частная и полу-частичная корреляция

Связь с линейной регрессией и множественная корреляция

Просмотры

Личные инструменты

Навигация

Поиск

Инструменты