Расстояние Кука

Материал из MachineLearning.

Версия от 19:48, 7 декабря 2013; E zak (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Расстояние Кука (Cook's distance) является широко используемым методом оценки влияния соответствующего наблюдения (элемента выборки) на уравнение регрессии. Эта величина показывает разницу между вычисленными коэффициентами уравнения регрессии и значениями, которые получились бы при исключении соответствующего наблюдения. В адекватной модели все расстояния Кука должны быть примерно одинаковыми; если это не так, то имеются основания считать, что соответствующее наблюдение (или наблюдения) смещает оценки коэффициентов регрессии.

Метод назван в честь американского ученого Р. Денниса Кука , который ввел данное понятие в 1977 году.

Определение

Расстояние Кука оценивает эффект от удаления одного (рассматриваемого) наблюдения и вычисляется по следующей формуле:

$D_i = \frac{ \sum_{j=1}^n (\hat Y_j\ - \hat Y_{j(i)})^2 }{p \ \mathrm{MSE}}$

где,

$\hat Y_j$ - предсказание регрессионной модели, построенной по всей выборке, получаемое для $j$ -ого наблюдения;

$\hat Y_{j(i)}$ - предсказание регрессионной модели, построенной по выборке без $i$ -ого наблюдения, получаемое для $j$ -ого наблюдения;

$p$ - количество параметров модели

$\mathrm{MSE}$ - средне-квадратичная ошибка модели

Нахождение и удаление выбросов

Существуют различные подходы к определению выбросов с помощью расстояния Кука. Наиболее распространенной эвристикой считается $D_i > 4/n$ , где $n$ - количество наблюдений в выборке.

Пример использования

Рассмотрим задачу по оценке эффективность тромболитической терапии. В данной задаче собраны данные по 206 пациентам второго кардиологического отделения московской городской клинической больницы №25. Имеются результаты 14 анализов, а также 8 дополнительных признаков, описывающих пациента (пол, возраст, курение, наличие диабета и т.д.).

Построив уравнение регрессии и оценив расстояние Кука, визуализируем полученные результаты.