Алгоритм LOWESS
Материал из MachineLearning.
(→См. также) |
(→См. также: категория) |
||
Строка 159: | Строка 159: | ||
* [http://en.wikipedia.org/wiki/Local_regression Local regression] | * [http://en.wikipedia.org/wiki/Local_regression Local regression] | ||
- | [[Категория: | + | [[Категория:Непараметрическая регрессия]] |
+ | [[Категория:Робастная регрессия]] | ||
— ''[[Участник:Валентин Голодов|Валентин Голодов]] 18:35, 8 января 2010 (MSK)'' | — ''[[Участник:Валентин Голодов|Валентин Голодов]] 18:35, 8 января 2010 (MSK)'' | ||
→ | → |
Версия 23:42, 9 января 2010
Содержание |
Введение
- Данная методика была предложена Кливлендом(Cleveland) в 1979 году для моделирования и сглаживания двумерных данных
. Эта техника предоставляет общий и гибкий подход для приближения двумерных данных.
- Локально-линейная модель loess(lowess) может быть записана в виде:
-
- Эта модель может быть расширена на случай локально-квадратичной зависимости и на модель с бо‘льшим числом независимых переменных.
- Параметры
и
локально линейной модели оцениваются, с помощью локально взвешенной регрессии, которая присваивает объекту тем больший вес, чем более близок он близким к объекту
.
- Степень сглаживания определяется параметром сглаживания
, который выбирает пользователь.
- Параметр
указывает какая доля(fraction) данных используется в процедуре. Если
, то только половина данных используется для оценки и влияет на результат, и тогда мы получим умеренное сглаживание. С другой стороны, если
, то используются восемьдесят процентов данных, и сглаживание намного сильнее. Во всех случаях веса данных тем больше чем они ближе к объекту
.
- Процедура оценки использует не метод наименьших квадратов, а более устойчивый ( робастный ) метод, который принимает меры против выбросов.
- График приближенных значений
-
- от
полезен для принятия решения о характере связи между
и
. Для проверки качества приближения полученного с помощью процедуры устойчивого loess полезно посмотреть на график остатков обычной регрессии, то есть в осях (i) остатки от числа наблюдения (ii) остатки от прибли‘женных значений, (iii) остатки от значений независимой переменной. Как показал Кливленд, может быть предпочтительно использовать график в осях модули остатков от полученных приближенных значений вместо графика (ii) для устойчивого loess сглаживания, чтобы проверить наличие тренда или других систематических особенностей.
- Когда
вычисления могут быть слишком долгими, в этом случае можно сократить количество вычислений, оценивая
и
только в точках отстоящих друг от друга как минимум на
единиц, где параметр
может задаваться либо приниматься по умолчанию. Рекомендуемые значения
-
если
-
если
, где
— [межквартильный размах](Interquartile range).
-
- С такими параметрами вычисления будут выполнены для примерно 100 точек.
Примеры
- На Рис. 2. Приведена иллюстрация уровня сглаживания в зависимости от значения параметра
- Сглаживание также может быть локально квадратичным, в этом случае модель для
имеет вид
-
Примеры сглаживания с квадратичным локальным приближением показаны на Рис. 3.
Технические детали алгоритма
Базовое предположение состоит в следующем
где - функция сглаживания, остатки
имеют нулевое математическое ожидание и фиксированную дисперсию. Затем сглаживание
мы приближаем локально-линейной (локально квадратичной, в случае нелинейной модели) функцией, чтобы получить
-
.
-
Для четкого определения алгоритма поясним концепцию локальных весов и робастных весов
.
Локальные веса
- Рассмотрим один из широко распространенных примеров – функцию
- Для заданного параметра
пусть
- ближайшее целое число к произведению
. Пусть
расстояние до
-того ближайшего соседа объекта
. Тогда локальный вес для любого объекта
в окрестности
есть
.
Замечание
- Более общий подход к определению локальных весов состоит в выборе ширины окна
, в общем случае
, то есть зависящей от объекта
, и ядровой функции
. Тогда локальные веса вычисляются по формулам
- В этом случае отпадает необходимость задания параметра сглаживания
и его смысл эквивалентен выбору ширины окна
.
Робастные веса
Пусть
– обучающая выборка за исключением элемента
,
– ответ алгоритма
, обученного на выборке
при работе на объекте
.
– ошибка алгоритма на объекте
(ошибка скользящего контроля).
Пусть - есть медиана величин
.
тогда
, где
Замечание
- Возможны и другие варианты выбора весов
, например, занулить
штук, соответствующих наибольшим
. Это соответствует ядру
где –-
- тый член вариационного ряда
- В качестве весовой ядерной функции можно взять функцию Хубера (Huber, 1964) на которой основаны *[M-оценки]
Чтобы вычислить
необходимо выбрать параметр устойчивости
. Одно популярное прикладное правило –
, где
– робастная мера масштаба, такая как медианное абсолютное отклонение от медианы (MAD). Это популярное правило обеспечивает 95%-ую эффективность относительно гомоскедастичной нормальной модели в проблеме местоположения.
Алгоритм LOWESS
Вход
- обучающая выборка;
весовые функции;
Выход
Коэффициенты
Алгоритм 1.1
- 1. Построить линейную регрессию во всех
точках, используя весовые функции
, тем самым получим оценки для параметров модели
.
- А также приближения
.
- 2. Инициализируем остатки
. Вычислим робастные веса
- 3. повторять
- 4. Построить линейную регрессию во всех
точках, используя весовые функции
, тем самым получим оценки для параметров модели
. А также приближения
.
- 5. По новому набору значений
вычислить новые значения коэффициентов
.
- 4. Построить линейную регрессию во всех
- 6. пока веса
не стабилизируются
При использовании ядровых функций для оценки локальных весов объектов и робастных весов алгоритм модифицируется следующим образом:
Алгоритм 1.2
- 1. Инициализировать
- 2. повторять
- 3. Вычислить оценки скользящего контроля на каждом объекте
-
- 4. По набору значений
вычислить новые значения коэффициентов
.
- 5. пока веса
не стабилизируются
Коэффициенты , как и ошибки
, зависят от функции
, которая,
в свою очередь, зависит от
. На каждой итерации строится функция
,
затем уточняются весовые множители
. Как правило, этот процесс сходится довольно быстро.
Однако в практических реализациях имеет смысл вводить ограничение на количество итераций, как правило, это 2-3 итерации.
Примеры
- На рисунке 4 представлен пример робастного локально-линейного сглаживания с помощь алгоритма LOWESS. С числом итераций цикла равным 2 и параметром сглаживания
, то есть для приближения используется
ближайших точек выборки.
Конечно, подход вычислительно достаточно требовательный, однако этот метод заслуживает внимания тех исследователей, которые обеспокоены наличием выбросов в данных. В частности он активно применяется в биологии в области генетических исследований.
Литература
- A.I. McLeod Statistics 259b Robust Loess: S lowess. — 2004.
- Хардле В. Прикладная непараметрическая регрессия.. — Мир, 1993.
- Воронцов К.В. Лекции по алгоритмам восстановления регрессии. — 2007.
- John A Berger, Sampsa Hautaniemi, Anna-Kaarina Järvinen, Henrik Edgren, Sanjit K Mitra and Jaakko Astola Optimized LOWESS normalization parameter selection for DNA microarray data. — BMC Bioinformatics, 2004.
- Maronna, A., R. Martin, V. Yohai Robust Statistics: Theory and Methods.. — Wiley, 2006.
- Расин, Джеффри «Непараметрическая эконометрика: вводный курс». — Квантиль, №4, стр. 7–56., 2008.
- Huber, P.J. Robust estimation of a location parameter. Annals of Statistics 35. — 1964. — С. 73–101.
См. также
— Валентин Голодов 18:35, 8 января 2010 (MSK) →