Непараметрическая регрессия
Материал из MachineLearning.
(→Ядерное сглаживание) |
(→Ядерное сглаживание) |
||
| Строка 21: | Строка 21: | ||
Исходя из минимизации глобальной ошибки следует <tex>h</tex> брать равным:: | Исходя из минимизации глобальной ошибки следует <tex>h</tex> брать равным:: | ||
| - | ::<tex>h_{opt}=\[ \frac{\int{K^2(z)dz}}{ \(\int{z^2K^2(z)dz} \)^2 \int{\[y''( | + | ::<tex>h_{opt}=\[ \frac{\int{K^2(z)dz}}{ \(\int{z^2K^2(z)dz} \)^2 \int{\[y''(x)\]^2dx} }\]^{-1/5} m^{-1/5} </tex>, где <tex>y(x)</tex> - неизвестная аппроксимируемая зависимость. |
=== Референтные эвристические правила === | === Референтные эвристические правила === | ||
| Строка 31: | Строка 31: | ||
=== Методы подстановки === | === Методы подстановки === | ||
| - | Методы подстановки, состоят в подстановке оценок неизвестной константы <tex>\int{\[y''( | + | Методы подстановки, состоят в подстановке оценок неизвестной константы <tex>\int{\[y''(x)\]^2dx</tex> в формулу для оптимальной ширины окна на основе первоначальной оценки <tex>y''(x)</tex>, которая в свою очередь основана на «предварительной» ширине окна, например, найденной по правилу <tex>1.059*\sigma m^{-1/5}</tex> . Все прочие константы в выражении для <tex>h_{opt}</tex> известны после выбора ядерной функции <tex>K</tex> (то есть <tex>\int{K^2(z)dz}</tex> и <tex>\int{z^2K^2(z)dz}</tex>известны). Хотя такие правила популярны, заинтересованный читатель может обратиться к работе (1), где обсуждаются относительные достоинства методов подстановки по сравнению с другими методами выбора ширины окна, обсуждаемыми ниже. Подробнее см (2). |
=== Методы кросс-валидации === | === Методы кросс-валидации === | ||
Версия 19:47, 6 января 2010
Непараметрическая регрессия, в отличие от параметрических подходов, использует модель, которая не описывается конечным числом параметров.
Содержание |
Введение
Цель регрессионного анализа состоит в осуществлении разумной аппроксимации неизвестной функции отклика по известым точкам
. В случае малых ошибок наблюдения становится возможным сконцентрировать внимание на важных деталях средней зависимости
от
при ее интерпретации.
Отличие от параметрических подходов
Процедура аппроксимации обычно называется сглаживанием. По существу эта аппроксимация функции отклика может быть выполнена двумя способами. Довольно часто используется параметрический подход, заключающийся в предположении, что функция отклика
имеет некоторую предписанную функциональную форму, например, это прямая линия с неизвестными свободным членом и наклоном. Альтернативой этому может служить попытка оценить
непараметрически, без указания конкретного ее вида. Первый подход к анализу регрессионной зависимости называется параметрическим, поскольку предполагается, что вид функции полностью описывается конечным набором параметров. Типичный пример параметрической модели представляет собой полиномиальное уравнение регрессии, когда параметрами являются коэффициенты при неизвестных. Однако при параметрическом подходе молчаливо предполагается, что кривая может быть представлена в терминах параметрической модели, или, по крайней мере, имеется уверенность в том, что ошибка аппроксимации для наилучшего параметрического приближения пренебрежимо мала. Наоборот, в непараметрической модели регрессионной зависимости не произ
водится проектирования данных в "прокрустово ложе" фиксированной параметризации. Предварительное задание параметрической модели может оказаться слишком ограничительным или чересчур малой размерности для аппроксимации непредвиденных характеристик, в то время как непараметрическое сглаживание предоставляет гибкие средства анализа неизвестных регрессионных зависимостей.
Непараметрический подход приводит, таким образом, к гибкому функциональному виду кривой регрессии.
Разновидности
Ядерное сглаживание
Одним из простейших методов является ядерное сглаживание. Этот метод прост в применении, не требует дополнительных математических сведений и понятен на интуитивном уровне. Ядерное сглаживание во многих случаях является подходящим средством. Существуют разнообразные альтернативные методы сглаживания такие, например, как сплайны, но в [Хардле В, гл3] показывается, что в асимптотическом смысле они эквивалентны ядерному сглаживанию.
Ключом к проведению качественного непараметрического оценивания является выбор подходящей ширины окна для имеющейся задачи. Хотя ядерная функция остается важной, ее главная роль состоит в обеспечении дифференцируемости и гладкости получающейся оценки. Ширина окна
, с другой стороны, определяет поведение оценки в конечных выборках, что ядерная функция сделать просто не в состоянии. Существуют четыре общих подхода к выбору ширины окна:
- референтные эвристические правила
- методы подстановки
- методы кросс-валидации
- бутстраповские методы.
Ради аккуратности подчеркнем, что диктуемые данными методы выбора ширины окна не всегда гарантируют хороший результат.
Исходя из минимизации глобальной ошибки следует брать равным::
, где
- неизвестная аппроксимируемая зависимость.
Референтные эвристические правила
Референтные эвристические правила выбора ширины окна используют стандартное семейство распределений для определения .
Рассмотрим оценку Парзена-Розенблата для одномерной функции плотности
-
.
-
В случае семейства ормальных рапределений и гаусовского ядра .
На практике применяется
, выборочное стандартное отклонение.
Методы подстановки
Методы подстановки, состоят в подстановке оценок неизвестной константы в формулу для оптимальной ширины окна на основе первоначальной оценки
, которая в свою очередь основана на «предварительной» ширине окна, например, найденной по правилу
. Все прочие константы в выражении для
известны после выбора ядерной функции
(то есть
и
известны). Хотя такие правила популярны, заинтересованный читатель может обратиться к работе (1), где обсуждаются относительные достоинства методов подстановки по сравнению с другими методами выбора ширины окна, обсуждаемыми ниже. Подробнее см (2).
Методы кросс-валидации
Бутстраповские методы
Ядерное сглаживание
Литература
- Хардле В. Прикладная непараметрическая регрессия. — 1989.
Ссылки
- Loader, C.R. Bandwidth selection: Classical or plug-in? Annals of Statistics 27. — 1999. — С. 415–438.
- Sheather, S., M. Jones A reliable data-based bandwidth selection method for kernel density estimation. Journal of Royal Statistical Society, Series B 53. — 1991. — С. 683–690.
