Робастное оценивание
Материал из MachineLearning.
(→Ссылки) |
|||
(9 промежуточных версий не показаны.) | |||
Строка 44: | Строка 44: | ||
с весовыми коэффициентами <tex>\omega_i</tex>, зависящими от выборки. | с весовыми коэффициентами <tex>\omega_i</tex>, зависящими от выборки. | ||
- | === | + | === Линейные комбинации порядковых статистик (L-оценки)=== |
Рассмотрим статистику, которая представляет собой линейную комбинацию порядковых статистик или, в более общей постановке, значений на некоторой функции <tex>h</tex>: | Рассмотрим статистику, которая представляет собой линейную комбинацию порядковых статистик или, в более общей постановке, значений на некоторой функции <tex>h</tex>: | ||
Строка 62: | Строка 62: | ||
::<tex>F^{-1}(s)=inf\{x|F(x) \ge s\}\,,\;\; 0<s<1</tex> | ::<tex>F^{-1}(s)=inf\{x|F(x) \ge s\}\,,\;\; 0<s<1</tex> | ||
+ | |||
+ | '''Примеры''' | ||
+ | # Самым простым примером служит медиана выборки. | ||
+ | # ''Винзоризованное среднее (Winsorized mean)''. Для его вычисления значения исходную выборку упорядочивают в определенном порядке (например, возрастания), затем с каждой стороны отсекается какой-то процент данных (обычно, берут по 10% или 25% с каждой стороны одинаково),а убранные специально подобранным образом заменяются на значения из оставшихся чисел, затем выисляется среднее по всей выборке. | ||
+ | # ''Усеченное среднее (Truncated mean)''. Для его вычисления усредняются данные вариационного ряда выборки после удаления с обеих сторон определенной доли объектов (она находится в пределах от 5 до 25%). | ||
+ | # ''Обрезанное среднее (Trimean)''. Величина <tex>TM</tex> вычисляется по следующей формуле <tex>TM=\frac{Q_1+2Q_2+Q_3}{4}</tex>, где <tex>Q_i</tex> - квартили i-го порядка. | ||
+ | |||
+ | '''Замечание''' | ||
+ | |||
+ | Далеко не все порядковые статистики являются робастными. Максимум, минимум, среднее и полусумма максимума и минимума не являются робастными, их характеристика, показывающая сколько наблюдения можно изменить, чтобы это не повлияло на конечный результат, равна 0. У робастных оценок эта характеристика равна 50% в случае медианы, а в остальных меньше и зависит от процента, используемого для отсечения данных. | ||
=== Оценки, получаемые в ранговых критериях (R-оценки)=== | === Оценки, получаемые в ранговых критериях (R-оценки)=== | ||
Строка 110: | Строка 120: | ||
== Вычисление робастных оценок == | == Вычисление робастных оценок == | ||
Робастность, связанная с регрессией, носит особый характер, и здесь возникают довольно сложные задачи. | Робастность, связанная с регрессией, носит особый характер, и здесь возникают довольно сложные задачи. | ||
- | В случае линейной регрессии используется метод наименьших квадратов. | + | В случае линейной регрессии используется метод наименьших квадратов. Здесь мы работаем с М-оценками. |
Рассмотрим пример. Для оценки <tex>p</tex> неизвестных параметров <tex>\theta_1,\; \dots ,\theta_p</tex> используется <tex>n</tex> наблюдений <tex>y_1,\; \dots,y_n</tex>, причем они связаны между собой следующим неравенством <tex>\mathbf{y}=X\mathbf{\theta}+\mathbf{u}</tex>, где элементы матрицы <tex>X</tex> суть известные коэффициенты, а <tex>\mathbf{u}</tex> - вектор независимых случайных величин,имеющих (приблизительное)одинаковые функции распределения. | Рассмотрим пример. Для оценки <tex>p</tex> неизвестных параметров <tex>\theta_1,\; \dots ,\theta_p</tex> используется <tex>n</tex> наблюдений <tex>y_1,\; \dots,y_n</tex>, причем они связаны между собой следующим неравенством <tex>\mathbf{y}=X\mathbf{\theta}+\mathbf{u}</tex>, где элементы матрицы <tex>X</tex> суть известные коэффициенты, а <tex>\mathbf{u}</tex> - вектор независимых случайных величин,имеющих (приблизительное)одинаковые функции распределения. | ||
Строка 152: | Строка 162: | ||
Очевидно, что эта процедура сводит на нет влияние выделяющихся наблюдений. | Очевидно, что эта процедура сводит на нет влияние выделяющихся наблюдений. | ||
+ | Таким способом можно получить робастный вариант любой процедуры. Сначала данные "редактируются" - выделяющиеся наблюдения замещаются значениями, полученными при подгонке, а затем последовательно проводят переподгонку до тех пор, пока не появится сходимость. После этого к псевдонаблюдениям применяется нужная процедура. | ||
Строка 160: | Строка 171: | ||
== Ссылки == | == Ссылки == | ||
+ | * [http://www.ami.nstu.ru/~headrd/seminar/L_EST_HTML/l_est_1.htm Построение оптимальных L-оценок параметров сдвига и масштаба по выборочным асимптотически оптимальным квантилям] | ||
* [http://ru.wikipedia.org/wiki/Робастность_в_статистике#cite_ref-huber_1-0 Робастность в статистике]. | * [http://ru.wikipedia.org/wiki/Робастность_в_статистике#cite_ref-huber_1-0 Робастность в статистике]. | ||
* [http://www.aup.ru/books/m153/10_2.htm Робастность статистических процедур]. | * [http://www.aup.ru/books/m153/10_2.htm Робастность статистических процедур]. | ||
Строка 171: | Строка 183: | ||
[[Категория:Математическая статистика]] | [[Категория:Математическая статистика]] | ||
+ | [[Категория:Робастная регрессия]] | ||
{{Задание|Джумабекова Айнагуль|Vokov|6 января 2010}} | {{Задание|Джумабекова Айнагуль|Vokov|6 января 2010}} |
Текущая версия
Содержание |
Введение
На протяжении последних десятилетий росло понимание того факта, что некоторые наиболее распространенные статистические процедуры (в том числе те, которые оптимальны в предположении о нормальности распределения) весьма чувствительны к довольно малым отклонениям от предположений. Вот почему теперь появились иные процедуры - "робастные" (от англ. robust - крепкий,здоровый, дюжий).
Мы будем понимать под термином робастность нечувствительность к малым отклонениям от предположений. Процедура робастна, если малые отклонения от предположенной модели должны ухудшать качество процедуры (например, асимптотика дисперсии или уровень значимости и мощность критерия) должны быть близки к номинальным величинам, вычисленным для принятой модели.
Рассмотрим робастность по распределению, т.е. ситуации, в которых истинная функция распределения незначительно отличается от предполагаемой в модели (как правило, гауссовской функции распределения). Это не только наиболее важный случай, но и наиболее полно изученный. Гораздо меньше известно о том, что происходит в тех ситуациях, когда несколько нарушаются прочие стандартные допущения статистики, и том, какие меры защиты должны предусматриваться в подобных случаях.
Основные типы оценок
Введем оценки трех основных типов (),буквы
отвечают соответственно оценкам типа максимального правдоподобия, линейным комбинациям порядковых статистик и оценкам, получаемых в ранговых критериях.
Особое значение имеют оценки, это наиболее гибкие оценки - они допускают прямое обобщение на многопараметрический случай.
Оценки типа максимального правдоподобия (M-оценки)
Всякая оценка , определяемая как решение экстремальной задачи на минимум вида
или как решение неявного уравнения
,
где - произвольная функция,
, называется
оценкой (или оценкой типа максимального правдоподобия); заметим, что если выбрать в качестве функции
, то мы получим обычную оценку максимального правдоподобия.
В частности, нас будут интересовать оценки сдвига
или
.
Последнее уравнение можно записать в эквивалентном виде
,
где
Тогда мы можем представить оценку в форме взвешенного среднего
с весовыми коэффициентами , зависящими от выборки.
Линейные комбинации порядковых статистик (L-оценки)
Рассмотрим статистику, которая представляет собой линейную комбинацию порядковых статистик или, в более общей постановке, значений на некоторой функции :
Предположим, что весовые коэффициенты порождаются при помощи (знакопеременной) меры на интервале (0,1):
(Такой выбор коэффициентов оставляет общую массу без изменений, т.е. , и обеспечивает симметричность коэффициентов, если мера
симметрична относительно точки
.)
В рассматриваевом случае оценка получается при помощи функционала
.
Здесь под функцией, обратной к ффункции распределения , понимается функция
Примеры
- Самым простым примером служит медиана выборки.
- Винзоризованное среднее (Winsorized mean). Для его вычисления значения исходную выборку упорядочивают в определенном порядке (например, возрастания), затем с каждой стороны отсекается какой-то процент данных (обычно, берут по 10% или 25% с каждой стороны одинаково),а убранные специально подобранным образом заменяются на значения из оставшихся чисел, затем выисляется среднее по всей выборке.
- Усеченное среднее (Truncated mean). Для его вычисления усредняются данные вариационного ряда выборки после удаления с обеих сторон определенной доли объектов (она находится в пределах от 5 до 25%).
- Обрезанное среднее (Trimean). Величина
вычисляется по следующей формуле
, где
- квартили i-го порядка.
Замечание
Далеко не все порядковые статистики являются робастными. Максимум, минимум, среднее и полусумма максимума и минимума не являются робастными, их характеристика, показывающая сколько наблюдения можно изменить, чтобы это не повлияло на конечный результат, равна 0. У робастных оценок эта характеристика равна 50% в случае медианы, а в остальных меньше и зависит от процента, используемого для отсечения данных.
Оценки, получаемые в ранговых критериях (R-оценки)
Рассмотрим двухвыборочный ранговый критерий для определения параметра сдвига: пусть и
суть две независимые выборки с распределениями
и
соответственно.Объединим эти выборку в одну выборку объема
.Пусть
есть ранг наблюдения
в объединенной выборке. Зададим веса
. Критерий для проверки гипотезы
при альтернативе
построим на основе статистики
Как правило, мы полагаем, что весовые коэффициенты получаются при помощи некоторой функции
по формуле
В действительности предпочитают работать со следующим вариантов вычисления
.
Для упрощения с этого момента полагаем, что . Запишем статистику
в виде функционала
,
который при подстановке примет вид
.
На практике работают с последним. Кроме того, работаем с условием того, что
,
соответсвующее равенству
В этих предположениях математическое ожидание статистики при нулевой гипотезе равно 0.
Оценки сдвига в двухвыборочной постановке и сдвига
в случае одной выборки можно получить при помощи следующих ранговых критериев.
- В случае двух выборок получить
из приближенного уравнения
полученного для выборок
и
- В случае одной выборки получить
из условия
,вычисленного для выборок
и
. В этом случае отсутствующей второй выборкой служит зеркальное отражение исходной выборки.
Иными словами, вторая выборка смещается до тех пор, пока критерий не перстает чувствовать различие в сдвиге. Заметим, что нулевое значение в точности может и не достигаться, поскольку - разрывная функция.
Таким образом, наша оценка сдвига , полученная при помощи функционала
, определяется неявным уравнением
.
Пример
Критерий Уилкоксона, в котором , приводит к оценкам Ходжеса-Лемана, а именно к оценкам
и
. Заметим, что наши указания во втором случае приводят к медиане набора их всех
пар; в более традиционных вариантах используются только те пары, у которых
или
, но асимптотически все три варианта эквивалентны. Эти оценки являются робастными.
Вычисление робастных оценок
Робастность, связанная с регрессией, носит особый характер, и здесь возникают довольно сложные задачи. В случае линейной регрессии используется метод наименьших квадратов. Здесь мы работаем с М-оценками.
Рассмотрим пример. Для оценки неизвестных параметров
используется
наблюдений
, причем они связаны между собой следующим неравенством
, где элементы матрицы
суть известные коэффициенты, а
- вектор независимых случайных величин,имеющих (приблизительное)одинаковые функции распределения.
Тогда решение сводится к следующему:
Если матрица - матрица полного ранга
, то
,
а оценки
будут высиляться по следующей формуле
,
где
, далее
- матрица подгонки.
Допустим, что мы получили значения и остатки
.
Пусть - некоторая оценка стандартной ошибки наблюдений
(или стандартной ошибки остатков
)
Метрически винзоризуем наблюдения , заменяя их псевдонаблюдениями
:
Константа регулирует степень робастности, её значения хорошо выбирать из промежутка от 1 до 2, например, чаще всего
.
Затем по псевдонаблюдениям вычисляются новые значения
подгонки (и новые
).
Действия повторяются до достижения сходимости.
Если все наблюдения совершенно точны, то классическая оценка дисперсии отдельного наблюдения имеет вид
,
и стандартную ошибку остатка
можно в этом случае оценивать величиной
, где
есть
-й диагональный элемент матрицы
.
При использовании вместо остатков модифицированных остатков
, как нетрудно видеть, получается заниженная оценка масштаба. Появившееся смещение можно ликвидировать, полагая (в первом приближении)
,
где - число наблюдений без числа параметров,
- число неизменных наблюдений (
).
Очевидно, что эта процедура сводит на нет влияние выделяющихся наблюдений.
Таким способом можно получить робастный вариант любой процедуры. Сначала данные "редактируются" - выделяющиеся наблюдения замещаются значениями, полученными при подгонке, а затем последовательно проводят переподгонку до тех пор, пока не появится сходимость. После этого к псевдонаблюдениям применяется нужная процедура.
Литература
- Хьюбер П. Робастность в статистике. — М.: Мир, 1984.
Ссылки
- Построение оптимальных L-оценок параметров сдвига и масштаба по выборочным асимптотически оптимальным квантилям
- Робастность в статистике.
- Робастность статистических процедур.
- Публикации по робастным методам оценивания параметров и проверке статистических гипотез на сайте профессора НГТУ Лемешко Б.Ю..
- Robust statistics.
См. также
![]() | Данная статья является непроверенным учебным заданием.
До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}. См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе. |