Участник:Slimper/Песочница
Материал из MachineLearning.
Строка 1: | Строка 1: | ||
- | '''Критерий Ван дер Вардена''' — | + | '''Критерий Ван-дер-Вардена''' — [[непараметрический статистический критерий]], используемый для оценки различий между двумя [[выборка]]ми по признаку, измеренному в количественной [[шкала измерения|шкале]]. Критерий является ранговым, поэтому он инвариантен по отношению |
- | [[ | + | к любому монотонному преобразованию шкалы измерения. |
- | + | ||
- | == | + | == Примеры задач == |
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | '''Пример 1.''' | |
- | + | Первая выборка — это пациенты, которых лечили препаратом А. | |
- | + | Вторая выборка — пациенты, которых лечили препаратом Б. | |
- | + | Значения в выборках — это некоторая характеристика эффективности лечения (уровень метаболита в крови, температура через три дня после начала лечения, срок выздоровления, число койко-дней, и т.д.) | |
+ | Требуется выяснить, имеется ли значимое различие эффективности препаратов А и Б, или различия являются чисто случайными и объясняются «естественной» дисперсией выбранной характеристики. | ||
- | + | '''Пример 2.''' | |
- | + | Первая выборка — это поля, обработанные агротехническим методом А. | |
- | + | Вторая выборка — поля, обработанные агротехническим методом Б. | |
- | + | Значения в выборках — это урожайность. | |
- | + | Требуется выяснить, является ли один из методов эффективнее другого, или различия урожайности обусловлены случайными факторами. | |
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | '''Пример 3.''' | |
+ | Первая выборка — это дни, когда в супермаркете проходила промо-акция типа А (красные ценники со скидкой). | ||
+ | Вторая выборка — дни промо-акции типа Б (каждая пятая пачка бесплатно). | ||
+ | Значения в выборках — это показатель эффективности промо-акции (объём продаж, либо выручка в рублях). | ||
+ | Требуется выяснить, какой из типов промо-акции более эффективен. | ||
- | + | == Описание критерия == | |
- | + | Заданы две выборки <tex>x^m = (x_1,\ldots,x_m),\; x_i \in \mathbb{R};\;\; y^n = (y_1,\ldots,y_n),\; y_i \in \mathbb{R}</tex>. | |
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | '''Дополнительные предположения:''' | |
- | + | * обе выборки [[простая выборка|простые]], объединённая выборка [[независимая выборка|независима]]; | |
- | + | * выборки взяты из неизвестных непрерывных распределений <tex>F(x)</tex> и <tex>G(y)</tex> соответственно. | |
- | + | ||
- | + | ||
- | *[[ | + | |
- | + | ||
- | * | + | |
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | ''' | + | '''[[Нулевая гипотеза]]''' <tex>H_0:\; F(x) = G(y)</tex>. |
- | + | ||
- | <tex> | + | |
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | '''Статистика критерия:''' | |
- | + | # Построить общий [[вариационный ряд]] объединённой выборки <tex>x^{(1)} \leq \cdots \leq x^{(m+n)}</tex> и найти ранги <tex>r(x_i),\; r(y_i)</tex> всех элементов обеих выборок в общем вариационном ряду. | |
- | + | # Вычислить суммарные ранги обеих выборок и статистику Манна-Уитни <tex>U</tex>: | |
- | + | ::<tex>R_x = \sum_{i=1}^m r(x_i);\;\;\;\; U_x = mn + \frac12m(m+1) - R_x;</tex> | |
- | + | ::<tex>R_y = \sum_{i=1}^n r(y_i);\;\;\;\; U_y = mn + \frac12n(n+1) - R_y;</tex> | |
- | + | ::<tex>U = \min\left\{U_x,U_y\right\}.</tex> | |
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | == | + | Замечание: менее рациональный способ вычисления статистик Манна-Уитни <tex>U_x,\: U_y</tex>: |
- | {{ | + | ::<tex>U_x = \sum_{i=1}^m \sum_{j=1}^n \left[ x_i < y_j\right];</tex> |
+ | ::<tex>U_y = \sum_{i=1}^m \sum_{j=1}^n \left[ x_i > y_j\right].</tex> | ||
+ | |||
+ | '''Критерий''' (при [[уровень значимости|уровне значимости]] <tex>\alpha</tex>): | ||
+ | |||
+ | |||
+ | * против альтернативы <tex>H_1:\; \mathbb{P} \{ x<y \} \neq 1/2</tex> | ||
+ | ::если <tex> U \notin \left[ U_{\alpha/2},\, U_{1-\alpha/2} \right] </tex>, то нулевая гипотеза отвергается; | ||
+ | |||
+ | * против альтернативы <tex>H'_1:\; \mathbb{P} \{ x<y \} > 1/2</tex> | ||
+ | ::если <tex> U_x > U_{1-\alpha} </tex>, то нулевая гипотеза отвергается; | ||
+ | |||
+ | * против альтернативы <tex>H''_1:\; \mathbb{P} \{ x<y \} < 1/2</tex> | ||
+ | ::если <tex> U_y > U_{1-\alpha} </tex>, то нулевая гипотеза отвергается; | ||
+ | где | ||
+ | <tex> U_{\alpha} </tex> есть <tex>\alpha</tex>-[[квантиль]] табличного распределения Уилкоксона-Манна-Уитни с параметрами <tex>m,\,n</tex>. | ||
+ | |||
+ | '''Асимптотический критерий''': | ||
+ | нормированная и центрированная статистика Манна-Уитни | ||
+ | ::<tex>\tilde U = \frac{U-\frac12mn}{\sqrt{\frac1{12}mn(m+n+1)}}</tex> | ||
+ | асимптотически имеет стандартное нормальное распределение при <tex>m,\,n > 8</tex>. | ||
+ | |||
+ | == Свойства и границы применимости U-критерия == | ||
+ | |||
+ | Иногда ошибочно считают, что U-критерий проверяет нулевую [[гипотеза однородности|гипотезу однородности]] | ||
+ | <tex>H_{00}:\; F(x)=G(y)</tex>, то есть что две выборки взяты из одного и того же распределения. | ||
+ | U-критерий не является состоятельным против общей альтернативы | ||
+ | <tex>H_1:\; F(x) \neq G(y)</tex>. | ||
+ | Это означает, что гипотеза однородности будет приниматься чаще, чем она на самом деле верна. | ||
+ | Существуют ситуации, когда гипотеза <tex>H_{0}</tex> верна, а более сильная гипотеза однородности <tex>H_{00}</tex> не верна [Орлов]. | ||
+ | Для проверки [[гипотеза однородности|однородности]] существуют более мощные критерии, в частности, [[критерий Смирнова]] или [[критерий Лемана-Розенблатта]]. | ||
+ | |||
+ | Иногда ошибочно считают, что U-критерий проверяет нулевую гипотезу равенства медиан в двух выборках. | ||
+ | Существуют распределения, для которых гипотеза <tex>H_{0}</tex> верна, но их медианы различны. | ||
+ | |||
+ | U-критерий можно применять для проверки [[гипотеза сдвига|гипотезы сдвига]] в качестве альтернативной | ||
+ | <tex>H_{1}:\; F(x)=G(x+r)</tex>, где <tex>r</tex> — некоторая константа, отличная от нуля. | ||
+ | При этой альтернативе U-критерий является [[состоятельный критерий|состоятельным]]. | ||
+ | Его целесообразно применять, если одним и тем же прибором проводятся две серии измерений двух значений некоторой физической величины. При этом функция распределения <tex>G(x)</tex> описывает погрешности измерения одного значения, а <tex>G(x+r)</tex> — другого. Однако во многих приложениях (в частности, эконометрических) нет особых оснований предполагать, что распределение второй выборки лишь сдвигается, но не меняется каким-либо иным образом. | ||
+ | |||
+ | U-критерий является непараметрическим аналогом [[Критерий Стьюдента|критерия Стьюдента]]. | ||
+ | Если [[нормальная выборка|выборки нормальные]], то для проверки гипотезы сдвига предпочтительно применить более мощный критерий Стьюдента. | ||
+ | |||
+ | == История == | ||
+ | Критерий был предложен Ван-дер-Варденом в 1953 году | ||
== Литература == | == Литература == | ||
+ | # ''ван дер Варден Б.Л.'' Математическая статистика/Пер.с нем. — М.: Иностранная литература,1960 — 450 c. | ||
# ''Кобзарь А. И.'' Прикладная математическая статистика. — М.: Физматлит, 2006. — 816 с. | # ''Кобзарь А. И.'' Прикладная математическая статистика. — М.: Физматлит, 2006. — 816 с. | ||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
+ | == См. также == | ||
+ | * [[Проверка статистических гипотез]] — о методологии проверки статистических гипотез. | ||
+ | * [[Статистика (функция выборки)]] | ||
+ | * [[Критерий Стьюдента]] | ||
== Ссылки == | == Ссылки == | ||
- | |||
- | |||
+ | [[Категория:Статистические тесты]] | ||
+ | [[Категория:Непараметрические статистические тесты]] | ||
{{Задание|Slimper|Vokov|08 января 2010}} | {{Задание|Slimper|Vokov|08 января 2010}} |
Версия 09:35, 6 января 2010
Критерий Ван-дер-Вардена — непараметрический статистический критерий, используемый для оценки различий между двумя выборками по признаку, измеренному в количественной шкале. Критерий является ранговым, поэтому он инвариантен по отношению к любому монотонному преобразованию шкалы измерения.
Содержание |
Примеры задач
Пример 1. Первая выборка — это пациенты, которых лечили препаратом А. Вторая выборка — пациенты, которых лечили препаратом Б. Значения в выборках — это некоторая характеристика эффективности лечения (уровень метаболита в крови, температура через три дня после начала лечения, срок выздоровления, число койко-дней, и т.д.) Требуется выяснить, имеется ли значимое различие эффективности препаратов А и Б, или различия являются чисто случайными и объясняются «естественной» дисперсией выбранной характеристики.
Пример 2. Первая выборка — это поля, обработанные агротехническим методом А. Вторая выборка — поля, обработанные агротехническим методом Б. Значения в выборках — это урожайность. Требуется выяснить, является ли один из методов эффективнее другого, или различия урожайности обусловлены случайными факторами.
Пример 3. Первая выборка — это дни, когда в супермаркете проходила промо-акция типа А (красные ценники со скидкой). Вторая выборка — дни промо-акции типа Б (каждая пятая пачка бесплатно). Значения в выборках — это показатель эффективности промо-акции (объём продаж, либо выручка в рублях). Требуется выяснить, какой из типов промо-акции более эффективен.
Описание критерия
Заданы две выборки .
Дополнительные предположения:
- обе выборки простые, объединённая выборка независима;
- выборки взяты из неизвестных непрерывных распределений и соответственно.
Статистика критерия:
- Построить общий вариационный ряд объединённой выборки и найти ранги всех элементов обеих выборок в общем вариационном ряду.
- Вычислить суммарные ранги обеих выборок и статистику Манна-Уитни :
Замечание: менее рациональный способ вычисления статистик Манна-Уитни :
Критерий (при уровне значимости ):
- против альтернативы
- если , то нулевая гипотеза отвергается;
- против альтернативы
- если , то нулевая гипотеза отвергается;
- против альтернативы
- если , то нулевая гипотеза отвергается;
где есть -квантиль табличного распределения Уилкоксона-Манна-Уитни с параметрами .
Асимптотический критерий: нормированная и центрированная статистика Манна-Уитни
асимптотически имеет стандартное нормальное распределение при .
Свойства и границы применимости U-критерия
Иногда ошибочно считают, что U-критерий проверяет нулевую гипотезу однородности , то есть что две выборки взяты из одного и того же распределения. U-критерий не является состоятельным против общей альтернативы . Это означает, что гипотеза однородности будет приниматься чаще, чем она на самом деле верна. Существуют ситуации, когда гипотеза верна, а более сильная гипотеза однородности не верна [Орлов]. Для проверки однородности существуют более мощные критерии, в частности, критерий Смирнова или критерий Лемана-Розенблатта.
Иногда ошибочно считают, что U-критерий проверяет нулевую гипотезу равенства медиан в двух выборках. Существуют распределения, для которых гипотеза верна, но их медианы различны.
U-критерий можно применять для проверки гипотезы сдвига в качестве альтернативной , где — некоторая константа, отличная от нуля. При этой альтернативе U-критерий является состоятельным. Его целесообразно применять, если одним и тем же прибором проводятся две серии измерений двух значений некоторой физической величины. При этом функция распределения описывает погрешности измерения одного значения, а — другого. Однако во многих приложениях (в частности, эконометрических) нет особых оснований предполагать, что распределение второй выборки лишь сдвигается, но не меняется каким-либо иным образом.
U-критерий является непараметрическим аналогом критерия Стьюдента. Если выборки нормальные, то для проверки гипотезы сдвига предпочтительно применить более мощный критерий Стьюдента.
История
Критерий был предложен Ван-дер-Варденом в 1953 году
Литература
- ван дер Варден Б.Л. Математическая статистика/Пер.с нем. — М.: Иностранная литература,1960 — 450 c.
- Кобзарь А. И. Прикладная математическая статистика. — М.: Физматлит, 2006. — 816 с.
См. также
- Проверка статистических гипотез — о методологии проверки статистических гипотез.
- Статистика (функция выборки)
- Критерий Стьюдента
Ссылки
Данная статья является непроверенным учебным заданием.
До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}. См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе. |