Участник:Slimper/Песочница

Материал из MachineLearning.

< Участник:Slimper(Различия между версиями)

Текущая версия

Критерий Бартелса (Bartels test) — непараметрический статистический критерий, используемый для проверки случайности последовательности наблюдаемых значений. Критерий является ранговым, поэтому он инвариантен по отношению к любому монотонному преобразованию шкалы измерения. Критерий Бартелса можно применять для анализа регрессионных остатков. Также его можно применять при анализе временных рядов для выявления тренда.

Содержание

1 Примеры задач
2 Описание критерия
- 2.1 Асимптотический критерий
3 Свойства критерия Бартелса
4 История
5 Литература
6 См. также
7 Ссылки

Примеры задач

Пример 1. Ряд значений состоит из подсчитанного на протяжении нескольких лет количества туристов, посещавших страну в течение года. Требуется установить, являются ли число туристов, случайным, или оно подчиняется какой-то закономерности.

Описание критерия

Заданы выборка $x^n = (x_1,\ldots,x_n),x_i \in \mathbb{R}$ .

Нулевая гипотеза $H_0:\;$ выборка $x^n$ простая, то есть все наблюдения $x_i$ — независимы и одинаково распределены.

Статистика критерия:

Построить вариационный ряд выборки $x^{(1)}(x_1,\ldots,x_n)$ и найти ранги $r(x_i)$ всех элементов.
Статистика критерия Бартелса вычисляется по формуле:

$B = \frac{ \sum_{i = 1}^n (r(x_i) - r(x_{i + 1}) )^2 }{ \sum(R_i - \frac{n + 1}{2})^2}$

Варианты критерия (при уровне значимости $\alpha$ ):

двусторонний критерий (против альтернативы, что данные не случайны)

если $B \in \left[ B_{n,\alpha/2},\, B_{n,1-\alpha/2} \right]$ , то нулевая гипотеза отвергается;

левосторонний критерий(против альтернативы, что наблюдения положительно коррелированы)

если $B < B_{n,\alpha}$ , то нулевая гипотеза отвергается;

правосторонний критерий(против альтернативы, что наблюдения отрицательно коррелированы)

если $B > B_{n,\alpha}$ , то нулевая гипотеза отвергается;

Здесь $B_{n,\alpha}$ -- это $\alpha$ -квантиль табличного распределения статистики Бартелса с параметром $n$ .

Асимптотический критерий

Распределение статистики Бартелса асимптотически нормально с матожиданием $\mathbb{E}B = 2$ и дисперсией

$\mathbb{D}B = \frac{4(n - 2)(5n^2 - 2n - 9)}{5n(n + 1)(n - 1)^2}$

Поэтому при $n \ge 20$ используется нормированная статистика Бартелса

$B' = \frac{B - \mathbb{E}B}{\sqrt{\mathbb{D}B} }$

Свойства критерия Бартелса

Бартелс с помошью численного моделирования показал , что во многих случаях критерий Бартелса имеет большую мощность, чем критерий серий.

История

Критерий был предложен Бартелсом в 1982 году.

Литература

Gibbons J. D., Chakraborti S. Nonparametric Statistical Inference, 4th Ed. — CRC, 2003 — 608 с.
Кобзарь А. И. Прикладная математическая статистика. — М.: Физматлит, 2006. — 816 с.

См. также

Проверка статистических гипотез — о методологии проверки статистических гипотез.
Статистика (функция выборки)
Критерий серий — другой критерий для проверки случайности ряда наблюдений

Ссылки

Данная статья является непроверенным учебным заданием.

Студент: Участник:Slimper

Преподаватель: Участник:Vokov

Срок: 08 января 2010

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Slimper/%D0%9F%D0%B5%D1%81%D0%BE%D1%87%D0%BD%D0%B8%D1%86%D0%B0»

Категория: Непроверенные учебные задания

@@ Строка 1: / Строка 1: @@
-'''Критерий Ван дер Вардена(Van der Waerden criteria)''' — [[непараметрический статистический критерий]], используемый для оценки различий между двумя [[выборка]]ми по признаку, измеренному в количественной  [[шкала измерения|шкале]]. Критерий является ранговым, поэтому он инвариантен по отношению
+'''Критерий Бартелса (Bartels test)''' — [[непараметрический статистический критерий]], используемый для проверки случайности последовательности наблюдаемых значений. Критерий является ранговым, поэтому он инвариантен по отношению к любому монотонному преобразованию шкалы измерения. Критерий Бартелса можно применять для анализа регрессионных остатков.
-к любому монотонному преобразованию шкалы измерения.
+Также его можно применять  при анализе [[временной ряд|временных рядов]] для выявления тренда.
-Существует обобщение критерия Ван дер Вардена для выявления различий между несколькими выборками.
 == Примеры задач ==
 '''Пример 1.'''
-Первая выборка — это пациенты, которых лечили препаратом&nbsp;А.
+Ряд значений состоит из  подсчитанного на протяжении нескольких лет количества туристов, посещавших страну в течение года.
-Вторая выборка — пациенты, которых лечили препаратом&nbsp;Б.
+Требуется установить, являются ли число туристов,  случайным, или оно
-Значения в выборках — это некоторая характеристика эффективности лечения (уровень метаболита в крови, температура через три дня после начала лечения, срок выздоровления, число койко-дней, и т.д.)
+подчиняется какой-то закономерности.
-Требуется выяснить, имеется ли значимое различие эффективности препаратов&nbsp;А&nbsp;и&nbsp;Б, или различия являются чисто случайными и объясняются «естественной» дисперсией выбранной характеристики.
-'''Пример 2.'''
-Первая выборка — это поля, обработанные агротехническим методом&nbsp;А.
-Вторая выборка — поля, обработанные агротехническим методом&nbsp;Б.
-Значения в выборках — это урожайность.
-Требуется выяснить, является ли один из методов эффективнее другого, или различия урожайности обусловлены случайными факторами.
-'''Пример 3.(использование многовыборочного критерия Ван дер Вардена)'''
-Нужно проверить, как лекарство помогает в снятии соответствующего симптома. Взяты несколько групп пациентов, и каждой из них назначается определенная доза препарата. Гипотеза состоит в том, что по мере увеличения уровня дозы больные чувствуют себя лучше.
 == Описание критерия ==
+Заданы выборка <tex>x^n = (x_1,\ldots,x_n),x_i \in \mathbb{R}</tex>.
-Заданы две выборки <tex>x^m = (x_1,\ldots,x_m),\; x_i \in \mathbb{R};\;\; y^n = (y_1,\ldots,y_n),\; y_i \in \mathbb{R}</tex>.
+'''[[Нулевая гипотеза]]''' <tex>H_0:\;</tex> выборка <tex>x^n</tex> [[простая выборка|простая]], то
+есть все наблюдения <tex>x_i</tex> — независимы и одинаково распределены.
-'''Дополнительные предположения:'''
-* обе выборки [[простая выборка|простые]], объединённая выборка [[независимая выборка|независима]];
-* выборки взяты из неизвестных непрерывных распределений <tex>F(x)</tex> и <tex>G(y)</tex> соответственно.
-'''[[Нулевая гипотеза]]''' <tex>H_0:\; F(x) = G(y)</tex>.
 '''Статистика критерия:'''
-# Построить общий [[вариационный ряд]] объединённой выборки <tex>z^{(1)} \leq \cdots \leq z^{(m+n)}</tex> и найти ранги <tex>r(x_i)</tex> элементов первой выборки в общем вариационном ряду.
+# Построить [[вариационный ряд]] выборки <tex>x^{(1)}(x_1,\ldots,x_n)</tex> и найти ранги <tex>r(x_i)</tex> всех элементов.
-# Статистика критерия Ван дер Вардена вычисляется по формуле:
+# Статистика критерия Бартелса вычисляется по формуле:
-<tex>X = \sum_{i = 1}^n u( \frac{r(x_i)}{ m + n + 1} )</tex>, где
+::<tex>B = \frac{ \sum_{i = 1}^n (r(x_i) - r(x_{i + 1}) )^2 }{ \sum(R_i - \frac{n + 1}{2})^2}</tex>
-<tex>u( \frac{r(x_i)}{ m + n + 1} )</tex> — [[квантиль]] уровня
-<tex>\frac{r(x_i)}{ m + n + 1}</tex>
-[[нормальное распределение| стандартного нормального распределения]]
-'''Критерий''' (при [[уровень значимости|уровне значимости]] <tex>\alpha</tex>):
+Варианты критерия (при [[уровень значимости|уровне значимости]] <tex>\alpha</tex>):
-*  двусторонний критерий — против альтернативы <tex>H_1:\; \mathbb{P} \{ x<y \} \neq 1/2</tex>
+*  двусторонний критерий (против альтернативы, что данные не случайны)
-::если <tex> X \notin \left[ X_{\alpha/2},\, X_{1-\alpha/2} \right] </tex>, то нулевая гипотеза отвергается;
+::если <tex> B \in \left[ B_{n,\alpha/2},\, B_{n,1-\alpha/2} \right] </tex>, то нулевая гипотеза отвергается;
-* односторонний критерий -- против альтернативы <tex>H'_1:\; \mathbb{P} \{ x>y \} > 1/2</tex>
+* левосторонний критерий(против альтернативы, что наблюдения положительно коррелированы)
-::если <tex> X_> X_{1-\alpha} </tex>, то нулевая гипотеза отвергается;
+::если <tex> B < B_{n,\alpha} </tex>, то нулевая гипотеза отвергается;
+* правосторонний критерий(против альтернативы, что наблюдения отрицательно коррелированы)
+::если <tex> B > B_{n,\alpha} </tex>, то нулевая гипотеза отвергается;
-Здесь <tex> X_{\alpha} </tex> -- это <tex>\alpha</tex>-[[квантиль]] табличного распределения  статистики Ван дер Вардена с параметрами <tex>m,\,n</tex>.
+Здесь <tex> B_{n,\alpha} </tex> -- это <tex>\alpha</tex>-[[квантиль]] табличного распределения  статистики Бартелса с параметром <tex>n</tex>.
 ===Асимптотический критерий ===
-Распределение статистики Ван дер Вардена асимптотически нормально
+Распределение статистики Бартелса асимптотически нормально
-с нулевым матожиданием <tex>\mathbb{E}X = 0</tex> и дисперсией
+с матожиданием <tex>\mathbb{E}B = 2</tex> и дисперсией
-::<tex> \mathbb{D}X = \frac{mn}{(m + n)(m + n - 1)} \sum_{i = 1}^{m + n} u^2( \frac{i}{m + n + 1} ) </tex>
+::<tex> \mathbb{D}B = \frac{4(n - 2)(5n^2 - 2n - 9)}{5n(n + 1)(n - 1)^2} </tex>
-Нормальную аппроксимацию статистики Ван дер Вардена можно использовать при
+Поэтому  при
-<tex> m, n \geqslant 20</tex>.
+<tex>n \ge 20</tex> используется нормированная статистика Бартелса
+::<tex>B' = \frac{B - \mathbb{E}B}{\sqrt{\mathbb{D}B} } </tex>
-В этом случае критерии (при [[уровень значимости|уровне значимости]] <tex>\alpha</tex>)
-будет выглядеть следующим образом:
-*  двусторонний критерий <tex> \frac{X}{\mathbb{D}X} \notin \left[ u_{\alpha/2},\, u_{1-\alpha/2} \right] </tex>, то нулевая гипотеза отвергается;
-* односторонний критерий -- против альтернативы <tex>H'_1:\; \mathbb{P} \{ x>y \} > 1/2</tex>
-::если <tex> \frac{X}{\mathbb{D}X}> u_{1-\alpha} </tex>, то нулевая гипотеза отвергается;
-== Свойства критерия Ван дер Вардена ==
-Если выборки подчиняются нормальному распределению, то критерий Ван дер Вардена асимптотически
-имеет ту же мощность, что и [[критерий Стьюдента]].
-При <tex>n + m \to \infty</tex> критерий Ван дер Вардена не уступает в эффективности [[Критерий Стьюдента | критерию Стьюдента]]
-== Многовыборочное обобщение критерия Ван дер Вардена ==
-Заданы <i>k</i> выборок:
-<tex>x_1^{n_1}=\left\{x_{11},\dots,x_{1n_1}\right\}, \dots, x_k^{n_k}=\left\{x_{k1},\dots,x_{kn_k}\right\}</tex>.
-Объединённая выборка: <tex>z=x_1^{n_1}\cup x_2^{n_2}\cup \dots \cup x_k^{n_k}</tex>.
-'''Дополнительные предположения:'''
-* все выборки [[Простая выборка|простые]], объединённая выборка [[Независимая выборка|независима]];
-* выборки взяты из неизвестных непрерывных распределений  <tex>F_1(x),\dots,F_k(x)</tex>.
-'''Статистика критерия:'''
-Все <tex>N=\sum_{i=1}^k n_i</tex> элементов выборок упорядочиваются по возрастанию, через  <tex>R_{ij}</tex> обозначается ранг <i>j</i>-го элемента <i>i</i>-й выборки в полученном [[вариационный ряд|вариационном ряду]].
-Статистика Ван дер Вардена имеет вид <br />
-:: <tex>T = \left(\sum_{i = 1}^N u^2( \frac{i}{N + 1} ) \right)^{-1} (N - 1) \sum_{i = 1}^{k} \frac{1}{n_i} \left( \sum_{j=1}^{n_i}  u^2( \frac{R_{ij}}{N + 1} ) \right)^2</tex> <br/>
-Проверяется [[нулевая гипотеза]] <tex>H_0:\; F_1(x)=\dots=F_k(x)</tex> против альтернативы <tex>H_1:\; F_1(x)=F_2(x-\Delta_1)=\dots=F_k(x-\Delta_{k-1})</tex>.
-Если нулевая гипотеза выполнена, то поведение статистики <tex>T</tex> хорошо описывается
-распределением [[распределение хи-квадрат|хи-квадарат]] с <tex>k - 1</tex> степенью свободы.
-Нулевая гипотеза отвергается при [[уровень значимости|уровне значимости]] <tex>\alpha</tex>, если <tex>T > \chi^2_{1 - \alpha, k - 1}</tex>, где
-<tex>chi^2_{1 - \alpha, k - 1}</tex>  — [[квантиль]] уровня <tex>1 -\alpha</tex> с <tex>k - 1</tex> степенью свободы.
+== Свойства критерия Бартелса==
+Бартелс с помошью численного моделирования показал , что во многих случаях критерий Бартелса имеет большую мощность, чем [[Критерий Вальда-Вольфовица|критерий серий]].
 == История ==
-Критерий был предложен Ван дер Варденом в 1953 году.
+Критерий был предложен Бартелсом в 1982 году.
 == Литература ==
-# ''Ван дер Варден Б.Л.'' Математическая статистика/Пер.с нем. — М.:&nbsp; Иностранная литература,1960 — 450&nbsp;c.
+# ''Gibbons J. D., Chakraborti S.'' Nonparametric Statistical Inference, 4th Ed. —  CRC, 2003 — 608&nbsp;с.
 # ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006. — 816&nbsp;с.
@@ Строка 104: / Строка 54: @@
 * [[Проверка статистических гипотез]] — о методологии проверки статистических гипотез.
 * [[Статистика (функция выборки)]]
-* [[Критерий Стьюдента]]
+* [[Критерий Вальда-Вольфовица|Критерий серий]] — другой критерий для проверки случайности ряда наблюдений
-* [[Критерий Уилкоксона-Манна-Уитни]]  — другой непараметрический критерий для оценки
-различия между двумя выборками
-* [[Критерий Краскела-Уоллиса]] — критерий для проверки равенства средних нескольких выборок
 == Ссылки ==
-[http://en.wikipedia.org/wiki/Van_der_Waerden_test| Van_der_Waerden_test ] - статья в Википедии
-о многовыборочном критерии Ван дер Вардена
-[[Категория:Статистические тесты]]
-[[Категория:Непараметрические статистические тесты]]
 {{Задание|Slimper|Vokov|08 января 2010}}