Статистический анализ данных (курс лекций, К.В.Воронцов)/2014/1

Материал из MachineLearning.

(Различия между версиями)

Версия 16:10, 26 сентября 2014

Ниже под обозначением $X^n, \;\; X \sim p\cdot N(\mu,\sigma^2)+ \left(1-p\right)\cdot U\left[-a,b\right]$ понимается выборка объёма $n$ из смеси нормального $N(\mu,\sigma^2)$ и равномерного $U\left[-a,b\right]$ распределений с весами $p$ и $1-p$ соответственно (при генерации каждой выборки используется случайный датчик — если его значение не превосходит $p$ , то добавляем в выборку элемент, взятый из нормального распределения, иначе — элемент, взятый из равномерного).

Анализ поведения схожих критериев

Требуется исследовать поведение указанной пары статистических критериев, подходящих для решения одной и той же задачи, сравнить мощность и достигаемые уровни значимости и сделать выводы о границах применимости критериев. Необходимо для каждого из критериев построить графики зависимости достигаемых уровней значимости и оценок мощностей от параметров, и показать, в каких областях изменения параметров предпочтительнее использовать тот или иной критерий. Для получения более гладких графиков рекомендуется применять оба критерия к одним и тем же выборкам, а не генерировать их отдельно для каждого критерия.

$X^n, \;\; X\sim Ber(p);$
$H_0\,:\, p=\frac{1}{2},$
$H_1\,:\, p\neq\frac{1}{2};$
$p=0.01\,:\,0.01\,:\,0.99, \;\; n=5\,:\,1\,:\,50.$

Ульянов: сравнить z-критерий и точный критерий для доли.

Новиков: сравнить критерии, основанные на доверительных интервалах Вальда и Уилсона (нулевая гипотеза отвергается на уровне значимости 5%, если 95% доверительный интервал для параметра не содержит $\frac{1}{2}$ ).

$X^n, \;\; X\sim N(\mu,\sigma);$
$H_0\,:$ среднее значение $X$ равно нулю,
$H_1\,:$ среднее значение $X$ не равно нулю;
$\mu=-2\,:\,0.01\,:\,2, \;\; \sigma=1, \;\; n=5\,:\,1\,:\,50.$

Арбузова: сравнить одновыборочные t- и z-критерии.

Корольков: сравнить одновыборочный t-критерий и критерий знаковых рангов Уилкоксона.

Исмагилов: сравнить критерий знаковых рангов Уилкоксона и одновыборочный перестановочный критерий (использовать функцию oneSamplePermutationTest из пакета EnvStats).

$X_1^{n}, \;\; X_{1} \sim N(\mu_1, \sigma_1^2),\;\;X_2^{n}, \;\; X_{2} \sim N(\mu_2, \sigma_2^2);$
$H_0\,:$ средние выборок равны, $\;H_1\,:$ средние выборок не равны;
$\mu_1=0, \;\; \sigma_1=1.$

Калиновский: $\mu_2=-2\,:\,0.02\,:\,2, \;\; \sigma_2 = 1, \;\; n=5\,:\,1\,:\,50.$ Сравнить критерий Стьюдента для неизвестных равных дисперсий и версию Аспина-Уэлша для неизвестных неравных дисперсий.

$X_1^n, \;\; X_{1} \sim N(\mu_1, \sigma_1^2),\;\;X_2^n, \;\; X_{2} \sim N(\mu_2, \sigma_2^2);$
$H_0\,:\, \mathbb{D}X_{1} = \mathbb{D}X_{2},$
$H_1\,:\, \mathbb{D}X_{1} \neq \mathbb{D}X_{2};$
$\mu_1=0, \;\; \sigma_1=1.$

Шадриков: $\mu_2=0, \;\; \sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n=5\,:\,1\,:\,50.$ Сравнить критерий Фишера и критерий Ансари-Брэдли.

Харациди: $\mu_2=0\,:\,0.05\,:\,5, \;\; \sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n=50.$ Сравнить критерий Ансари-Брэдли и критерий Зигеля-Тьюки.

Рыжков: $\mu_2=0\,:\,0.05\,:\,5, \;\; \sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n=20.$ Сравнить критерий Фишера и критерий Зигеля-Тьюки.

$X^n, \;\; X \sim p\cdot N(0,1)+ \left(1-p\right)\cdot U\left[-a,a\right];$
$H_0\,:\; X \sim N,$
$H_1\,:\; H_0$ неверна;
$n=10\,:\,5\,:\,100.$

Шабашев: $a=1, \;\; p=0\,:\,0.02\,:\,1.$ Сравнить критерий Шапиро-Уилка и критерий Лиллиефорса.

Сокурский: $a=2, \;\; p=0\,:\,0.02\,:\,1.$ Сравнить критерий Смирнова-Крамера-фон Мизеса и критерий Жарка-Бера.

Алешин: $a=0.5\,:\,0.1\,:\,5, \;\; p=0.25.$ Сравнить критерий Лиллиефорса и критерий хи-квадрат.

Анализ устойчивости критериев к нарушению предположений

Требуется исследовать поведение указанного критерия в условиях нарушения лежащих в его основе предположений. Оценить мощность и достигаемый уровень значимости критерия при различных значениях параметров, сделать выводы об устойчивости.

Одновыборочный t-критерий, нарушение предположения о нормальности.
$X^n, \;\; X \sim p\cdot N(\mu,1)+ \left(1-p\right)\cdot U\left[-a+\mu,a+\mu\right];$
$H_0\,:\; \mathbb{E}X=0$
$H_1\,:\; \mathbb{E}X\neq0.$

Подоприхин: $\mu=0\,:\,0.01\,:\,2, \;\; p=0.8, \;\; a=1, \;\; n=15\,:\,5\,:\,200.$

Ломов: $\mu=1, \;\; p=0\,:\,0.01\,:\,1, \;\; a=10, \;\; n=5\,:\,5\,:\,150.$

Антипов: $\mu=0\,:\,0.01\,:\,2, \;\; p=0\,:\,0.01\,:\,1, \;\; a=1, \;\; n=100.$

Найдин: $\mu=0.5, \;\; p=0\,:\,0.01\,:\,1, \;\; a=0.1\,:\,0.1\,:\,5, \;\; n=100.$

Критерий Фишера для проверки равенства дисперсий, нарушение предположения о нормальности.
$X_1^n, \;\; X_{1} \sim p_1\cdot N(0,\sigma_1^2)+ \left(1-p_1\right)\cdot U\left[-a,a\right], \;\; X_2^n,\;\; X_{2} \sim p_2\cdot N(0,\sigma_2^2)+ \left(1-p_2\right)\cdot U\left[-a,a\right];$
$H_0\,:\, \mathbb{D}X_{1} = \mathbb{D}X_{2},$
$H_1\,:\, \mathbb{D}X_{1} \neq \mathbb{D}X_{2};$
$\sigma_1=2, \;\; \sigma_2=0.1\,:\,0.05\,:\,4.$

Зиннурова: $p_1=p_2=0.8, \;\; a=2, \;\; n=15\,:\,5\,:\,200.$

Львов: $p_1=p_2=0\,:\,0.01\,:\,1, \;\; a=3, \;\; n=100.$

Двухвыборочный t-критерий, нарушение предположения о равенстве дисперсий.
$X_1^{n_1}, \;\; X_{1} \sim N(0,1), \;\; X_2^{n_2}, \;\; X_{2} \sim N(\mu,\sigma^2);$
$H_0\,:\; \mathbb{E}X_{1} = \mathbb{E}X_{2},$
$H_1\,:\; \mathbb{E}X_{1} \neq \mathbb{E}X_{2}.$

Горелов: $\mu=0\,:\,0.02\,:\,2, \;\; \sigma=0.1\,:\,0.05\,:\,2, \;\; n_1=n_2=50.$

Петров: $\mu=1, \;\; \sigma=0.1\,:\,0.05\,:\,2, \;\; n_1=15\,:\,5\,:\,200, \;\; n_2 = 50.$

Никифоров: $\mu=0\,:\,0.02\,:\,2, \;\; \sigma=2, \;\; n_1=15\,:\,5\,:\,200, \;\; n_2 = 50.$

Ссылки

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%A1%D1%82%D0%B0%D1%82%D0%B8%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%2C_%D0%9A.%D0%92.%D0%92%D0%BE%D1%80%D0%BE%D0%BD%D1%86%D0%BE%D0%B2%29/2014/1»

Категория: Учебные курсы

@@ Строка 1: / Строка 1: @@
-Ниже под обозначением <tex>X^n, \;\; X_i \sim p\cdot N(\mu,\sigma^2)+ \left(1-p\right)\cdot U\left[-a,b\right]</tex> понимается выборка объёма <tex>n</tex> из смеси нормального <tex>N(\mu,\sigma^2)</tex> и равномерного <tex>U\left[-a,b\right]</tex> распределений  с весами <tex>p</tex> и <tex>1-p</tex> соответственно (при генерации каждой выборки используется случайный датчик&nbsp;— если его значение не превосходит <tex>p</tex>, то добавляем в выборку элемент, взятый из нормального распределения, иначе&nbsp;— элемент, взятый из равномерного).
+Ниже под обозначением <tex>X^n, \;\; X \sim p\cdot N(\mu,\sigma^2)+ \left(1-p\right)\cdot U\left[-a,b\right]</tex> понимается выборка объёма <tex>n</tex> из смеси нормального <tex>N(\mu,\sigma^2)</tex> и равномерного <tex>U\left[-a,b\right]</tex> распределений  с весами <tex>p</tex> и <tex>1-p</tex> соответственно (при генерации каждой выборки используется случайный датчик&nbsp;— если его значение не превосходит <tex>p</tex>, то добавляем в выборку элемент, взятый из нормального распределения, иначе&nbsp;— элемент, взятый из равномерного).
 = Анализ поведения схожих критериев =
 Требуется исследовать поведение указанной пары статистических критериев, подходящих для решения одной и той же задачи, сравнить мощность и достигаемые уровни значимости и сделать выводы о границах применимости критериев. Необходимо для каждого из критериев построить графики зависимости достигаемых уровней значимости и оценок мощностей от параметров, и показать, в каких областях изменения параметров предпочтительнее использовать тот или иной критерий. Для получения более гладких графиков рекомендуется применять оба критерия к одним и тем же выборкам, а не генерировать их отдельно для каждого критерия.
-* <tex>X^n, \;\; X_i\sim Ber(p); </tex><br> <tex>H_0\,:\, p=\frac{1}{2},</tex><br> <tex>H_1\,:\, p\neq\frac{1}{2};</tex><br> <tex>p=0.01\,:\,0.01\,:\,0.99, \;\; n=5\,:\,1\,:\,50.</tex>
+* <tex>X^n, \;\; X\sim Ber(p); </tex><br> <tex>H_0\,:\, p=\frac{1}{2},</tex><br> <tex>H_1\,:\, p\neq\frac{1}{2};</tex><br> <tex>p=0.01\,:\,0.01\,:\,0.99, \;\; n=5\,:\,1\,:\,50.</tex>
 ::Ульянов: сравнить z-критерий и точный критерий для доли.
 ::Новиков: сравнить критерии, основанные на доверительных интервалах Вальда и Уилсона (нулевая гипотеза отвергается на уровне значимости 5%, если 95% доверительный интервал для параметра не содержит <tex>\frac{1}{2}</tex>).
-* <tex>X^n, \;\; X_i\sim N(\mu,\sigma); </tex><br> <tex>H_0\,:</tex> среднее значение <tex>X</tex> равно нулю,<br> <tex>H_1\,:</tex> среднее значение <tex>X</tex> не равно нулю;<br> <tex>\mu=-2\,:\,0.01\,:\,2, \;\; \sigma=1, \;\; n=5\,:\,1\,:\,50.</tex>
+* <tex>X^n, \;\; X\sim N(\mu,\sigma); </tex><br> <tex>H_0\,:</tex> среднее значение <tex>X</tex> равно нулю,<br> <tex>H_1\,:</tex> среднее значение <tex>X</tex> не равно нулю;<br> <tex>\mu=-2\,:\,0.01\,:\,2, \;\; \sigma=1, \;\; n=5\,:\,1\,:\,50.</tex>
 ::Арбузова: сравнить одновыборочные t- и z-критерии.
 ::Корольков: сравнить одновыборочный [[критерий Стьюдента|t-критерий]] и критерий знаковых рангов Уилкоксона.
 ::Исмагилов: сравнить критерий знаковых рангов Уилкоксона и одновыборочный перестановочный критерий (использовать функцию oneSamplePermutationTest из пакета EnvStats).
-* <tex>X_1^n, \;\; X_{1i} \sim N(\mu_1, \sigma_1^2),\;\;X_2^n, \;\; X_{2i} \sim N(\mu_2, \sigma_2^2);</tex> <br> <tex>H_0\,:\, \mathbb{D}X_{1i} = \mathbb{D}X_{2i},</tex> <br> <tex>H_1\,:\, \mathbb{D}X_{1i} \neq \mathbb{D}X_{2i};</tex> <br> <tex>\mu_1=0, \;\; \sigma_1=1.</tex>
+* <tex>X_1^{n}, \;\; X_{1} \sim N(\mu_1, \sigma_1^2),\;\;X_2^{n}, \;\; X_{2} \sim N(\mu_2, \sigma_2^2);</tex> <br> <tex>H_0\,:</tex> средние выборок равны, <tex>\;H_1\,:</tex> средние выборок не равны;<br><tex>\mu_1=0, \;\; \sigma_1=1.</tex>
+::Калиновский: <tex>\mu_2=-2\,:\,0.02\,:\,2, \;\; \sigma_2 = 1, \;\; n=5\,:\,1\,:\,50.</tex> Сравнить [[критерий Стьюдента]] для неизвестных равных дисперсий и версию Аспина-Уэлша для неизвестных неравных дисперсий.
+* <tex>X_1^n, \;\; X_{1} \sim N(\mu_1, \sigma_1^2),\;\;X_2^n, \;\; X_{2} \sim N(\mu_2, \sigma_2^2);</tex> <br> <tex>H_0\,:\, \mathbb{D}X_{1} = \mathbb{D}X_{2},</tex> <br> <tex>H_1\,:\, \mathbb{D}X_{1} \neq \mathbb{D}X_{2};</tex> <br> <tex>\mu_1=0, \;\; \sigma_1=1.</tex>
 ::Шадриков: <tex>\mu_2=0, \;\; \sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n=5\,:\,1\,:\,50.</tex> Сравнить [[критерий Фишера]] и [[критерий Ансари-Брэдли]].
 ::Харациди: <tex>\mu_2=0\,:\,0.05\,:\,5, \;\; \sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n=50.</tex> Сравнить [[критерий Ансари-Брэдли]] и [[критерий Зигеля-Тьюки]].
 ::Рыжков: <tex>\mu_2=0\,:\,0.05\,:\,5, \;\; \sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n=20.</tex> Сравнить [[критерий Фишера]] и [[критерий Зигеля-Тьюки]].
-* <tex>X^n, \;\; X_i \sim p\cdot N(0,1)+ \left(1-p\right)\cdot U\left[-a,a\right];</tex> <br> <tex> H_0\,:\; X_i \sim N,</tex> <br> <tex>H_1\,:\; H_0 </tex> неверна; <br> <tex>n=10\,:\,5\,:\,100.</tex>
+* <tex>X^n, \;\; X \sim p\cdot N(0,1)+ \left(1-p\right)\cdot U\left[-a,a\right];</tex> <br> <tex> H_0\,:\; X \sim N,</tex> <br> <tex>H_1\,:\; H_0 </tex> неверна; <br> <tex>n=10\,:\,5\,:\,100.</tex>
 ::Шабашев: <tex>a=1, \;\; p=0\,:\,0.02\,:\,1.</tex> Сравнить [[критерий Шапиро-Уилка]] и [[критерий Лиллиефорса]].
 ::Сокурский: <tex>a=2, \;\; p=0\,:\,0.02\,:\,1.</tex> Сравнить [[критерий омега-квадрат|критерий Смирнова-Крамера-фон Мизеса]] и [[критерий Жарка-Бера]].
@@ Строка 25: / Строка 28: @@
 Требуется исследовать поведение указанного критерия в условиях нарушения лежащих в его основе предположений. Оценить мощность и достигаемый уровень значимости критерия при различных значениях параметров, сделать выводы об устойчивости.
-* Одновыборочный [[критерий Стьюдента|t-критерий]], нарушение предположения о нормальности. <br> <tex>X^n, \;\; X_i \sim p\cdot N(\mu,1)+ \left(1-p\right)\cdot U\left[-a+\mu,a+\mu\right]; </tex> <br> <tex>H_0\,:\; \mathbb{E}X_i=0</tex> <br> <tex>H_1\,:\; \mathbb{E}X_i\neq0.</tex> <br>
+* Одновыборочный [[критерий Стьюдента|t-критерий]], нарушение предположения о нормальности. <br> <tex>X^n, \;\; X \sim p\cdot N(\mu,1)+ \left(1-p\right)\cdot U\left[-a+\mu,a+\mu\right]; </tex> <br> <tex>H_0\,:\; \mathbb{E}X=0</tex> <br> <tex>H_1\,:\; \mathbb{E}X\neq0.</tex> <br>
 ::Подоприхин: <tex>\mu=0\,:\,0.01\,:\,2, \;\; p=0.8, \;\; a=1, \;\; n=15\,:\,5\,:\,200.</tex>
 ::Ломов: <tex>\mu=1, \;\; p=0\,:\,0.01\,:\,1, \;\; a=10, \;\; n=5\,:\,5\,:\,150.</tex>
@@ Строка 31: / Строка 34: @@
 ::Найдин: <tex>\mu=0.5, \;\; p=0\,:\,0.01\,:\,1, \;\; a=0.1\,:\,0.1\,:\,5, \;\; n=100.</tex>
-* [[Критерий Фишера]] для проверки равенства дисперсий, нарушение предположения о нормальности.  <br> <tex>X_1^n, \;\; X_{1i} \sim p_1\cdot N(0,\sigma_1^2)+ \left(1-p_1\right)\cdot U\left[-a,a\right],  \;\; X_2^n,\;\; X_{2i} \sim p_2\cdot N(0,\sigma_2^2)+ \left(1-p_2\right)\cdot U\left[-a,a\right]; </tex> <br> <tex>H_0\,:\, \mathbb{D}X_{1i} = \mathbb{D}X_{2i},</tex> <br> <tex>H_1\,:\, \mathbb{D}X_{1i} \neq \mathbb{D}X_{2i};</tex> <br> <tex>\sigma_1=2, \;\; \sigma_2=0.1\,:\,0.05\,:\,4.</tex> <br>
+* [[Критерий Фишера]] для проверки равенства дисперсий, нарушение предположения о нормальности.  <br> <tex>X_1^n, \;\; X_{1} \sim p_1\cdot N(0,\sigma_1^2)+ \left(1-p_1\right)\cdot U\left[-a,a\right],  \;\; X_2^n,\;\; X_{2} \sim p_2\cdot N(0,\sigma_2^2)+ \left(1-p_2\right)\cdot U\left[-a,a\right]; </tex> <br> <tex>H_0\,:\, \mathbb{D}X_{1} = \mathbb{D}X_{2},</tex> <br> <tex>H_1\,:\, \mathbb{D}X_{1} \neq \mathbb{D}X_{2};</tex> <br> <tex>\sigma_1=2, \;\; \sigma_2=0.1\,:\,0.05\,:\,4.</tex> <br>
 ::Зиннурова: <tex>p_1=p_2=0.8, \;\; a=2, \;\; n=15\,:\,5\,:\,200.</tex>
 ::Львов: <tex>p_1=p_2=0\,:\,0.01\,:\,1, \;\; a=3, \;\; n=100.</tex>
-* Двухвыборочный [[критерий Стьюдента|t-критерий]], нарушение предположения о равенстве дисперсий. <br> <tex>X_1^{n_1}, \;\; X_{1i} \sim N(0,1), \;\; X_2^{n_2}, \;\; X_{2i} \sim N(\mu,\sigma^2);</tex> <br> <tex>H_0\,:\; \mathbb{E}X_{1i} = \mathbb{E}X_{2i}, </tex> <br> <tex>H_1\,:\; \mathbb{E}X_{1i} \neq \mathbb{E}X_{2i}.</tex>
+* Двухвыборочный [[критерий Стьюдента|t-критерий]], нарушение предположения о равенстве дисперсий. <br> <tex>X_1^{n_1}, \;\; X_{1} \sim N(0,1), \;\; X_2^{n_2}, \;\; X_{2} \sim N(\mu,\sigma^2);</tex> <br> <tex>H_0\,:\; \mathbb{E}X_{1} = \mathbb{E}X_{2}, </tex> <br> <tex>H_1\,:\; \mathbb{E}X_{1} \neq \mathbb{E}X_{2}.</tex>
 ::Горелов: <tex>\mu=0\,:\,0.02\,:\,2, \;\; \sigma=0.1\,:\,0.05\,:\,2, \;\; n_1=n_2=50.</tex>
 ::Петров: <tex>\mu=1, \;\; \sigma=0.1\,:\,0.05\,:\,2, \;\; n_1=15\,:\,5\,:\,200, \;\; n_2 = 50.</tex>

Статистический анализ данных (курс лекций, К.В.Воронцов)/2014/1

Материал из MachineLearning.

Версия 16:10, 26 сентября 2014

Анализ поведения схожих критериев

Анализ устойчивости критериев к нарушению предположений

Ссылки

Просмотры

Личные инструменты

Навигация

Поиск

Инструменты