Статистический анализ данных (курс лекций, К.В.Воронцов)/2014/1

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
м
м
Строка 32: Строка 32:
::Ломов: <tex>\mu=1, \;\; p=0\,:\,0.01\,:\,1, \;\; a=10, \;\; n=5\,:\,5\,:\,150.</tex>
::Ломов: <tex>\mu=1, \;\; p=0\,:\,0.01\,:\,1, \;\; a=10, \;\; n=5\,:\,5\,:\,150.</tex>
::Антипов: <tex>\mu=0\,:\,0.01\,:\,2, \;\; p=0\,:\,0.01\,:\,1, \;\; a=1, \;\; n=100.</tex>
::Антипов: <tex>\mu=0\,:\,0.01\,:\,2, \;\; p=0\,:\,0.01\,:\,1, \;\; a=1, \;\; n=100.</tex>
-
::Найдин: <tex>\mu=0.5, \;\; p=0\,:\,0.01\,:\,1, \;\; a=0.1\,:\,0.1\,:\,5, \;\; n=100.</tex>
+
::Найдин: <tex>\mu=0.5, \;\; p=0\,:\,0.01\,:\,1, \;\; a=0.1\,:\,0.1\,:\,5, \;\; n=100.</tex> <!---уменьшить n или \mu--->
* [[Критерий Фишера]] для проверки равенства дисперсий, нарушение предположения о нормальности. <br> <tex>X_1^n, \;\; X_{1} \sim p_1\cdot N(0,\sigma_1^2)+ \left(1-p_1\right)\cdot U\left[-a,a\right], \;\; X_2^n,\;\; X_{2} \sim p_2\cdot N(0,\sigma_2^2)+ \left(1-p_2\right)\cdot U\left[-a,a\right]; </tex> <br> <tex>H_0\,:\, \mathbb{D}X_{1} = \mathbb{D}X_{2},</tex> <br> <tex>H_1\,:\, \mathbb{D}X_{1} \neq \mathbb{D}X_{2};</tex> <br> <tex>\sigma_1=2, \;\; \sigma_2=0.1\,:\,0.05\,:\,4.</tex> <br>
* [[Критерий Фишера]] для проверки равенства дисперсий, нарушение предположения о нормальности. <br> <tex>X_1^n, \;\; X_{1} \sim p_1\cdot N(0,\sigma_1^2)+ \left(1-p_1\right)\cdot U\left[-a,a\right], \;\; X_2^n,\;\; X_{2} \sim p_2\cdot N(0,\sigma_2^2)+ \left(1-p_2\right)\cdot U\left[-a,a\right]; </tex> <br> <tex>H_0\,:\, \mathbb{D}X_{1} = \mathbb{D}X_{2},</tex> <br> <tex>H_1\,:\, \mathbb{D}X_{1} \neq \mathbb{D}X_{2};</tex> <br> <tex>\sigma_1=2, \;\; \sigma_2=0.1\,:\,0.05\,:\,4.</tex> <br>

Версия 19:49, 29 сентября 2014

Ниже под обозначением X^n, \;\; X \sim p\cdot N(\mu,\sigma^2)+ \left(1-p\right)\cdot U\left[-a,b\right] понимается выборка объёма n из смеси нормального N(\mu,\sigma^2) и равномерного U\left[-a,b\right] распределений с весами p и 1-p соответственно (при генерации каждой выборки используется случайный датчик — если его значение не превосходит p, то добавляем в выборку элемент, взятый из нормального распределения, иначе — элемент, взятый из равномерного).

Анализ поведения схожих критериев

Требуется исследовать поведение указанной пары статистических критериев, подходящих для решения одной и той же задачи, сравнить мощность и достигаемые уровни значимости и сделать выводы о границах применимости критериев. Необходимо для каждого из критериев построить графики зависимости достигаемых уровней значимости и оценок мощностей от параметров, и показать, в каких областях изменения параметров предпочтительнее использовать тот или иной критерий. Для получения более гладких графиков рекомендуется применять оба критерия к одним и тем же выборкам, а не генерировать их отдельно для каждого критерия.

  • X^n, \;\; X\sim Ber(p);
    H_0\,:\, p=\frac{1}{2},
    H_1\,:\, p\neq\frac{1}{2};
    p=0.01\,:\,0.01\,:\,0.99, \;\; n=5\,:\,1\,:\,50.
Ульянов: сравнить z-критерий и точный критерий для доли.
Новиков: сравнить критерии, основанные на доверительных интервалах Вальда и Уилсона (нулевая гипотеза отвергается на уровне значимости 5%, если 95% доверительный интервал для параметра не содержит \frac{1}{2}).
  • X^n, \;\; X\sim N(\mu,\sigma);
    H_0\,: среднее значение X равно нулю,
    H_1\,: среднее значение X не равно нулю;
    \mu=-2\,:\,0.01\,:\,2, \;\; \sigma=1, \;\; n=5\,:\,1\,:\,50.
Арбузова: сравнить одновыборочные t- и z-критерии.
Корольков: сравнить одновыборочный t-критерий и критерий знаковых рангов Уилкоксона.
Исмагилов: сравнить критерий знаковых рангов Уилкоксона и одновыборочный перестановочный критерий (использовать функцию oneSamplePermutationTest из пакета EnvStats).
  • X_1^{n}, \;\; X_{1} \sim N(\mu_1, \sigma_1^2),\;\;X_2^{n}, \;\; X_{2} \sim N(\mu_2, \sigma_2^2);
    H_0\,: средние выборок равны, \;H_1\,: средние выборок не равны;
    \mu_1=0, \;\; \sigma_1=1.
Калиновский: \mu_2=-2\,:\,0.02\,:\,2, \;\; \sigma_2 = 1, \;\; n=5\,:\,1\,:\,50. Сравнить критерий Стьюдента для неизвестных равных дисперсий и версию Аспина-Уэлша для неизвестных неравных дисперсий.
  • X_1^n, \;\; X_{1} \sim N(\mu_1, \sigma_1^2),\;\;X_2^n, \;\; X_{2} \sim N(\mu_2, \sigma_2^2);
    H_0\,:\, \mathbb{D}X_{1} = \mathbb{D}X_{2},
    H_1\,:\, \mathbb{D}X_{1} \neq \mathbb{D}X_{2};
    \mu_1=0, \;\; \sigma_1=1.
Шадриков: \mu_2=0, \;\; \sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n=5\,:\,1\,:\,50. Сравнить критерий Фишера и критерий Ансари-Брэдли.
Харациди: \mu_2=0\,:\,0.05\,:\,5, \;\; \sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n=50. Сравнить критерий Ансари-Брэдли и критерий Зигеля-Тьюки.
Рыжков: \mu_2=0\,:\,0.05\,:\,5, \;\; \sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n=20. Сравнить критерий Фишера и критерий Зигеля-Тьюки.
  • X^n, \;\; X \sim p\cdot N(0,1)+ \left(1-p\right)\cdot U\left[-a,a\right];
    H_0\,:\; X \sim N,
    H_1\,:\; H_0 неверна;
    n=10\,:\,5\,:\,100.
Шабашев: a=1, \;\; p=0\,:\,0.02\,:\,1. Сравнить критерий Шапиро-Уилка и критерий Лиллиефорса.
Сокурский: a=2, \;\; p=0\,:\,0.02\,:\,1. Сравнить критерий Смирнова-Крамера-фон Мизеса и критерий Жарка-Бера.
Алешин: a=0.5\,:\,0.1\,:\,5, \;\; p=0.25. Сравнить критерий Лиллиефорса и критерий хи-квадрат.

Анализ устойчивости критериев к нарушению предположений

Требуется исследовать поведение указанного критерия в условиях нарушения лежащих в его основе предположений. Оценить мощность и достигаемый уровень значимости критерия при различных значениях параметров, сделать выводы об устойчивости.

  • Одновыборочный t-критерий, нарушение предположения о нормальности.
    X^n, \;\; X \sim p\cdot N(\mu,1)+ \left(1-p\right)\cdot U\left[-a+\mu,a+\mu\right];
    H_0\,:\; \mathbb{E}X=0
    H_1\,:\; \mathbb{E}X\neq0.
Подоприхин: \mu=0\,:\,0.01\,:\,2, \;\; p=0.8, \;\; a=1, \;\; n=15\,:\,5\,:\,200.
Ломов: \mu=1, \;\; p=0\,:\,0.01\,:\,1, \;\; a=10, \;\; n=5\,:\,5\,:\,150.
Антипов: \mu=0\,:\,0.01\,:\,2, \;\; p=0\,:\,0.01\,:\,1, \;\; a=1, \;\; n=100.
Найдин: \mu=0.5, \;\; p=0\,:\,0.01\,:\,1, \;\; a=0.1\,:\,0.1\,:\,5, \;\; n=100.
  • Критерий Фишера для проверки равенства дисперсий, нарушение предположения о нормальности.
    X_1^n, \;\; X_{1} \sim p_1\cdot N(0,\sigma_1^2)+ \left(1-p_1\right)\cdot U\left[-a,a\right], \;\; X_2^n,\;\; X_{2} \sim p_2\cdot N(0,\sigma_2^2)+ \left(1-p_2\right)\cdot U\left[-a,a\right];
    H_0\,:\, \mathbb{D}X_{1} = \mathbb{D}X_{2},
    H_1\,:\, \mathbb{D}X_{1} \neq \mathbb{D}X_{2};
    \sigma_1=2, \;\; \sigma_2=0.1\,:\,0.05\,:\,4.
Зиннурова: p_1=p_2=0.8, \;\; a=2, \;\; n=15\,:\,5\,:\,200.
Львов: p_1=p_2=0\,:\,0.01\,:\,1, \;\; a=3, \;\; n=100.
  • Двухвыборочный t-критерий, нарушение предположения о равенстве дисперсий.
    X_1^{n_1}, \;\; X_{1} \sim N(0,1), \;\; X_2^{n_2}, \;\; X_{2} \sim N(\mu,\sigma^2);
    H_0\,:\; \mathbb{E}X_{1} = \mathbb{E}X_{2},
    H_1\,:\; \mathbb{E}X_{1} \neq \mathbb{E}X_{2}.
Горелов: \mu=0\,:\,0.02\,:\,2, \;\; \sigma=0.1\,:\,0.05\,:\,2, \;\; n_1=n_2=50.
Петров: \mu=1, \;\; \sigma=0.1\,:\,0.05\,:\,2, \;\; n_1=15\,:\,5\,:\,200, \;\; n_2 = 50.
Никифоров: \mu=0\,:\,0.02\,:\,2, \;\; \sigma=2, \;\; n_1=15\,:\,5\,:\,200, \;\; n_2 = 50.

Ссылки

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%A1%D1%82%D0%B0%D1%82%D0%B8%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%2C_%D0%9A.%D0%92.%D0%92%D0%BE%D1%80%D0%BE%D0%BD%D1%86%D0%BE%D0%B2%29/2014/1»
Личные инструменты