Статистический анализ данных (курс лекций, К.В.Воронцов)/2015/1

Материал из MachineLearning.

(Различия между версиями)

Текущая версия

Ниже под обозначением $X^n, \;\; X_i \sim p\cdot N(\mu,\sigma^2)+ \left(1-p\right)\cdot F$ понимается выборка объёма $n$ из смеси нормального распределения $N(\mu,\sigma^2)$ и распределения $F$ с весами $p$ и $1-p$ соответственно (при генерации каждой выборки используется случайный датчик — если его значение не превосходит $p$ , то добавляем в выборку элемент, взятый из нормального распределения, иначе — элемент, взятый из распределения F).

Анализ поведения схожих критериев

Требуется исследовать поведение указанной пары статистических критериев, подходящих для решения одной и той же задачи, сравнить мощность и достигаемые уровни значимости и сделать выводы о границах применимости критериев. Необходимо для каждого из критериев построить графики зависимости достигаемых уровней значимости и оценок мощностей от параметров, и показать, в каких областях изменения параметров предпочтительнее использовать тот или иной критерий. Для получения более гладких графиков рекомендуется применять оба критерия к одним и тем же выборкам, а не генерировать их отдельно для каждого критерия.

$X^n, \;\; X\sim Ber(p);$
$H_0\,:\, p=p_0,$
$H_1\,:\, p\neq p_0;$
$p=0.01\,:\,0.01\,:\,0.5, \;\; n=5\,:\,1\,:\,70.$

Сендерович: $p_0=\frac1{2}$ , сравнить z-критерии в версиях Вальда и множителей Лагранжа.

Лисяной: $p_0=\frac1{4}$ , сравнить z-критерий (в версии множителей Лагранжа) и точный критерий.

$X_1^{n_1}, \;\; X_{1} \sim N(\mu_1, \sigma_1^2),$
$X_2^{n_2}, \;\; X_{2} \sim N(\mu_2, \sigma_2^2);$
$H_0\,:$ средние равны,
$\;H_1\,:$ средние не равны;
$n_1=25, \;\; \mu_1=0, \;\; \sigma_1=1.$

Колмаков: $\mu_2=0\,:\,0.01\,:\,2, \;\; \sigma_2 = 2, \;\; n_2=5\,:\,1\,:\,70,$ сравнить версии t-критерия для равных и неравных дисперсий.

Шапулин: $\mu_2=0.5, \;\; \sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n_2=5\,:\,1\,:\,70,$ сравнить t- и z-критерии для неравных дисперсий.

Тюрин: $\mu_2=0\,:\,0.01\,:\,2, \;\; \sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n_2=50,$ сравнить t-критерий для неравных дисперсий и критерий Манна-Уитни-Уилкоксона.

$X_1^n, \;\; X_{1} \sim N(0, \sigma_1^2),$
$X_2^n, \;\; X_{2} \sim N(0, \sigma_2^2);$
$H_0\,:\, \mathbb{D}X_{1} = \mathbb{D}X_{2},$
$H_1\,:\, \mathbb{D}X_{1} \neq \mathbb{D}X_{2}.$

Чистяков: $\sigma_1=1, \;\;\sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n=5\,:\,1\,:\,70,$ сравнить критерии Ансари-Брэдли и Зигеля-Тьюки.

Корольков: $\sigma_1= 0.5\,:\,0.01\,:\,2, \;\;\sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n=30,$ сравнить критерии Фишера и Ансари-Брэдли.

$X^n, \;\; X\sim N(\mu,\sigma);$
$H_0\,:$ среднее значение $X$ равно нулю,
$H_1\,:$ среднее значение $X$ не равно нулю;
$\mu=0\,:\,0.01\,:\,2, \;\; n=5\,:\,1\,:\,70.$

Козлов: $\sigma=1,$ сравнить критерии знаков и знаковых рангов.

$X^n, \;\; X \sim p\cdot N(0,1)+ \left(1-p\right)\cdot F;$
$H_0\,:\; X \sim N,$
$H_1\,:\; H_0$ неверна;
$n=20\,:\,1\,:\,100.$

Апишев: $F = C\left(0,1\right)$ — стандартное распределение Коши; $p=0\,:\,0.01\,:\,1,$ сравнить критерии Андерсона-Дарлинга и Лиллиефорса.

Анализ устойчивости критериев к нарушению предположений

Требуется исследовать поведение указанного критерия в условиях нарушения лежащих в его основе предположений. Оценить мощность и достигаемый уровень значимости критерия при различных значениях параметров, сделать выводы об устойчивости.

Двухвыборочный t-критерий для равных дисперсий, нарушение предположения о равенстве дисперсий.
$X_1^{n_1}, \;\; X_{1} \sim N(0,1),$
$X_2^{n_2}, \;\; X_{2} \sim N(\mu,\sigma^2);$
$H_0\,:\; \mathbb{E}X_{1} = \mathbb{E}X_{2},$
$H_1\,:\; \mathbb{E}X_{1} \neq \mathbb{E}X_{2}.$

Хальман: $\mu=1, \;\; \sigma=0.5\,:\,0.01\,:\,2, \;\; n_1=5\,:\,1\,:\,70, \;\; n_2 = 30.$

Одновыборочный t-критерий, нарушение предположения о нормальности.
$X^n, \;\; X \sim p\cdot N(\mu,1)+ \left(1-p\right)\cdot F;$
$H_0\,:\; \mathbb{E}X=0$
$H_1\,:\; \mathbb{E}X\neq0;$
$\mu=0\,:\,0.01\,:\,2, \;\; p=0\,:\,0.01\,:\,1.$

Дойков: $F = C\left(\mu,3\right)$ — распределение Коши с коэффициентом сдвига $\mu$ и коэффициентом масштаба $3; \;\; n=50.$

Славнов: $F = U\left[-5+\mu, 5+\mu\right]$ — непрерывное равномерное распределение на $\left[-5+\mu,5+\mu\right]; \;\; n=30.$

Одновыборочный критерий хи-квадрат для гипотезы о дисперсии, нарушение предположения о нормальности.
$X^n, \;\; X \sim p\cdot N(\mu,1)+ \left(1-p\right)\cdot F;$
$H_0\,:\; \mathbb{D}X=1$
$H_1\,:\; \mathbb{D}X\neq1;$
$\sigma=0.5\,:\,0.01\,:\,2, \;\; p=0\,:\,0.01\,:\,1, \;\; n=50.$

Ожерельев: $F = U\left[-\frac{\sigma}{\sqrt{3}}, \frac{\sigma}{\sqrt{3}}\right]$ — непрерывное равномерное распределение на $\left[-\frac{\sigma}{\sqrt{3}}, \frac{\sigma}{\sqrt{3}}\right].$

Критерий Фишера для проверки равенства дисперсий, нарушение предположения о нормальности.
$X_1^{n_1}, \;\; X_{1} \sim p_1\cdot N(0,\sigma_1^2)+ \left(1-p_1\right)\cdot F_1,$
$X_2^{n_2},\;\; X_{2} \sim p_2\cdot N(0,\sigma_2^2)+ \left(1-p_2\right)\cdot F_2;$
$H_0\,:\, \mathbb{D}X_{1} = \mathbb{D}X_{2},$
$H_1\,:\, \mathbb{D}X_{1} \neq \mathbb{D}X_{2};$
$\sigma_1=1, \;\; \sigma_2=0.2\,:\,0.01\,:\,2.$

Лукашкина: $F_1 = U\left[-\frac1{\sqrt{3}}, \frac1{\sqrt{3}}\right], \;\; F_2 = U\left[-\frac{\sigma}{\sqrt{3}}, \frac{\sigma}{\sqrt{3}}\right]$ — непрерывные равномерные распределения; $p_1=p_2=0\,:\,0.01\,:\,1, \;\; n_1=n_2=50.$

Готман: $F_1 = U\left[-\frac1{\sqrt{3}}, \frac1{\sqrt{3}}\right]$ — непрерывное равномерное распределение; $p_1=0.7, \;\; p_2 = 1, \;\; n_1=5\,:\,1\,:\,70, \;\; n_2=50.$

Ссылки

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%A1%D1%82%D0%B0%D1%82%D0%B8%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%2C_%D0%9A.%D0%92.%D0%92%D0%BE%D1%80%D0%BE%D0%BD%D1%86%D0%BE%D0%B2%29/2015/1»

Категория: Учебные курсы

@@ Строка 1: / Строка 1: @@
-Ниже под обозначением <tex>X^n, \;\; X_i \sim p\cdot N(\mu,\sigma^2)+ \left(1-p\right)\cdot U\left[-a,b\right]</tex> понимается выборка объёма <tex>n</tex> из смеси нормального <tex>N(\mu,\sigma^2)</tex> и равномерного <tex>U\left[-a,b\right]</tex> распределений  с весами <tex>p</tex> и <tex>1-p</tex> соответственно (при генерации каждой выборки используется случайный датчик&nbsp;— если его значение не превосходит <tex>p</tex>, то добавляем в выборку элемент, взятый из нормального распределения, иначе&nbsp;— элемент, взятый из равномерного).
+Ниже под обозначением <tex>X^n, \;\; X_i \sim p\cdot N(\mu,\sigma^2)+ \left(1-p\right)\cdot F</tex> понимается выборка объёма <tex>n</tex> из смеси нормального распределения <tex>N(\mu,\sigma^2)</tex> и распределения <tex>F</tex> с весами <tex>p</tex> и <tex>1-p</tex> соответственно (при генерации каждой выборки используется случайный датчик&nbsp;— если его значение не превосходит <tex>p</tex>, то добавляем в выборку элемент, взятый из нормального распределения, иначе&nbsp;— элемент, взятый из распределения F).
 = Анализ поведения схожих критериев =
 Требуется исследовать поведение указанной пары статистических критериев, подходящих для решения одной и той же задачи, сравнить мощность и достигаемые уровни значимости и сделать выводы о границах применимости критериев. Необходимо для каждого из критериев построить графики зависимости достигаемых уровней значимости и оценок мощностей от параметров, и показать, в каких областях изменения параметров предпочтительнее использовать тот или иной критерий. Для получения более гладких графиков рекомендуется применять оба критерия к одним и тем же выборкам, а не генерировать их отдельно для каждого критерия.
-* <tex>X^n, \;\; X_i\sim Ber(p); </tex><br> <tex>H_0\,:\, p=p_0,</tex><br> <tex>H_1\,:\, p\neq p_0;</tex><br> <tex>p=0.01\,:\,0.01\,:\,0.5, \;\; n=5\,:\,1\,:\,70.</tex>
+* <tex>X^n, \;\; X\sim Ber(p); </tex><br> <tex>H_0\,:\, p=p_0,</tex><br> <tex>H_1\,:\, p\neq p_0;</tex><br> <tex>p=0.01\,:\,0.01\,:\,0.5, \;\; n=5\,:\,1\,:\,70.</tex>
 ::Сендерович: <tex>p_0=\frac1{2}</tex>, сравнить z-критерии в версиях Вальда и множителей Лагранжа.
 ::Лисяной: <tex>p_0=\frac1{4}</tex>, сравнить z-критерий (в версии множителей Лагранжа) и точный критерий.
+* <tex>X_1^{n_1}, \;\; X_{1} \sim N(\mu_1, \sigma_1^2),</tex><br> <tex>X_2^{n_2}, \;\; X_{2} \sim N(\mu_2, \sigma_2^2);</tex><br><tex>H_0\,:</tex> средние равны, <br><tex>\;H_1\,:</tex> средние не равны;<br><tex>n_1=25, \;\; \mu_1=0, \;\; \sigma_1=1.</tex>
+::Колмаков: <tex>\mu_2=0\,:\,0.01\,:\,2, \;\; \sigma_2 = 2, \;\; n_2=5\,:\,1\,:\,70,</tex> сравнить версии t-критерия для равных и неравных дисперсий.
+::Шапулин: <tex>\mu_2=0.5, \;\; \sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n_2=5\,:\,1\,:\,70,</tex> сравнить t- и z-критерии для неравных дисперсий.
+::Тюрин: <tex>\mu_2=0\,:\,0.01\,:\,2, \;\; \sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n_2=50,</tex> сравнить t-критерий для неравных дисперсий и критерий Манна-Уитни-Уилкоксона.
+* <tex>X_1^n, \;\; X_{1} \sim N(0, \sigma_1^2),</tex><br> <tex>X_2^n, \;\; X_{2} \sim N(0, \sigma_2^2);</tex> <br> <tex>H_0\,:\, \mathbb{D}X_{1} = \mathbb{D}X_{2},</tex> <br> <tex>H_1\,:\, \mathbb{D}X_{1} \neq \mathbb{D}X_{2}.</tex>
+::Чистяков:  <tex>\sigma_1=1, \;\;\sigma_2 = 0.5\,:\,0.01\,:\,2, \;\;  n=5\,:\,1\,:\,70,</tex> сравнить критерии [[критерий Ансари-Брэдли|Ансари-Брэдли]] и [[критерий Зигеля-Тьюки|Зигеля-Тьюки]].
+::Корольков: <tex>\sigma_1= 0.5\,:\,0.01\,:\,2, \;\;\sigma_2 = 0.5\,:\,0.01\,:\,2, \;\;  n=30,</tex> сравнить критерии [[критерий Фишера|Фишера]] и [[критерий Ансари-Брэдли|Ансари-Брэдли]].
+* <tex>X^n, \;\; X\sim N(\mu,\sigma); </tex><br> <tex>H_0\,:</tex> среднее значение <tex>X</tex> равно нулю,<br> <tex>H_1\,:</tex> среднее значение <tex>X</tex> не равно нулю;<br> <tex>\mu=0\,:\,0.01\,:\,2,  \;\; n=5\,:\,1\,:\,70.</tex>
+::Козлов: <tex>\sigma=1,</tex> сравнить критерии знаков и знаковых рангов.
+* <tex>X^n, \;\; X \sim p\cdot N(0,1)+ \left(1-p\right)\cdot F;</tex> <br> <tex> H_0\,:\; X \sim N,</tex> <br> <tex>H_1\,:\; H_0 </tex> неверна; <br> <tex>n=20\,:\,1\,:\,100.</tex>
+::Апишев: <tex>F = C\left(0,1\right)</tex>—&nbsp;стандартное распределение Коши; <tex>p=0\,:\,0.01\,:\,1,</tex> сравнить критерии Андерсона-Дарлинга и Лиллиефорса.
 = Анализ устойчивости критериев к нарушению предположений =
 Требуется исследовать поведение указанного критерия в условиях нарушения лежащих в его основе предположений. Оценить мощность и достигаемый уровень значимости критерия при различных значениях параметров, сделать выводы об устойчивости.
+* Двухвыборочный [[критерий Стьюдента|t-критерий]] для равных дисперсий, нарушение предположения о равенстве дисперсий. <br> <tex>X_1^{n_1}, \;\; X_{1} \sim N(0,1),</tex><br><tex>X_2^{n_2}, \;\; X_{2} \sim N(\mu,\sigma^2);</tex> <br> <tex>H_0\,:\; \mathbb{E}X_{1} = \mathbb{E}X_{2}, </tex> <br> <tex>H_1\,:\; \mathbb{E}X_{1} \neq \mathbb{E}X_{2}.</tex>
+::Хальман: <tex>\mu=1, \;\; \sigma=0.5\,:\,0.01\,:\,2, \;\; n_1=5\,:\,1\,:\,70, \;\; n_2 = 30.</tex>
+* Одновыборочный [[критерий Стьюдента|t-критерий]], нарушение предположения о нормальности. <br> <tex>X^n, \;\; X \sim p\cdot N(\mu,1)+ \left(1-p\right)\cdot F; </tex> <br> <tex>H_0\,:\; \mathbb{E}X=0</tex> <br> <tex>H_1\,:\; \mathbb{E}X\neq0;</tex> <br><tex>\mu=0\,:\,0.01\,:\,2, \;\; p=0\,:\,0.01\,:\,1.</tex> <br>
+::Дойков: <tex>F = C\left(\mu,3\right)</tex>—&nbsp;распределение Коши с коэффициентом сдвига <tex>\mu</tex> и коэффициентом масштаба <tex>3; \;\; n=50.</tex>
+::Славнов: <tex>F = U\left[-5+\mu, 5+\mu\right]</tex>—&nbsp;непрерывное равномерное распределение на <tex>\left[-5+\mu,5+\mu\right]; \;\; n=30.</tex>
+* Одновыборочный критерий хи-квадрат для гипотезы о дисперсии, нарушение предположения о нормальности. <br> <tex>X^n, \;\; X \sim p\cdot N(\mu,1)+ \left(1-p\right)\cdot F; </tex> <br> <tex>H_0\,:\; \mathbb{D}X=1</tex> <br> <tex>H_1\,:\; \mathbb{D}X\neq1;</tex> <br><tex>\sigma=0.5\,:\,0.01\,:\,2, \;\; p=0\,:\,0.01\,:\,1, \;\; n=50.</tex> <br>
+::Ожерельев: <tex>F = U\left[-\frac{\sigma}{\sqrt{3}}, \frac{\sigma}{\sqrt{3}}\right]</tex> —&nbsp;непрерывное равномерное распределение на <tex>\left[-\frac{\sigma}{\sqrt{3}}, \frac{\sigma}{\sqrt{3}}\right].</tex>
+* [[Критерий Фишера]] для проверки равенства дисперсий, нарушение предположения о нормальности.  <br> <tex>X_1^{n_1}, \;\; X_{1} \sim p_1\cdot N(0,\sigma_1^2)+ \left(1-p_1\right)\cdot F_1,  </tex> <br> <tex> X_2^{n_2},\;\; X_{2} \sim p_2\cdot N(0,\sigma_2^2)+ \left(1-p_2\right)\cdot F_2; </tex> <br> <tex>H_0\,:\, \mathbb{D}X_{1} = \mathbb{D}X_{2},</tex> <br> <tex>H_1\,:\, \mathbb{D}X_{1} \neq \mathbb{D}X_{2};</tex> <br> <tex>\sigma_1=1, \;\; \sigma_2=0.2\,:\,0.01\,:\,2.</tex> <br>
+::Лукашкина: <tex>F_1 = U\left[-\frac1{\sqrt{3}}, \frac1{\sqrt{3}}\right], \;\; F_2 = U\left[-\frac{\sigma}{\sqrt{3}}, \frac{\sigma}{\sqrt{3}}\right]</tex> —&nbsp;непрерывные равномерные распределения; <tex>p_1=p_2=0\,:\,0.01\,:\,1, \;\; n_1=n_2=50.</tex>
+::Готман: <tex>F_1 = U\left[-\frac1{\sqrt{3}}, \frac1{\sqrt{3}}\right]</tex> —&nbsp;непрерывное равномерное распределение; <tex>p_1=0.7, \;\; p_2 = 1, \;\; n_1=5\,:\,1\,:\,70, \;\; n_2=50.</tex>
 = Ссылки =

Статистический анализ данных (курс лекций, К.В.Воронцов)/2015/1

Материал из MachineLearning.

Текущая версия

Анализ поведения схожих критериев

Анализ устойчивости критериев к нарушению предположений

Ссылки

Просмотры

Личные инструменты

Навигация

Поиск

Инструменты