Статистический анализ данных (курс лекций, К.В.Воронцов)/2016/1

Материал из MachineLearning.

Ниже под обозначением $X^n, \;\; X \sim p\cdot F_1+ \left(1-p\right)\cdot F_2$ понимается выборка объёма $n$ из смеси распределений $F_1$ и $F_2$ с весами $p$ и $1-p$ соответственно (при генерации каждой выборки используется случайный датчик — если его значение не превосходит $p$ , то добавляем в выборку элемент, взятый из $F_1$ , иначе — элемент, взятый из $F_2$ ).

Анализ поведения схожих критериев

Требуется исследовать поведение указанной пары статистических критериев, подходящих для решения одной и той же задачи, сравнить мощность и достигаемые уровни значимости и сделать выводы о границах применимости критериев. Необходимо для каждого из критериев построить графики зависимости достигаемых уровней значимости и оценок мощностей от параметров, и показать, в каких областях изменения параметров предпочтительнее использовать тот или иной критерий. Для получения более гладких графиков рекомендуется применять оба критерия к одним и тем же выборкам, а не генерировать их отдельно для каждого.

$X_1^{n_1}, \;\; X_1 \sim F_1,$
$X_2^{n_2}, \;\; X_2 \sim F_2; <tex> <br> <tex> H_0 \,:\, F_1=F_2,$
$H_1\,:\; H_0$ неверна.

Афанасьев Кирилл: $F_1 = U\left[0,1\right], \;\; F_2 = U\left[0,a\right]$ — непрерывные равномерные распределения; $a = 0.1\,:\,0.01\,:\,2, \;\; n_1=n_2=5\,:\,1\,:\,100.$ Сравнить критерии Смирнова и Крамера-фон Мизеса.

$X^n, \;\; X \sim p\cdot N(0,1)+ \left(1-p\right)\cdot F;$
$H_0\,:\; X \sim N,$
$H_1\,:\; H_0$ неверна.

Вихрева Мария: $F = St(2)$ — распределение Стьюдента с двумя степенями свободы; $n=10\,:\,1\,:\,100, \;\; p=0\,:\,0.01\,:\,1.$ Сравнить критерии Шапиро-Уилка и хи-квадрат Пирсона.

Гитман Игорь: $F = C\left(0,1\right)$ — стандартное распределение Коши; $n=10\,:\,1\,:\,100, \;\; p=0\,:\,0.01\,:\,1.$ Сравнить критерии Харке-Бера и хи-квадрат Пирсона.

$X^n, \;\; X\sim Ber(p);$
$H_0\,:\, p=p_0,$
$H_1\,:\, p\neq p_0;$
$p=0\,:\,0.01\,:\,0.5, \;\; n=5\,:\,1\,:\,100.$

Даулбаев Талгат: $p_0=0.25$ ; сравнить z-критерий в версии множителей Лагранжа и точный критерий.

Журавлёв Вадим: $p_0=0.5$ ; сравнить z-критерии в версиях Вальда и множителей Лагранжа.

$X^n, \;\; X\sim N(\mu,\sigma);$
$H_0\,:$ среднее значение $X$ равно нулю,
$H_1\,:$ среднее значение $X$ не равно нулю;
$\mu=0\,:\,0.01\,:\,2.$

Захаров Егор: $\sigma=1, \;\; n=5\,:\,1\,:\,100;$ сравнить критерии знаков и знаковых рангов.

Иванов Олег: $\sigma=2, \;\; n=5\,:\,1\,:\,100;$ сравнить критерий знаковых рангов и одновыборочный t-критерий.

Квасов Андрей: $\sigma=1, \;\; n=5\,:\,1\,:\,100;$ сравнить одновыборочные t- и z-критерии.

$X_1^{n_1}, \;\; X_{1} \sim N(\mu_1, \sigma_1^2),$
$X_2^{n_2}, \;\; X_{2} \sim N(\mu_2, \sigma_2^2);$
$H_0\,:$ средние равны,
$\;H_1\,:$ средние не равны;
$n_1=30, \;\; \mu_1=0, \;\; \sigma_1=1.$

Кудрявцев Георгий: $\mu_2=0\,:\,0.01\,:\,2, \;\; \sigma_2 = 2, \;\; n_2=5\,:\,1\,:\,100,$ сравнить версии t-критерия для равных и неравных дисперсий.

Молчанов Дмитрий: $\mu_2=0\,:\,0.01\,:\,2, \;\; \sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n_2=30,$ сравнить t-критерий для неравных дисперсий и критерий Манна-Уитни-Уилкоксона.

Морозов Алексей: $\mu_2=0.5, \;\; \sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n_2=5\,:\,1\,:\,100,$ сравнить t- и z-критерии для неравных дисперсий.

Анализ устойчивости критериев к нарушению предположений

Требуется исследовать поведение указанного критерия в условиях нарушения лежащих в его основе предположений. Оценить мощность и достигаемый уровень значимости критерия при различных значениях параметров, сделать выводы об устойчивости.

Двухвыборочный t-критерий для равных дисперсий, нарушение предположения о равенстве дисперсий.
$X_1^{n_1}, \;\; X_{1} \sim N(0,1),$
$X_2^{n_2}, \;\; X_{2} \sim N(\mu,\sigma^2);$
$H_0\,:\; \mathbb{E}X_{1} = \mathbb{E}X_{2},$
$H_1\,:\; \mathbb{E}X_{1} \neq \mathbb{E}X_{2}.$

Молчанова Юлия: $\mu=1, \;\; \sigma=0.5\,:\,0.01\,:\,2, \;\; n_1=5\,:\,1\,:\,100, \;\; n_2 = 30.$

Оспанов Аят: $\mu = 0\,:\,0.01\,:\,2, \;\; \sigma=0.5\,:\,0.01\,:\,2, \;\; n_1=20, \;\; n_2 = 30.$

Одновыборочный t-критерий, нарушение предположения о нормальности.
$X^n, \;\; X \sim p\cdot N(\mu,\sigma^2)+ \left(1-p\right)\cdot F;$
$H_0\,:\; \mathbb{E}X=0$
$H_1\,:\; \mathbb{E}X\neq0;$
$\mu=0\,:\,0.01\,:\,2, \;\; n=30.$

Панкратов Антон: $F = U\left[-\sqrt{3}+\mu, \sqrt{3}+\mu\right]$ — непрерывное равномерное распределение; $\sigma=2, \;\; p=0\,:\,0.01\,:\,1.$

Полякова Нина: $F = C\left(\mu,1\right)$ — распределение Коши с коэффициентом сдвига $\mu$ и коэффициентом масштаба $1; \;\; \sigma=1, \;\; p=0\,:\,0.01\,:\,1.$

Рысьмятова Анастасия: $F = U\left[-a+\mu, a+\mu\right]$ — непрерывное равномерное распределение; $\sigma=1, \;\; p=0.7, \;\; a=0.1\,:\,0.05\,:\,5.$

Одновыборочный критерий хи-квадрат для гипотезы о дисперсии, нарушение предположения о нормальности.
$X^n, \;\; X \sim p\cdot N(0,\sigma^2)+ \left(1-p\right)\cdot F;$
$H_0\,:\; \mathbb{D}X=\sigma_0^2$
$H_1\,:\; \mathbb{D}X\neq\sigma_0^2;$
$p=0\,:\,0.01\,:\,1, \;\; n=50.$

Стёпина Александра: $F = St(3)$ — распределение Стьюдента с тремя степенями свободы; $\sigma_0^2 = 3, \;\; \sigma^2=1.5\,:\,0.05\,:\,6.$

Тлеубаев Адиль: $F = U\left[-\sqrt{3}, \sqrt{3}\right]$ — непрерывное равномерное распределение; $\sigma_0 = 1, \;\; \sigma=0.5\,:\,0.01\,:\,2.$

Чабаненко Владислав: $F = \chi^2_2 - 2,$ — сдвинутое на 2 распределение хи-квадрат с 2 степенями свободы; $\sigma_0 = 2, \;\; \sigma=1\,:\,0.02\,:\,4.$

Критерий Фишера для проверки равенства дисперсий, нарушение предположения о нормальности.
$X_1^{n_1}, \;\; X_{1} \sim p_1\cdot N(0,\sigma_1^2)+ \left(1-p_1\right)\cdot F_1,$
$X_2^{n_2},\;\; X_{2} \sim p_2\cdot N(0,\sigma_2^2)+ \left(1-p_2\right)\cdot F_2;$
$H_0\,:\, \mathbb{D}X_{1} = \mathbb{D}X_{2},$
$H_1\,:\, \mathbb{D}X_{1} \neq \mathbb{D}X_{2}.$

Чиркова Надежда: $F_1 = U\left[-\sqrt{3}, \sqrt{3}\right]$ — непрерывное равномерное распределение; $\sigma_1=1, \;\; \sigma_2=0.2\,:\,0.01\,:\,2, \;\; p_1=0.7, \;\; p_2 = 1, \;\; n_1=5\,:\,1\,:\,100, \;\; n_2=30.$

Шаповалов Никита: $F_1 = U\left[-\sqrt{3}, \sqrt{3}\right], \;\; F_2 = U\left[-\sigma_2\sqrt{3}, \sigma_2\sqrt{3}\right]$ — непрерывные равномерные распределения; $\sigma_1=1, \;\; \sigma_2=0.2\,:\,0.01\,:\,2, \;\; p_1= 1 - p_2=0\,:\,0.01\,:\,1, \;\; n_1=n_2=50.$

Новиков Михаил: $F_1 = St(3)$ — распределение Стьюдента с тремя степенью свободы; $\sigma_1^2=3, \;\; \sigma_2^2=1.5\,:\,0.05\,:\,6, \;\; p_1=0\,:\,0.01\,:\,1, \;\; p_2 = 1, \;\; n_1=n_2=30.$

Копин Борис: $F_1 = F_2 = U\left[-3, 3\right]$ — непрерывное равномерное распределение; $\sigma_1=1, \;\; \sigma_2=0.5\,:\,0.01\,:\,2, \;\; p_1=p_2 = 0\,:\,0.01\,:\,1, \;\; n_1=n_2=50.$