Статистический анализ данных (курс лекций, К.В.Воронцов)/2015/1

Материал из MachineLearning.

Версия от 21:31, 24 февраля 2015; Riabenko (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Ниже под обозначением $X^n, \;\; X_i \sim p\cdot N(\mu,\sigma^2)+ \left(1-p\right)\cdot F$ понимается выборка объёма $n$ из смеси нормального распределения $N(\mu,\sigma^2)$ и распределения $F$ с весами $p$ и $1-p$ соответственно (при генерации каждой выборки используется случайный датчик — если его значение не превосходит $p$ , то добавляем в выборку элемент, взятый из нормального распределения, иначе — элемент, взятый из распределения F).

Анализ поведения схожих критериев

Требуется исследовать поведение указанной пары статистических критериев, подходящих для решения одной и той же задачи, сравнить мощность и достигаемые уровни значимости и сделать выводы о границах применимости критериев. Необходимо для каждого из критериев построить графики зависимости достигаемых уровней значимости и оценок мощностей от параметров, и показать, в каких областях изменения параметров предпочтительнее использовать тот или иной критерий. Для получения более гладких графиков рекомендуется применять оба критерия к одним и тем же выборкам, а не генерировать их отдельно для каждого критерия.

$X^n, \;\; X\sim Ber(p);$
$H_0\,:\, p=p_0,$
$H_1\,:\, p\neq p_0;$
$p=0.01\,:\,0.01\,:\,0.5, \;\; n=5\,:\,1\,:\,70.$

Сендерович: $p_0=\frac1{2}$ , сравнить z-критерии в версиях Вальда и множителей Лагранжа.

Лисяной: $p_0=\frac1{4}$ , сравнить z-критерий (в версии множителей Лагранжа) и точный критерий.

$X_1^{n_1}, \;\; X_{1} \sim N(\mu_1, \sigma_1^2),\;\;X_2^{n_2}, \;\; X_{2} \sim N(\mu_2, \sigma_2^2);$
$H_0\,:$ средние равны,
$\;H_1\,:$ средние не равны;
$n_1=25, \;\; \mu_1=0, \;\; \sigma_1=1.$

Колмаков: $\mu_2=0\,:\,0.01\,:\,2, \;\; \sigma_2 = 2, \;\; n_2=5\,:\,1\,:\,70.$ Сравнить версии t-критерия для неизвестных равных и неизвестных неравных дисперсий.

Шапулин: $\mu_2=0.5, \;\; \sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n_2=5\,:\,1\,:\,70.$ Сравнить t-критерий для неизвестных неравных дисперсий и z-критерий для известных неравных дисперсий.

Тюрин: $\mu_2=0\,:\,0.01\,:\,2, \;\; \sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n_2=50.$ Сравнить t-критерий для неизвестных неравных дисперсий и критерий Манна-Уитни-Уилкоксона.

Анализ устойчивости критериев к нарушению предположений

Требуется исследовать поведение указанного критерия в условиях нарушения лежащих в его основе предположений. Оценить мощность и достигаемый уровень значимости критерия при различных значениях параметров, сделать выводы об устойчивости.

Одновыборочный t-критерий, нарушение предположения о нормальности.
$X^n, \;\; X \sim p\cdot N(\mu,1)+ \left(1-p\right)\cdot F;$
$H_0\,:\; \mathbb{E}X=0$
$H_1\,:\; \mathbb{E}X\neq0.$

$F = U\left[-2+\mu, 2+\mu\right]$ — непрерывное равномерное распределение на $\left[-2+\mu,2+\mu\right]; \;\;\mu=0\,:\,0.01\,:\,2, \;\; p=0\,:\,0.01\,:\,1, \;\; n=30.$

$F = C\left(\mu,2\right)$ — распределение Коши с коэффициентом сдвига $\mu$ и коэффициентом масштаба $2; \;\; \mu=0\,:\,0.01\,:\,2, \;\; p=0\,:\,0.01\,:\,1, \;\; n=50.$

Двухвыборочный t-критерий, нарушение предположения о равенстве дисперсий.
$X_1^{n_1}, \;\; X_{1} \sim N(0,1), \;\; X_2^{n_2}, \;\; X_{2} \sim N(\mu,\sigma^2);$
$H_0\,:\; \mathbb{E}X_{1} = \mathbb{E}X_{2},$
$H_1\,:\; \mathbb{E}X_{1} \neq \mathbb{E}X_{2}.$