Статистический анализ данных (курс лекций, К.В.Воронцов)/2014, ФУПМ
Материал из MachineLearning.
м (→Оценки) |
м (→Задания) |
||
Строка 83: | Строка 83: | ||
=== Анализ поведения схожих критериев === | === Анализ поведения схожих критериев === | ||
Требуется исследовать поведение указанной пары статистических критериев, подходящих для решения одной и той же задачи, сравнить мощность и достигаемые уровни значимости и сделать выводы о границах применимости критериев. Необходимо для каждого из критериев построить графики зависимости достигаемых уровней значимости и оценок мощностей от параметров, и показать, в каких областях изменения параметров предпочтительнее использовать тот или иной критерий. Для получения более гладких графиков рекомендуется применять оба критерия к одним и тем же выборкам, а не генерировать их отдельно для каждого критерия. | Требуется исследовать поведение указанной пары статистических критериев, подходящих для решения одной и той же задачи, сравнить мощность и достигаемые уровни значимости и сделать выводы о границах применимости критериев. Необходимо для каждого из критериев построить графики зависимости достигаемых уровней значимости и оценок мощностей от параметров, и показать, в каких областях изменения параметров предпочтительнее использовать тот или иной критерий. Для получения более гладких графиков рекомендуется применять оба критерия к одним и тем же выборкам, а не генерировать их отдельно для каждого критерия. | ||
+ | |||
+ | * <tex>X^n, \;\; X_i\sim Ber(p); </tex><br> <tex>H_0\,:\, p=\frac{1}{2}, \;\; H_1\,:\, p\neq\frac{1}{2};</tex><br> <tex>p=0.01\,:\,0.01\,:\,0.99, \;\; n=5\,:\,1\,:\,50.</tex> | ||
+ | ::: сравнить z-критерий и точный критерий для доли. | ||
+ | ::: сравнить критерии, основанные на доверительных интервалах Вальда и Уилсона (нулевая гипотеза отвергается на уровне значимости 5%, если 95% доверительный интервал для параметра не содержит <tex>\frac{1}{2}</tex>). | ||
+ | |||
+ | * <tex>X^n, \;\; X_i\sim N(\mu,\sigma); </tex><br> <tex>H_0\,:</tex> среднее значение <tex>X</tex> равно нулю, <tex>H_1\,:</tex> среднее значение <tex>X</tex> не равно нулю; <br> <tex>\mu=-2\,:\,0.01\,:\,2, \;\; \sigma=1, \;\; n=5\,:\,1\,:\,50.</tex> | ||
+ | ::: сравнить одновыборочные t- и z-критерии. | ||
+ | ::: сравнить одновыборочный t-критерий и критерий знаковых рангов Уилкоксона. | ||
+ | * <tex>X_1^n, \;\; X_{1i} \sim N(\mu_1, \sigma_1^2),\;\;X_2^m, \;\; X_{2i} \sim N(\mu_2, \sigma_2^2);</tex> <br> <tex>H_0\,:</tex> дисперсии выборок равны, <tex>H_1\,:</tex> дисперсии выборок не равны;<br><tex>\mu_1=0, \;\; \sigma_1=1.</tex> | ||
+ | ::: <tex>\mu_2=0, \;\; \sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n=m=5\,:\,1\,:\,50.</tex> Сравнить [[критерий Фишера]] и [[WM-критерий]]. | ||
+ | ::: <tex>\mu_2=-5\,:\,0.05\,:\,5, \;\; \sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n=m=50.</tex> Сравнить [[WM-критерий]] и [[критерий Зигеля-Тьюки]]. | ||
+ | |||
+ | * <tex>X^n, \;\; X_i \sim p\cdot N(0,1)+ \left(1-p\right)\cdot U\left[-a,a\right]</tex> — выборка длины <tex>n</tex> из смеси стандартного нормального <tex>N(0,1)</tex> и равномерного <tex>U\left[-a,a\right]</tex> распределений с весами <tex>p</tex> и <tex>1-p</tex> соответственно (при генерации выборки используется случайный датчик — если его значение не превосходит <tex>p</tex>, то добавляем в выборку элемент, взятый из нормального распределения, иначе — элемент, взятый из равномерного). <br> <tex> H_0\,:\; X_i \sim N, \;\;\; H_1\,:\; H_0 </tex> неверна; <br> <tex>n=10\,:\,5\,:\,100.</tex> | ||
+ | ::: <tex>a=1, \;\; p=0\,:\,0.02\,:\,1.</tex> Сравнить [[критерий Шапиро-Уилка]] и [[критерий Колмогорова-Смирнова]]. | ||
+ | ::: <tex>a=2, \;\; p=0\,:\,0.02\,:\,1.</tex> Сравнить [[критерий омега-квадрат]] и [[критерий Жарка-Бера]]. | ||
+ | ::: <tex>a=0.5\,:\,0.1\,:\,5, \;\; p=0.25.</tex> Сравнить [[критерий Колмогорова-Смирнова]] и [[критерий хи-квадрат]]. | ||
=== Анализ устойчивости критериев к нарушению предположений === | === Анализ устойчивости критериев к нарушению предположений === | ||
Требуется исследовать поведение указанного критерия в условиях нарушения лежащих в его основе предположений. Оценить мощность и достигаемый уровень значимости критерия при различных значениях параметров, сделать выводы об устойчивости. | Требуется исследовать поведение указанного критерия в условиях нарушения лежащих в его основе предположений. Оценить мощность и достигаемый уровень значимости критерия при различных значениях параметров, сделать выводы об устойчивости. | ||
+ | |||
+ | * Одновыборочный [[критерий Стьюдента]], нарушение предположения о нормальности. | ||
+ | <tex>X^n, \;\; X_i \sim p\cdot N(\mu,1)+ \left(1-p\right)\cdot U\left[-a+\mu,a+\mu\right]</tex> — выборка длины <tex>n</tex> из смеси нормального <tex>N(\mu,1)</tex> и равномерного <tex>U\left[-a+\mu,a+\mu\right]</tex> распределений с весами <tex>p</tex> и <tex>1-p</tex> соответственно (при генерации каждой выборки используется случайный датчик — если его значение не превосходит <tex>p</tex>, то добавляем в выборку элемент, взятый из нормального распределения, иначе — элемент, взятый из равномерного). <br> | ||
+ | <tex>H_0\,:\; \mu=0, \;\; H_1\,:\; \mu\neq0.</tex> <br> | ||
+ | ::: <tex>\mu=-2\,:\,0.01\,:\,2, \;\; p=0.8, \;\; a=1, \;\; n=15\,:\,5\,:\,200.</tex> | ||
+ | ::: <tex>\mu=1, \;\; p=0\,:\,0.01\,:\,1, \;\; a=2, \;\; n=15\,:\,5\,:\,200.</tex> | ||
+ | ::: <tex>\mu=-2\,:\,0.01\,:\,2, \;\; p=0\,:\,0.01\,:\,1, \;\; a=1, \;\; n=150.</tex> | ||
+ | ::: <tex>\mu=0.5, \;\; p=0\,:\,0.01\,:\,1, \;\; a=0.1\,:\,0.1\,:\,5, \;\; n=100.</tex> | ||
+ | |||
+ | * [[Критерий Фишера]] для проверки равенства дисперсий, нарушение предположения о нормальности. | ||
+ | <tex>X_1^n, \;\; X_{1i} \sim p_1\cdot N(0,\sigma_1^2)+ \left(1-p_1\right)\cdot U\left[-a,a\right]</tex> — выборка длины <tex>n</tex> из смеси нормального <tex>N(0,\sigma_1^2)</tex> и равномерного <tex>U[-a,a]</tex> распределений с весами <tex>p_1</tex> и <tex>1-p_1</tex> соответственно (при генерации выборки используется случайный датчик — если его значение не превосходит <tex>p_1</tex>, то добавляем в выборку элемент, взятый из нормального распределения, иначе — элемент, взятый из равномерного), <br> | ||
+ | <tex>X_2^n,\;\; X_{2i} \sim p_2\cdot N(0,\sigma_2^2)+ \left(1-p_2\right)\cdot U\left[-a,a\right]</tex> — аналогичная выборка,<br> | ||
+ | <tex>H_0\,:</tex> дисперсии двух выборок равны, <tex>\;H_1\,:</tex> дисперсии двух выборок не равны; <br> | ||
+ | <tex>\sigma_1=2, \;\; \sigma_2=0.1\,:\,0.05\,:\,4.</tex> <br> | ||
+ | ::: <tex>p_1=p_2=0.8, \;\; a=2, \;\; n=15\,:\,5\,:\,200.</tex> | ||
+ | ::: <tex>p_1=p_2=0\,:\,0.01\,:\,1, \;\; a=3, \;\; n=100.</tex> | ||
+ | |||
+ | * [[Критерий Зигеля-Тьюки]], нарушение предположения о равенстве медиан. | ||
+ | <tex>x^n, \;\; x \sim N(0,1), \;\; y^n, \;\; y \sim N(\mu,\sigma^2);</tex> <br> <tex>H_0\,:\; var(x)=var(y), \;\; H_1\,:\; var(x)\neq var(y).</tex> | ||
+ | ::: <tex>\mu=0\,:\,0.02\,:\,2, \;\; \sigma=0.1\,:\,0.05\,:\,2, \;\; n=50.</tex> | ||
+ | ::: <tex>\mu=2, \;\; \sigma=0.1\,:\,0.05\,:\,2, \;\; n=15\,:\,5\,:\,200.</tex> | ||
+ | |||
+ | === Анализ корректности двухэтапных процедур проверки гипотез === | ||
= Ссылки = | = Ссылки = |
Версия 12:18, 22 февраля 2014
|
Оценки
Студент | №1 (1 б.) | №2 (1 б.) | №3 (2 б.) | Рецензирование №3 (1 б.) | №4 (2 б.) | Рецензирование №4 (1 б.) | Дополнительно | |
---|---|---|---|---|---|---|---|---|
Старожилец Всеволод | ||||||||
Вялый Евгений | ||||||||
Гончаров Фёдор | ||||||||
Капаев Евгений | ||||||||
Коновалов Андрей | ||||||||
Кузнецов Роман | ||||||||
Петров Михаил | ||||||||
Хрипко Кирилл | ||||||||
Шепелев Денис | ||||||||
Вдовина Евгения | ||||||||
Воронов Сергей | ||||||||
Гринчук Олег | ||||||||
Катруца Александр | ||||||||
Костин Александр | ||||||||
Неклюдов Кирилл | ||||||||
Перекрестенко Дмитрий | ||||||||
Пушняков Алексей | ||||||||
Рыскина Мария | ||||||||
Бескровный Александр | ||||||||
Поляков Сергей | ||||||||
Соколова Евгения | ||||||||
Харченко Наталья | ||||||||
Балицкий Алексей | ||||||||
Довгаль Сергей | ||||||||
Трофимов Михаил | ||||||||
Мангатаев Доржи |
- Задание считается сданным на момент получения проверяющим письма с отчётом (и кодом, если это указано в задании), при условии отсутствия необходимости внесения дополнений и исправлений.
- Штраф за просрочку сдачи заданий начисляется из расчета 0.1 балла за сутки.
- Для получения зачёта необходимо сдать как минимум два задания: хотя бы одно из первых двух и хотя бы одно из последних двух.
- Балл за рецензирование можно получить только при условии сдачи соответствующего задания.
- Способы получения дополнительных баллов:
- cертификат по курсу Statistical Learning: https://class.stanford.edu/courses/HumanitiesScience/StatLearning/Winter2014/about (первый дедлайн — 21.03) — 2 балла;
- доклад на занятии — 2 балла.
Задание 1. Исследование свойств одномерных статистических критериев на модельных данных
Необходимо провести исследование одного или нескольких классических критериев проверки статистических гипотез. Интерес представляет поведение достигаемого уровня значимости (p-value) как функции размера выборок и параметров распределения. В соответствии с индивидуальными параметрами задания необходимо указанным способом сгенерировать одну или несколько выборок из заданного распределения, выполнить проверку гипотезы при помощи соответствующего критерия, а затем многократно повторить эту процедуру для различных значений параметров. По результатам расчётов необходимо построить требуемые в задании графики, среди которых могут быть следующие:
- график зависимости достигаемого уровня значимости от значений параметров при однократном проведении эксперимента;
- график зависимости достигаемого уровня значимости одного или двух критериев от значений параметров, усреднённого по большому количеству повторений эксперимента (например, по 1000 повторений);
- график с эмпирическими оценками мощности одного или двух критериев для разных значений параметров.
В качестве оценки мощности принимается доля отвержений нулевой гипотезы среди всех проверок. То есть, если эксперимент повторялся раз для каждого набора значений параметров, и в из случаев гипотеза была отвергнута на некотором фиксированном уровне значимости (примем ), оценкой мощности будет отношение
Необходимо сдать: выполненный в Tex или Microsoft Word отчёт с описанием алгоритма, построенными графиками и выводами (объяснение полученных результатов моделирования, границы применимости критерия и т. д.), а также код на R, Матлабе или Питоне, при запуске которого на экран выводятся графики, соответствующие имеющимся в отчёте.
Задание принимается до 23:59 01.03.
Пример задания: чувствительность двухвыборочного критерия Стьюдента.
Задания
Анализ поведения схожих критериев
Требуется исследовать поведение указанной пары статистических критериев, подходящих для решения одной и той же задачи, сравнить мощность и достигаемые уровни значимости и сделать выводы о границах применимости критериев. Необходимо для каждого из критериев построить графики зависимости достигаемых уровней значимости и оценок мощностей от параметров, и показать, в каких областях изменения параметров предпочтительнее использовать тот или иной критерий. Для получения более гладких графиков рекомендуется применять оба критерия к одним и тем же выборкам, а не генерировать их отдельно для каждого критерия.
- сравнить z-критерий и точный критерий для доли.
- сравнить критерии, основанные на доверительных интервалах Вальда и Уилсона (нулевая гипотеза отвергается на уровне значимости 5%, если 95% доверительный интервал для параметра не содержит ).
-
среднее значение равно нулю, среднее значение не равно нулю;
- сравнить одновыборочные t- и z-критерии.
- сравнить одновыборочный t-критерий и критерий знаковых рангов Уилкоксона.
-
дисперсии выборок равны, дисперсии выборок не равны;
- Сравнить критерий Фишера и WM-критерий.
- Сравнить WM-критерий и критерий Зигеля-Тьюки.
- — выборка длины из смеси стандартного нормального и равномерного распределений с весами и соответственно (при генерации выборки используется случайный датчик — если его значение не превосходит , то добавляем в выборку элемент, взятый из нормального распределения, иначе — элемент, взятый из равномерного).
неверна;
- Сравнить критерий Шапиро-Уилка и критерий Колмогорова-Смирнова.
- Сравнить критерий омега-квадрат и критерий Жарка-Бера.
- Сравнить критерий Колмогорова-Смирнова и критерий хи-квадрат.
Анализ устойчивости критериев к нарушению предположений
Требуется исследовать поведение указанного критерия в условиях нарушения лежащих в его основе предположений. Оценить мощность и достигаемый уровень значимости критерия при различных значениях параметров, сделать выводы об устойчивости.
- Одновыборочный критерий Стьюдента, нарушение предположения о нормальности.
— выборка длины из смеси нормального и равномерного распределений с весами и соответственно (при генерации каждой выборки используется случайный датчик — если его значение не превосходит , то добавляем в выборку элемент, взятый из нормального распределения, иначе — элемент, взятый из равномерного).
- Критерий Фишера для проверки равенства дисперсий, нарушение предположения о нормальности.
— выборка длины из смеси нормального и равномерного распределений с весами и соответственно (при генерации выборки используется случайный датчик — если его значение не превосходит , то добавляем в выборку элемент, взятый из нормального распределения, иначе — элемент, взятый из равномерного),
— аналогичная выборка,
дисперсии двух выборок равны, дисперсии двух выборок не равны;
- Критерий Зигеля-Тьюки, нарушение предположения о равенстве медиан.