Статистический анализ данных (курс лекций, К.В.Воронцов)/2014, ФУПМ
Материал из MachineLearning.
|
Оценки
Студент | №1 (1 б.) | №2 (1 б.) | №3 (2 б.) | Рецензирование №3 (1 б.) | №4 (2 б.) | Рецензирование №4 (1 б.) | Дополнительно | |
---|---|---|---|---|---|---|---|---|
Старожилец Всеволод | ||||||||
Вялый Евгений | ||||||||
Гончаров Фёдор | ||||||||
Каледин Станислав | ||||||||
Капаев Евгений | ||||||||
Коновалов Андрей | ||||||||
Кузнецов Роман | ||||||||
Петров Михаил | ||||||||
Хрипко Кирилл | ||||||||
Шепелев Денис | ||||||||
Вдовина Евгения | ||||||||
Воронов Сергей | ||||||||
Гринчук Олег | ||||||||
Катруца Александр | ||||||||
Кащеева Мария | ||||||||
Костин Александр | ||||||||
Неклюдов Кирилл | 2 | 2 | ||||||
Перекрестенко Дмитрий | ||||||||
Пушняков Алексей | ||||||||
Рыскина Мария | ||||||||
Яшков Даниил | ||||||||
Бескровный Александр | ||||||||
Поляков Сергей | ||||||||
Соколова Евгения | ||||||||
Харченко Наталья | ||||||||
Балицкий Алексей | ||||||||
Довгаль Сергей | ||||||||
Трофимов Михаил | ||||||||
Папанов Артём | ||||||||
Мангатаев Доржи |
- Задание считается сданным на момент получения проверяющим письма с отчётом (и кодом, если это указано в задании), при условии отсутствия необходимости внесения дополнений и исправлений.
- Штраф за просрочку сдачи заданий начисляется из расчета 0.1 балла за сутки.
- Для получения зачёта необходимо сдать как минимум два задания: хотя бы одно из первых двух и хотя бы одно из последних двух.
- Балл за рецензирование можно получить только при условии сдачи соответствующего задания.
- Способы получения дополнительных баллов:
- cертификат по курсу Statistical Learning: https://class.stanford.edu/courses/HumanitiesScience/StatLearning/Winter2014/about (первый дедлайн — 21.03) — 2 балла;
- доклад на занятии — 2 балла.
Задание 1. Исследование свойств одномерных статистических критериев на модельных данных
Необходимо провести исследование одного или нескольких классических критериев проверки статистических гипотез. Интерес представляет поведение достигаемого уровня значимости (p-value) как функции размера выборок и параметров распределения. В соответствии с индивидуальными параметрами задания необходимо указанным способом сгенерировать одну или несколько выборок из заданного распределения, выполнить проверку гипотезы при помощи соответствующего критерия, а затем многократно повторить эту процедуру для различных значений параметров. По результатам расчётов необходимо построить требуемые в задании графики, среди которых могут быть следующие:
- график зависимости достигаемого уровня значимости от значений параметров при однократном проведении эксперимента;
- график зависимости достигаемого уровня значимости одного или двух критериев от значений параметров, усреднённого по большому количеству повторений эксперимента (например, по 1000 повторений);
- график с эмпирическими оценками мощности одного или двух критериев для разных значений параметров.
В качестве оценки мощности принимается доля отвержений нулевой гипотезы среди всех проверок. То есть, если эксперимент повторялся раз для каждого набора значений параметров, и в из случаев гипотеза была отвергнута на некотором фиксированном уровне значимости (примем ), оценкой мощности будет отношение
Необходимо сдать: выполненный в Tex или Microsoft Word отчёт с описанием алгоритма, построенными графиками и выводами (объяснение полученных результатов моделирования, границы применимости критерия и т. д.), а также код на R, Матлабе или Питоне, при запуске которого на экран выводятся графики, соответствующие имеющимся в отчёте.
Задание принимается до 23:59 01.03.
Пример задания: чувствительность двухвыборочного критерия Стьюдента.
Задания
Анализ поведения схожих критериев
Требуется исследовать поведение указанной пары статистических критериев, подходящих для решения одной и той же задачи, сравнить мощность и достигаемые уровни значимости и сделать выводы о границах применимости критериев. Необходимо для каждого из критериев построить графики зависимости достигаемых уровней значимости и оценок мощностей от параметров, и показать, в каких областях изменения параметров предпочтительнее использовать тот или иной критерий. Для получения более гладких графиков рекомендуется применять оба критерия к одним и тем же выборкам, а не генерировать их отдельно для каждого критерия.
- сравнить z-критерий и точный критерий для доли.
- сравнить критерии, основанные на доверительных интервалах Вальда и Уилсона (нулевая гипотеза отвергается на уровне значимости 5%, если 95% доверительный интервал для параметра не содержит ).
-
среднее значение равно нулю, среднее значение не равно нулю;
- сравнить одновыборочные t- и z-критерии.
- сравнить одновыборочный t-критерий и критерий знаковых рангов Уилкоксона.
-
дисперсии выборок равны, дисперсии выборок не равны;
- Сравнить критерий Фишера и WM-критерий.
- Сравнить WM-критерий и критерий Зигеля-Тьюки.
- — выборка длины из смеси стандартного нормального и равномерного распределений с весами и соответственно (при генерации выборки используется случайный датчик — если его значение не превосходит , то добавляем в выборку элемент, взятый из нормального распределения, иначе — элемент, взятый из равномерного).
неверна;
- Сравнить критерий Шапиро-Уилка и критерий Колмогорова-Смирнова.
- Сравнить критерий омега-квадрат и критерий Жарка-Бера.
- Сравнить критерий Колмогорова-Смирнова и критерий хи-квадрат.
Анализ устойчивости критериев к нарушению предположений
Требуется исследовать поведение указанного критерия в условиях нарушения лежащих в его основе предположений. Оценить мощность и достигаемый уровень значимости критерия при различных значениях параметров, сделать выводы об устойчивости.
- Одновыборочный критерий Стьюдента, нарушение предположения о нормальности.
— выборка длины из смеси нормального и равномерного распределений с весами и соответственно (при генерации каждой выборки используется случайный датчик — если его значение не превосходит , то добавляем в выборку элемент, взятый из нормального распределения, иначе — элемент, взятый из равномерного).
- Критерий Фишера для проверки равенства дисперсий, нарушение предположения о нормальности.
— выборка длины из смеси нормального и равномерного распределений с весами и соответственно (при генерации выборки используется случайный датчик — если его значение не превосходит , то добавляем в выборку элемент, взятый из нормального распределения, иначе — элемент, взятый из равномерного),
— аналогичная выборка,
дисперсии двух выборок равны, дисперсии двух выборок не равны;
- Критерий Зигеля-Тьюки, нарушение предположения о равенстве медиан.