Статистический анализ данных (курс лекций, К.В.Воронцов)/2014, ФУПМ

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
м (→Задания)
(→Оценки)
Строка 55: Строка 55:
|-
|-
|| Мангатаев Доржи || || || || || || || ||
|| Мангатаев Доржи || || || || || || || ||
 +
|-
 +
|| Кащеева Мария || || || || || || || ||
|}
|}
* Задание считается сданным на момент получения проверяющим письма с отчётом (и кодом, если это указано в задании), при условии отсутствия необходимости внесения дополнений и исправлений.
* Задание считается сданным на момент получения проверяющим письма с отчётом (и кодом, если это указано в задании), при условии отсутствия необходимости внесения дополнений и исправлений.

Версия 17:14, 23 февраля 2014

Содержание

Оценки

Студент №1 (1 б.) №2 (1 б.) №3 (2 б.) Рецензирование №3 (1 б.) №4 (2 б.) Рецензирование №4 (1 б.) Дополнительно \sum
Старожилец Всеволод
Вялый Евгений
Гончаров Фёдор
Капаев Евгений
Коновалов Андрей
Кузнецов Роман
Петров Михаил
Хрипко Кирилл
Шепелев Денис
Вдовина Евгения
Воронов Сергей
Гринчук Олег
Катруца Александр
Костин Александр
Неклюдов Кирилл
Перекрестенко Дмитрий
Пушняков Алексей
Рыскина Мария
Бескровный Александр
Поляков Сергей
Соколова Евгения
Харченко Наталья
Балицкий Алексей
Довгаль Сергей
Трофимов Михаил
Мангатаев Доржи
Кащеева Мария
  • Задание считается сданным на момент получения проверяющим письма с отчётом (и кодом, если это указано в задании), при условии отсутствия необходимости внесения дополнений и исправлений.
  • Штраф за просрочку сдачи заданий начисляется из расчета 0.1 балла за сутки.
  • Для получения зачёта необходимо сдать как минимум два задания: хотя бы одно из первых двух и хотя бы одно из последних двух.
  • Балл за рецензирование можно получить только при условии сдачи соответствующего задания.
  • Способы получения дополнительных баллов:

Задание 1. Исследование свойств одномерных статистических критериев на модельных данных

Необходимо провести исследование одного или нескольких классических критериев проверки статистических гипотез. Интерес представляет поведение достигаемого уровня значимости (p-value) как функции размера выборок и параметров распределения. В соответствии с индивидуальными параметрами задания необходимо указанным способом сгенерировать одну или несколько выборок из заданного распределения, выполнить проверку гипотезы при помощи соответствующего критерия, а затем многократно повторить эту процедуру для различных значений параметров. По результатам расчётов необходимо построить требуемые в задании графики, среди которых могут быть следующие:

  1. график зависимости достигаемого уровня значимости от значений параметров при однократном проведении эксперимента;
  2. график зависимости достигаемого уровня значимости одного или двух критериев от значений параметров, усреднённого по большому количеству повторений эксперимента (например, по 1000 повторений);
  3. график с эмпирическими оценками мощности одного или двух критериев для разных значений параметров.

В качестве оценки мощности принимается доля отвержений нулевой гипотезы среди всех проверок. То есть, если эксперимент повторялся k раз для каждого набора значений параметров, и в m из k случаев гипотеза была отвергнута на некотором фиксированном уровне значимости \alpha (примем \alpha=0.05), оценкой мощности будет отношение m/k.

Необходимо сдать: выполненный в Tex или Microsoft Word отчёт с описанием алгоритма, построенными графиками и выводами (объяснение полученных результатов моделирования, границы применимости критерия и т. д.), а также код на R, Матлабе или Питоне, при запуске которого на экран выводятся графики, соответствующие имеющимся в отчёте.

Задание принимается до 23:59 01.03.

Пример задания: чувствительность двухвыборочного критерия Стьюдента.

Задания

Анализ поведения схожих критериев

Требуется исследовать поведение указанной пары статистических критериев, подходящих для решения одной и той же задачи, сравнить мощность и достигаемые уровни значимости и сделать выводы о границах применимости критериев. Необходимо для каждого из критериев построить графики зависимости достигаемых уровней значимости и оценок мощностей от параметров, и показать, в каких областях изменения параметров предпочтительнее использовать тот или иной критерий. Для получения более гладких графиков рекомендуется применять оба критерия к одним и тем же выборкам, а не генерировать их отдельно для каждого критерия.

  • X^n, \;\; X_i\sim Ber(p);
    H_0\,:\, p=\frac{1}{2}, \;\; H_1\,:\, p\neq\frac{1}{2};
    p=0.01\,:\,0.01\,:\,0.99, \;\; n=5\,:\,1\,:\,50.
сравнить z-критерий и точный критерий для доли.
сравнить критерии, основанные на доверительных интервалах Вальда и Уилсона (нулевая гипотеза отвергается на уровне значимости 5%, если 95% доверительный интервал для параметра не содержит \frac{1}{2}).
  • X^n, \;\; X_i\sim N(\mu,\sigma);
    H_0\,: среднее значение X равно нулю, H_1\,: среднее значение X не равно нулю;
    \mu=-2\,:\,0.01\,:\,2, \;\; \sigma=1, \;\; n=5\,:\,1\,:\,50.
сравнить одновыборочные t- и z-критерии.
сравнить одновыборочный t-критерий и критерий знаковых рангов Уилкоксона.
  • X_1^n, \;\; X_{1i} \sim N(\mu_1, \sigma_1^2),\;\;X_2^m, \;\; X_{2i} \sim N(\mu_2, \sigma_2^2);
    H_0\,: дисперсии выборок равны, H_1\,: дисперсии выборок не равны;
    \mu_1=0, \;\; \sigma_1=1.
\mu_2=0, \;\; \sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n=m=5\,:\,1\,:\,50. Сравнить критерий Фишера и WM-критерий.
\mu_2=-5\,:\,0.05\,:\,5, \;\; \sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n=m=50. Сравнить WM-критерий и критерий Зигеля-Тьюки.
  • X^n, \;\; X_i \sim p\cdot N(0,1)+ \left(1-p\right)\cdot U\left[-a,a\right] — выборка длины n из смеси стандартного нормального N(0,1) и равномерного U\left[-a,a\right] распределений с весами p и 1-p соответственно (при генерации выборки используется случайный датчик — если его значение не превосходит p, то добавляем в выборку элемент, взятый из нормального распределения, иначе — элемент, взятый из равномерного).
    H_0\,:\; X_i \sim N, \;\;\; H_1\,:\; H_0 неверна;
    n=10\,:\,5\,:\,100.
a=1, \;\; p=0\,:\,0.02\,:\,1. Сравнить критерий Шапиро-Уилка и критерий Колмогорова-Смирнова.
a=2, \;\; p=0\,:\,0.02\,:\,1. Сравнить критерий омега-квадрат и критерий Жарка-Бера.
a=0.5\,:\,0.1\,:\,5, \;\; p=0.25. Сравнить критерий Колмогорова-Смирнова и критерий хи-квадрат.

Анализ устойчивости критериев к нарушению предположений

Требуется исследовать поведение указанного критерия в условиях нарушения лежащих в его основе предположений. Оценить мощность и достигаемый уровень значимости критерия при различных значениях параметров, сделать выводы об устойчивости.

X^n, \;\; X_i \sim p\cdot N(\mu,1)+ \left(1-p\right)\cdot U\left[-a+\mu,a+\mu\right] — выборка длины n из смеси нормального N(\mu,1) и равномерного U\left[-a+\mu,a+\mu\right] распределений с весами p и 1-p соответственно (при генерации каждой выборки используется случайный датчик — если его значение не превосходит p, то добавляем в выборку элемент, взятый из нормального распределения, иначе — элемент, взятый из равномерного).
H_0\,:\; \mu=0, \;\; H_1\,:\; \mu\neq0.

\mu=-2\,:\,0.01\,:\,2, \;\; p=0.8, \;\; a=1, \;\; n=15\,:\,5\,:\,200.
\mu=1, \;\; p=0\,:\,0.01\,:\,1, \;\; a=2, \;\; n=15\,:\,5\,:\,200.
\mu=-2\,:\,0.01\,:\,2, \;\; p=0\,:\,0.01\,:\,1, \;\; a=1, \;\; n=150.
\mu=0.5, \;\; p=0\,:\,0.01\,:\,1, \;\; a=0.1\,:\,0.1\,:\,5, \;\; n=100.
  • Критерий Фишера для проверки равенства дисперсий, нарушение предположения о нормальности.

X_1^n, \;\; X_{1i} \sim p_1\cdot N(0,\sigma_1^2)+ \left(1-p_1\right)\cdot U\left[-a,a\right] — выборка длины n из смеси нормального N(0,\sigma_1^2) и равномерного U[-a,a] распределений с весами p_1 и 1-p_1 соответственно (при генерации выборки используется случайный датчик — если его значение не превосходит p_1, то добавляем в выборку элемент, взятый из нормального распределения, иначе — элемент, взятый из равномерного),
X_2^n,\;\; X_{2i} \sim p_2\cdot N(0,\sigma_2^2)+ \left(1-p_2\right)\cdot U\left[-a,a\right] — аналогичная выборка,
H_0\,: дисперсии двух выборок равны, \;H_1\,: дисперсии двух выборок не равны;
\sigma_1=2, \;\; \sigma_2=0.1\,:\,0.05\,:\,4.

p_1=p_2=0.8, \;\; a=2, \;\; n=15\,:\,5\,:\,200.
p_1=p_2=0\,:\,0.01\,:\,1, \;\; a=3, \;\; n=100.

x^n, \;\; x \sim N(0,1), \;\; y^n, \;\; y \sim N(\mu,\sigma^2);
H_0\,:\; var(x)=var(y), \;\; H_1\,:\; var(x)\neq var(y).

\mu=0\,:\,0.02\,:\,2, \;\; \sigma=0.1\,:\,0.05\,:\,2, \;\; n=50.
\mu=2, \;\; \sigma=0.1\,:\,0.05\,:\,2, \;\; n=15\,:\,5\,:\,200.

Анализ корректности двухэтапных процедур проверки гипотез

Ссылки

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%A1%D1%82%D0%B0%D1%82%D0%B8%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%2C_%D0%9A.%D0%92.%D0%92%D0%BE%D1%80%D0%BE%D0%BD%D1%86%D0%BE%D0%B2%29/2014%2C_%D0%A4%D0%A3%D0%9F%D0%9C»
Личные инструменты