Участник:Riabenko/tmp
Материал из MachineLearning.
м (Полностью удалено содержимое страницы) |
м |
||
Строка 1: | Строка 1: | ||
+ | Ниже под обозначением <tex>X^n, \;\; X_i \sim p\cdot N(\mu,\sigma^2)+ \left(1-p\right)\cdot U\left[-a,b\right]</tex> понимается выборка объёма <tex>n</tex> из смеси нормального <tex>N(\mu,\sigma^2)</tex> и равномерного <tex>U\left[-a,b\right]</tex> распределений с весами <tex>p</tex> и <tex>1-p</tex> соответственно (при генерации каждой выборки используется случайный датчик — если его значение не превосходит <tex>p</tex>, то добавляем в выборку элемент, взятый из нормального распределения, иначе — элемент, взятый из равномерного). | ||
+ | = Анализ поведения схожих критериев = | ||
+ | Требуется исследовать поведение указанной пары статистических критериев, подходящих для решения одной и той же задачи, сравнить мощность и достигаемые уровни значимости и сделать выводы о границах применимости критериев. Необходимо для каждого из критериев построить графики зависимости достигаемых уровней значимости и оценок мощностей от параметров, и показать, в каких областях изменения параметров предпочтительнее использовать тот или иной критерий. Для получения более гладких графиков рекомендуется применять оба критерия к одним и тем же выборкам, а не генерировать их отдельно для каждого критерия. | ||
+ | * <tex>X^n, \;\; X_i\sim Ber(p); </tex><br> <tex>H_0\,:\, p=\frac{1}{2},</tex><br> <tex>H_1\,:\, p\neq\frac{1}{2};</tex><br> <tex>p=0.01\,:\,0.01\,:\,0.99, \;\; n=5\,:\,1\,:\,50.</tex> | ||
+ | ::Старожилец: сравнить z-критерий и точный критерий для доли. | ||
+ | ::Вялый: сравнить критерии, основанные на доверительных интервалах Вальда и Уилсона (нулевая гипотеза отвергается на уровне значимости 5%, если 95% доверительный интервал для параметра не содержит <tex>\frac{1}{2}</tex>). | ||
+ | |||
+ | * <tex>X^n, \;\; X_i\sim N(\mu,\sigma); </tex><br> <tex>H_0\,:</tex> среднее значение <tex>X</tex> равно нулю,<br> <tex>H_1\,:</tex> среднее значение <tex>X</tex> не равно нулю;<br> <tex>\mu=-2\,:\,0.01\,:\,2, \;\; \sigma=1, \;\; n=5\,:\,1\,:\,50.</tex> | ||
+ | ::Гончаров: сравнить одновыборочные t- и z-критерии. | ||
+ | ::Каледин: сравнить одновыборочный [[критерий Стьюдента|t-критерий]] и критерий знаковых рангов Уилкоксона. | ||
+ | ::Капаев: сравнить одновыборочный перестановочный критерий и критерий знаковых рангов Уилкоксона. | ||
+ | |||
+ | * <tex>X_1^n, \;\; X_{1i} \sim N(\mu_1, \sigma_1^2),\;\;X_2^n, \;\; X_{2i} \sim N(\mu_2, \sigma_2^2);</tex> <br> <tex>H_0\,:\, \mathbb{D}X_{1i} = \mathbb{D}X_{2i},</tex> <br> <tex>H_1\,:\, \mathbb{D}X_{1i} \neq \mathbb{D}X_{2i};</tex> <br> <tex>\mu_1=0, \;\; \sigma_1=1.</tex> | ||
+ | ::Коновалов: <tex>\mu_2=0, \;\; \sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n=5\,:\,1\,:\,50.</tex> Сравнить [[критерий Фишера]] и [[WM-критерий]]. | ||
+ | ::Кузнецов: <tex>\mu_2=0\,:\,0.05\,:\,5, \;\; \sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n=50.</tex> Сравнить [[WM-критерий]] и [[критерий Зигеля-Тьюки]]. | ||
+ | ::Петров: <tex>\mu_2=0\,:\,0.05\,:\,5, \;\; \sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n=20.</tex> Сравнить [[критерий Фишера]] и [[критерий Зигеля-Тьюки]]. | ||
+ | |||
+ | * <tex>X^n, \;\; X_i \sim p\cdot N(0,1)+ \left(1-p\right)\cdot U\left[-a,a\right];</tex> <br> <tex> H_0\,:\; X_i \sim N,</tex> <br> <tex>H_1\,:\; H_0 </tex> неверна; <br> <tex>n=10\,:\,5\,:\,100.</tex> | ||
+ | ::Хрипко: <tex>a=1, \;\; p=0\,:\,0.02\,:\,1.</tex> Сравнить [[критерий Шапиро-Уилка]] и [[критерий Колмогорова-Смирнова]]. | ||
+ | ::Шепелев: <tex>a=2, \;\; p=0\,:\,0.02\,:\,1.</tex> Сравнить [[критерий омега-квадрат|критерий Смирнова-Крамера-фон Мизеса]] и [[критерий Жарка-Бера]]. | ||
+ | ::Вдовина: <tex>a=0.5\,:\,0.1\,:\,5, \;\; p=0.25.</tex> Сравнить [[критерий Колмогорова-Смирнова]] и [[критерий хи-квадрат]]. | ||
+ | |||
+ | = Анализ устойчивости критериев к нарушению предположений = | ||
+ | Требуется исследовать поведение указанного критерия в условиях нарушения лежащих в его основе предположений. Оценить мощность и достигаемый уровень значимости критерия при различных значениях параметров, сделать выводы об устойчивости. | ||
+ | |||
+ | * Одновыборочный [[критерий Стьюдента|t-критерий]], нарушение предположения о нормальности. <br> <tex>X^n, \;\; X_i \sim p\cdot N(\mu,1)+ \left(1-p\right)\cdot U\left[-a+\mu,a+\mu\right]; </tex> <br> <tex>H_0\,:\; \mathbb{E}X_i=0</tex> <br> <tex>H_1\,:\; \mathbb{E}X_i\neq0.</tex> <br> | ||
+ | ::Воронов: <tex>\mu=0\,:\,0.01\,:\,2, \;\; p=0.8, \;\; a=1, \;\; n=15\,:\,5\,:\,200.</tex> | ||
+ | ::Гринчук: <tex>\mu=1, \;\; p=0\,:\,0.01\,:\,1, \;\; a=2, \;\; n=15\,:\,5\,:\,200.</tex> <!---ничего не происходит ---> | ||
+ | ::Катруца: <tex>\mu=0\,:\,0.01\,:\,2, \;\; p=0\,:\,0.01\,:\,1, \;\; a=1, \;\; n=150.</tex> <!---сделать n=100 ---> | ||
+ | ::Кащеева: <tex>\mu=0.5, \;\; p=0\,:\,0.01\,:\,1, \;\; a=0.1\,:\,0.1\,:\,5, \;\; n=100.</tex> | ||
+ | |||
+ | * [[Критерий Фишера]] для проверки равенства дисперсий, нарушение предположения о нормальности. <br> <tex>X_1^n, \;\; X_{1i} \sim p_1\cdot N(0,\sigma_1^2)+ \left(1-p_1\right)\cdot U\left[-a,a\right], \;\; X_2^n,\;\; X_{2i} \sim p_2\cdot N(0,\sigma_2^2)+ \left(1-p_2\right)\cdot U\left[-a,a\right]; </tex> <br> <tex>H_0\,:\, \mathbb{D}X_{1i} = \mathbb{D}X_{2i},</tex> <br> <tex>H_1\,:\, \mathbb{D}X_{1i} \neq \mathbb{D}X_{2i};</tex> <br> <tex>\sigma_1=2, \;\; \sigma_2=0.1\,:\,0.05\,:\,4.</tex> <br> | ||
+ | ::Костин: <tex>p_1=p_2=0.8, \;\; a=2, \;\; n=15\,:\,5\,:\,200.</tex> | ||
+ | ::Неклюдов: <tex>p_1=p_2=0\,:\,0.01\,:\,1, \;\; a=3, \;\; n=100.</tex> | ||
+ | |||
+ | * [[Критерий Зигеля-Тьюки]], нарушение предположения о равенстве медиан. <br> <tex>X_1^n, \;\; X_{1i} \sim N(0,1), \;\; X_2^n, \;\; X_{2i} \sim N(\mu,\sigma^2);</tex> <br> <tex>H_0\,:\; \mathbb{D}X_{1i} = \mathbb{D}X_{2i}, </tex> <br> <tex>H_1\,:\; \mathbb{D}X_{1i} \neq \mathbb{D}X_{2i}.</tex> | ||
+ | ::Перекрестенко: <tex>\mu=0\,:\,0.02\,:\,2, \;\; \sigma=0.1\,:\,0.05\,:\,2, \;\; n=50.</tex> | ||
+ | ::Пушняков: <tex>\mu=2, \;\; \sigma=0.1\,:\,0.05\,:\,2, \;\; n=15\,:\,5\,:\,200.</tex> | ||
+ | |||
+ | * Двухвыборочный [[критерий Стьюдента|t-критерий]], нарушение предположения о равенстве дисперсий. <br> <tex>X_1^{n_1}, \;\; X_{1i} \sim N(0,1), \;\; X_2^{n_2}, \;\; X_{2i} \sim N(\mu,\sigma^2);</tex> <br> <tex>H_0\,:\; \mathbb{E}X_{1i} = \mathbb{E}X_{2i}, </tex> <br> <tex>H_1\,:\; \mathbb{E}X_{1i} \neq \mathbb{E}X_{2i}.</tex> | ||
+ | ::Рыскина: <tex>\mu=0\,:\,0.02\,:\,2, \;\; \sigma=0.1\,:\,0.05\,:\,2, \;\; n_1=n_2=50.</tex> | ||
+ | ::Яшков: <tex>\mu=1, \;\; \sigma=0.1\,:\,0.05\,:\,2, \;\; n_1=15\,:\,5\,:\,200, \;\; n_2 = 50.</tex> | ||
+ | ::Антипова: <tex>\mu=0\,:\,0.02\,:\,2, \;\; \sigma=2, \;\; n_1=15\,:\,5\,:\,200, \;\; n_2 = 50.</tex> | ||
+ | |||
+ | = Анализ двухэтапных процедур проверки гипотез = | ||
+ | Требуется построить описанную двухэтапную процедуру проверки гипотез и сравнить вероятности совершения ей ошибок первого и второго рода при уровне значимости <tex>\alpha</tex> с аналогичными показателями каждого из критериев второго этапа. Сделать выводы о корректности применения двухэтапной процедуры. | ||
+ | |||
+ | * Одновыборочная гипотеза о среднем с предварительной проверкой нормальности. Если нормальность отвергается на уровне значимости <tex>\alpha</tex>, используется критерий знаковых рангов, иначе — [[критерий Стьюдента|t-критерий]]. <br> <tex>X^n, \;\; X_i \sim p\cdot N(\mu,1)+ \left(1-p\right)\cdot U\left[-a+\mu,a+\mu\right]; </tex> <br> <tex>H_0\,:\; \mathbb{E}X_i=0</tex> <br> <tex>H_1\,:\; \mathbb{E}X_i\neq0.</tex> <br> | ||
+ | ::Бескровный: <tex>\alpha=0.05, \;\; \mu=0\,:\,0.05\,:\,2, \;\; p=0.8, \;\; a=1, \;\; n=15\,:\,5\,:\,200.</tex> Нормальность проверяется критерием [[критерий Шапиро-Уилка|Шапиро-Уилка]]. <!--- взять a=2---> | ||
+ | ::Поляков: <tex>\alpha=0.05, \;\; \mu=0\,:\,0.05\,:\,2, \;\; p=0\,:\,0.02\,:\,1, \;\; a=2, \;\; n=50.</tex> Нормальность проверяется критерием [[критерий омега-квадрат|Смирнова-Крамера-фон Мизеса]]. | ||
+ | ::Соколова: <tex>\alpha=0.1, \;\; \mu=0\,:\,0.05\,:\,2, \;\; p=0.8, \;\; a=0\,:\,0.05\,:\,3, \;\; n=50.</tex> Нормальность проверяется критерием [[критерий Лиллиефорса|Лиллиефорса]].<!--- взять n=30---> | ||
+ | |||
+ | * Двухвыборочная гипотеза о равенстве средних с предварительной проверкой нормальности. Если нормальность хотя бы одной из выборок отвергается на уровне значимости <tex>\alpha</tex>, используется [[критерий Уилкоксона-Манна-Уитни]], иначе — критерий Аспина-Уэлша. <br> <tex>X_1^{n_1}, \;\; X_{1i} \sim p_1\cdot N(0,1) + \left(1-p_1\right)\cdot U\left[-a,a\right] , \;\; X_2^{n_2}, \;\; X_{2i} \sim p_2\cdot N(\mu,1) + \left(1-p_2\right)\cdot U\left[-a+\mu,a+\mu\right];</tex> <br> <tex>H_0\,:\; \mathbb{E}X_{1i} = \mathbb{E}X_{2i}, </tex> <br> <tex>H_1\,:\; \mathbb{E}X_{1i} \neq \mathbb{E}X_{2i};</tex> <br> <tex>\mu=0\,:\,0.05\,:\,2.</tex> | ||
+ | ::Харченко: <tex>\alpha=0.05, \;\; p_1=0.9, \;\; n_1=20, \;\; a=2, \;\; p_2 = 0.8, \;\; n_2 = 15\,:\,5\,:\,200.</tex> Нормальность проверяется критерием [[критерий Лиллиефорса|Лиллиефорса]]. | ||
+ | ::Балицкий: <tex>\alpha=0.01, \;\; p_1=p_2=0.8, \;\; n_1=n_2=15 \,:\,5\,:\,200, \;\; a=1.</tex> Нормальность проверяется критерием [[критерий омега-квадрат|Смирнова-Крамера-фон Мизеса]]. | ||
+ | ::Довгаль: <tex>\alpha=0.05, \;\; p_1=0.8, \;\; n_1=n_2=50, \;\; a=1, \;\; p_2 = 0\,:\,0.02\,:\,1.</tex> Нормальность проверяется критерием [[критерий Шапиро-Уилка|Шапиро-Уилка]]. | ||
+ | ::Трофимов: <tex>\alpha=0.1, \;\; p_1=p_2=0.8, \;\; n_1=n_2=50, \;\; a=0\,:\,0.05\,:\,3.</tex> Нормальность проверяется критерием [[критерий хи-квадрат|хи-квадрат]]. <!--- тут достаточно mu максимум 1---> | ||
+ | |||
+ | * Двухвыборочная гипотеза о равенстве средних с предварительной проверкой равенства дисперсий. Равенство дисперсий проверяется критерием [[критерий Фишера|Фишера]], если оно отвергается на уровне значимости <tex>\alpha</tex>, используется критерий Аспина-Уэлша, иначе — [[критерий Стьюдента|t-критерий]] для неизвестных равных дисперсий.<br> <tex>X_1^{n_1}, \;\; X_{1i} \sim N(0,1), \;\; X_2^{n_2}, \;\; X_{2i} \sim N(\mu,\sigma^2);</tex> <br> <tex>H_0\,:\; \mathbb{E}X_{1i} = \mathbb{E}X_{2i}, </tex> <br> <tex>H_1\,:\; \mathbb{E}X_{1i} \neq \mathbb{E}X_{2i}.</tex> <br> | ||
+ | ::Папанов: <tex>\alpha=0.05, \;\; \mu=0\,:\,0.05\,:\,2, \;\; \sigma=0.1\,:\,0.05\,:\,2, \;\; n_1=n_2=50.</tex> | ||
+ | ::Мангатаев: <tex>\alpha=0.05, \;\; \mu=1, \;\; \sigma=0.1\,:\,0.05\,:\,2, \;\; n_1=15\,:\,5\,:\,200, \;\; n_2 = 50.</tex> | ||
+ | ::Бырдин: <tex>\alpha=0.01, \;\; \mu=0\,:\,0.05\,:\,2, \;\; \sigma=1.5, \;\; n_1=15\,:\,5\,:\,200, \;\; n_2 = 100.</tex> | ||
+ | |||
+ | = Ссылки = | ||
+ | * [[Статистический анализ данных (курс лекций, К.В.Воронцов)]] | ||
+ | * [[Статистический анализ данных (курс лекций, К.В.Воронцов)/2014, ФУПМ|Практические задания для студентов ФУПМ МФТИ (2014 год)]] | ||
+ | * [[Участник:Riabenko|Контакты для отправки заданий]] | ||
+ | <references/> | ||
+ | |||
+ | [[Категория:Учебные курсы]] |
Версия 09:56, 19 сентября 2014
Ниже под обозначением понимается выборка объёма из смеси нормального и равномерного распределений с весами и соответственно (при генерации каждой выборки используется случайный датчик — если его значение не превосходит , то добавляем в выборку элемент, взятый из нормального распределения, иначе — элемент, взятый из равномерного).
Содержание |
Анализ поведения схожих критериев
Требуется исследовать поведение указанной пары статистических критериев, подходящих для решения одной и той же задачи, сравнить мощность и достигаемые уровни значимости и сделать выводы о границах применимости критериев. Необходимо для каждого из критериев построить графики зависимости достигаемых уровней значимости и оценок мощностей от параметров, и показать, в каких областях изменения параметров предпочтительнее использовать тот или иной критерий. Для получения более гладких графиков рекомендуется применять оба критерия к одним и тем же выборкам, а не генерировать их отдельно для каждого критерия.
- Старожилец: сравнить z-критерий и точный критерий для доли.
- Вялый: сравнить критерии, основанные на доверительных интервалах Вальда и Уилсона (нулевая гипотеза отвергается на уровне значимости 5%, если 95% доверительный интервал для параметра не содержит ).
-
среднее значение равно нулю,
среднее значение не равно нулю;
- Гончаров: сравнить одновыборочные t- и z-критерии.
- Каледин: сравнить одновыборочный t-критерий и критерий знаковых рангов Уилкоксона.
- Капаев: сравнить одновыборочный перестановочный критерий и критерий знаковых рангов Уилкоксона.
- Коновалов: Сравнить критерий Фишера и WM-критерий.
- Кузнецов: Сравнить WM-критерий и критерий Зигеля-Тьюки.
- Петров: Сравнить критерий Фишера и критерий Зигеля-Тьюки.
-
неверна;
- Хрипко: Сравнить критерий Шапиро-Уилка и критерий Колмогорова-Смирнова.
- Шепелев: Сравнить критерий Смирнова-Крамера-фон Мизеса и критерий Жарка-Бера.
- Вдовина: Сравнить критерий Колмогорова-Смирнова и критерий хи-квадрат.
Анализ устойчивости критериев к нарушению предположений
Требуется исследовать поведение указанного критерия в условиях нарушения лежащих в его основе предположений. Оценить мощность и достигаемый уровень значимости критерия при различных значениях параметров, сделать выводы об устойчивости.
- Одновыборочный t-критерий, нарушение предположения о нормальности.
- Воронов:
- Гринчук:
- Катруца:
- Кащеева:
- Критерий Фишера для проверки равенства дисперсий, нарушение предположения о нормальности.
- Костин:
- Неклюдов:
- Критерий Зигеля-Тьюки, нарушение предположения о равенстве медиан.
- Перекрестенко:
- Пушняков:
- Двухвыборочный t-критерий, нарушение предположения о равенстве дисперсий.
- Рыскина:
- Яшков:
- Антипова:
Анализ двухэтапных процедур проверки гипотез
Требуется построить описанную двухэтапную процедуру проверки гипотез и сравнить вероятности совершения ей ошибок первого и второго рода при уровне значимости с аналогичными показателями каждого из критериев второго этапа. Сделать выводы о корректности применения двухэтапной процедуры.
- Одновыборочная гипотеза о среднем с предварительной проверкой нормальности. Если нормальность отвергается на уровне значимости , используется критерий знаковых рангов, иначе — t-критерий.
- Бескровный: Нормальность проверяется критерием Шапиро-Уилка.
- Поляков: Нормальность проверяется критерием Смирнова-Крамера-фон Мизеса.
- Соколова: Нормальность проверяется критерием Лиллиефорса.
- Двухвыборочная гипотеза о равенстве средних с предварительной проверкой нормальности. Если нормальность хотя бы одной из выборок отвергается на уровне значимости , используется критерий Уилкоксона-Манна-Уитни, иначе — критерий Аспина-Уэлша.
- Харченко: Нормальность проверяется критерием Лиллиефорса.
- Балицкий: Нормальность проверяется критерием Смирнова-Крамера-фон Мизеса.
- Довгаль: Нормальность проверяется критерием Шапиро-Уилка.
- Трофимов: Нормальность проверяется критерием хи-квадрат.
- Двухвыборочная гипотеза о равенстве средних с предварительной проверкой равенства дисперсий. Равенство дисперсий проверяется критерием Фишера, если оно отвергается на уровне значимости , используется критерий Аспина-Уэлша, иначе — t-критерий для неизвестных равных дисперсий.
- Папанов:
- Мангатаев:
- Бырдин: