Статистический анализ данных (курс лекций, К.В.Воронцов)/2015/1
Материал из MachineLearning.
м (→Анализ поведения схожих критериев) |
м |
||
(27 промежуточных версий не показаны.) | |||
Строка 1: | Строка 1: | ||
- | Ниже под обозначением <tex>X^n, \;\; X_i \sim p\cdot N(\mu,\sigma^2)+ \left(1-p\right)\cdot | + | Ниже под обозначением <tex>X^n, \;\; X_i \sim p\cdot N(\mu,\sigma^2)+ \left(1-p\right)\cdot F</tex> понимается выборка объёма <tex>n</tex> из смеси нормального распределения <tex>N(\mu,\sigma^2)</tex> и распределения <tex>F</tex> с весами <tex>p</tex> и <tex>1-p</tex> соответственно (при генерации каждой выборки используется случайный датчик — если его значение не превосходит <tex>p</tex>, то добавляем в выборку элемент, взятый из нормального распределения, иначе — элемент, взятый из распределения F). |
= Анализ поведения схожих критериев = | = Анализ поведения схожих критериев = | ||
Строка 8: | Строка 8: | ||
::Лисяной: <tex>p_0=\frac1{4}</tex>, сравнить z-критерий (в версии множителей Лагранжа) и точный критерий. | ::Лисяной: <tex>p_0=\frac1{4}</tex>, сравнить z-критерий (в версии множителей Лагранжа) и точный критерий. | ||
- | * <tex>X_1^{n_1}, \;\; X_{1} \sim N(\mu_1, \sigma_1^2), | + | * <tex>X_1^{n_1}, \;\; X_{1} \sim N(\mu_1, \sigma_1^2),</tex><br> <tex>X_2^{n_2}, \;\; X_{2} \sim N(\mu_2, \sigma_2^2);</tex><br><tex>H_0\,:</tex> средние равны, <br><tex>\;H_1\,:</tex> средние не равны;<br><tex>n_1=25, \;\; \mu_1=0, \;\; \sigma_1=1.</tex> |
- | ::: <tex>\mu_2=0\,:\,0.01\,:\,2, \;\; \sigma_2 = 2, \;\; | + | ::Колмаков: <tex>\mu_2=0\,:\,0.01\,:\,2, \;\; \sigma_2 = 2, \;\; n_2=5\,:\,1\,:\,70,</tex> сравнить версии t-критерия для равных и неравных дисперсий. |
- | ::: <tex>\mu_2=0.5, \;\; \sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; | + | ::Шапулин: <tex>\mu_2=0.5, \;\; \sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n_2=5\,:\,1\,:\,70,</tex> сравнить t- и z-критерии для неравных дисперсий. |
+ | ::Тюрин: <tex>\mu_2=0\,:\,0.01\,:\,2, \;\; \sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n_2=50,</tex> сравнить t-критерий для неравных дисперсий и критерий Манна-Уитни-Уилкоксона. | ||
+ | |||
+ | * <tex>X_1^n, \;\; X_{1} \sim N(0, \sigma_1^2),</tex><br> <tex>X_2^n, \;\; X_{2} \sim N(0, \sigma_2^2);</tex> <br> <tex>H_0\,:\, \mathbb{D}X_{1} = \mathbb{D}X_{2},</tex> <br> <tex>H_1\,:\, \mathbb{D}X_{1} \neq \mathbb{D}X_{2}.</tex> | ||
+ | ::Чистяков: <tex>\sigma_1=1, \;\;\sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n=5\,:\,1\,:\,70,</tex> сравнить критерии [[критерий Ансари-Брэдли|Ансари-Брэдли]] и [[критерий Зигеля-Тьюки|Зигеля-Тьюки]]. | ||
+ | ::Корольков: <tex>\sigma_1= 0.5\,:\,0.01\,:\,2, \;\;\sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n=30,</tex> сравнить критерии [[критерий Фишера|Фишера]] и [[критерий Ансари-Брэдли|Ансари-Брэдли]]. | ||
+ | |||
+ | * <tex>X^n, \;\; X\sim N(\mu,\sigma); </tex><br> <tex>H_0\,:</tex> среднее значение <tex>X</tex> равно нулю,<br> <tex>H_1\,:</tex> среднее значение <tex>X</tex> не равно нулю;<br> <tex>\mu=0\,:\,0.01\,:\,2, \;\; n=5\,:\,1\,:\,70.</tex> | ||
+ | ::Козлов: <tex>\sigma=1,</tex> сравнить критерии знаков и знаковых рангов. | ||
+ | |||
+ | * <tex>X^n, \;\; X \sim p\cdot N(0,1)+ \left(1-p\right)\cdot F;</tex> <br> <tex> H_0\,:\; X \sim N,</tex> <br> <tex>H_1\,:\; H_0 </tex> неверна; <br> <tex>n=20\,:\,1\,:\,100.</tex> | ||
+ | ::Апишев: <tex>F = C\left(0,1\right)</tex>— стандартное распределение Коши; <tex>p=0\,:\,0.01\,:\,1,</tex> сравнить критерии Андерсона-Дарлинга и Лиллиефорса. | ||
= Анализ устойчивости критериев к нарушению предположений = | = Анализ устойчивости критериев к нарушению предположений = | ||
Требуется исследовать поведение указанного критерия в условиях нарушения лежащих в его основе предположений. Оценить мощность и достигаемый уровень значимости критерия при различных значениях параметров, сделать выводы об устойчивости. | Требуется исследовать поведение указанного критерия в условиях нарушения лежащих в его основе предположений. Оценить мощность и достигаемый уровень значимости критерия при различных значениях параметров, сделать выводы об устойчивости. | ||
+ | * Двухвыборочный [[критерий Стьюдента|t-критерий]] для равных дисперсий, нарушение предположения о равенстве дисперсий. <br> <tex>X_1^{n_1}, \;\; X_{1} \sim N(0,1),</tex><br><tex>X_2^{n_2}, \;\; X_{2} \sim N(\mu,\sigma^2);</tex> <br> <tex>H_0\,:\; \mathbb{E}X_{1} = \mathbb{E}X_{2}, </tex> <br> <tex>H_1\,:\; \mathbb{E}X_{1} \neq \mathbb{E}X_{2}.</tex> | ||
+ | ::Хальман: <tex>\mu=1, \;\; \sigma=0.5\,:\,0.01\,:\,2, \;\; n_1=5\,:\,1\,:\,70, \;\; n_2 = 30.</tex> | ||
+ | |||
+ | * Одновыборочный [[критерий Стьюдента|t-критерий]], нарушение предположения о нормальности. <br> <tex>X^n, \;\; X \sim p\cdot N(\mu,1)+ \left(1-p\right)\cdot F; </tex> <br> <tex>H_0\,:\; \mathbb{E}X=0</tex> <br> <tex>H_1\,:\; \mathbb{E}X\neq0;</tex> <br><tex>\mu=0\,:\,0.01\,:\,2, \;\; p=0\,:\,0.01\,:\,1.</tex> <br> | ||
+ | ::Дойков: <tex>F = C\left(\mu,3\right)</tex>— распределение Коши с коэффициентом сдвига <tex>\mu</tex> и коэффициентом масштаба <tex>3; \;\; n=50.</tex> | ||
+ | ::Славнов: <tex>F = U\left[-5+\mu, 5+\mu\right]</tex>— непрерывное равномерное распределение на <tex>\left[-5+\mu,5+\mu\right]; \;\; n=30.</tex> | ||
+ | |||
+ | * Одновыборочный критерий хи-квадрат для гипотезы о дисперсии, нарушение предположения о нормальности. <br> <tex>X^n, \;\; X \sim p\cdot N(\mu,1)+ \left(1-p\right)\cdot F; </tex> <br> <tex>H_0\,:\; \mathbb{D}X=1</tex> <br> <tex>H_1\,:\; \mathbb{D}X\neq1;</tex> <br><tex>\sigma=0.5\,:\,0.01\,:\,2, \;\; p=0\,:\,0.01\,:\,1, \;\; n=50.</tex> <br> | ||
+ | ::Ожерельев: <tex>F = U\left[-\frac{\sigma}{\sqrt{3}}, \frac{\sigma}{\sqrt{3}}\right]</tex> — непрерывное равномерное распределение на <tex>\left[-\frac{\sigma}{\sqrt{3}}, \frac{\sigma}{\sqrt{3}}\right].</tex> | ||
+ | |||
+ | * [[Критерий Фишера]] для проверки равенства дисперсий, нарушение предположения о нормальности. <br> <tex>X_1^{n_1}, \;\; X_{1} \sim p_1\cdot N(0,\sigma_1^2)+ \left(1-p_1\right)\cdot F_1, </tex> <br> <tex> X_2^{n_2},\;\; X_{2} \sim p_2\cdot N(0,\sigma_2^2)+ \left(1-p_2\right)\cdot F_2; </tex> <br> <tex>H_0\,:\, \mathbb{D}X_{1} = \mathbb{D}X_{2},</tex> <br> <tex>H_1\,:\, \mathbb{D}X_{1} \neq \mathbb{D}X_{2};</tex> <br> <tex>\sigma_1=1, \;\; \sigma_2=0.2\,:\,0.01\,:\,2.</tex> <br> | ||
+ | ::Лукашкина: <tex>F_1 = U\left[-\frac1{\sqrt{3}}, \frac1{\sqrt{3}}\right], \;\; F_2 = U\left[-\frac{\sigma}{\sqrt{3}}, \frac{\sigma}{\sqrt{3}}\right]</tex> — непрерывные равномерные распределения; <tex>p_1=p_2=0\,:\,0.01\,:\,1, \;\; n_1=n_2=50.</tex> | ||
+ | ::Готман: <tex>F_1 = U\left[-\frac1{\sqrt{3}}, \frac1{\sqrt{3}}\right]</tex> — непрерывное равномерное распределение; <tex>p_1=0.7, \;\; p_2 = 1, \;\; n_1=5\,:\,1\,:\,70, \;\; n_2=50.</tex> | ||
= Ссылки = | = Ссылки = |
Текущая версия
Ниже под обозначением понимается выборка объёма
из смеси нормального распределения
и распределения
с весами
и
соответственно (при генерации каждой выборки используется случайный датчик — если его значение не превосходит
, то добавляем в выборку элемент, взятый из нормального распределения, иначе — элемент, взятый из распределения F).
Анализ поведения схожих критериев
Требуется исследовать поведение указанной пары статистических критериев, подходящих для решения одной и той же задачи, сравнить мощность и достигаемые уровни значимости и сделать выводы о границах применимости критериев. Необходимо для каждого из критериев построить графики зависимости достигаемых уровней значимости и оценок мощностей от параметров, и показать, в каких областях изменения параметров предпочтительнее использовать тот или иной критерий. Для получения более гладких графиков рекомендуется применять оба критерия к одним и тем же выборкам, а не генерировать их отдельно для каждого критерия.
- Сендерович:
, сравнить z-критерии в версиях Вальда и множителей Лагранжа.
- Лисяной:
, сравнить z-критерий (в версии множителей Лагранжа) и точный критерий.
- Сендерович:
-
средние равны,
средние не равны;
- Колмаков:
сравнить версии t-критерия для равных и неравных дисперсий.
- Шапулин:
сравнить t- и z-критерии для неравных дисперсий.
- Тюрин:
сравнить t-критерий для неравных дисперсий и критерий Манна-Уитни-Уилкоксона.
- Колмаков:
- Чистяков:
сравнить критерии Ансари-Брэдли и Зигеля-Тьюки.
- Корольков:
сравнить критерии Фишера и Ансари-Брэдли.
- Чистяков:
-
среднее значение
равно нулю,
среднее значение
не равно нулю;
- Козлов:
сравнить критерии знаков и знаковых рангов.
- Козлов:
-
неверна;
- Апишев:
— стандартное распределение Коши;
сравнить критерии Андерсона-Дарлинга и Лиллиефорса.
- Апишев:
Анализ устойчивости критериев к нарушению предположений
Требуется исследовать поведение указанного критерия в условиях нарушения лежащих в его основе предположений. Оценить мощность и достигаемый уровень значимости критерия при различных значениях параметров, сделать выводы об устойчивости.
- Двухвыборочный t-критерий для равных дисперсий, нарушение предположения о равенстве дисперсий.
- Хальман:
- Хальман:
- Одновыборочный t-критерий, нарушение предположения о нормальности.
- Дойков:
— распределение Коши с коэффициентом сдвига
и коэффициентом масштаба
- Славнов:
— непрерывное равномерное распределение на
- Дойков:
- Одновыборочный критерий хи-квадрат для гипотезы о дисперсии, нарушение предположения о нормальности.
- Ожерельев:
— непрерывное равномерное распределение на
- Ожерельев:
- Критерий Фишера для проверки равенства дисперсий, нарушение предположения о нормальности.
- Лукашкина:
— непрерывные равномерные распределения;
- Готман:
— непрерывное равномерное распределение;
- Лукашкина: