Статистический анализ данных (курс лекций, К.В.Воронцов)/2015, ФУПМ/1
Материал из MachineLearning.
м (→Анализ устойчивости критериев к нарушению предположений) |
м (→Анализ устойчивости критериев к нарушению предположений) |
||
(36 промежуточных версий не показаны.) | |||
Строка 5: | Строка 5: | ||
* <tex> X_1^{n_1}, \;\; X_1 \sim F_1,</tex> <br> <tex> X_2^{n_2}, \;\; X_2 \sim F_2; <tex> <br> <tex> H_0 \,:\, F_1=F_2, </tex><br> <tex>H_1\,:\; H_0 </tex> неверна. <br> | * <tex> X_1^{n_1}, \;\; X_1 \sim F_1,</tex> <br> <tex> X_2^{n_2}, \;\; X_2 \sim F_2; <tex> <br> <tex> H_0 \,:\, F_1=F_2, </tex><br> <tex>H_1\,:\; H_0 </tex> неверна. <br> | ||
- | ::Лийко: <tex>F_1 = U\left[0,1\right], \;\; F_2 = U\left[a,a+1\right]</tex> — непрерывные равномерные распределения; <tex>a = 0\,:\,0.02\,:\,3, \;\; n_1=n_2=5\,:\,1\,:\,70.</tex> Сравнить критерии Смирнова и Крамера-фон Мизеса | + | ::Лийко: <tex>F_1 = U\left[0,1\right], \;\; F_2 = U\left[a,a+1\right]</tex> — непрерывные равномерные распределения; <tex>a = 0\,:\,0.02\,:\,3, \;\; n_1=n_2=5\,:\,1\,:\,70.</tex> Сравнить критерии Смирнова и Крамера-фон Мизеса. <!--- брать a до 2---> |
- | ::Ефимова: <tex>F_1 = N(0,1), \;\; F_2 = N(\mu,\sigma^2), \;\; \mu = 0\,:\,0.01\,:\,2, \;\; \sigma=0.5\,:\,0.01\,:\,2, \;\; n_1=n_2=30.</tex> Сравнить критерии Смирнова и | + | ::Ефимова: <tex>F_1 = N(0,1), \;\; F_2 = N(\mu,\sigma^2), \;\; \mu = 0\,:\,0.01\,:\,2, \;\; \sigma=0.5\,:\,0.01\,:\,2, \;\; n_1=n_2=30.</tex> Сравнить критерии Смирнова и Крамера-фон Мизеса. |
- | ::Игнатов: <tex>F_1 = N(0,1), \;\; F_2 = p\cdot N(0,1)+ \left(1-p\right)\cdot U\left[- | + | ::Игнатов: <tex>F_1 = N(0,1), \;\; F_2 = p\cdot N(0,1)+ \left(1-p\right)\cdot U\left[-\sqrt{3}, \sqrt{3}\right]; \;\; p=0\,:\,0.01\,:\,1, \;\; n_1=n_2=5\,:\,1\,:\,70.</tex> Сравнить критерии Смирнова и его бутстреп-версию (функция ks.boot в пакете Matching). |
* <tex>X^n, \;\; X \sim p\cdot N(0,1)+ \left(1-p\right)\cdot F;</tex> <br> <tex> H_0\,:\; X \sim N,</tex> <br> <tex>H_1\,:\; H_0 </tex> неверна. | * <tex>X^n, \;\; X \sim p\cdot N(0,1)+ \left(1-p\right)\cdot F;</tex> <br> <tex> H_0\,:\; X \sim N,</tex> <br> <tex>H_1\,:\; H_0 </tex> неверна. | ||
::Лукманов: <tex>F = C\left(0,1\right)</tex>— стандартное распределение Коши; <tex>n=20\,:\,1\,:\,100, \;\; p=0\,:\,0.01\,:\,1.</tex> Сравнить критерии Шапиро-Уилка и хи-квадрат Пирсона. | ::Лукманов: <tex>F = C\left(0,1\right)</tex>— стандартное распределение Коши; <tex>n=20\,:\,1\,:\,100, \;\; p=0\,:\,0.01\,:\,1.</tex> Сравнить критерии Шапиро-Уилка и хи-квадрат Пирсона. | ||
+ | ::Дербышев: <tex>F = U[-a,a]</tex>— непрерывное равномерное распределение; <tex>a=0.1\,:\,0.05\,:\,5, \;\; n=50, \;\; p=0\,:\,0.01\,:\,1.</tex> Сравнить критерии Харке-Бера и Андерсона-Дарлинга. | ||
+ | ::Попова: <tex>F = St(2)</tex> — распределение Стьюдента с двумя степенями свободы; <tex>n=10\,:\,1\,:\,70, \;\; p=0\,:\,0.01\,:\,1.</tex> Сравнить критерии Харке-Бера и хи-квадрат Пирсона. | ||
* <tex>X^n, \;\; X\sim Ber(p); </tex><br> <tex>H_0\,:\, p=p_0,</tex><br> <tex>H_1\,:\, p\neq p_0;</tex><br> <tex>p=0\,:\,0.01\,:\,0.5, \;\; n=5\,:\,1\,:\,70.</tex> | * <tex>X^n, \;\; X\sim Ber(p); </tex><br> <tex>H_0\,:\, p=p_0,</tex><br> <tex>H_1\,:\, p\neq p_0;</tex><br> <tex>p=0\,:\,0.01\,:\,0.5, \;\; n=5\,:\,1\,:\,70.</tex> | ||
- | ::Ахтямов: <tex>p_0=0.5</tex> | + | ::Ахтямов: <tex>p_0=0.5</tex>; сравнить z-критерии в версиях Вальда и множителей Лагранжа. |
+ | ::Бондарчук: <tex>p_0=0.25</tex>; сравнить z-критерий в версии множителей Лагранжа и точный критерий. | ||
+ | ::Усманова:<tex>p_0=0.1</tex>; сравнить z-критерий в версии Вальда и точный критерий. | ||
+ | |||
+ | * <tex>X^n, \;\; X\sim N(\mu,\sigma); </tex><br> <tex>H_0\,:</tex> среднее значение <tex>X</tex> равно нулю,<br> <tex>H_1\,:</tex> среднее значение <tex>X</tex> не равно нулю;<br> <tex>\mu=0\,:\,0.01\,:\,2.</tex> | ||
+ | ::Костюк: <tex>\sigma=1, \;\; n=5\,:\,1\,:\,70;</tex> сравнить критерии знаков и знаковых рангов. | ||
+ | ::Аверьянов: <tex>\sigma=2, \;\; n=5\,:\,1\,:\,70;</tex> сравнить критерий знаковых рангов и одновыборочный t-критерий. | ||
+ | ::Сущинская: <tex>\sigma=1, \;\; n=5\,:\,1\,:\,70;</tex> сравнить одновыборочные t- и z-критерии. | ||
+ | ::Карасиков: <tex>\sigma=1, \;\; n=5\,:\,1\,:\,40;</tex> сравнить одновыборочные t- и перестановочный критерии. | ||
+ | |||
+ | * <tex>X_1^{n_1}, \;\; X_{1} \sim N(\mu_1, \sigma_1^2),</tex><br> <tex>X_2^{n_2}, \;\; X_{2} \sim N(\mu_2, \sigma_2^2);</tex><br><tex>H_0\,:</tex> средние равны, <br><tex>\;H_1\,:</tex> средние не равны;<br><tex>n_1=30, \;\; \mu_1=0, \;\; \sigma_1=1.</tex> | ||
+ | ::Яковлева: <tex>\mu_2=0\,:\,0.01\,:\,2, \;\; \sigma_2 = 2, \;\; n_2=5\,:\,1\,:\,70,</tex> сравнить версии t-критерия для равных и неравных дисперсий. | ||
+ | ::Газизуллина: <tex>\mu_2=0\,:\,0.01\,:\,2, \;\; \sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n_2=30,</tex> сравнить t-критерий для неравных дисперсий и критерий Манна-Уитни-Уилкоксона. | ||
+ | ::Черепанов: <tex>\mu_2=0.5, \;\; \sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n_2=5\,:\,1\,:\,70,</tex> сравнить t- и z-критерии для неравных дисперсий. | ||
+ | ::Кулунчаков: <tex>\mu_2=0\,:\,0.02\,:\,2, \;\; \sigma_2 = 0.5\,:\,0.02\,:\,2, \;\; n_2=20,</tex> сравнить критерий Манна-Уитни-Уилкоксона и перестановочный критерий с разностью средних в качестве статистики. | ||
+ | ::Жуков: <tex>\mu_2=0\,:\,0.02\,:\,2, \;\; \sigma_2 = 1, \;\; n_2=5\,:\,1\,:\,40,</tex> сравнить t-критерий для неизвестных равных дисперсий и перестановочный критерий с разностью средних в качестве статистики. | ||
+ | |||
+ | * <tex>X_1^n, \;\; X_{1} \sim N(0, \sigma_1^2),</tex><br> <tex>X_2^n, \;\; X_{2} \sim N(0, \sigma_2^2);</tex> <br> <tex>H_0\,:\, \mathbb{D}X_{1} = \mathbb{D}X_{2},</tex> <br> <tex>H_1\,:\, \mathbb{D}X_{1} \neq \mathbb{D}X_{2}.</tex> | ||
+ | ::Веринов: <tex>\sigma_1= 0.5\,:\,0.01\,:\,2, \;\;\sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n=30;</tex> сравнить критерии [[критерий Фишера|Фишера]] и [[критерий Ансари-Брэдли|Ансари-Брэдли]]. | ||
+ | ::Занегин: <tex>\sigma_1= 1, \;\;\sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n=5\,:\,1\,:\,40;</tex> сравнить критерии [[критерий Фишера|Фишера]] и перестановочный критерий со статистикой Али. | ||
+ | ::Васильев: <tex>\sigma_1=1, \;\;\sigma_2 = 0.5\,:\,0.05\,:\,2, \;\; n=5\,:\,1\,:\,40,</tex> сравнить критерии [[критерий Ансари-Брэдли|Ансари-Брэдли]] и [[критерий Зигеля-Тьюки|Зигеля-Тьюки]]. | ||
= Анализ устойчивости критериев к нарушению предположений = | = Анализ устойчивости критериев к нарушению предположений = | ||
Строка 22: | Строка 44: | ||
::Омельченко: <tex>\mu = 0\,:\,0.01\,:\,2, \;\; \sigma=0.5\,:\,0.01\,:\,2, \;\; n_1=20, \;\; n_2 = 30.</tex> | ::Омельченко: <tex>\mu = 0\,:\,0.01\,:\,2, \;\; \sigma=0.5\,:\,0.01\,:\,2, \;\; n_1=20, \;\; n_2 = 30.</tex> | ||
- | * Одновыборочный [[критерий Стьюдента|t-критерий]], нарушение предположения о нормальности. <br> <tex>X^n, \;\; X \sim p\cdot N(\mu, | + | * Одновыборочный [[критерий Стьюдента|t-критерий]], нарушение предположения о нормальности. <br> <tex>X^n, \;\; X \sim p\cdot N(\mu,\sigma^2)+ \left(1-p\right)\cdot F; </tex> <br> <tex>H_0\,:\; \mathbb{E}X=0</tex> <br> <tex>H_1\,:\; \mathbb{E}X\neq0;</tex> <br><tex>\mu=0\,:\,0.01\,:\,2, \;\; n=30.</tex> <br> |
- | :: | + | ::Рубцовенко: <tex>F = U\left[-\sqrt{3}+\mu, \sqrt{3}+\mu\right]</tex> — непрерывное равномерное распределение; <tex>\sigma=1, \;\; p=0\,:\,0.01\,:\,1.</tex> <!---брать mu до 1 или sigma больше---> |
- | :: | + | ::Родина: <tex>F = C\left(\mu,1\right)</tex> — распределение Коши с коэффициентом сдвига <tex>\mu</tex> и коэффициентом масштаба <tex>1; \;\; \sigma=1, \;\; p=0\,:\,0.01\,:\,1.</tex> |
+ | ::Пономарёв: <tex>F = \mu + St(3)</tex> — сдвинутое на <tex>\mu</tex> распределение Стьюдента с тремя степенями свободы; <tex>\sigma = \sqrt{3}, \;\; p=0\,:\,0.01\,:\,1.</tex> | ||
+ | ::Макарова: <tex>F = U\left[-a+\mu, a+\mu\right]</tex> — непрерывное равномерное распределение; <tex>\sigma=1, \;\; p=0.7, \;\; a=0.1\,:\,0.05\,:\,5.</tex> | ||
+ | |||
+ | * Одновыборочный критерий хи-квадрат для гипотезы о дисперсии, нарушение предположения о нормальности. <br> <tex>X^n, \;\; X \sim p\cdot N(0,\sigma^2)+ \left(1-p\right)\cdot F; </tex> <br> <tex>H_0\,:\; \mathbb{D}X=\sigma_0^2</tex> <br> <tex>H_1\,:\; \mathbb{D}X\neq\sigma_0^2;</tex> <br><tex>p=0\,:\,0.01\,:\,1, \;\; n=50.</tex> <br> | ||
+ | ::Иноземцев: <tex>F = St(3)</tex> — распределение Стьюдента с тремя степенями свободы; <tex>\sigma_0^2 = 3, \;\; \sigma^2=1.5\,:\,0.05\,:\,6.</tex> | ||
+ | ::Фатыхов: <tex>F = U\left[-\sqrt{3}, \sqrt{3}\right]</tex> — непрерывное равномерное распределение; <tex>\sigma_0 = 1, \;\; \sigma=0.5\,:\,0.01\,:\,2.</tex> | ||
+ | ::Хомутов: <tex>F = \chi^2_2 - 2,</tex> — сдвинутое на 2 распределение хи-квадрат с 2 степенями свободы; <tex>\sigma_0 = 2, \;\; \sigma=1\,:\,0.02\,:\,4.</tex> | ||
+ | |||
+ | * [[Критерий Фишера]] для проверки равенства дисперсий, нарушение предположения о нормальности. <br> <tex>X_1^{n_1}, \;\; X_{1} \sim p_1\cdot N(0,\sigma_1^2)+ \left(1-p_1\right)\cdot F_1, </tex> <br> <tex> X_2^{n_2},\;\; X_{2} \sim p_2\cdot N(0,\sigma_2^2)+ \left(1-p_2\right)\cdot F_2; </tex> <br> <tex>H_0\,:\, \mathbb{D}X_{1} = \mathbb{D}X_{2},</tex> <br> <tex>H_1\,:\, \mathbb{D}X_{1} \neq \mathbb{D}X_{2}.</tex> <br> | ||
+ | ::Чжен: <tex>F_1 = U\left[-\sqrt{3}, \sqrt{3}\right]</tex> — непрерывное равномерное распределение; <tex>\sigma_1=1, \;\; \sigma_2=0.2\,:\,0.01\,:\,2, \;\; p_1=0.7, \;\; p_2 = 1, \;\; n_1=5\,:\,1\,:\,70, \;\; n_2=30.</tex> | ||
+ | ::Плавин: <tex>F_1 = U\left[-\sqrt{3}, \sqrt{3}\right], \;\; F_2 = U\left[-\sigma_2\sqrt{3}, \sigma_2\sqrt{3}\right]</tex> — непрерывные равномерные распределения; <tex>\sigma_1=1, \;\; \sigma_2=0.2\,:\,0.01\,:\,2, \;\; p_1= 1 - p_2=0\,:\,0.01\,:\,1, \;\; n_1=n_2=50.</tex> | ||
+ | ::Шинкевич: <tex>F_1 = St(3)</tex> — распределение Стьюдента с тремя степенью свободы; <tex>\sigma_1^2=3, \;\; \sigma_2^2=1.5\,:\,0.05\,:\,6, \;\; p_1=0\,:\,0.01\,:\,1, \;\; p_2 = 1, \;\; n_1=n_2=30.</tex> | ||
+ | ::Гринчук: <tex>F_1 = F_2 = U\left[-3, 3\right]</tex> — непрерывное равномерное распределение; <tex>\sigma_1=1, \;\; \sigma_2=0.5\,:\,0.01\,:\,2, \;\; p_1=p_2 = 0\,:\,0.01\,:\,1, \;\; n_1=n_2=50.</tex> | ||
- | * | + | * Критерий знаковых рангов Уилкоксона, нарушение предположения о симметричности распределения относительно медианы. <br> <tex>X^n, \;\; X \sim p\cdot N(\mu,1)+ \left(1-p\right)\cdot F; </tex> <br> <tex>H_0\,:\; med X=0</tex> <br> <tex>H_1\,:\; med X\neq0;</tex> <br><tex>\mu=0\,:\,0.01\,:\,2, \;\; p=0\,:\,0.01\,:\,1.</tex> <br> |
- | :: | + | ::Липатова: <tex>F = LN(0,1) - 1 + \mu, </tex> где <tex>LN(0,1)</tex> — стандартное логнормальное распределение; <tex>n=50.</tex> |
+ | ::Кучин: <tex>F = \chi^2_4 - \frac{10}{3} + \mu,</tex> где <tex>\chi^2_4</tex> — распределение хи-квадрат с 4 степенями свободы; <tex>n=30.</tex> <!--- можно mu до 1---> | ||
= Ссылки = | = Ссылки = |
Текущая версия
Ниже под обозначением понимается выборка объёма из смеси распределений и с весами и соответственно (при генерации каждой выборки используется случайный датчик — если его значение не превосходит , то добавляем в выборку элемент, взятый из , иначе — элемент, взятый из ).
Анализ поведения схожих критериев
Требуется исследовать поведение указанной пары статистических критериев, подходящих для решения одной и той же задачи, сравнить мощность и достигаемые уровни значимости и сделать выводы о границах применимости критериев. Необходимо для каждого из критериев построить графики зависимости достигаемых уровней значимости и оценок мощностей от параметров, и показать, в каких областях изменения параметров предпочтительнее использовать тот или иной критерий. Для получения более гладких графиков рекомендуется применять оба критерия к одним и тем же выборкам, а не генерировать их отдельно для каждого.
-
неверна.
- Лийко: — непрерывные равномерные распределения; Сравнить критерии Смирнова и Крамера-фон Мизеса.
- Ефимова: Сравнить критерии Смирнова и Крамера-фон Мизеса.
- Игнатов: Сравнить критерии Смирнова и его бутстреп-версию (функция ks.boot в пакете Matching).
-
неверна.
- Лукманов: — стандартное распределение Коши; Сравнить критерии Шапиро-Уилка и хи-квадрат Пирсона.
- Дербышев: — непрерывное равномерное распределение; Сравнить критерии Харке-Бера и Андерсона-Дарлинга.
- Попова: — распределение Стьюдента с двумя степенями свободы; Сравнить критерии Харке-Бера и хи-квадрат Пирсона.
- Ахтямов: ; сравнить z-критерии в версиях Вальда и множителей Лагранжа.
- Бондарчук: ; сравнить z-критерий в версии множителей Лагранжа и точный критерий.
- Усманова:; сравнить z-критерий в версии Вальда и точный критерий.
-
среднее значение равно нулю,
среднее значение не равно нулю;
- Костюк: сравнить критерии знаков и знаковых рангов.
- Аверьянов: сравнить критерий знаковых рангов и одновыборочный t-критерий.
- Сущинская: сравнить одновыборочные t- и z-критерии.
- Карасиков: сравнить одновыборочные t- и перестановочный критерии.
-
средние равны,
средние не равны;
- Яковлева: сравнить версии t-критерия для равных и неравных дисперсий.
- Газизуллина: сравнить t-критерий для неравных дисперсий и критерий Манна-Уитни-Уилкоксона.
- Черепанов: сравнить t- и z-критерии для неравных дисперсий.
- Кулунчаков: сравнить критерий Манна-Уитни-Уилкоксона и перестановочный критерий с разностью средних в качестве статистики.
- Жуков: сравнить t-критерий для неизвестных равных дисперсий и перестановочный критерий с разностью средних в качестве статистики.
- Веринов: сравнить критерии Фишера и Ансари-Брэдли.
- Занегин: сравнить критерии Фишера и перестановочный критерий со статистикой Али.
- Васильев: сравнить критерии Ансари-Брэдли и Зигеля-Тьюки.
Анализ устойчивости критериев к нарушению предположений
Требуется исследовать поведение указанного критерия в условиях нарушения лежащих в его основе предположений. Оценить мощность и достигаемый уровень значимости критерия при различных значениях параметров, сделать выводы об устойчивости.
- Двухвыборочный t-критерий для равных дисперсий, нарушение предположения о равенстве дисперсий.
- Виденеева:
- Омельченко:
- Одновыборочный t-критерий, нарушение предположения о нормальности.
- Рубцовенко: — непрерывное равномерное распределение;
- Родина: — распределение Коши с коэффициентом сдвига и коэффициентом масштаба
- Пономарёв: — сдвинутое на распределение Стьюдента с тремя степенями свободы;
- Макарова: — непрерывное равномерное распределение;
- Одновыборочный критерий хи-квадрат для гипотезы о дисперсии, нарушение предположения о нормальности.
- Иноземцев: — распределение Стьюдента с тремя степенями свободы;
- Фатыхов: — непрерывное равномерное распределение;
- Хомутов: — сдвинутое на 2 распределение хи-квадрат с 2 степенями свободы;
- Критерий Фишера для проверки равенства дисперсий, нарушение предположения о нормальности.
- Чжен: — непрерывное равномерное распределение;
- Плавин: — непрерывные равномерные распределения;
- Шинкевич: — распределение Стьюдента с тремя степенью свободы;
- Гринчук: — непрерывное равномерное распределение;
- Критерий знаковых рангов Уилкоксона, нарушение предположения о симметричности распределения относительно медианы.
- Липатова: где — стандартное логнормальное распределение;
- Кучин: где — распределение хи-квадрат с 4 степенями свободы;