Статистический анализ данных (курс лекций, К.В.Воронцов)/2011, ФУПМ

Материал из MachineLearning.

(Различия между версиями)

Версия 12:31, 5 марта 2011

Содержание

1 Задание 1. Исследование свойств одномерных статистических методов на модельных данных
- 1.1 Пример задания
- 1.2 Задания
2 Литература
3 Ссылки

Задание 1. Исследование свойств одномерных статистических методов на модельных данных

Необходимо провести исследование одной или нескольких классических статистических техник. В соответствии с индивидуальными параметрами задания необходимо указанным способом сгенерировать одну или несколько выборок из заданного распределения, применить исследуемые статистические методы, а затем многократно повторить эту процедуру для различных значений параметров. По результатам расчётов необходимо построить требуемые в задании графики и сделать выводы.

Пример задания

Исследуем поведение классического двухвыборочного критерия Стьюдента для проверки гипотезы однородности против альтернативы сдвига при разных значениях параметров.

$x^n = (x_1,\ldots,x_n)\sim N(\mu_1,\sigma),\;\; y^n = (y_1,\ldots,y_n)\sim N(\mu_2,\sigma);$

$H_0\,:\; \mu_1=\mu_2,$

$H_1\,:\; \mu_1\neq\mu_2.$

$\sigma = 1; \;\;\; \mu_1=0; \;\;\; \mu_2=0\,:\,0.05\,:\,3; \;\;\; n=5\,:\,1\,:\,50.$

При каждом значении $\mu_2$ выборки для разных значений $n$ генерируются независимо.

Графики 1 и 2 иллюстрируют зависимость достигаемого уровня значимости от размера выборки и среднего $\mu_2$ . На графике 3 показана зависимость мощности критерия от параметров задачи; мощность в каждой точке оценивается как доля экспериментов, в которых гипотеза была отвергнута на уровне значимости $\alpha=0.05$ .

График 1: значения достигаемого уровня значимости при однократной генерации выборок.

График 2: значения достигаемого уровня значимости, усрёднённые по 100 экспериментам.

График 3: значения эмпирических оценок мощности критерия при проведении 100 экспериментов ( $\alpha=0.05$ ).

Видно, что при $\mu_2=0$ среднее значение достигаемого уровня значимости при многократном повторении эксперимента равно 0.5 для любого размера выборки. Это логично, так как при $\mu_2=0$ нулевая гипотеза справедлива, и достигаемый уровень значимости имеет равномерное распределение на $[0,1].$
При $n>20$ и $\mu_2>1$ критерий имеет достаточную мощность, и нулевая гипотеза чаще всего отвергается.
При размере выборки до 50 элементов и среднем второй выборки $\mu_2<0.5$ критерий практически не способен отклонить гипотезу однородности, мощность в этой области изменения параметров низка.
При большой разнице между средними выборок $(\mu_2>2)$ критерий достаточно уверенно отвергает гипотезу однородности даже на выборках небольшого размера (5-6 элементов).

Задания

Влияние связок на некоторые статистические критерии

Андерсона-Дарлинга, Уилкоксона (2 шт.), Шапиро-Уилка

Варианты ранжирования в критерии Зигеля-Тьюки

Сравнение методов построение доверительных интервалов

Точность аппроксимации распределения статистик критериев

проблема Беренца-Фишера, аппроксимация ранговых критериев, критерия знаков

Литература

Кобзарь А. И. Прикладная математическая статистика. — М.: Физматлит, 2006.

Ссылки

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%A1%D1%82%D0%B0%D1%82%D0%B8%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%2C_%D0%9A.%D0%92.%D0%92%D0%BE%D1%80%D0%BE%D0%BD%D1%86%D0%BE%D0%B2%29/2011%2C_%D0%A4%D0%A3%D0%9F%D0%9C»

Категория: Учебные курсы

@@ Строка 35: / Строка 35: @@
 проблема Беренца-Фишера, аппроксимация ранговых критериев, критерия знаков
+= Литература =
+''Кобзарь А. И.'' Прикладная математическая статистика. — М.: Физматлит, 2006.
 = Ссылки =
@@ Строка 41: / Строка 42: @@
 * [http://www.mathworks.com/help/toolbox/stats/bq_w_hm.html Справка по статистическим функциям пакета Matlab]
 * [[Участник:Riabenko|Контактная информация, необходимая для сдачи задания]]
-* ''Кобзарь А. И.'' Прикладная математическая статистика. — М.: Физматлит, 2006.
 [[Категория:Учебные курсы]]