Статистический анализ данных (курс лекций, К.В.Воронцов)/2015

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
м (→Оценки)
м (→Оценки)
 
(7 промежуточных версий не показаны.)
Строка 10: Строка 10:
| Дойков Никита || 0.6 || 0.55 || 1.4 || 0.3 (Сендерович) || 1.4 || || 2.5 || 6.75 || 5
| Дойков Никита || 0.6 || 0.55 || 1.4 || 0.3 (Сендерович) || 1.4 || || 2.5 || 6.75 || 5
|-
|-
-
| Козлов Владимир || 0.6 || || 1.1 || 0.3 (Славнов) || 0.7 || || || 2.7 ||
+
| Козлов Владимир || 0.6 || 0 || 1.1 || 0.3 (Славнов) || 0.7 || || || 2.7 || 4
|-
|-
| Колмаков Евгений || 0.6 || 0.6 || 1.4 || 0.3 (Тюрин) || 1.4 || 0.3 (Славнов) || 1.1 || 5.7 || 5
| Колмаков Евгений || 0.6 || 0.6 || 1.4 || 0.3 (Тюрин) || 1.4 || 0.3 (Славнов) || 1.1 || 5.7 || 5
Строка 20: Строка 20:
| Лукашкина Юлия || 0.6 || 0.6 || 1.4 || || 1.35 || 0.3 (Чистяков) || 0.5 || 4.75 || 4
| Лукашкина Юлия || 0.6 || 0.6 || 1.4 || || 1.35 || 0.3 (Чистяков) || 0.5 || 4.75 || 4
|-
|-
-
| Ожерельев Илья || 0 || 0.3 || || || 0.7 || || || 1 ||
+
| Ожерельев Илья || 0 || 0.3 || 0.75 || || 1.45 || || || 2.5 || 3
|-
|-
| Родоманов Антон || || 0.35 || 1.05 || 0.3 (Козлов) || 1.2 || 0 (Хальман) || 1 || 3.9 || 4
| Родоманов Антон || || 0.35 || 1.05 || 0.3 (Козлов) || 1.2 || 0 (Хальман) || 1 || 3.9 || 4
Строка 32: Строка 32:
| Хальман Михаил || 0.35 || 0.45 || || ?0.3 (Родоманов) || 1.2 || 0.3 (Родоманов) || 2.5 || 4.8 || 5
| Хальман Михаил || 0.35 || 0.45 || || ?0.3 (Родоманов) || 1.2 || 0.3 (Родоманов) || 2.5 || 4.8 || 5
|-
|-
-
| Хомутов Никита || || 0 || 0.75 || ||1.2|| || 0.5 || 2.45 ||
+
| Хомутов Никита || || 0 || 0.75 || || 1.75 || || 0.5 || 3 ||
|-
|-
| Чистяков Александр || || 0.45 || 1.4 ||0.3 (Дойков) || 1.3 || 0.3 (Тюрин) || 1.5 || 5.25 || 5
| Чистяков Александр || || 0.45 || 1.4 ||0.3 (Дойков) || 1.3 || 0.3 (Тюрин) || 1.5 || 5.25 || 5

Текущая версия

Содержание

Оценки

Студент №1 (0.6) №2 (0.6) №3 (1.4) Рецензирование №3 (0.3) №4 (1.4) Рецензирование №4 (0.3) Дополнительно Сумма за семестр Оценка
Апишев Мурат 0.6 0.6 1.4 1.4 1.5 5.5 5
Готман Мария 0.6 0.45 1.4 0 (Колмаков) 1.4 0.3 (Сендерович) 0.5 4.65 3
Дойков Никита 0.6 0.55 1.4 0.3 (Сендерович) 1.4 2.5 6.75 5
Козлов Владимир 0.6 0 1.1 0.3 (Славнов) 0.7 2.7 4
Колмаков Евгений 0.6 0.6 1.4 0.3 (Тюрин) 1.4 0.3 (Славнов) 1.1 5.7 5
Корольков Михаил
Лисяной Александр 0.6 0.6 1.4 0.3 (Чистяков) 1.4 0.3 (Шапулин) 0.5 5.1 4
Лукашкина Юлия 0.6 0.6 1.4 1.35 0.3 (Чистяков) 0.5 4.75 4
Ожерельев Илья 0 0.3 0.75 1.45 2.5 3
Родоманов Антон 0.35 1.05 0.3 (Козлов) 1.2 0 (Хальман) 1 3.9 4
Сендерович Никита 0.6 0.6 1.4 0.3 (Шапулин) 1.4 0.3 (Лисяной) 1.1 5.7 5
Славнов Константин 0.6 0.6 1.4 (Хальман) 1.4 0.3 (Готман) 1.3 5.6 5
Тюрин Александр 0.6 0.6 1.4 0 (Лисяной) 1.4 0.3 (Колмаков) 0.5 4.8 4
Хальман Михаил 0.35 0.45  ?0.3 (Родоманов) 1.2 0.3 (Родоманов) 2.5 4.8 5
Хомутов Никита 0 0.75 1.75 0.5 3
Чистяков Александр 0.45 1.4 0.3 (Дойков) 1.3 0.3 (Тюрин) 1.5 5.25 5
Шапулин Андрей 0.6 0.55 1.4 0.3 (Готман) 1.4 0.3 (Лукашкина) 1.1 5.65 5
  • Задание считается сданным на момент получения письма с отчётом при условии отсутствия необходимости внесения дополнений и исправлений.
  • Штраф за просрочку заданий начисляется из расчёта 0.05 балла за сутки.
  • Для допуска к экзамену необходимо сдать как минимум два задания: хотя бы одно из первых двух и хотя бы одно из последних двух.
  • Каждое задание выдаётся только по заявке. Если задание выдано, но не решалось, начисляется штраф в размере его стоимости.
  • Балл за рецензирование можно получить только при условии сдачи соответствующего задания.
  • Источники дополнительных баллов:
  • Итоговая оценка по курсу —  минимум из суммы баллов за семестр и оценкой на экзамене. Округление делается по стандартным правилам.
  • Студенты, не набравшие баллов достаточно для получения положительной оценки, к экзамену не допускаются. На каждой следующей итерации сдачи экзамена максимальный балл каждой задачи уменьшается вдвое. При этом можно брать по несколько задач каждого задания, но не больше 2^{n-1}, где n—  номер итерации сдачи экзамена. Баллы за рецензирование можно получить только на первой итерации.

Задание 1. Исследование свойств одномерных статистических критериев на модельных данных

Необходимо провести исследование одного или нескольких классических критериев проверки статистических гипотез. Интерес представляет поведение достигаемого уровня значимости (p-value) как функции размера выборок и параметров распределения. В соответствии с индивидуальными параметрами задания необходимо указанным способом сгенерировать одну или несколько выборок из заданного распределения, выполнить проверку гипотезы при помощи соответствующего критерия, а затем многократно повторить эту процедуру для различных значений параметров. По результатам расчётов необходимо построить требуемые в задании графики, среди которых могут быть следующие:

  1. график зависимости достигаемого уровня значимости от значений параметров при однократном проведении эксперимента;
  2. график зависимости достигаемого уровня значимости одного или двух критериев от значений параметров, усреднённого по большому количеству повторений эксперимента (например, по 1000 повторений);
  3. график с эмпирическими оценками мощности одного или двух критериев для разных значений параметров.

В качестве оценки мощности принимается доля отвержений нулевой гипотезы среди всех проверок. То есть, если эксперимент повторялся k раз для каждого набора значений параметров, и в m из k случаев гипотеза была отвергнута на некотором фиксированном уровне значимости \alpha (примем \alpha=0.05), оценкой мощности будет отношение m/k.

Необходимо сдать: Rmd и сгенерированный по нему html/pdf-файл с описанием алгоритма, построенными графиками и выводами (объяснение полученных результатов моделирования, границы применимости критерия и т. д.).

Постановки задач.

Пример решения.

Задание принимается до 23:59 5.03.

Задания 2-4. Работа с реальными данными

Требуется подобрать и применить наилучший статистический метод, позволяющий ответить на вопрос прикладной задачи; обосновать выбор метода, его применимость и оптимальность. Помимо выводов, касающихся математических особенностей решения, необходимо в терминах предметной области сформулировать выводы, которые могли бы быть понятны гипотетическому заказчику-нематематику.

Необходимо сдать: Rmd и сгенерированный по нему html/pdf-файл с подробным отчётом по проведённому исследованию, содержащий визуализацию исходных данных, описания и выводы каждого этапа анализа — используемые методы, обоснование их применимости, графики.

По заданиям 3 и 4 отчёт каждого студента рецензируется назначенным одногруппником. Задачей рецензента является проверка корректности выбора метода решения, полноты его применения и понятности изложения. Рецензент получает баллы, если:

  • его собственная работа засчитана;
  • либо в рецензируемой работе устранены все недостатки и она принимается с первого раза, либо указан полный список недостатков работы, устранить которые не удалось.

Задание 2. Проверка гипотез

Постановки задач.

Задание принимается до 23:59 22.03.

Задание 3. Регрессия

Постановки задач.

Предварительные версии отчётов принимаются до 23:59 29.03, финальные, по результатам работы с рецензентом — до 23:59 5.04.

Задание 4. Прогнозирование

Для прогнозирования необходимо самостоятельно выбрать уникальный временной ряд из любого источника, например:

Рекомендуется выбирать ряд от нескольких сотен до нескольких тысяч отсчётов с целым периодом сезонности не больше 20 отсчётов. Выбранный ряд нужно занести в таблицу http://bit.ly/1BOGt4A Прогноз нужно построить на 1/10 длины ряда с округлением до целого числа сезонных периодов.

Предварительные версии отчётов принимаются до 23:59 11.04, финальные, по результатам работы с рецензентом — до 23:59 17.04.

Ссылки

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%A1%D1%82%D0%B0%D1%82%D0%B8%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%2C_%D0%9A.%D0%92.%D0%92%D0%BE%D1%80%D0%BE%D0%BD%D1%86%D0%BE%D0%B2%29/2015»