Прикладные задачи анализа данных (курс на ВМК 2016 года)

материалы:

1. Книга Шурыгин А.М. Математические методы прогнозирования // М., Горячая линия — Телеком, 2009, 180 с. * Неплохие идеи для решения некоторых практических задач статистики (но в целом, специфична)
2. Статья  Дьяконов А.Г. Прогноз поведения клиентов супермаркетов с помощью весовых схем оценок вероятностей и плотностей // Бизнес-информатика. 2014. № 1 (27). С. 68–77..
3. Видео Оценка вероятности: когда к нам придёт клиент?

Решение задачи [[1]]. Срок - до 21 сентября 2016 23:59 (с выкладкой отчёта в [этой ветке форума]).

Все вопросы задаются в [форуме].

Поощряется активность: выкладывание скриптов общего назначения (загрузка данных, перевод в нужный формат), бенчмарков (примитивные алгоритмы), ответы на вопросы в форуме.

до 14 сентября 2016 23:59 - преодолеть порог 278.17435 в [Public Liderboard].

Напоминание: команды называть по шаблону Ivan Ivanov (MMP, MSU, Russia).

Но дополнительно, за непреодоление бенчмарка -5.

материалы:

1. Дьяконов A.Г. Анализ данных, обучение по прецедентам, логические игры, системы WEKA, RapidMiner и MatLab (практикум на ЭВМ кафедры математических методов прогнозирования), МАКСПресс, 2010, 278с.
2. Блог Лоурен "Loren on the Art of MATLAB"

материалы:

• Книга Beautiful Visualization: Looking at Data through the Eyes of Experts (Theory in Practice) // Edited by Julie Steele and Noah Iilinsky. Sebastopol, CA: O‘Reilly 2010, pp. 227-254. ISBN: 978-1-4493-7986-5 по визуализации данных

Второе домашнее задание:

0. Найти интересную визуализацию, выложить в [ветке форума] (кратко обосновать, чем интересна).

Не обязательно на тему анализа данных (главное: интересная тематика и/или стиль визуализации).

Если кто-то выкладывает визуализацию, то источник (например, какой-то блог) уже не может быть использован остальными магистрами!

1. Выбрать набор данных на kaggle.com в разделе [Kaggle/Datasets].

Будьте внимательны: смотрите на данные. Ограничение: не более двух магистров на один датасет. Выбор надо сразу же "застолбить" в [ветке форума].

2. Сделать визуализацию по этой задаче (по каждой уже есть какие-то визуализации - см. раздел "Kernels"). Вот [пример] одной из уже сделанных визуализаций.

3. Оформить её в виде скрипта на сайте (предпочтительно) и / или в виде отдельного pdf-отчёта. Вот пример [отчёта прошлого года].

4. В любом случае - сделать по своей работе презентацию.

5. Что будет оцениваться (точнее, не штрафоваться)

• красота картинок
• нетривиальность данных для визуализации (необходимость получить их по представленным таблицам)
• непохожесть на другие визуализации
• качество выводов
• подробность описания своей работы над задачей
• лайки на сайте kaggle

Срок - до 12.10.2016 23:59.

Максимальный штраф: -10 (плюс отдельный штраф -5 за найденную визуализацию).

материалы:

• Tom Fawcett An introduction to ROC analysis // Pattern Recognition Letters Volume 27 Issue 8, 2006, P. 861-874.
• Стрижов В.В. Функция ошибки в задачах восстановления регрессии // Заводская лаборатория, 2013, 79(5): 65-73.
• К.Д. Маннинг, П. Рагхаван, Х. Шютце «Введение в информационный поиск» // . — Вильямс, 2011.
• видео Функционалы качества и функции потерь: Константы тоже бывают разные
• видео Функционалы качества и функции потерь: Какие множества похожи?
• видео Функционалы качества и функции потерь: AUC ROC - путь из (0,0) в (1,1)

• С. Лебедев Программирование на Python
• Learn X in Y minutes

НОВОЕ ЗАДАНИЕ 1. Поиск закономерностей в данных https://contest.sdsj.ru/

- в последующем будем решать эту задачу (можно начинать)

- первая тройка (в глобальном соревновании и в каждой подзадаче) получает 5 автоматом

- сейчас до 27.10.2016 ищем интересные закономерности

(в первую очередь, с прицелом на решение одной из 3х задач, но можно и просто какие-то нетривиальные зависимости в данных)

- цель: найти зависимости, которые не нашёл лектор - максимальный штраф: -10

- итог: выступление с презентаций (pdf) 27.10.2016

Для выполнения задания очень пригодится пакет Pandas для Python. Я о нём расскажу на след. неделе, вот презентация прошлого года.

Визуализация по конкурсу

код

• к/р по ЯП Python
• к/р по теме Функционалы качества
• Презентации по теме Закономерности в задаче "Сбербанк"

материалы:

• А. Liaw, M. Wiener Classification and Regression by randomForest // R News (2002) Vol. 2/3 p. 18.
• И. Генрихов О критериях ветвления, используемых при синтезе решающих деревьев // Машинное обучение и анализ данных, 2014, Т.1, №8, С.988-1017
• A. Natekin, A. Knoll Gradient boosting machines, a tutorial // Front Neurorobot. 2013; 7: 21.

материалы:

• Дьяконов А. Методы решения задач классификации с категориальными признаками // Прикладная математика и информатика. Труды факультета Вычислительной математики и кибернетики МГУ имени М.В. Ломоносова. — 2014. — № 46. — С. 103–127
• Y. Koren, R.M. Bell, C. Volinsky Matrix Factorization Techniques for Recommender Systems // IEEE Computer 42(8): 30-37 (2009).
• S. Funk Netflix Update: Try This at Home
• LibFM: Factorization Machine Library

• Дьяконов А. Python: Кодирование категориальных признаков (ноутбук)

• FFM – field-aware factorization machine (слайды)

материалы:

• Дьяконов А.Г. Алгоритмы для рекомендательной системы: технология LENCOR // Бизнес-Информатика, 2012, №1(19), С. 32–39.

материалы:

• Рыжов А.П. Элементы теории нечетких множеств и измерения нечеткости. Москва, Диалог-МГУ, 1998, 116 с.
• Основные понятия теории нечетких множеств, нейронных сетей и генетических алгоритмов // Вспомогательные материалы к курсу проф. Рыжова А.П.
• Ухоботов В. И. Избранные главы теории нечетких множеств // Учеб. пособие. Челябинск : Изд-во Челяб. гос. ун-та, 2011. – 245 с.

материалы:

• Л.Жуков курс Structural Analysis and Visualization of Networks в ВШЭ

Соревнование Santander

материалы:

• К.Д. Маннинг, П. Рагхаван, Х. Шютце «Введение в информационный поиск» // . — Вильямс, 2011.