|
|
(228 промежуточных версий не показаны.) |
Строка 1: |
Строка 1: |
- | == АЛГОРИТМЫ, МОДЕЛИ, АЛГЕБРЫ (название условное, курс посвящён анализу данных) == | + | == ПРИКЛАДНЫЕ ЗАДАЧИ АНАЛИЗА ДАННЫХ (курс для магистров ММП ВМК МГУ) == |
| | | |
| * Обязательный курс для магистров каф. [[ММП]] 1 г/о, читается в 1-м (9-м) семестре. | | * Обязательный курс для магистров каф. [[ММП]] 1 г/о, читается в 1-м (9-м) семестре. |
- | * Лекции — 32 часа, семинаров - 32 часа. | + | * Лекции — 36 часов, семинаров - 36 часов. |
| * Экзамен. | | * Экзамен. |
| * За курс отвечает кафедра Математических методов прогнозирования. | | * За курс отвечает кафедра Математических методов прогнозирования. |
| * Автор программы: профессор [[Участник:Dj|{{S|А. Г. Дьяконов}}]]. | | * Автор программы: профессор [[Участник:Dj|{{S|А. Г. Дьяконов}}]]. |
| + | |
| + | |
| + | |
| | | |
| {{notice| | | {{notice| |
- | Напоминаю, о наших договорённостях:
| + | '''Как будет проходить экзамен:''' |
| + | |
| * Есть система штрафных баллов, по ней формируется итоговая оценка. | | * Есть система штрафных баллов, по ней формируется итоговая оценка. |
| * Пороги для конкретных оценок (по сумме баллов) объявлены изначально, но могут быть откорректированы лектором в пользу студентов. | | * Пороги для конкретных оценок (по сумме баллов) объявлены изначально, но могут быть откорректированы лектором в пользу студентов. |
| * Сам экзамен проводится письменно - на нём (при желании) можно улучшить итоговую оценку | | * Сам экзамен проводится письменно - на нём (при желании) можно улучшить итоговую оценку |
| + | |
| + | хорошее написание письменного экзамена увеличивает итоговую оценку на 1 балл (порог будет заранее объявлен), безупречное написание - на 2 балла. |
| + | |
| + | * Итоговая "отлично" ставится автоматом. |
| + | * Итоговая "неудовлетворительно" также ставится автоматом и означает недопуск к экзамену, чтобы получить допуск надо сдать все несданные задания (итоговая оценка при этом не меняется и может быть исправлена только на самом экзамене). Перечень заданий для допуска определяется персонально с учётом заданий, сданных во время семестра. |
| + | |
| | | |
| '''Содержание экзамена:''' задания эквивалентные заданиям со всех контрольных и семинаров (плюс задания по спектральной теории графов, плюс задания на знания теории и определений, если они были на лекциях и продублированы в списке рекомендуемой литературы, плюс задания на знания языков/библиотек, если они обсуждались на семинарах и лекциях) | | '''Содержание экзамена:''' задания эквивалентные заданиям со всех контрольных и семинаров (плюс задания по спектральной теории графов, плюс задания на знания теории и определений, если они были на лекциях и продублированы в списке рекомендуемой литературы, плюс задания на знания языков/библиотек, если они обсуждались на семинарах и лекциях) |
| | | |
- | '''Исправление:''' хорошее написание письменного экзамена увеличивает итоговую оценку на 1 балл (порог будет заранее объявлен), безупречное написание - на 2 балла.
| |
| | | |
- | * Итоговая "отлично" ставится автоматом.
| + | |
- | * Итоговая "неудовлетворительно" также ставится автоматом и означает недопуск к экзамену, чтобы получить допуск надо сдать все несданные задания (итоговая оценка при этом не меняется и может быть исправлена только на самом экзамене).
| + | |
| * Экзамен проходит по жёсткой схеме: нельзя пользоваться ничем (кроме ручки и листка бумаги). Аналогично контроль сдаваемых заданий после окончания семестра жёсткий: лектор уже не консультирует по самим заданиям, презентации оцениваются по формальным критериям: наличие постановки задачи, описание предложенных методов, их обоснование, подробное изложение экспериментов (с графиками и таблицами), формирование итоговой модели, выводы. Оценивается и сам доклад по задаче! | | * Экзамен проходит по жёсткой схеме: нельзя пользоваться ничем (кроме ручки и листка бумаги). Аналогично контроль сдаваемых заданий после окончания семестра жёсткий: лектор уже не консультирует по самим заданиям, презентации оцениваются по формальным критериям: наличие постановки задачи, описание предложенных методов, их обоснование, подробное изложение экспериментов (с графиками и таблицами), формирование итоговой модели, выводы. Оценивается и сам доклад по задаче! |
- |
| |
- | Все вопросы, связанные с АМА должны быть заданы в [https://inclass.kaggle.com/c/msuedges/forums/t/18146/- этой ветке].
| |
- |
| |
- |
| |
- | '''Пример теоретических вопросов для экзамена:'''
| |
- | * Что такое коэффициент кластеризации?
| |
- | * Что такое полнота (как мера качества при классификации)?
| |
- | * Что такое персептронный алгоритм?
| |
- |
| |
- | '''Внимание!''' Посмотрите на странице АМА - не ошибся ли я с итоговыми баллами...
| |
- |
| |
- | '''"Отлично" автоматом получают:'''
| |
- |
| |
- | * Апишев Мурат Азаматович
| |
- | * Гой Антон Сергеевич
| |
- | * Гурьянов Алексей Константинович
| |
- | * Кибитова Валерия Николаевна
| |
- | * Лукашкина Юлия Николаевна
| |
- | * Сендерович Никита Леонидович
| |
- | * Шапулин Андрей Валентинович
| |
- |
| |
- | '''Допуск на экзамен имеют:'''
| |
- |
| |
- | * Готман Мария Леонидовна - не ниже "хорошо"
| |
- | * Жосан Юлия Сергеевна - не ниже "удовлетворительно" (жду выполнение последнего задания)
| |
- | * Темирчев Павел Георгиевич - не ниже "удовлетворительно"
| |
- |
| |
- | '''Допуск на экзамен не имеют - "неуд. автоматом":'''
| |
- |
| |
- | * Козлов Владимир Дмитриевич [VZ, ROS, SK, WL, ED]
| |
- | * Кузенко Татьяна Вячеславовна [VZ, PIC, ROS, SK, WL, ED]
| |
- | * Ожерельев Илья Сергеевич [PIC, ROS, SK, WL, ED]
| |
- | * Скробот Дмитрий Владиславович [VZ, PIC, ROS, SK, WL, ED]
| |
- | * Федосов Виктор Николаевич [VZ, PIC, ROS, SK, WL, ED]
| |
- | * Хомутов Никита Юрьевич [VZ, PIC, ROS, SK, WL, ED]
| |
- |
| |
- | В скобках обозначены долги - задания, которые необходимо сделать для допуска к экзамену. SK - задание по библиотеке scikit-learn от 05.11 (остаётся в той постановке, что и было). PIC - задание по визуализации от 24.09 (остаётся в той же постановке, что и было). 10го числа можно будет сдать эти задания. Остальные будут переформулированы после 10го числа (использование прежних формулировок невозможно, по причине окончания соответствующих соревнований).
| |
| | | |
- | 27/12/2015
| |
| }} | | }} |
| | | |
Строка 64: |
Строка 34: |
| Курс посвящён решению прикладных задач анализа данных. | | Курс посвящён решению прикладных задач анализа данных. |
| Разбираются реальные задачи и бизнес-кейсы. | | Разбираются реальные задачи и бизнес-кейсы. |
- | Студенты пишут и настраивают алгоритмы на языках Python, R, M(Matlab). | + | Студенты пишут и настраивают алгоритмы на языке Python. |
| | | |
| Семинары посвящены | | Семинары посвящены |
Строка 91: |
Строка 61: |
| | | |
| | | |
- | Итоговая оценка формируется следующим образом: | + | Итоговая (базовая) оценка формируется следующим образом: |
| * до 10 штрафных баллов включительно - отлично, | | * до 10 штрафных баллов включительно - отлично, |
| * до 20 штрафных баллов включительно - хорошо, | | * до 20 штрафных баллов включительно - хорошо, |
Строка 97: |
Строка 67: |
| | | |
| == Содержание курса == | | == Содержание курса == |
- | Наполняется по мере необходимости.
| |
| | | |
- | {| class="wikitable"
| + | В этом году все материалы выкладываются здесь: https://github.com/Dyakonov/PZAD. |
- | |-
| + | |
- | ! Число
| + | |
- | ! Занятие
| + | |
- | ! Тема
| + | |
- | ! Замечания
| + | |
- | |-
| + | |
- | | 03.09.15
| + | |
- | | лекция
| + | |
- | | '''Вводное занятие''': цели курса, материалы, правила, участие в соревнованиях.
| + | |
- | |
| + | |
- | |-
| + | |
- | | 03.09.15
| + | |
- | | семинар
| + | |
- | | Тест на знание основ машинного обучения.
| + | |
- | |
| + | |
- | |-
| + | |
- | | 03.09.15
| + | |
- | | дз
| + | |
- | | Регистрация на платформе kaggle.com (каждый участник в четверг должен иметь действующий логин), регистрация на данном ресурсе (по возможности), исследование платформы kaggle (уметь назвать несколько задач с платформы, их постановку, функционал качества, методы, которые использовали участники).
| + | |
- | |
| + | |
- | |-
| + | |
- | | 10.09.15
| + | |
- | | лекция
| + | |
- | | '''Оценка среднего и вероятности'''
| + | |
- | | + | |
- | материалы:
| + | |
- | # Книга [http://www.ozon.ru/context/detail/id/4526400/ Шурыгин А.М. Математические методы прогнозирования // М., Горячая линия — Телеком, 2009, 180 с.] * Неплохие идеи для решения некоторых практических задач статистики (но в целом, специфична)
| + | |
- | # Статья [http://bijournal.hse.ru/2014--1%20%2827%29/120486363.html Дьяконов А.Г. Прогноз поведения клиентов супермаркетов с помощью весовых схем оценок вероятностей и плотностей // Бизнес-информатика. 2014. № 1 (27). С. 68–77.].
| + | |
- | # Видео [https://vimeo.com/119925869 Оценка вероятности: когда к нам придёт клиент?]
| + | |
- | |
| + | |
- | |-
| + | |
- | | 10.09.15
| + | |
- | | лекция
| + | |
- | |
| + | |
- | |
| + | |
- | |-
| + | |
- | | 10.09.15
| + | |
- | | дз
| + | |
- | | '''Первое домашнее задание:'''
| + | |
- | | + | |
- | Решение задачи [[https://inclass.kaggle.com/c/msuvisits MSUvisits]].
| + | |
- | Срок - '''до 23 сентября 2015 23:59''' (с выкладкой отчёта в [[https://inclass.kaggle.com/c/msuvisits/forums/t/16428/517 этой ветке форума]]).
| + | |
- | | + | |
- | Все вопросы задаются в [[https://inclass.kaggle.com/c/msuvisits/forums форуме]].
| + | |
- | | + | |
- | Поощряется активность: выкладывание скриптов общего назначения (загрузка данных, перевод в нужный формат), бенчмарков (примитивные алгоритмы), ответы на вопросы в форуме.
| + | |
- | | + | |
- | '''до 16 сентября 2015 23:59 ''' - преодолеть порог 0.23753 в [[https://inclass.kaggle.com/c/msuvisits/leaderboard Public Liderboard]].
| + | |
- | | + | |
- | Напоминание: команды называть по шаблону '''''Ivan Ivanov (MMP, MSU, Russia)'''''.
| + | |
- | | max штраф за задание -10.
| + | |
- | Но дополнительно, за непреодоление бенчмарка -5.
| + | |
- | |-
| + | |
- | | 17.09.15
| + | |
- | | лекция
| + | |
- | | '''Система для анализа данных Matlab'''
| + | |
- | материалы:
| + | |
- | | + | |
- | # [[Публикация:Дьяконов 2010 Учебное пособие ММП| Дьяконов A.Г. Анализ данных, обучение по прецедентам, логические игры, системы WEKA, RapidMiner и MatLab (практикум на ЭВМ кафедры математических методов прогнозирования), МАКСПресс, 2010, 278с.]]
| + | |
- | # [[blogs.mathworks.com/loren/ Блог Лоурен "Loren on the Art of MATLAB"]]
| + | |
- | |
| + | |
- | |-
| + | |
- | | 17.09.15
| + | |
- | | лекция
| + | |
- | | Быть в будущем готовым к контрольной
| + | |
- | |
| + | |
- | |-
| + | |
- | | 17.09.15
| + | |
- | | дз
| + | |
- | | Быть в будущем готовым к контрольной
| + | |
- | |
| + | |
- | |-
| + | |
- | | 24.09.15
| + | |
- | | лекция
| + | |
- | | '''Визуализация данных'''
| + | |
- | материалы:
| + | |
- | | + | |
- | * Книга [http://www.amazon.com/Beautiful-Visualization-Looking-through-Practice/dp/1449379869 Beautiful Visualization: Looking at Data through the Eyes of Experts (Theory in Practice) // Edited by Julie Steele and Noah Iilinsky. Sebastopol, CA: O‘Reilly 2010, pp. 227-254. ISBN: 978-1-4493-7986-5] по визуализации данных
| + | |
- |
| + | |
- | |
| + | |
- | |-
| + | |
- | | 24.09.15
| + | |
- | | семинар
| + | |
- | | Разбор решений задачи [[https://inclass.kaggle.com/c/msuvisits MSUvisits]]
| + | |
- | |
| + | |
- | |-
| + | |
- | | 24.09.15
| + | |
- | | дз
| + | |
- | | Обеспечить себе результат выше лучшего бенчмарка [[https://inclass.kaggle.com/c/msuvisits MSUvisits]] до 01.10.2015 (иначе - '''штраф -5''').
| + | |
- | | + | |
- | '''Второе домашнее задание:'''
| + | |
- | | + | |
- | 1. Выбрать ''активную'' задачу на kaggle.com в разделе Public Datasets (фиолетовый раздел).
| + | |
- | | + | |
- | Будьте внимательны: смотрите на данные.
| + | |
- | | + | |
- | 2. Сделать визуализацию по этой задаче (по каждой уже есть какие-то визуализации - см. раздел "Скрипты").
| + | |
- | | + | |
- | 3. Оформить её в виде скрипта на сайте (предпочтительно) или в виде отдельного pdf-отчёта.
| + | |
- | | + | |
- | 4. В любом случае - сделать по своей работе презентацию.
| + | |
- | | + | |
- | 5. Что будет оцениваться (точнее, не штрафоваться)
| + | |
- | * красота картинок
| + | |
- | * нетривиальность данных для визуализации (необходимость получить их по представленным таблицам)
| + | |
- | * непохожесть на другие визуализации
| + | |
- | * качество выводов
| + | |
- | * подробность описания своей работы над задачей
| + | |
- | * лайки на сайте kaggle
| + | |
- | | + | |
- | Срок - до '''14.10.2015 23:59'''.
| + | |
- | | + | |
- | Ограничения: Одну задачу не должны выбрать более 6 человек (оставляю это требование на контроль группы).
| + | |
- | | + | |
- | Максимальный штраф: '''-10'''.
| + | |
- | |
| + | |
- | |-
| + | |
- | | 01.10.15
| + | |
- | | лекция
| + | |
- | | '''Функционалы качества и ошибки'''
| + | |
- | | + | |
- | материалы: | + | |
- | * [https://ccrma.stanford.edu/workshops/mir2009/references/ROCintro.pdf Tom Fawcett An introduction to ROC analysis // Pattern Recognition Letters Volume 27 Issue 8, 2006, P. 861-874.]
| + | |
- | * [http://strijov.com/papers/Strijov2012ErrorFn.pdf Стрижов В.В. Функция ошибки в задачах восстановления регрессии // Заводская лаборатория, 2013, 79(5): 65-73.]
| + | |
- | * [http://www.ozon.ru/context/detail/id/5497130/ К.Д. Маннинг, П. Рагхаван, Х. Шютце «Введение в информационный поиск» // . — Вильямс, 2011.]
| + | |
- | * видео [https://vimeo.com/119926468 Функционалы качества и функции потерь: Константы тоже бывают разные]
| + | |
- | * видео [https://vimeo.com/119926489 Функционалы качества и функции потерь: Какие множества похожи?]
| + | |
- | * видео [https://vimeo.com/119926504 Функционалы качества и функции потерь: AUC ROC - путь из (0,0) в (1,1)]
| + | |
- | |
| + | |
- | |-
| + | |
- | | 01.10.15
| + | |
- | | семинар (45мин)
| + | |
- | | по материалам лекции - минимизация функций ошибки, вычисление AUC ROC
| + | |
- | |
| + | |
- | |-
| + | |
- | | 01.10.15
| + | |
- | | дз
| + | |
- | | Подготовка к контрольной работе
| + | |
- | |
| + | |
- | |-
| + | |
- | | 08.10.15
| + | |
- | | лекция
| + | |
- | | продолжение '''Функционалы качества и ошибки'''
| + | |
- | |
| + | |
- | |-
| + | |
- | | 08.10.15
| + | |
- | | семинар
| + | |
- | | по материалам лекции, '''контрольная работа''' по теме ''Функционалы качества и ошибки'' (максимальный штраф: '''-10''' - исправляемый!)
| + | |
- | |
| + | |
- | |-
| + | |
- | | 08.10.15
| + | |
- | | дз
| + | |
- | |
| + | |
- | |
| + | |
- | |-
| + | |
- | | 15.10.15
| + | |
- | | лекция
| + | |
- | | Представление нового задания: [https://www.kaggle.com/c/rossmann-store-sales Rossmann Store Sales ], '''обзор подходов к его решению на R'''.
| + | |
- | материалы:
| + | |
- | * [[Медиа:Rossmann.pdf|презентация (pdf)]]
| + | |
- | * [[Медиа:Research.r.zip|код на R с исследованиями по задаче и подготовкой решения]]
| + | |
- | * [[Медиа:Examples.zip|пример применения различных алгоритмов машинного обученияна R]]
| + | |
- | | + | |
- | Срок - до '''28.10.2015 23:59'''.
| + | |
- | | + | |
- | Напоминание: команды называть по шаблону Ivan Ivanov (MMP, MSU, Russia).
| + | |
- | |
| + | |
- | |-
| + | |
- | | 15.10.15
| + | |
- | | семинар
| + | |
- | | '''Защита своих визуализаций''' (см. Второе домашнее задание.)
| + | |
- | |
| + | |
- | |-
| + | |
- | | 15.10.15
| + | |
- | | дз
| + | |
- | |
| + | |
- | '''Третье домашнее задание:'''
| + | |
- | | + | |
- | 1. Попробовать по крайней мере 3 различных алгоритма машинного обучения и по крайней мере 3 различных признаковых пространства в задаче [https://www.kaggle.com/c/rossmann-store-sales Rossmann Store Sales] (т.е минимум должно быть использовано 3 различных алгоритма машинного обучения, если они обучаются на разных признаках). Ограничения по языку программирования нет, можно использовать любой. Качество работы алгоритмов нужно проверять на локальном контроле.
| + | |
- | | + | |
- | 2. Сделать хотя бы 3 посылки по этой задаче на сайте [https://www.kaggle.com/c/rossmann-store-sales kaggle.com] и посмотреть как соотносятся результаты локального контроля и Public Leaderboard.
| + | |
- | | + | |
- | 3. Прислать отчет о проделанной работе на почту '''aostapec@mail.ru'''
| + | |
- | | + | |
- | 4. Что должно быть в отчете:
| + | |
- | * '''Понятное''' описание используемых подходов (можно прислать текстовое описание, код, rNotebook или IPython Notebook с экспериментами)
| + | |
- | * Таблица с результатами работы алгоритмов на локальном контроле.
| + | |
- | * Таблица с результатами работы алгоритмов на Public Leaderboard.
| + | |
- | |
| + | |
- | |-
| + | |
- | | 22.10.15
| + | |
- | | лекция
| + | |
- | | Подходы к решению [https://www.kaggle.com/c/rossmann-store-sales Rossmann Store Sales ] + '''минимизация функционалов'''
| + | |
- | материалы:
| + | |
- | | + | |
- | [https://github.com/Dyakonov/notebooks/blob/master/rossmann.ipynb ноутбук]
| + | |
- | |
| + | |
- | |-
| + | |
- | | 22.10.15
| + | |
- | | семинар
| + | |
- | | Разбор последней контрольной работы + '''защита своих визуализаций''' (продолжение)
| + | |
- | |
| + | |
- | |-
| + | |
- | | 22.10.15
| + | |
- | | дз
| + | |
- | |
| + | |
- | |
| + | |
- | |-
| + | |
- | | 29.10.15
| + | |
- | | лекция
| + | |
- | | '''Линейные модели алгоритмов'''
| + | |
- | | + | |
- | материалы:
| + | |
- | # [http://lib.mexmat.ru/books/9210 Ту Дж., Гонсалес Р. Принципы распознавания образов] // Издательство Мир , Мо-сква, 1978 - 412 стр.
| + | |
- | # [http://alexanderdyakonov.narod.ru/uptimes.pdf Прогнозирование рядов соревнования «Tourism Forecasting Part Two»] (414Кб)
| + | |
- | # [http://www.springerlink.com/content/73g4kl50m6112420/ Alexander D’yakonov A Blending of Simple Algorithms for Topical Classification]// Rough Sets and Current Trends in Computing, Lecture Notes in Computer Science, 2012, Volume 7413/2012, 432–438.
| + | |
- | # видео [https://vimeo.com/119926447 Линейная регрессия: как решать матричные уравнения]
| + | |
- | |
| + | |
- | |-
| + | |
- | | 29.10.15
| + | |
- | | семинар
| + | |
- | | Введение в Pandas (для желающих)
| + | |
- | |
| + | |
- | |-
| + | |
- | | 29.10.15
| + | |
- | | дз
| + | |
- | |
| + | |
- | |
| + | |
- | | + | |
- | |-
| + | |
- | | 05.11.15
| + | |
- | | лекция
| + | |
- | | '''Линейные модели алгоритмов''' (продолжение), '''Анализ текстов'''
| + | |
- | | + | |
- | материалы:
| + | |
- | * [http://www.ozon.ru/context/detail/id/5497130/ К.Д. Маннинг, П. Рагхаван, Х. Шютце «Введение в информационный поиск» // . — Вильямс, 2011.]
| + | |
- | |
| + | |
- | |-
| + | |
- | | 05.11.15
| + | |
- | | семинар
| + | |
- | | Введение в Pandas (окончание), минимизация функционалов
| + | |
- | |
| + | |
- | |-
| + | |
- | | 05.11.15
| + | |
- | | дз
| + | |
- | | '''Домашнее задание''': [[Медиа:PZAD2015_dz.pdf| Постановка]], [https://inclass.kaggle.com/c/msuvisits/forums/t/17301/scikit-learn ветка форума], [http://scikit-learn.org/stable/index.html SCIKIT-LEARN].
| + | |
- | | штраф: -10, срок: 2 недели
| + | |
- | | + | |
- | | + | |
- | |-
| + | |
- | | 12.11.15
| + | |
- | | лекция
| + | |
- | | '''Анализ текстов''' (продолжение), '''Случайные леса'''.
| + | |
- | | + | |
- | материалы:
| + | |
- | * А. Liaw, M. Wiener [http://www.bios.unc.edu/~dzeng/BIOS740/randomforest.pdf Classification and Regression by randomForest] // R News (2002) Vol. 2/3 p. 18.
| + | |
- | * И. Генрихов [http://jmlda.org/papers/doc/2014/no8/Genrikhov2014Criteria.pdf О критериях ветвления, используемых при синтезе решающих деревьев] // Машинное обучение и анализ данных, 2014, Т.1, №8, С.988-1017
| + | |
- | * A. Natekin, A. Knoll [http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3885826/ Gradient boosting machines, a tutorial] // Front Neurorobot. 2013; 7: 21.
| + | |
- | |
| + | |
- | |-
| + | |
- | | 12.11.15
| + | |
- | | семинар
| + | |
- | | Введение в sklearn (для желающих)
| + | |
- | |
| + | |
- | |-
| + | |
- | | 12.11.15
| + | |
- | | дз
| + | |
- | |
| + | |
- | |
| + | |
- | | + | |
- | | + | |
- | |-
| + | |
- | | 19.11.15
| + | |
- | | лекция
| + | |
- | | '''Случайные леса''' (продолжение)
| + | |
- | |
| + | |
- | |-
| + | |
- | | 19.11.15
| + | |
- | | семинар
| + | |
- | | Защита презентаций по scikit-learn
| + | |
- | |
| + | |
- | |-
| + | |
- | | 19.11.15
| + | |
- | | дз
| + | |
- | | Новое '''домашнее задание''' - участие в соревновании [https://www.kaggle.com/c/walmart-recruiting-trip-type-classification Walmart Recruiting: Trip Type Classification].
| + | |
- | | + | |
- | Предварительная цель - превзойти результат '''0.90'''. Первый дедлайн - '''2 декабря'''. Штраф: -10
| + | |
- | |
| + | |
- | | + | |
- | | + | |
- | |-
| + | |
- | | 26.11.15
| + | |
- | | лекция
| + | |
- | | '''Категориальные признаки'''
| + | |
- | | + | |
- | материалы:
| + | |
- | | + | |
- | * Дьяконов А. [http://istina.msu.ru/media/publications/article/972/9eb/7537819/sw-factors-dyakonov.pdf Методы решения задач классификации с категориальными признаками] // Прикладная математика и информатика. Труды факультета Вычислительной математики и кибернетики МГУ имени М.В. Ломоносова. — 2014. — № 46. — С. 103–127
| + | |
- | * Y. Koren, R.M. Bell, C. Volinsky Matrix Factorization Techniques for Recommender Systems // IEEE Computer 42(8): 30-37 (2009).
| + | |
- | * S. Funk [http://sifter.org/~simon/journal/20061211.html Netflix Update: Try This at Home]
| + | |
- | * [http://www.libfm.org/ LibFM]: Factorization Machine Library
| + | |
- | | + | |
- | |
| + | |
- | |-
| + | |
- | | 26.11.15
| + | |
- | | семинар
| + | |
- | | Защита презентаций по scikit-learn (продолжение)
| + | |
- | |
| + | |
- | |-
| + | |
- | | 26.11.15
| + | |
- | | дз
| + | |
- | |
| + | |
- | |
| + | |
- | | + | |
- | |-
| + | |
- | | 03.12.15
| + | |
- | | лекция
| + | |
- | | '''k ближайших соседей, настройка комбинаций алгоритмов'''
| + | |
- | | + | |
- | '''Пост-троечные последовательности'''
| + | |
- | | + | |
- | материалы:
| + | |
- | | + | |
- | * Дьяконов А.Г. [http://bijournal.hse.ru/2012--1%2819%29/53535879.html Алгоритмы для рекомендательной системы: технология LENCOR] // Бизнес-Информатика, 2012, №1(19), С. 32–39.
| + | |
- | | + | |
- | '''Теория нечётких множеств'''
| + | |
- | | + | |
- | материалы:
| + | |
- | | + | |
- | * Рыжов А.П. [http://www.intsys.msu.ru/staff/ryzhov/FuzzySetsTheory&Applications.pdf Элементы теории нечетких множеств и измерения нечеткости]. Москва, Диалог-МГУ, 1998, 116 с.
| + | |
- | * [http://www.mba-topman.ru/files/Osnovnye_ponyatiya1064.pdf Основные понятия теории нечетких множеств, нейронных сетей и генетических алгоритмов] // Вспомогательные материалы к курсу проф. Рыжова А.П.
| + | |
- | * Ухоботов В. И. [http://www.lib.csu.ru/texts/UhobotovVI.pdf Избранные главы теории нечетких множеств] // Учеб. пособие. Челябинск : Изд-во Челяб. гос. ун-та, 2011. – 245 с.
| + | |
- | | + | |
- | |
| + | |
- | |-
| + | |
- | | 03.12.15
| + | |
- | | семинар
| + | |
- | | Задачи по нечётким множествам
| + | |
- | |
| + | |
- | |-
| + | |
- | | 03.12.15
| + | |
- | | дз
| + | |
- | | Подготовиться к контрольной по нечётким множествам
| + | |
- | |
| + | |
- | | + | |
- | |-
| + | |
- | | 10.12.15
| + | |
- | | лекция
| + | |
- | | '''Исследование социальных сетей'''
| + | |
- | | + | |
- | материалы:
| + | |
- | * Л.Жуков курс [http://leonidzhukov.net/hse/2015/socialnetworks/ Structural Analysis and Visualization of Networks] в ВШЭ
| + | |
- | |
| + | |
- | |-
| + | |
- | | 10.12.15
| + | |
- | | семинар
| + | |
- | | Контрольная работа по теории нечётких множеств
| + | |
- | |
| + | |
- | |-
| + | |
- | | 10.12.15
| + | |
- | | дз
| + | |
- | | Домашнее задание: [https://inclass.kaggle.com/c/msuedges/ соревнование "Прогнозирование появление рёбер в графе соцсети"].
| + | |
- | '''За неделю''' необходимо преодолеть бенчмарк "Решение за 5 минут". Штраф -5.
| + | |
- | | + | |
- | В [https://inclass.kaggle.com/c/msuedges/forums/t/17826/- этой ветке] '''до 23го декабря 23:59''' надо опубликовать pdf-отчёт и код. В отчёте перечислить методы, которые были использованы (и причины их использования), результаты тестов на локальном контроле и на лидерборде. Штраы -10.
| + | |
- | Чуть позже будет определён итоговый порог для преодоления.
| + | |
- | |
| + | |
- | | + | |
- | |-
| + | |
- | | 17.12.15
| + | |
- | | лекция
| + | |
- | | '''Исследование социальных сетей''' (продолжение)
| + | |
- | | + | |
- | '''Спектральная теория графов''' (сколько успеем)
| + | |
- | | + | |
- | материалы:
| + | |
- | * D.Spielman course [http://www.cs.yale.edu/homes/spielman/561/ Spectral Graph Theory]
| + | |
- | | + | |
- | |
| + | |
- | |-
| + | |
- | | 17.12.15
| + | |
- | | семинар
| + | |
- | |
| + | |
- | |
| + | |
- | |-
| + | |
- | | 17.12.15
| + | |
- | | дз
| + | |
- | | дано выше
| + | |
- | |
| + | |
- | |}
| + | |
| | | |
| == Успеваемость == | | == Успеваемость == |
- |
| |
- | {|class = "standard sortable"
| |
- | ! class="unsortable"|№<br>п/п !! Студент !! align="center"|тест<br>03.09<br> !! визиты<br>23.09<br> !! преодоление<br>бенчмарка<br>01.10 !! семинары<br>01.10<br> !! выбор визуализации<br> ранняя сдача<br> !! ф-ии ошибки<br>кр<br>08.10 <br> !! визуализация<br> защита<br>15.10 !! Rossmann<br> 22.10 !! scikit<br>19.10 !! Walmart<br>03.12 !! нечёткие мн-ва<br>10.12 !! рёбра<br>17.12 !! <br>ИТОГ
| |
- | |-
| |
- | | align="center"|1 || Апишев Мурат Азаматович || align="center"|0 || align="center"|0 + 0 (доклад)|| align="center"|-5 || align="center"| || align="center"|+5 || align="center"|-3 || align="center"| 0 (доклад) + 5 (лучший) || align="center"| 0 + 5 (первый)|| align="center"|0 (доклад) || align="center"|0 || align="center"|-8 || align="center"|0+0|| align="center"| -1 [отлично]
| |
- | |-
| |
- | | align="center"|2 || Гой Антон Сергеевич || align="center"|0 || align="center"|+3 (загрузка) + 0 (доклад)|| align="center"|0 || align="center"| || align="center"|+5 || align="center"|-5 || align="center"| 0 (доклад) + 5 (лучший) || align="center"| 0 + 10 (лучший)|| align="center"|0 (доклад) + 10 (лучший) || align="center"|0 || align="center"|-10 Н || align="center"|0-10|| align="center"| +8 [отлично]
| |
- | |-
| |
- | | align="center"|3 || Готман Мария Леонидовна || align="center"|0 || align="center"|+3 (форум) + 0 (доклад)|| align="center"|-5 || align="center"| || align="center"| || align="center"|-3 || align="center"| 0 (доклад) || align="center"| -4 (дедлайн) || align="center"|+ || align="center"|0 || align="center"|-8 || align="center"|0+0|| align="center"| -17 [>="4"]
| |
- | |-
| |
- | | align="center"|4 || Гурьянов Алексей Константинович || align="center"|0 || align="center"|-5 -2|| align="center"|0 || align="center"|+1 || align="center"| || align="center"|0+10 || align="center"| 0 || align="center"| -2 (дедлайн+зам) || align="center"|+ (доклад) || align="center"|+10 (лучший) || align="center"|-2 || align="center"|0-10|| align="center"| +0 [отлично]
| |
- | |-
| |
- | | align="center"|5 || Жосан Юлия Сергеевна || align="center"|0 || align="center"|-1 -1|| align="center"|0 || align="center"| || align="center"| || align="center"|-7 || align="center"| 0 (доклад) || align="center"| 0 || align="center"|-10 || align="center"|0 || align="center"|-9 || align="center"|0-?|| align="center"| <=-28 [?]
| |
- | |-
| |
- | | align="center"|6 || Кибитова Валерия Николаевна || align="center"|0 || align="center"|0 -2|| align="center"|0 || align="center"| || align="center"| || align="center"|-6 || align="center"| 0 || align="center"| 0 + 10 (лучшая) || align="center"|+ (доклад) || align="center"|+10 (лучшая) || align="center"|-9 || align="center"|0+0|| align="center"| +3 [отлично]
| |
- | |-
| |
- | | align="center"|7 || Козлов Владимир Дмитриевич || align="center"|0 || align="center"|-1 + 0|| align="center"|-5 || align="center"| || align="center"| || align="center"|-3 || align="center"| 0 (доклад) || align="center"| -10 || align="center"|-10 ? || align="center"|-10? || align="center"|-2 || align="center"|-5-10|| align="center"| -56
| |
- | |-
| |
- | | align="center"|8 || Кузенко Татьяна Вячеславовна || align="center"|- 0 || align="center"|-5 -10|| align="center"|-5 || align="center"| || align="center"| || align="center"|-9 || align="center"| -10 || align="center"| -10 || align="center"|-10 || align="center"|-10 || align="center"|-9 || align="center"|-5-10|| align="center"| -93
| |
- | |-
| |
- | | align="center"|9 || Лукашкина Юлия Николаевна || align="center"|0 || align="center"|0 + 0|| align="center"|-5 || align="center"| || align="center"|+5 || align="center"|-7 || align="center"| 0 (доклад) + 5 (лучший) || align="center"| 0 || align="center"|+ (доклад) || align="center"|0 || align="center"|-8 || align="center"|0+0+10(первое место)+5(форум)|| align="center"| +5 [отлично]
| |
- | |-
| |
- | | align="center"|10 || Ожерельев Илья Сергеевич || align="center"|0 || align="center"|0 + 0 (доклад)|| align="center"|-5 || align="center"|+1 || align="center"| || align="center"|-6 || align="center"| -10 || align="center"| -10 || align="center"|-10 || align="center"|-10 || align="center"|-10 н || align="center"|-5-10|| align="center"| -75
| |
- | |-
| |
- | | align="center"|11 || Сендерович Никита Леонидович || align="center"|+10 || align="center"|+5 (выступление)|| align="center"|0 || align="center"|+2 || align="center"| || align="center"|-3 || align="center"| 0 (доклад) + 5 (лучший) || align="center"| -10 || align="center"|-3 (дедлайн, доклад) || align="center"|0 || align="center"|+10 || align="center"|0-3(дедлайн)+10(первое место)|| align="center"| +23 [отлично]
| |
- | |-
| |
- | | align="center"|12 || Скробот Дмитрий Владиславович || align="center"|- 0 || align="center"|-5 -10|| align="center"|-5 || align="center"| || align="center"| || align="center"|-10 || align="center"|-10 || align="center"| -10 || align="center"|-10 || align="center"|-10 || align="center"|-10 н || align="center"|-5-10|| align="center"| -95
| |
- | |-
| |
- | | align="center"|13 || Темирчев Павел Георгиевич || align="center"|0 || align="center"|-5 -3 (доклад)|| align="center"|-5 || align="center"|+2+2+5 || align="center"| || align="center"|-7 || align="center"|-10 || align="center"| -10 || align="center"|-1 (дедлайн) || align="center"|0 || align="center"|-5 || align="center"|0-3(дедлайн)+5(форум)|| align="center"| -35
| |
- | |-
| |
- | | align="center"|14 || Федосов Виктор Николаевич || align="center"|0 || align="center"|-5 -10|| align="center"|-5 || align="center"| || align="center"| || align="center"|-10 || align="center"|-10 || align="center"| -10 || align="center"|-10 || align="center"|-10 || align="center"|-10 || align="center"|-5-10|| align="center"| -95
| |
- | |-
| |
- | | align="center"|15 || Хомутов Никита Юрьевич || align="center"|- 0 || align="center"|-5 -10|| align="center"|-5 || align="center"| || align="center"| || align="center"|-7 || align="center"|-10 || align="center"| -10 || align="center"|-10 || align="center"|-10 || align="center"|-3 || align="center"|0-10+5(форум)|| align="center"| -75
| |
- | |-
| |
- | | align="center"|16 || Шапулин Андрей Валентинович || align="center"|- 0 || align="center"|0 + 0 (доклад)|| align="center"|0 || align="center"| || align="center"| || align="center"|-6 || align="center"| 0 (доклад) + 5 (лучший) || align="center"| 0 || align="center"|0 (доклад) || align="center"| 0 || align="center"|-7 || align="center"|0+0+5(форум)-5(бенчмарк)|| align="center"| -8 [отлично]
| |
- | |-
| |
- | |}
| |
| | | |
| == Литература == | | == Литература == |
- | Указана локально - в сетке расписания. | + | Указана локально - в слайдах / сетке расписания. |
| | | |
| == История == | | == История == |
- | Программы прошлых лет см. здесь: [[Алгоритмы, модели, алгебры (курс на ВМК до 2015 года)]] | + | Программы прошлых лет см. здесь: |
| + | * [[Прикладные задачи анализа данных (курс на ВМК 2018 года)]] |
| + | * [[Прикладные задачи анализа данных (курс на ВМК 2017 года)]] |
| + | * [[Прикладные задачи анализа данных (курс на ВМК 2016 года)]] |
| + | * [[Алгоритмы, модели, алгебры (курс на ВМК 2015 года)]] |
| + | * [[Алгоритмы, модели, алгебры (курс на ВМК до 2015 года)]] |
| | | |
| [[Категория:Учебные курсы]] | | [[Категория:Учебные курсы]] |
| [[Категория:МГУ]] | | [[Категория:МГУ]] |
Курс посвящён решению прикладных задач анализа данных.
Разбираются реальные задачи и бизнес-кейсы.
Студенты пишут и настраивают алгоритмы на языке Python.
В течение семестра студенты получают задания.
В противном случае - он получает от 1 до 10 штрафных баллов.
Штраф в 10 баллов допустим за позднюю сдачу (даже если решение верное)
в случае отсутствия уважительных причин (болезнь, подтверждаемая справкой, и т.п. -
см. требования учебной части).
В некоторых случаях (на усмотрение лектора), магистру, который лучше всех выполнил конкретное задание,
списываются штрафные баллы (до 10).
На экзамене также за неверные ответы студент получает штрафные баллы.
Указана локально - в слайдах / сетке расписания.
Программы прошлых лет см. здесь: