Алгоритмы, модели, алгебры (курс лекций, Ю.И. Журавлев, А.Г. Дьяконов)
Материал из MachineLearning.
(→Успеваемость) |
(→Содержание курса) |
||
(80 промежуточных версий не показаны.) | |||
Строка 1: | Строка 1: | ||
- | == | + | == ПРИКЛАДНЫЕ ЗАДАЧИ АНАЛИЗА ДАННЫХ (курс для магистров ММП ВМК МГУ) == |
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
* Обязательный курс для магистров каф. [[ММП]] 1 г/о, читается в 1-м (9-м) семестре. | * Обязательный курс для магистров каф. [[ММП]] 1 г/о, читается в 1-м (9-м) семестре. | ||
Строка 81: | Строка 72: | ||
! Замечания | ! Замечания | ||
|- | |- | ||
- | | | + | | 07.09.17 |
| лекция | | лекция | ||
| '''Вводное занятие''': цели курса, материалы, правила, участие в соревнованиях. | | '''Вводное занятие''': цели курса, материалы, правила, участие в соревнованиях. | ||
| [[Медиа:AMA2016_00_intro.pdf|презентация (pdf)]] | | [[Медиа:AMA2016_00_intro.pdf|презентация (pdf)]] | ||
|- | |- | ||
- | | | + | | 07.09.17 |
| семинар | | семинар | ||
| Тест на знание основ машинного обучения. | | Тест на знание основ машинного обучения. | ||
| | | | ||
|- | |- | ||
- | | | + | | 07.09.17 |
| дз | | дз | ||
| Регистрация на платформе kaggle.com (каждый участник в четверг должен иметь действующий логин), регистрация на данном ресурсе (по возможности), исследование платформы kaggle (уметь назвать несколько задач с платформы, их постановку, функционал качества, методы, которые использовали участники). | | Регистрация на платформе kaggle.com (каждый участник в четверг должен иметь действующий логин), регистрация на данном ресурсе (по возможности), исследование платформы kaggle (уметь назвать несколько задач с платформы, их постановку, функционал качества, методы, которые использовали участники). | ||
| | | | ||
|- | |- | ||
- | | | + | | 14.09.17 |
| лекция | | лекция | ||
| '''Оценка среднего и вероятности''' | | '''Оценка среднего и вероятности''' | ||
Строка 106: | Строка 97: | ||
| [[Медиа:PZAD2016_01_probweights.pdf|презентация (pdf)]] | | [[Медиа:PZAD2016_01_probweights.pdf|презентация (pdf)]] | ||
|- | |- | ||
- | | | + | | 14.09.17 |
| лекция | | лекция | ||
| | | | ||
| | | | ||
|- | |- | ||
- | | | + | | 14.09.17 |
| дз | | дз | ||
| '''Первое домашнее задание:''' | | '''Первое домашнее задание:''' | ||
- | Решение задачи [[https:// | + | Решение задачи [[https://www.kaggle.com/c/pzadbabki]]. |
- | Срок - '''до | + | Срок - '''до 04 октября 2017 23:59''' (с выкладкой отчёта в [[https://www.kaggle.com/c/pzadbabki/discussion/39537 этой ветке форума]]). |
- | Все вопросы задаются в [[https:// | + | Все вопросы задаются в [[https://www.kaggle.com/c/pzadbabki/discussion/ форуме]]. |
Поощряется активность: выкладывание скриптов общего назначения (загрузка данных, перевод в нужный формат), бенчмарков (примитивные алгоритмы), ответы на вопросы в форуме. | Поощряется активность: выкладывание скриптов общего назначения (загрузка данных, перевод в нужный формат), бенчмарков (примитивные алгоритмы), ответы на вопросы в форуме. | ||
- | '''до | + | '''до 27 сентября 2017 23:59 ''' - преодолеть бенчмарк. |
Напоминание: команды называть по шаблону '''''Ivan Ivanov (MMP, MSU, Russia)'''''. | Напоминание: команды называть по шаблону '''''Ivan Ivanov (MMP, MSU, Russia)'''''. | ||
Строка 131: | Строка 122: | ||
|- | |- | ||
- | | | + | | 21.09.17 <br> среда |
| лекция | | лекция | ||
- | | ''' | + | | '''Язык программирования Python''' |
- | + | * С. Лебедев [https://compscicenter.ru/courses/python/2015-autumn/ Программирование на Python] | |
- | + | * [https://learnxinyminutes.com/docs/python/ Learn X in Y minutes] | |
- | + | | [[Медиа:PZAD2017_c1_python.pdf|презентация (pdf)]] | |
- | + | ||
- | | | + | |
|- | |- | ||
- | | | + | | 21.09.17 <br> среда |
- | | | + | | лекция |
- | | | + | | '''Язык программирования Python''' (продолжение) |
| | | | ||
|- | |- | ||
- | | | + | | 21.09.17 <br> среда |
| дз | | дз | ||
- | | | + | | Готовиться к к/р по языку Python. |
| | | | ||
+ | |||
+ | |||
|- | |- | ||
- | | | + | | 28.09.16 |
| лекция | | лекция | ||
| '''Визуализация данных''' | | '''Визуализация данных''' | ||
Строка 156: | Строка 147: | ||
* Книга [http://www.amazon.com/Beautiful-Visualization-Looking-through-Practice/dp/1449379869 Beautiful Visualization: Looking at Data through the Eyes of Experts (Theory in Practice) // Edited by Julie Steele and Noah Iilinsky. Sebastopol, CA: O‘Reilly 2010, pp. 227-254. ISBN: 978-1-4493-7986-5] по визуализации данных | * Книга [http://www.amazon.com/Beautiful-Visualization-Looking-through-Practice/dp/1449379869 Beautiful Visualization: Looking at Data through the Eyes of Experts (Theory in Practice) // Edited by Julie Steele and Noah Iilinsky. Sebastopol, CA: O‘Reilly 2010, pp. 227-254. ISBN: 978-1-4493-7986-5] по визуализации данных | ||
- | + | | | |
- | | [[Медиа: | + | * [[Медиа:PZAD2017_02_visualize_part1.pdf|презентация (pdf)]] |
+ | * [[Медиа:PZAD2017_02_visualize_part2.pdf|презентация (pdf)]] | ||
|- | |- | ||
- | | | + | | 28.09.16 |
- | | | + | | лекция |
- | | | + | | продолжение |
| | | | ||
|- | |- | ||
- | | | + | | 28.09.16 |
| дз | | дз | ||
| | | | ||
Строка 170: | Строка 162: | ||
'''Второе домашнее задание:''' | '''Второе домашнее задание:''' | ||
- | + | * Найти 2е интересные визуализации, выложить в [[https://www.kaggle.com/c/pzadbabki/discussion/40193 форуме(1)]] (см. внимательно правила по ссылке). [10 штрафных / +10 анти] | |
+ | * Найти ещё одну визуализацию для игры "что за данные" (добавить её в конец презентации про решение 1й задачи к 5.10.2017) | ||
+ | * Выбрать набор данных на kaggle.com в разделе [[https://www.kaggle.com/datasets]]. См. правила и как выбрать на [[https://www.kaggle.com/c/pzadbabki/discussion/40194 форуме(2)]]. Оформить презентацию-доклад. [10 штрафных / +10 анти] | ||
+ | * След занятие: отчёт по 1й задаче и к/р Питон | ||
- | |||
- | |||
- | + | |- | |
+ | | 05.10.17 | ||
+ | | семинар | ||
+ | | '''Отчёт по ДЗ №1''' (определение суммы 1й покупки) | ||
+ | | | ||
+ | |- | ||
+ | | 05.10.17 | ||
+ | | лекция | ||
+ | | '''Отчёт по ДЗ №1''' (определение суммы 1й покупки) | ||
+ | | | ||
+ | |- | ||
+ | | 05.10.17 | ||
+ | | дз | ||
+ | | Следующее реашемое нами соревнование - https://sascompetitions.ru/ - задача Хоум Кредит Банка (подробности на след. занятии). | ||
+ | | | ||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
|- | |- | ||
- | | | + | | 12.10.17 |
| лекция | | лекция | ||
- | | | + | | '''Функционалы качества и ошибки''' |
| | | | ||
|- | |- | ||
- | | | + | | 12.10.17 |
| лекция | | лекция | ||
| '''Функционалы качества и ошибки''' | | '''Функционалы качества и ошибки''' | ||
Строка 216: | Строка 203: | ||
* видео [https://vimeo.com/119926489 Функционалы качества и функции потерь: Какие множества похожи?] | * видео [https://vimeo.com/119926489 Функционалы качества и функции потерь: Какие множества похожи?] | ||
* видео [https://vimeo.com/119926504 Функционалы качества и функции потерь: AUC ROC - путь из (0,0) в (1,1)] | * видео [https://vimeo.com/119926504 Функционалы качества и функции потерь: AUC ROC - путь из (0,0) в (1,1)] | ||
- | | [[Медиа: | + | | [[Медиа:PZAD2017_03_errors.pdf|презентация (pdf)]] **NEW** |
|- | |- | ||
- | | | + | | 12.10.17 |
| дз | | дз | ||
- | | | + | | До следующего занятия в [https://www.kaggle.com/c/pzadbabki/discussion/41212 ветке форума] выложить найденные закономерности в задаче скоринга. |
| | | | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
|- | |- | ||
- | | | + | | 19.10.16 |
| лекция | | лекция | ||
- | | продолжение '''Функционалы качества и ошибки''' | + | | продолжение '''Функционалы качества и ошибки''', '''Минимизация ошибок''' |
- | | | + | | [[Медиа:PZAD2016_06_minfunc.pdf|презентация (pdf)]] |
|- | |- | ||
- | | | + | | 19.10.16 |
- | | | + | | семинар |
- | | ''' | + | | Обсуждение закономерностей в задаче '''Скоринг HC''' |
- | + | | | |
- | + | ||
- | + | ||
|- | |- | ||
- | | | + | | 19.10.16 |
| дз | | дз | ||
| | | | ||
- | НОВОЕ ЗАДАНИЕ | + | НОВОЕ ЗАДАНИЕ |
- | + | ||
- | + | 1. Подготовиться к контрольной по функционалам качества | |
- | + | * Для этого пройти [https://goo.gl/93qkum тест] | |
+ | * Прорешать задачи из презентиций [[Медиа:PZAD2017_03_errors.pdf|по ошибкам]], [[Медиа:PZAD2016_06_minfunc.pdf|по минимизации]] | ||
- | + | 2. Решать задачу скоринга | |
+ | * -10 - непреодоление бенчмарка | ||
+ | * +10 - за см. [https://www.kaggle.com/c/pzadbabki/discussion/41573 ветку обмена кодом] | ||
- | + | Файлы сабмитов в задаче скоринга начинать с 'msu_' | |
- | + | ||
- | |||
- | |||
- | + | По просьбам | |
+ | [https://alexanderdyakonov.files.wordpress.com/2016/10/dj2016_sdsj_vis.pdf Визуализация по данным Сбербанка] | ||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
| | | | ||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
|} | |} | ||
Строка 300: | Строка 255: | ||
== Успеваемость == | == Успеваемость == | ||
- | + | ||
- | + | [[Изображение:Reiting.png]] | |
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
== Литература == | == Литература == | ||
Строка 356: | Строка 263: | ||
== История == | == История == | ||
Программы прошлых лет см. здесь: | Программы прошлых лет см. здесь: | ||
+ | * [[Прикладные задачи анализа данных (курс на ВМК 2016 года)]] | ||
* [[Алгоритмы, модели, алгебры (курс на ВМК 2015 года)]] | * [[Алгоритмы, модели, алгебры (курс на ВМК 2015 года)]] | ||
* [[Алгоритмы, модели, алгебры (курс на ВМК до 2015 года)]] | * [[Алгоритмы, модели, алгебры (курс на ВМК до 2015 года)]] |
Версия 12:03, 20 октября 2017
Содержание |
ПРИКЛАДНЫЕ ЗАДАЧИ АНАЛИЗА ДАННЫХ (курс для магистров ММП ВМК МГУ)
- Обязательный курс для магистров каф. ММП 1 г/о, читается в 1-м (9-м) семестре.
- Лекции — 32 часа, семинаров - 32 часа.
- Экзамен.
- За курс отвечает кафедра Математических методов прогнозирования.
- Автор программы: профессор А. Г. Дьяконов.
Аннотация
Курс посвящён решению прикладных задач анализа данных. Разбираются реальные задачи и бизнес-кейсы. Студенты пишут и настраивают алгоритмы на языках Python, R, M (Matlab).
Семинары посвящены
- докладам по решению прикладных задач (с презентациями),
- опросам по выполнению домашнего задания,
- обучению программированию на скриптовых языках (для тех, у кого их не было в бакалавриате),
- мозговому штурму по решению задач и обсуждению решений,
- написанию контрольных работ, решению аналитических задач, работе над ошибками.
Система оценивания
В течение семестра студенты получают задания.
При сдаче правильно выполненного задания в срок студент не получает штрафных баллов.
В противном случае - он получает от 1 до 10 штрафных баллов.
Штраф в 10 баллов допустим за позднюю сдачу (даже если решение верное) в случае отсутствия уважительных причин (болезнь, подтверждаемая справкой, и т.п. - см. требования учебной части).
В некоторых случаях (на усмотрение лектора), магистру, который лучше всех выполнил конкретное задание, списываются штрафные баллы (до 10).
На экзамене также за неверные ответы студент получает штрафные баллы.
Итоговая оценка формируется следующим образом:
- до 10 штрафных баллов включительно - отлично,
- до 20 штрафных баллов включительно - хорошо,
- до 30 штрафных баллов включительно - удовлетворительно.
Содержание курса
Наполняется по мере необходимости.
Число | Занятие | Тема | Замечания |
---|---|---|---|
07.09.17 | лекция | Вводное занятие: цели курса, материалы, правила, участие в соревнованиях. | презентация (pdf) |
07.09.17 | семинар | Тест на знание основ машинного обучения. | |
07.09.17 | дз | Регистрация на платформе kaggle.com (каждый участник в четверг должен иметь действующий логин), регистрация на данном ресурсе (по возможности), исследование платформы kaggle (уметь назвать несколько задач с платформы, их постановку, функционал качества, методы, которые использовали участники). | |
14.09.17 | лекция | Оценка среднего и вероятности
материалы:
| презентация (pdf) |
14.09.17 | лекция | ||
14.09.17 | дз | Первое домашнее задание:
Решение задачи [[1]]. Срок - до 04 октября 2017 23:59 (с выкладкой отчёта в [этой ветке форума]). Все вопросы задаются в [форуме]. Поощряется активность: выкладывание скриптов общего назначения (загрузка данных, перевод в нужный формат), бенчмарков (примитивные алгоритмы), ответы на вопросы в форуме. до 27 сентября 2017 23:59 - преодолеть бенчмарк. Напоминание: команды называть по шаблону Ivan Ivanov (MMP, MSU, Russia). | max штраф за задание -10.
Но дополнительно, за непреодоление бенчмарка -5.
|
21.09.17 среда | лекция | Язык программирования Python
| презентация (pdf) |
21.09.17 среда | лекция | Язык программирования Python (продолжение) | |
21.09.17 среда | дз | Готовиться к к/р по языку Python. |
|
28.09.16 | лекция | Визуализация данных
материалы: | |
28.09.16 | лекция | продолжение | |
28.09.16 | дз |
Второе домашнее задание:
| |
05.10.17 | семинар | Отчёт по ДЗ №1 (определение суммы 1й покупки) | |
05.10.17 | лекция | Отчёт по ДЗ №1 (определение суммы 1й покупки) | |
05.10.17 | дз | Следующее реашемое нами соревнование - https://sascompetitions.ru/ - задача Хоум Кредит Банка (подробности на след. занятии). |
|
12.10.17 | лекция | Функционалы качества и ошибки | |
12.10.17 | лекция | Функционалы качества и ошибки
материалы:
| презентация (pdf) **NEW** |
12.10.17 | дз | До следующего занятия в ветке форума выложить найденные закономерности в задаче скоринга. |
|
19.10.16 | лекция | продолжение Функционалы качества и ошибки, Минимизация ошибок | презентация (pdf) |
19.10.16 | семинар | Обсуждение закономерностей в задаче Скоринг HC | |
19.10.16 | дз |
НОВОЕ ЗАДАНИЕ 1. Подготовиться к контрольной по функционалам качества
2. Решать задачу скоринга
Файлы сабмитов в задаче скоринга начинать с 'msu_'
|
|
Успеваемость
Литература
Указана локально - в сетке расписания.
История
Программы прошлых лет см. здесь: