Байесовские методы машинного обучения (курс лекций) / 2016

Материал из MachineLearning.

Версия от 16:44, 6 января 2017; Tipt0p (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Курс посвящен т.н. байесовским методам решения различных задач машинного обучения (классификации, восстановления регрессии, уменьшения размерности, разделения смесей, тематического моделирования и др.), которые в настоящее время активно развиваются в мире. Большинство современных научных публикаций по машинному обучению используют вероятностное моделирование, опирающееся на байесовский подход к теории вероятностей. Последний позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и пр. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.

Основной задачей курса является привитие студентам навыков самостоятельного построения сложных вероятностных моделей обработки данных, используя стандартные модели в качестве своеобразных "кирпичиков". Особое внимание уделяется приближенным байесовским методам, позволяющим обсчитывать сложные вероятностные модели.

Лектор: Д.П. Ветров,

Семинаристы: Е. Лобачева, Д. Подоприхин

Таблица с результатами находится здесь.

Вопросы и комментарии по курсу, а также сдаваемые задания нужно отправлять на почту bayesml@gmail.com. В название письма обязательно добавлять тег [БММО16].

Формат темы письма:

[БММО16]Вопрос — для вопросов;
[БММО16]Практика №, Фамилия Имя, Вариант № — для практический заданий (если вариант только один, то его указывать не нужно);
[БММО16]Теория №, Фамилия Имя — для домашних заданий.

Просьба не смешивать темы, то есть не нужно присылать в одном письме практическое задание и домашнее.

Экзамен

Экзамен по курсу состоится 14 января в ауд. 510, начало в 12-00. На экзамене при подготовке билета разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя. Просьба обратить внимание на теоретический минимум по курсу — незнание ответов на вопросы теор. минимума автоматически влечёт неудовлетворительную оценку за экзамен.

Вопросы к экзамену

Расписание занятий

В 2016 году курс читается на факультете ВМиК МГУ по пятницам в ауд. 508, начало в 14-35 (лекция) и 16-20 (семинар).

Дата	№ занятия	Занятие	Материалы
2 сентября 2016	1	Лекция «Байесовский подход к теории вероятностей. Примеры байесовских рассуждений.»	Конспект (pdf) Презентация (pdf)
2 сентября 2016	1	Семинар «Байесовские рассуждения. Выдача практического задания №1»	Задачи (pdf)
9 сентября 2016	2	Лекция «Сопряжённые распределения, аналитический байесовский вывод, экспоненциальный класс распределений»
9 сентября 2016	2	Семинар «Сопряжённые распределения»	Задачи (pdf)
16 сентября 2016	3	Лекция «Байесовский выбор модели»	Презентация (pdf)
16 сентября 2016	3	Семинар «Подсчёт обоснованности моделей»	Задачи (pdf) Формулы (pdf)
23 сентября 2016	4	Лекция «Метод релевантных векторов для задачи регрессии»	Презентация (pdf)
23 сентября 2016	4	Семинар «Матричные вычисления»	Задачи на семинаре с разбором(pdf)
30 сентября 2016	5	Лекция «Метод релевантных векторов для задачи классификации»	Конспект (pdf)
30 сентября 2016	5	Семинар «Метод релевантных векторов»	Задачи Презентация Доказательство тождества Вудбери Доказательство тождества об определителе
7 октября 2016	6	Лекция «EM-алгоритм. Байесовский метод главных компонент»	Конспект (pdf)
7 октября 2016	6	Семинар «ЕМ-алгоритм»	Задачи Презентация
14 октября 2016	7	Лекция «Вариационный вывод»	Конспект лекции (pdf) Конспект (pdf)
14 октября 2016	7	Семинар «Вариационный вывод»	Задачи (pdf)
21 октября 2016	8	Лекция «Методы Монте Карло по схеме марковский цепей (MCMC)»	Конспект (pdf)
21 октября 2016	8	Семинар «Методы MCMC»	Конспект (pdf)
28 октября 2016	9	Лекция «Гауссовские процессы для регрессии и классификации»
28 октября 2016	9	Семинар «Гауссовские процессы для регрессии и классификации»	Презентация Задачи
11 ноября 2016	10	Лекция «Непараметрические байесовские методы. Процессы Дирихле»	Конспект (pdf)
11 ноября 2016	10	Семинар «Свойства распределения Дирихле. Выдача задания №3»	Конспект (pdf)
18 ноября 2016	11	Лекция «Латентное размещение Дирихле (LDA)»	Конспект (pdf)
18 ноября 2016	11	Семинар «Модификации LDA»	Статья по HDP
25 ноября 2016	12	Лекция и семинар «Стохастический вариационный вывод. Вариационный автокодировщик»	Статья 1, Статья 2
2 декабря 2016	13	Занятие «Несопряженный вариационный вывод»	Статья
9 декабря 2016	14	Занятие «Масштабируемые модели гауссовских процессов»	Статья

Теоретические задания

Задание 1. Сопряжённые распределения и экспоненциальный класс распределений

Срок сдачи: 16 сентября (пятница), 23:59.

Задание 2. Матричные вычисления

Срок сдачи: 1 октября (суббота), 23:59.

Задание 3 Вариационный вывод

Срок сдачи: 29 октября (суббота), 23:59. ‎

Практические задания

Задание 1. Байесовские рассуждения

Проверьте свой код перед сдачей с помощью данного тестера!

Срок сдачи: 17 сентября (суббота), 23:59.

Задание 2. ЕМ алгоритм для детектива

Прототипы функций находятся здесь, а текущий набор данных – здесь.

Выложена полная и окончательная версия данных.

Срок сдачи: 23 октября (воскресенье), 23:59.

В версии задания на github не открывались ссылки в первой части задания, поэтому задание перезалито на machinelearning.

Задание 3. Процессы Дирихле для кластеризации изображений цифр

Срок сдачи: 27 ноября (воскресенье), 23:59

Система выставления оценок по курсу

В рамках курса предполагается выполнение трёх практических заданий и трёх домашних заданий.
Задания выполняются самостоятельно. Если задание выполнялось сообща, или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчете. В противном случае „похожие“ решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.
При наличии несданных практических заданий максимальная возможная оценка за курс — это «удовлетворительно».
Практические задания оцениваются из 5 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.1 балла за каждый день просрочки, но суммарно не более 5-и баллов.
Домашние задания оцениваются из 2 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.1 балла за каждый день просрочки. Задания не принимаются спустя неделю после срока.
Необходимым условием получения положительной оценки за курс является сдача не менее двух практических заданий и сдача устного экзамена не менее чем на оценку «удовлетворительно».
Итоговая оценка вычисляется по формуле $Mark = \frac{Oral*4+HomeWork}{8}$ , где Oral — оценка за устный экзамен (0, 3, 4, 5), HomeWork — баллы, набранные за практические и домашние задания (см. таблицу выше), Mark — итоговая оценка по 5-балльной шкале. Нецелые значения округляются в сторону ближайшего целого, превосходящего дробное значение.
На экзамене студент может отказаться от оценки и пойти на пересдачу, на которой может заново получить Oral.
За каждое несданное практическое задание выставляется минус 10 баллов в баллы по заданиям (допускаются отрицательные значения).
За каждую несданное домашнее задание выставляется 0 баллов в баллы по заданиям.
Если на экзамене итоговая оценка оказывается ниже трех, то студент отправляется на пересдачу. При этом оценка Oral, полученная на пересдаче, добавляется к положительной (три и выше) оценке Oral, полученной на основном экзамене и т.д. до тех пор, пока студент не наберет на итоговую оценку «удовлетворительно» (для итоговых оценок выше «удовлетворительно» оценки Oral не суммируются).
Студент может досдать недостающие практические задания в любое время. При этом проверка задания гарантируется только в том случае, если задание сдано не позднее, чем за неделю до основного экзамена или пересдачи.
В случае успешной сдачи всех практических заданий студент получает возможность претендовать на итоговую оценку «хорошо» и «отлично». При этом экзамен на оценку Oral может сдаваться до сдачи всех заданий (оценки Oral в этом случае не суммируются).
Экзамен на оценку Oral сдается либо в срок основного экзамена, либо в срок официальных пересдач.