Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/2014
Материал из MachineLearning.
Курс посвящен т.н. байесовским методам решения различных задач машинного обучения (классификации, прогнозирования, восстановления регрессии), которые в настоящее время активно развиваются в мире. Байесовский подход к теории вероятностей позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и проч. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики. |
Лектор: Д.П. Ветров,
Семинарист: М.В. Фигурнов,
Ассистент: Д.А. Кропотов.
Вопросы и комментарии по курсу можно оставлять на вкладке «Обсуждение» к этой странице или направлять письмом по адресу bayesml@gmail.com. При этом в название письма просьба добавлять [БММО14].
Содержание |
Расписание занятий
В 2014 году курс читается на факультете ВМиК МГУ по пятницам в ауд. 637, начало в 14-35 (лекция) и 16-20 (семинар).
Дата | № занятия | Занятие | Материалы |
---|---|---|---|
12 сентября 2014 | 1 | Лекция «Введение в курс. Байесовские рассуждения.» | Конспект (pdf) Презентация (pdf) |
Семинар «Байесовские рассуждения. Выдача задания №1» | |||
19 сентября 2014 | 2 | Лекция «Сопряжённые распределения, аналитический байесовский вывод» | |
Семинар «Сопряжённые распределения» | |||
26 сентября 2014 | 3 | Лекция «Байесовский выбор модели» | Презентация (pdf) |
Семинар «Подсчёт обоснованности моделей» | |||
3 октября 2014 | 4 | Лекция «Байесовская проверка гипотез» | |
Семинар «Матричные вычисления» | Конспект по матричным вычислениям и нормальному распределению (pdf) | ||
10 октября 2014 | 5 | Лекция «Метод релевантных векторов для задачи регрессии» | Презентация (pdf) |
Семинар «Контрольная по матричным вычислениям» | |||
17 октября 2014 | 6 | Лекция «Метод релевантных векторов для задачи классификации» | Конспект (pdf) |
Семинар «Прогнозное распределение для метода релевантных векторов» | |||
24 октября 2014 | 7 | Лекция «EM-алгоритм. Байесовский метод главных компонент» | Конспект (pdf) |
Семинар «ЕМ-алгоритм» | |||
31 октября 2014 | 8 | Лекция «Вариационный вывод» | Конспект лекции (pdf) Конспект (pdf) |
Семинар «Вариационный вывод» | |||
7 ноября 2014 | 9 | Лекция «Байесовская модель разделения гауссиан» | |
Семинар «Контрольная по вариационному выводу. Выдача задания №2» | |||
14 ноября 2014 | 10 | Лекция «Латентное размещение Дирихле (LDA)» | Конспект (pdf) |
Семинар «Свойства распределения Дирихле» | |||
21 ноября 2014 | 11 | Лекция «Методы Монте Карло по схеме марковский цепей (MCMC)» | Конспект (pdf) |
Семинар «Схема Гиббса для смеси гауссиан. Выдача задания №3» | |||
28 ноября 2014 | 12 | Лекция «Гауссовские процессы для регрессии и классификации» | |
Семинар «Гауссовские процессы для регрессии и классификации» | |||
5 декабря 2014 | 13 | Лекция «Непараметрические байесовские методы. Процессы Дирихле» | Конспект (pdf) |
Семинар «Непараметрические байесовские методы. Процессы Дирихле» |
Экзамен
На экзамене при подготовке билета разрешается пользоваться любыми материалами. Экзамен можно сдавать и в случае отсутствия сдачи некоторых практических заданий.
Вопросы к экзамену + теоретический минимум (pdf)
Практические задания
Задание 1. «Байесовские рассуждения».
Задание 2. «Байесовская смесь распределений Бернулли».
Задание 3. «Модель Изинга».
Домашние задания
Задание 1. Матричные вычисления.
Задание 2. Вариационный вывод.
Оценки по курсу
№ п/п | Студент | Практические задания | Контрольные | Сумма | Экзамен | Оценка | |||
---|---|---|---|---|---|---|---|---|---|
№1 | №2 | №3 | №1 | №2 | |||||
1 | Апишев Мурат | 4.4 | 4.6 | 5 | 1.8 | 2.0 | 17.8 | 4 | 5 |
2 | Афанасьев Кирилл | -10 | -10 | -10 | 0.9 | 1.6 | -27.5 | ||
3 | Готман Мария | 4.2 | 4.5 | 4.2 | 1.2 | 2.0 | 16.1 | 4 | 5 |
4 | Дойков Никита | 4.7 | 4 | 3.9 | 1.7 | 2.0 | 16.3 | 5 | 5 |
5 | Козлов Владимир | 4.2 | 3.9 | 4.7 | 2.3 | 1.9 | 17 | 4 | 5 |
6 | Колмаков Евгений | 4.2 | 4 | 2.3 | 1.4 | 1.8 | 13.7 | 5 | 5 |
7 | Корольков Михаил | -1.3 | -10 | -0.5 | 0 | 0 | -11.8 | ||
8 | Лисяной Александр | 4.7 | 3.4 | 3.3 | 0.9 | 2.0 | 14.3 | 4 | 4 |
9 | Лукашкина Юлия | 4.2 | 4.3 | 4.1 | 2 | 2.0 | 16.6 | 5 | 5 |
10 | Ожерельев Илья | 4.2 | 4.5 | 3.8 | 2 | 1.0 | 15.5 | 5 | 5 |
11 | Родоманов Антон | 4.7 | 4.5 | 2.7 | 2.5 | 2.5 | 16.9 | 5 | 5 |
12 | Сендерович Никита | 5.7 | 7 | 2.6 | 1.7 | 2.4 | 19.4 | 5 | 5 |
13 | Славнов Константин | 2.7 | 3.4 | 2.3 | 1.5 | 1.5 | 11.4 | 5 | 4 |
14 | Тюрин Александр | 5.2 | 4.5 | 5 | 1 | 2.3 | 18 | 5 | 5 |
15 | Хальман Михаил | -3.0 | 3.5 | 1.2 | 2.5 | 0.5 | 4.7 | 5 | 4 |
16 | Хомутов Никита | 4.1 | 2 | -2 | 0.7 | 1.5 | 6.3 | 5 | 4 |
17 | Чистяков Александр | 5.1 | 6 | 5 | 2.3 | 2.4 | 20.8 | 5 | 5 |
18 | Шапулин Андрей | 4.4 | 3.9 | 2 | 1.7 | 2.5 | 14.5 | 4 | 4 |
19 | Шарчилев Борис (мехмат) | 4.8 | 4.3 | 3.8 | 1.4 | 1.0 | 15.3 | 5 | 5 |
20 | Языков Артём (ВШЭ) | 0.7 | 0.5 |
Система выставления оценок по курсу
- При наличии несданных заданий максимальная возможная оценка за курс — это «удовлетворительно».
- Необходимым условием получения положительной оценки за курс является сдача не менее двух практических заданий и сдача устного экзамена не менее чем на оценку «удовлетворительно».
- Итоговая оценка вычисляется по формуле , где Oral — оценка за устный экзамен (0, 3, 4, 5), HomeWork — баллы, набранные за практические задания и контрольные (см. таблицу выше), Mark — итоговая оценка по 5-балльной шкале. Нецелые значения округляются в сторону ближайшего целого, превосходящего дробное значение. Максимальный балл за HomeWork равен 20.
- На экзамене студент может отказаться от оценки и пойти на пересдачу, на которой может заново получить Oral.
- За каждое несданное практическое задание выставляется минус 10 баллов в баллы по заданиям (допускаются отрицательные значения).
- За каждую несданную контрольную работу выставляется 0 баллов в баллы по заданиям.
- Если на экзамене итоговая оценка оказывается ниже трех, то студент отправляется на пересдачу. При этом оценка Oral, полученная на пересдаче, добавляется к положительной (три и выше) оценке Oral, полученной на основном экзамене и т.д. до тех пор, пока студент не наберет на итоговую оценку «удовлетворительно» (для итоговых оценок выше «удовлетворительно» оценки Oral не суммируются).
- Студент может досдать недостающие практические задания в любое время. При этом проверка задания гарантируется только в том случае, если задание сдано не позднее, чем за неделю до основного экзамена или пересдачи.
- Штраф за просрочку сдачи заданий начисляется из расчета 0.1 балла в день, но не более 5 баллов.
- В случае успешной сдачи всех практических заданий студент получает возможность претендовать на итоговую оценку «хорошо» и «отлично». При этом экзамен на оценку Oral может сдаваться до сдачи всех заданий (оценки Oral в этом случае не суммируются).
- Экзамен на оценку Oral сдается либо в срок основного экзамена, либо в срок официальных пересдач.
Литература
- Barber D. Bayesian Reasoning and Machine Learning. Cambridge University Press, 2012.
- Набор полезных фактов для матричных вычислений
- Простые и удобные заметки по матричным вычислениям и свойствам гауссовских распределений
- Памятка по теории вероятностей
- Ветров Д.П., Кропотов Д.А. Байесовские методы машинного обучения, учебное пособие по спецкурсу, 2007 (Часть 1, PDF 1.22МБ; Часть 2, PDF 1.58МБ)
- Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
- Mackay D.J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
- Tipping M. Sparse Bayesian Learning. Journal of Machine Learning Research, 1, 2001, pp. 211-244.
- Шумский С.А. Байесова регуляризация обучения. В сб. Лекции по нейроинформатике, часть 2, 2002.
Страницы курса прошлых лет
2010 год
2011 год
весна 2013 года
осень 2013 года