Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/2014
Материал из MachineLearning.
(Различия между версиями)
(→Оценки по курсу) |
(→Оценки по курсу) |
||
Строка 122: | Строка 122: | ||
| align="center"|14 || Хальман Михаил || <!--З1--> align="center"| || <!--З2--> align="center"|3.5 || <!--З3--> align="center"| || <!--K1--> align="center"|2.5 || <!--K2--> align="center"| || <!--S--> align="center"| || <!--E--> align="center"| || <!--M--> align="center"| | | align="center"|14 || Хальман Михаил || <!--З1--> align="center"| || <!--З2--> align="center"|3.5 || <!--З3--> align="center"| || <!--K1--> align="center"|2.5 || <!--K2--> align="center"| || <!--S--> align="center"| || <!--E--> align="center"| || <!--M--> align="center"| | ||
|- | |- | ||
- | | align="center"|15 || Хомутов Никита || <!--З1--> align="center"| || <!--З2--> align="center"| | + | | align="center"|15 || Хомутов Никита || <!--З1--> align="center"| || <!--З2--> align="center"| 2 || <!--З3--> align="center"| || <!--K1--> align="center"|0.7 || <!--K2--> align="center"| || <!--S--> align="center"| || <!--E--> align="center"| || <!--M--> align="center"| |
|- | |- | ||
| align="center"|16 || Чистяков Александр || <!--З1--> align="center"|5.1 || <!--З2--> align="center"| 6 || <!--З3--> align="center"| || <!--K1--> align="center"|2.3 || <!--K2--> align="center"| || <!--S--> align="center"| || <!--E--> align="center"| || <!--M--> align="center"| | | align="center"|16 || Чистяков Александр || <!--З1--> align="center"|5.1 || <!--З2--> align="center"| 6 || <!--З3--> align="center"| || <!--K1--> align="center"|2.3 || <!--K2--> align="center"| || <!--S--> align="center"| || <!--E--> align="center"| || <!--M--> align="center"| |
Версия 10:24, 22 декабря 2014
Курс посвящен т.н. байесовским методам решения различных задач машинного обучения (классификации, прогнозирования, восстановления регрессии), которые в настоящее время активно развиваются в мире. Байесовский подход к теории вероятностей позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и проч. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики. |
Лектор: Д.П. Ветров,
Семинарист: М.В. Фигурнов,
Ассистент: Д.А. Кропотов.
Вопросы и комментарии по курсу можно оставлять на вкладке «Обсуждение» к этой странице или направлять письмом по адресу bayesml@gmail.com. При этом в название письма просьба добавлять [БММО14].
Содержание |
Расписание занятий
В 2014 году курс читается на факультете ВМиК МГУ по пятницам в ауд. 637, начало в 14-35 (лекция) и 16-20 (семинар).
Дата | № занятия | Занятие | Материалы |
---|---|---|---|
12 сентября 2014 | 1 | Лекция «Введение в курс. Байесовские рассуждения.» | Конспект (pdf) Презентация (pdf) |
Семинар «Байесовские рассуждения. Выдача задания №1» | |||
19 сентября 2014 | 2 | Лекция «Сопряжённые распределения, аналитический байесовский вывод» | |
Семинар «Сопряжённые распределения» | |||
26 сентября 2014 | 3 | Лекция «Байесовский выбор модели» | Презентация (pdf) |
Семинар «Подсчёт обоснованности моделей» | |||
3 октября 2014 | 4 | Лекция «Байесовская проверка гипотез» | |
Семинар «Матричные вычисления» | Конспект по матричным вычислениям и нормальному распределению (pdf) | ||
10 октября 2014 | 5 | Лекция «Метод релевантных векторов для задачи регрессии» | Презентация (pdf) |
Семинар «Контрольная по матричным вычислениям» | |||
17 октября 2014 | 6 | Лекция «Метод релевантных векторов для задачи классификации» | Конспект (pdf) |
Семинар «Прогнозное распределение для метода релевантных векторов» | |||
24 октября 2014 | 7 | Лекция «EM-алгоритм. Байесовский метод главных компонент» | Конспект (pdf) |
Семинар «ЕМ-алгоритм» | |||
31 октября 2014 | 8 | Лекция «Вариационный вывод» | Конспект лекции (pdf) Конспект (pdf) |
Семинар «Вариационный вывод» | |||
7 ноября 2014 | 9 | Лекция «Байесовская модель разделения гауссиан» | |
Семинар «Контрольная по вариационному выводу. Выдача задания №2» | |||
14 ноября 2014 | 10 | Лекция «Латентное размещение Дирихле (LDA)» | Конспект (pdf) |
Семинар «Свойства распределения Дирихле» | |||
21 ноября 2014 | 11 | Лекция «Методы Монте Карло по схеме марковский цепей (MCMC)» | Конспект (pdf) |
Семинар «Схема Гиббса для смеси гауссиан. Выдача задания №3» | |||
28 ноября 2014 | 12 | Лекция «Гауссовские процессы для регрессии и классификации» | |
Семинар «Гауссовские процессы для регрессии и классификации» | |||
5 декабря 2014 | 13 | Лекция «Непараметрические байесовские методы. Процессы Дирихле» | Конспект (pdf) |
Семинар «Непараметрические байесовские методы. Процессы Дирихле» |
Практические задания
Задание 1. «Байесовские рассуждения».
Задание 2. «Байесовская смесь распределений Бернулли».
Задание 3. «Модель Изинга».
Домашние задания
Задание 1. Матричные вычисления.
Задание 2. Вариационный вывод.
Оценки по курсу
№ п/п | Студент | Практические задания | Контрольные | Сумма | Экзамен | Оценка | |||
---|---|---|---|---|---|---|---|---|---|
№1 | №2 | №3 | №1 | №2 | |||||
1 | Апишев Мурат | 4.4 | 4.6 | 1.8 | |||||
2 | Афанасьев Кирилл | 0.9 | |||||||
3 | Готман Мария | 4.2 | 4.5 | 1.2 | |||||
4 | Дойков Никита | 4 | 1.7 | ||||||
5 | Козлов Владимир | 4.2 | 3.9 | 2.3 | |||||
6 | Колмаков Евгений | 4.2 | 4 | 1.4 | |||||
7 | Лисяной Александр | 4.7 | 3.4 | 0.9 | |||||
8 | Лукашкина Юлия | 4.3 | 2 | ||||||
9 | Ожерельев Илья | 4.5 | 2 | ||||||
10 | Родоманов Антон | 4.5 | 2.5 | ||||||
11 | Сендерович Никита | 5.7 | 7 | 1.7 | |||||
12 | Славнов Константин | 3.4 | 1.5 | ||||||
13 | Тюрин Александр | 5.2 | 4.5 | 1 | |||||
14 | Хальман Михаил | 3.5 | 2.5 | ||||||
15 | Хомутов Никита | 2 | 0.7 | ||||||
16 | Чистяков Александр | 5.1 | 6 | 2.3 | |||||
17 | Шапулин Андрей | 4.4 | 3.9 | 1.7 | |||||
18 | Шарчилев Борис (мехмат) | 4.8 | 4.3 | 1.4 | |||||
19 | Языков Артём (ВШЭ) | 0.7 |
Система выставления оценок по курсу
- При наличии несданных заданий максимальная возможная оценка за курс — это «удовлетворительно».
- Необходимым условием получения положительной оценки за курс является сдача не менее двух практических заданий и сдача устного экзамена не менее чем на оценку «удовлетворительно».
- Формула вычисления итоговой оценки будет объявлена позже.
- На экзамене студент может отказаться от оценки и пойти на пересдачу, на которой может заново получить Oral.
- За каждое несданное задание выставляется минус 10 баллов в баллы по заданиям (допускаются отрицательные значения).
- Если на экзамене итоговая оценка оказывается ниже трех, то студент отправляется на пересдачу. При этом оценка Oral, полученная на пересдаче, добавляется к положительной (три и выше) оценке Oral, полученной на основном экзамене и т.д. до тех пор, пока студент не наберет на итоговую оценку «удовлетворительно» (для итоговых оценок выше «удовлетворительно» оценки Oral не суммируются).
- Студент может досдать недостающие практические задания в любое время. При этом проверка задания гарантируется только в том случае, если задание сдано не позднее, чем за неделю до основного экзамена или пересдачи.
- Штраф за просрочку сдачи заданий начисляется из расчета 0.1 балла в день, но не более 5 баллов.
- В случае успешной сдачи всех практических заданий студент получает возможность претендовать на итоговую оценку «хорошо» и «отлично». При этом экзамен на оценку Oral может сдаваться до сдачи всех заданий (оценки Oral в этом случае не суммируются).
- Экзамен на оценку Oral сдается либо в срок основного экзамена, либо в срок официальных пересдач.
Литература
- Barber D. Bayesian Reasoning and Machine Learning. Cambridge University Press, 2012.
- Набор полезных фактов для матричных вычислений
- Простые и удобные заметки по матричным вычислениям и свойствам гауссовских распределений
- Памятка по теории вероятностей
- Ветров Д.П., Кропотов Д.А. Байесовские методы машинного обучения, учебное пособие по спецкурсу, 2007 (Часть 1, PDF 1.22МБ; Часть 2, PDF 1.58МБ)
- Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
- Mackay D.J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
- Tipping M. Sparse Bayesian Learning. Journal of Machine Learning Research, 1, 2001, pp. 211-244.
- Шумский С.А. Байесова регуляризация обучения. В сб. Лекции по нейроинформатике, часть 2, 2002.
Страницы курса прошлых лет
2010 год
2011 год
весна 2013 года
осень 2013 года