Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/2015
Материал из MachineLearning.
(Различия между версиями)
(Новая: {| |280px | valign="top"|Курс посвящен т.н. байесовским методам решения различных задач...) |
|||
Строка 1: | Строка 1: | ||
{| | {| | ||
|[[Изображение:BMMO11_Intro.jpg|280px]] | |[[Изображение:BMMO11_Intro.jpg|280px]] | ||
- | | valign="top"|Курс посвящен т.н. байесовским методам решения различных задач [[Машинное обучение|машинного обучения]] (классификации, | + | | valign="top"|Курс посвящен т.н. байесовским методам решения различных задач [[Машинное обучение|машинного обучения]] (классификации, восстановления регрессии, уменьшения размерности, разделения смесей, тематического моделирования и др.), которые в настоящее время активно развиваются в мире. Большинство современных научных публикаций по машинному обучению используют вероятностное моделирование, опирающееся на байесовский подход к теории вероятностей. Последний позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и пр. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики. |
+ | |||
+ | Основной задачей курса является привитие студентам навыков самостоятельного построения сложных вероятностных моделей обработки данных, используя стандартные модели в качестве своеобразных "кирпичиков". Особое внимание уделяется приближенным байесовским методам, позволяющим обсчитывать сложные вероятностные модели. | ||
|} | |} | ||
Лектор: [[Участник:Dmitry Vetrov|Д.П. Ветров]], | Лектор: [[Участник:Dmitry Vetrov|Д.П. Ветров]], | ||
- | + | Семинаристы: [[Участник:Kropotov|Д.А. Кропотов]], Е.М. Лобачева. | |
- | + | ||
- | + | ||
- | Вопросы и комментарии по курсу можно оставлять на вкладке «Обсуждение» к этой странице или направлять письмом по адресу bayesml@gmail.com. | + | Вопросы и комментарии по курсу можно оставлять на вкладке «Обсуждение» к этой странице или направлять письмом по адресу bayesml@gmail.com. В название письма обязательно добавлять [БММО15]. |
== Расписание занятий == | == Расписание занятий == | ||
- | В | + | В 2015 году курс читается на факультете [[ВМиК]] МГУ по пятницам в ауд. 510, начало в 14-35 (лекция) и 16-20 (семинар). |
{| class="standard" | {| class="standard" | ||
Строка 72: | Строка 72: | ||
|- | |- | ||
|} | |} | ||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
== Оценки по курсу == | == Оценки по курсу == | ||
{|class = "standard" | {|class = "standard" | ||
- | ! rowspan=2|№ п/п !! rowspan=2|Студент !! colspan=3|Практические задания !! colspan= | + | ! rowspan=2|№ п/п !! rowspan=2|Студент !! colspan=3|Практические задания !! colspan=3|Домашние задания !! rowspan=2|Сумма !! rowspan=2|Экзамен !! rowspan=2|Оценка |
- | + | ||
- | + | ||
|- | |- | ||
- | + | ! №1 !! №2 !! №3 !! №1 !! №2 !! №3 | |
|- | |- | ||
- | | align="center"| | + | | align="center"|1 || Вихрева Мария || <!--З1-->align="center"| || <!--З2-->align="center"| || <!--З3-->align="center"| || <!--ДЗ1-->align="center"| || <!--ДЗ2-->align="center"| || <!--ДЗ3-->align="center"| || <!--S-->align="center"| || <!--E-->align="center"| || <!--M-->align="center"| |
|- | |- | ||
- | | align="center"| | + | | align="center"|2 || Гитман Игорь || <!--З1-->align="center"| || <!--З2-->align="center"| || <!--З3-->align="center"| || <!--ДЗ1-->align="center"| || <!--ДЗ2-->align="center"| || <!--ДЗ3-->align="center"| || <!--S-->align="center"| || <!--E-->align="center"| || <!--M-->align="center"| |
|- | |- | ||
- | | align="center"| | + | | align="center"|3 || Даулбаев Талгат || <!--З1-->align="center"| || <!--З2-->align="center"| || <!--З3-->align="center"| || <!--ДЗ1-->align="center"| || <!--ДЗ2-->align="center"| || <!--ДЗ3-->align="center"| || <!--S-->align="center"| || <!--E-->align="center"| || <!--M-->align="center"| |
|- | |- | ||
- | | align="center"| | + | | align="center"|4 || Журавлёв Вадим || <!--З1-->align="center"| || <!--З2-->align="center"| || <!--З3-->align="center"| || <!--ДЗ1-->align="center"| || <!--ДЗ2-->align="center"| || <!--ДЗ3-->align="center"| || <!--S-->align="center"| || <!--E-->align="center"| || <!--M-->align="center"| |
|- | |- | ||
- | | align="center"| | + | | align="center"|5 || Иванов Олег || <!--З1-->align="center"| || <!--З2-->align="center"| || <!--З3-->align="center"| || <!--ДЗ1-->align="center"| || <!--ДЗ2-->align="center"| || <!--ДЗ3-->align="center"| || <!--S-->align="center"| || <!--E-->align="center"| || <!--M-->align="center"| |
|- | |- | ||
- | | align="center"| | + | | align="center"|6 || Квасов Андрей || <!--З1-->align="center"| || <!--З2-->align="center"| || <!--З3-->align="center"| || <!--ДЗ1-->align="center"| || <!--ДЗ2-->align="center"| || <!--ДЗ3-->align="center"| || <!--S-->align="center"| || <!--E-->align="center"| || <!--M-->align="center"| |
|- | |- | ||
- | | align="center"| | + | | align="center"|7 || Кудрявцев Георгий || <!--З1-->align="center"| || <!--З2-->align="center"| || <!--З3-->align="center"| || <!--ДЗ1-->align="center"| || <!--ДЗ2-->align="center"| || <!--ДЗ3-->align="center"| || <!--S-->align="center"| || <!--E-->align="center"| || <!--M-->align="center"| |
|- | |- | ||
- | | align="center"| | + | | align="center"|8 || Молчанов Дмитрий || <!--З1-->align="center"| || <!--З2-->align="center"| || <!--З3-->align="center"| || <!--ДЗ1-->align="center"| || <!--ДЗ2-->align="center"| || <!--ДЗ3-->align="center"| || <!--S-->align="center"| || <!--E-->align="center"| || <!--M-->align="center"| |
|- | |- | ||
- | | align="center"| | + | | align="center"|9 || Молчанова Юлия || <!--З1-->align="center"| || <!--З2-->align="center"| || <!--З3-->align="center"| || <!--ДЗ1-->align="center"| || <!--ДЗ2-->align="center"| || <!--ДЗ3-->align="center"| || <!--S-->align="center"| || <!--E-->align="center"| || <!--M-->align="center"| |
|- | |- | ||
- | | align="center"| | + | | align="center"|10 || Морозов Алексей || <!--З1-->align="center"| || <!--З2-->align="center"| || <!--З3-->align="center"| || <!--ДЗ1-->align="center"| || <!--ДЗ2-->align="center"| || <!--ДЗ3-->align="center"| || <!--S-->align="center"| || <!--E-->align="center"| || <!--M-->align="center"| |
|- | |- | ||
- | | align="center"| | + | | align="center"|11 || Оспанов Аят || <!--З1-->align="center"| || <!--З2-->align="center"| || <!--З3-->align="center"| || <!--ДЗ1-->align="center"| || <!--ДЗ2-->align="center"| || <!--ДЗ3-->align="center"| || <!--S-->align="center"| || <!--E-->align="center"| || <!--M-->align="center"| |
|- | |- | ||
- | | align="center"| | + | | align="center"|12 || Панкратов Антон || <!--З1-->align="center"| || <!--З2-->align="center"| || <!--З3-->align="center"| || <!--ДЗ1-->align="center"| || <!--ДЗ2-->align="center"| || <!--ДЗ3-->align="center"| || <!--S-->align="center"| || <!--E-->align="center"| || <!--M-->align="center"| |
|- | |- | ||
- | | align="center"| | + | | align="center"|13 || Полякова Нина || <!--З1-->align="center"| || <!--З2-->align="center"| || <!--З3-->align="center"| || <!--ДЗ1-->align="center"| || <!--ДЗ2-->align="center"| || <!--ДЗ3-->align="center"| || <!--S-->align="center"| || <!--E-->align="center"| || <!--M-->align="center"| |
|- | |- | ||
- | | align="center"| | + | | align="center"|14 || Рысьмятова Анастасия || <!--З1-->align="center"| || <!--З2-->align="center"| || <!--З3-->align="center"| || <!--ДЗ1-->align="center"| || <!--ДЗ2-->align="center"| || <!--ДЗ3-->align="center"| || <!--S-->align="center"| || <!--E-->align="center"| || <!--M-->align="center"| |
|- | |- | ||
- | | align="center"| | + | | align="center"|15 || Стёпина Александра || <!--З1-->align="center"| || <!--З2-->align="center"| || <!--З3-->align="center"| || <!--ДЗ1-->align="center"| || <!--ДЗ2-->align="center"| || <!--ДЗ3-->align="center"| || <!--S-->align="center"| || <!--E-->align="center"| || <!--M-->align="center"| |
|- | |- | ||
- | | align="center"| | + | | align="center"|16 || Тлеубаев Адиль || <!--З1-->align="center"| || <!--З2-->align="center"| || <!--З3-->align="center"| || <!--ДЗ1-->align="center"| || <!--ДЗ2-->align="center"| || <!--ДЗ3-->align="center"| || <!--S-->align="center"| || <!--E-->align="center"| || <!--M-->align="center"| |
|- | |- | ||
- | | align="center"| | + | | align="center"|17 || Чабаненко Владислав || <!--З1-->align="center"| || <!--З2-->align="center"| || <!--З3-->align="center"| || <!--ДЗ1-->align="center"| || <!--ДЗ2-->align="center"| || <!--ДЗ3-->align="center"| || <!--S-->align="center"| || <!--E-->align="center"| || <!--M-->align="center"| |
|- | |- | ||
- | | align="center"| | + | | align="center"|18 || Чиркова Надежда || <!--З1-->align="center"| || <!--З2-->align="center"| || <!--З3-->align="center"| || <!--ДЗ1-->align="center"| || <!--ДЗ2-->align="center"| || <!--ДЗ3-->align="center"| || <!--S-->align="center"| || <!--E-->align="center"| || <!--M-->align="center"| |
|- | |- | ||
- | | align="center"| | + | | align="center"|19 || Шаповалов Никита || <!--З1-->align="center"| || <!--З2-->align="center"| || <!--З3-->align="center"| || <!--ДЗ1-->align="center"| || <!--ДЗ2-->align="center"| || <!--ДЗ3-->align="center"| || <!--S-->align="center"| || <!--E-->align="center"| || <!--M-->align="center"| |
|- | |- | ||
|} | |} | ||
Строка 143: | Строка 122: | ||
== Система выставления оценок по курсу == | == Система выставления оценок по курсу == | ||
- | # При наличии несданных заданий максимальная возможная оценка за курс — это «удовлетворительно». | + | # В рамках курса предполагается выполнение трёх практических заданий и трёх домашних заданий. |
+ | # При наличии несданных практических заданий максимальная возможная оценка за курс — это «удовлетворительно». | ||
+ | # Практические задания оцениваются из 5 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.1 балла за каждый день просрочки, но суммарно не более 5-и баллов. | ||
+ | # Домашние задания оцениваются из 2 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.1 балла за каждый день просрочки. Задания не принимаются спустя неделю после срока. | ||
# Необходимым условием получения положительной оценки за курс является сдача не менее двух практических заданий и сдача устного экзамена не менее чем на оценку «удовлетворительно». | # Необходимым условием получения положительной оценки за курс является сдача не менее двух практических заданий и сдача устного экзамена не менее чем на оценку «удовлетворительно». | ||
- | # Итоговая оценка вычисляется по формуле <tex>Mark = \frac{Oral*4+HomeWork}{8}</tex>, где Oral — оценка за устный экзамен (0, 3, 4, 5), HomeWork — баллы, набранные за практические | + | # Итоговая оценка вычисляется по формуле <tex>Mark = \frac{Oral*4+HomeWork}{8}</tex>, где Oral — оценка за устный экзамен (0, 3, 4, 5), HomeWork — баллы, набранные за практические и домашние задания (см. таблицу выше), Mark — итоговая оценка по 5-балльной шкале. Нецелые значения округляются в сторону ближайшего целого, <b>превосходящего</b> дробное значение. |
# На экзамене студент может отказаться от оценки и пойти на пересдачу, на которой может заново получить Oral. | # На экзамене студент может отказаться от оценки и пойти на пересдачу, на которой может заново получить Oral. | ||
# За каждое несданное практическое задание выставляется минус 10 баллов в баллы по заданиям (допускаются отрицательные значения). | # За каждое несданное практическое задание выставляется минус 10 баллов в баллы по заданиям (допускаются отрицательные значения). | ||
- | # За каждую | + | # За каждую несданное домашнее задание выставляется 0 баллов в баллы по заданиям. |
# Если на экзамене итоговая оценка оказывается ниже трех, то студент отправляется на пересдачу. При этом оценка Oral, полученная на пересдаче, <b>добавляется</b> к положительной (три и выше) оценке Oral, полученной на основном экзамене и т.д. до тех пор, пока студент не наберет на итоговую оценку «удовлетворительно» (для итоговых оценок выше «удовлетворительно» оценки Oral не суммируются). | # Если на экзамене итоговая оценка оказывается ниже трех, то студент отправляется на пересдачу. При этом оценка Oral, полученная на пересдаче, <b>добавляется</b> к положительной (три и выше) оценке Oral, полученной на основном экзамене и т.д. до тех пор, пока студент не наберет на итоговую оценку «удовлетворительно» (для итоговых оценок выше «удовлетворительно» оценки Oral не суммируются). | ||
# Студент может досдать недостающие практические задания в любое время. При этом проверка задания гарантируется только в том случае, если задание сдано не позднее, чем за неделю до основного экзамена или пересдачи. | # Студент может досдать недостающие практические задания в любое время. При этом проверка задания гарантируется только в том случае, если задание сдано не позднее, чем за неделю до основного экзамена или пересдачи. | ||
- | |||
# В случае успешной сдачи всех практических заданий студент получает возможность претендовать на итоговую оценку «хорошо» и «отлично». При этом экзамен на оценку Oral может сдаваться до сдачи всех заданий (оценки Oral в этом случае <b>не суммируются</b>). | # В случае успешной сдачи всех практических заданий студент получает возможность претендовать на итоговую оценку «хорошо» и «отлично». При этом экзамен на оценку Oral может сдаваться до сдачи всех заданий (оценки Oral в этом случае <b>не суммируются</b>). | ||
# Экзамен на оценку Oral сдается либо в срок основного экзамена, либо в срок официальных пересдач. | # Экзамен на оценку Oral сдается либо в срок основного экзамена, либо в срок официальных пересдач. |
Версия 09:40, 1 сентября 2015
Курс посвящен т.н. байесовским методам решения различных задач машинного обучения (классификации, восстановления регрессии, уменьшения размерности, разделения смесей, тематического моделирования и др.), которые в настоящее время активно развиваются в мире. Большинство современных научных публикаций по машинному обучению используют вероятностное моделирование, опирающееся на байесовский подход к теории вероятностей. Последний позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и пр. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.
Основной задачей курса является привитие студентам навыков самостоятельного построения сложных вероятностных моделей обработки данных, используя стандартные модели в качестве своеобразных "кирпичиков". Особое внимание уделяется приближенным байесовским методам, позволяющим обсчитывать сложные вероятностные модели. |
Лектор: Д.П. Ветров,
Семинаристы: Д.А. Кропотов, Е.М. Лобачева.
Вопросы и комментарии по курсу можно оставлять на вкладке «Обсуждение» к этой странице или направлять письмом по адресу bayesml@gmail.com. В название письма обязательно добавлять [БММО15].
Содержание |
Расписание занятий
В 2015 году курс читается на факультете ВМиК МГУ по пятницам в ауд. 510, начало в 14-35 (лекция) и 16-20 (семинар).
Дата | № занятия | Занятие | Материалы |
---|---|---|---|
12 сентября 2014 | 1 | Лекция «Введение в курс. Байесовские рассуждения.» | Конспект (pdf) Презентация (pdf) |
Семинар «Байесовские рассуждения. Выдача задания №1» | |||
19 сентября 2014 | 2 | Лекция «Сопряжённые распределения, аналитический байесовский вывод» | |
Семинар «Сопряжённые распределения» | |||
26 сентября 2014 | 3 | Лекция «Байесовский выбор модели» | Презентация (pdf) |
Семинар «Подсчёт обоснованности моделей» | |||
3 октября 2014 | 4 | Лекция «Байесовская проверка гипотез» | |
Семинар «Матричные вычисления» | Конспект по матричным вычислениям и нормальному распределению (pdf) | ||
10 октября 2014 | 5 | Лекция «Метод релевантных векторов для задачи регрессии» | Презентация (pdf) |
Семинар «Контрольная по матричным вычислениям» | |||
17 октября 2014 | 6 | Лекция «Метод релевантных векторов для задачи классификации» | Конспект (pdf) |
Семинар «Прогнозное распределение для метода релевантных векторов» | |||
24 октября 2014 | 7 | Лекция «EM-алгоритм. Байесовский метод главных компонент» | Конспект (pdf) |
Семинар «ЕМ-алгоритм» | |||
31 октября 2014 | 8 | Лекция «Вариационный вывод» | Конспект лекции (pdf) Конспект (pdf) |
Семинар «Вариационный вывод» | |||
7 ноября 2014 | 9 | Лекция «Байесовская модель разделения гауссиан» | |
Семинар «Контрольная по вариационному выводу. Выдача задания №2» | |||
14 ноября 2014 | 10 | Лекция «Латентное размещение Дирихле (LDA)» | Конспект (pdf) |
Семинар «Свойства распределения Дирихле» | |||
21 ноября 2014 | 11 | Лекция «Методы Монте Карло по схеме марковский цепей (MCMC)» | Конспект (pdf) |
Семинар «Схема Гиббса для смеси гауссиан. Выдача задания №3» | |||
28 ноября 2014 | 12 | Лекция «Гауссовские процессы для регрессии и классификации» | |
Семинар «Гауссовские процессы для регрессии и классификации» | |||
5 декабря 2014 | 13 | Лекция «Непараметрические байесовские методы. Процессы Дирихле» | Конспект (pdf) |
Семинар «Непараметрические байесовские методы. Процессы Дирихле» |
Оценки по курсу
№ п/п | Студент | Практические задания | Домашние задания | Сумма | Экзамен | Оценка | ||||
---|---|---|---|---|---|---|---|---|---|---|
№1 | №2 | №3 | №1 | №2 | №3 | |||||
1 | Вихрева Мария | |||||||||
2 | Гитман Игорь | |||||||||
3 | Даулбаев Талгат | |||||||||
4 | Журавлёв Вадим | |||||||||
5 | Иванов Олег | |||||||||
6 | Квасов Андрей | |||||||||
7 | Кудрявцев Георгий | |||||||||
8 | Молчанов Дмитрий | |||||||||
9 | Молчанова Юлия | |||||||||
10 | Морозов Алексей | |||||||||
11 | Оспанов Аят | |||||||||
12 | Панкратов Антон | |||||||||
13 | Полякова Нина | |||||||||
14 | Рысьмятова Анастасия | |||||||||
15 | Стёпина Александра | |||||||||
16 | Тлеубаев Адиль | |||||||||
17 | Чабаненко Владислав | |||||||||
18 | Чиркова Надежда | |||||||||
19 | Шаповалов Никита |
Система выставления оценок по курсу
- В рамках курса предполагается выполнение трёх практических заданий и трёх домашних заданий.
- При наличии несданных практических заданий максимальная возможная оценка за курс — это «удовлетворительно».
- Практические задания оцениваются из 5 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.1 балла за каждый день просрочки, но суммарно не более 5-и баллов.
- Домашние задания оцениваются из 2 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.1 балла за каждый день просрочки. Задания не принимаются спустя неделю после срока.
- Необходимым условием получения положительной оценки за курс является сдача не менее двух практических заданий и сдача устного экзамена не менее чем на оценку «удовлетворительно».
- Итоговая оценка вычисляется по формуле , где Oral — оценка за устный экзамен (0, 3, 4, 5), HomeWork — баллы, набранные за практические и домашние задания (см. таблицу выше), Mark — итоговая оценка по 5-балльной шкале. Нецелые значения округляются в сторону ближайшего целого, превосходящего дробное значение.
- На экзамене студент может отказаться от оценки и пойти на пересдачу, на которой может заново получить Oral.
- За каждое несданное практическое задание выставляется минус 10 баллов в баллы по заданиям (допускаются отрицательные значения).
- За каждую несданное домашнее задание выставляется 0 баллов в баллы по заданиям.
- Если на экзамене итоговая оценка оказывается ниже трех, то студент отправляется на пересдачу. При этом оценка Oral, полученная на пересдаче, добавляется к положительной (три и выше) оценке Oral, полученной на основном экзамене и т.д. до тех пор, пока студент не наберет на итоговую оценку «удовлетворительно» (для итоговых оценок выше «удовлетворительно» оценки Oral не суммируются).
- Студент может досдать недостающие практические задания в любое время. При этом проверка задания гарантируется только в том случае, если задание сдано не позднее, чем за неделю до основного экзамена или пересдачи.
- В случае успешной сдачи всех практических заданий студент получает возможность претендовать на итоговую оценку «хорошо» и «отлично». При этом экзамен на оценку Oral может сдаваться до сдачи всех заданий (оценки Oral в этом случае не суммируются).
- Экзамен на оценку Oral сдается либо в срок основного экзамена, либо в срок официальных пересдач.
Литература
- Barber D. Bayesian Reasoning and Machine Learning. Cambridge University Press, 2012.
- Набор полезных фактов для матричных вычислений
- Простые и удобные заметки по матричным вычислениям и свойствам гауссовских распределений
- Памятка по теории вероятностей
- Ветров Д.П., Кропотов Д.А. Байесовские методы машинного обучения, учебное пособие по спецкурсу, 2007 (Часть 1, PDF 1.22МБ; Часть 2, PDF 1.58МБ)
- Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
- Mackay D.J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
- Tipping M. Sparse Bayesian Learning. Journal of Machine Learning Research, 1, 2001, pp. 211-244.
- Шумский С.А. Байесова регуляризация обучения. В сб. Лекции по нейроинформатике, часть 2, 2002.
Страницы курса прошлых лет
2010 год
2011 год
весна 2013 года
осень 2013 года
2014 год