Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/2014
Материал из MachineLearning.
(Различия между версиями)
Строка 23: | Строка 23: | ||
== Оценки по курсу == | == Оценки по курсу == | ||
+ | |||
+ | {|class = "standard" | ||
+ | ! rowspan=2|№ п/п !! rowspan=2|Студент !! colspan=3|Практические задания !! colspan=2|Контрольные !! rowspan=2|Сумма !! rowspan=2|Экзамен !! rowspan=2|Оценка | ||
+ | |- | ||
+ | ! №1 !! №2 !! №3 !! №1 !! №2 | ||
+ | |- | ||
+ | | align="center"|1 || Апишев Мурат || <!--З1--> align="center"| || <!--З2--> align="center"| || <!--З3--> align="center"| || <!--K1--> align="center"| || <!--K2--> align="center"| || <!--S--> align="center"| || <!--E--> align="center"| || <!--M--> align="center"| | ||
+ | |- | ||
+ | | align="center"|2 || Афанасьев Кирилл || <!--З1--> align="center"| || <!--З2--> align="center"| || <!--З3--> align="center"| || <!--K1--> align="center"| || <!--K2--> align="center"| || <!--S--> align="center"| || <!--E--> align="center"| || <!--M--> align="center"| | ||
+ | |- | ||
+ | | align="center"|3 || Готман Мария || <!--З1--> align="center"| || <!--З2--> align="center"| || <!--З3--> align="center"| || <!--K1--> align="center"| || <!--K2--> align="center"| || <!--S--> align="center"| || <!--E--> align="center"| || <!--M--> align="center"| | ||
+ | |- | ||
+ | | align="center"|4 || Дойков Никита || <!--З1--> align="center"| || <!--З2--> align="center"| || <!--З3--> align="center"| || <!--K1--> align="center"| || <!--K2--> align="center"| || <!--S--> align="center"| || <!--E--> align="center"| || <!--M--> align="center"| | ||
+ | |- | ||
+ | | align="center"|5 || Захаров Егор || <!--З1--> align="center"| || <!--З2--> align="center"| || <!--З3--> align="center"| || <!--K1--> align="center"| || <!--K2--> align="center"| || <!--S--> align="center"| || <!--E--> align="center"| || <!--M--> align="center"| | ||
+ | |- | ||
+ | | align="center"|6 || Козлов Владимир || <!--З1--> align="center"| || <!--З2--> align="center"| || <!--З3--> align="center"| || <!--K1--> align="center"| || <!--K2--> align="center"| || <!--S--> align="center"| || <!--E--> align="center"| || <!--M--> align="center"| | ||
+ | |- | ||
+ | | align="center"|7 || Колмаков Евгений || <!--З1--> align="center"| || <!--З2--> align="center"| || <!--З3--> align="center"| || <!--K1--> align="center"| || <!--K2--> align="center"| || <!--S--> align="center"| || <!--E--> align="center"| || <!--M--> align="center"| | ||
+ | |- | ||
+ | | align="center"|8 || Лисяной Александр || <!--З1--> align="center"| || <!--З2--> align="center"| || <!--З3--> align="center"| || <!--K1--> align="center"| || <!--K2--> align="center"| || <!--S--> align="center"| || <!--E--> align="center"| || <!--M--> align="center"| | ||
+ | |- | ||
+ | | align="center"|9 || Лукашкина Юлия || <!--З1--> align="center"| || <!--З2--> align="center"| || <!--З3--> align="center"| || <!--K1--> align="center"| || <!--K2--> align="center"| || <!--S--> align="center"| || <!--E--> align="center"| || <!--M--> align="center"| | ||
+ | |- | ||
+ | | align="center"|10 || Ожерельев Илья || <!--З1--> align="center"| || <!--З2--> align="center"| || <!--З3--> align="center"| || <!--K1--> align="center"| || <!--K2--> align="center"| || <!--S--> align="center"| || <!--E--> align="center"| || <!--M--> align="center"| | ||
+ | |- | ||
+ | | align="center"|11 || Родоманов Антон || <!--З1--> align="center"| || <!--З2--> align="center"| || <!--З3--> align="center"| || <!--K1--> align="center"| || <!--K2--> align="center"| || <!--S--> align="center"| || <!--E--> align="center"| || <!--M--> align="center"| | ||
+ | |- | ||
+ | | align="center"|12 || Сендерович Никита || <!--З1--> align="center"| || <!--З2--> align="center"| || <!--З3--> align="center"| || <!--K1--> align="center"| || <!--K2--> align="center"| || <!--S--> align="center"| || <!--E--> align="center"| || <!--M--> align="center"| | ||
+ | |- | ||
+ | | align="center"|13 || Славнов Константин || <!--З1--> align="center"| || <!--З2--> align="center"| || <!--З3--> align="center"| || <!--K1--> align="center"| || <!--K2--> align="center"| || <!--S--> align="center"| || <!--E--> align="center"| || <!--M--> align="center"| | ||
+ | |- | ||
+ | | align="center"|14 || Тюрин Александр || <!--З1--> align="center"| || <!--З2--> align="center"| || <!--З3--> align="center"| || <!--K1--> align="center"| || <!--K2--> align="center"| || <!--S--> align="center"| || <!--E--> align="center"| || <!--M--> align="center"| | ||
+ | |- | ||
+ | | align="center"|15 || Хальман Михаил || <!--З1--> align="center"| || <!--З2--> align="center"| || <!--З3--> align="center"| || <!--K1--> align="center"| || <!--K2--> align="center"| || <!--S--> align="center"| || <!--E--> align="center"| || <!--M--> align="center"| | ||
+ | |- | ||
+ | | align="center"|16 || Хомутов Никита || <!--З1--> align="center"| || <!--З2--> align="center"| || <!--З3--> align="center"| || <!--K1--> align="center"| || <!--K2--> align="center"| || <!--S--> align="center"| || <!--E--> align="center"| || <!--M--> align="center"| | ||
+ | |- | ||
+ | | align="center"|17 || Чистяков Александр || <!--З1--> align="center"| || <!--З2--> align="center"| || <!--З3--> align="center"| || <!--K1--> align="center"| || <!--K2--> align="center"| || <!--S--> align="center"| || <!--E--> align="center"| || <!--M--> align="center"| | ||
+ | |- | ||
+ | | align="center"|18 || Шапулин Андрей || <!--З1--> align="center"| || <!--З2--> align="center"| || <!--З3--> align="center"| || <!--K1--> align="center"| || <!--K2--> align="center"| || <!--S--> align="center"| || <!--E--> align="center"| || <!--M--> align="center"| | ||
+ | |- | ||
+ | | align="center"|19 || Языков Артём (ВШЭ) || <!--З1--> align="center"| || <!--З2--> align="center"| || <!--З3--> align="center"| || <!--K1--> align="center"| || <!--K2--> align="center"| || <!--S--> align="center"| || <!--E--> align="center"| || <!--M--> align="center"| | ||
+ | |- | ||
+ | |} | ||
== Система выставления оценок по курсу == | == Система выставления оценок по курсу == | ||
Строка 28: | Строка 73: | ||
# При наличии несданных заданий максимальная возможная оценка за курс — это «удовлетворительно». | # При наличии несданных заданий максимальная возможная оценка за курс — это «удовлетворительно». | ||
# Необходимым условием получения положительной оценки за курс является сдача не менее двух практических заданий и сдача устного экзамена не менее чем на оценку «удовлетворительно». | # Необходимым условием получения положительной оценки за курс является сдача не менее двух практических заданий и сдача устного экзамена не менее чем на оценку «удовлетворительно». | ||
- | # Итоговая оценка вычисляется по формуле <tex>Mark = \frac{Oral*4+HomeWork}{8}</tex>, где Oral — оценка за устный экзамен (0, 3, 4, 5), HomeWork — баллы, набранные за практические задания (см. таблицу выше), Mark — итоговая оценка по 5-балльной шкале. Нецелые значения округляются в сторону ближайшего целого, <b>превосходящего</b> дробное значение. Максимальный балл за HomeWork равен 20. | + | <!-- # Итоговая оценка вычисляется по формуле <tex>Mark = \frac{Oral*4+HomeWork}{8}</tex>, где Oral — оценка за устный экзамен (0, 3, 4, 5), HomeWork — баллы, набранные за практические задания (см. таблицу выше), Mark — итоговая оценка по 5-балльной шкале. Нецелые значения округляются в сторону ближайшего целого, <b>превосходящего</b> дробное значение. Максимальный балл за HomeWork равен 20. --> |
+ | # Формула вычисления итоговой оценки будет объявлена позже. | ||
# На экзамене студент может отказаться от оценки и пойти на пересдачу, на которой может заново получить Oral. | # На экзамене студент может отказаться от оценки и пойти на пересдачу, на которой может заново получить Oral. | ||
# За каждое несданное задание выставляется минус 10 баллов в баллы по заданиям (допускаются отрицательные значения). | # За каждое несданное задание выставляется минус 10 баллов в баллы по заданиям (допускаются отрицательные значения). | ||
Строка 36: | Строка 82: | ||
# В случае успешной сдачи всех практических заданий студент получает возможность претендовать на итоговую оценку «хорошо» и «отлично». При этом экзамен на оценку Oral может сдаваться до сдачи всех заданий (оценки Oral в этом случае <b>не суммируются</b>). | # В случае успешной сдачи всех практических заданий студент получает возможность претендовать на итоговую оценку «хорошо» и «отлично». При этом экзамен на оценку Oral может сдаваться до сдачи всех заданий (оценки Oral в этом случае <b>не суммируются</b>). | ||
# Экзамен на оценку Oral сдается либо в срок основного экзамена, либо в срок официальных пересдач. | # Экзамен на оценку Oral сдается либо в срок основного экзамена, либо в срок официальных пересдач. | ||
- | |||
- | |||
<!-- | <!-- | ||
== Программа курса == | == Программа курса == | ||
Строка 117: | Строка 161: | ||
[[Media:BMMO11_14.pdf|Текст (PDF, 481Кб)]] | [[Media:BMMO11_14.pdf|Текст (PDF, 481Кб)]] | ||
--> | --> | ||
- | |||
== Литература == | == Литература == | ||
# ''Barber D.'' [http://www0.cs.ucl.ac.uk/staff/d.barber/brml/ Bayesian Reasoning and Machine Learning.] Cambridge University Press, 2012. | # ''Barber D.'' [http://www0.cs.ucl.ac.uk/staff/d.barber/brml/ Bayesian Reasoning and Machine Learning.] Cambridge University Press, 2012. |
Версия 10:42, 13 сентября 2014
Курс посвящен т.н. байесовским методам решения различных задач машинного обучения (классификации, прогнозирования, восстановления регрессии), которые в настоящее время активно развиваются в мире. Байесовский подход к теории вероятностей позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и проч. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики. |
Лектор: Д.П. Ветров,
Семинарист: М.В. Фигурнов,
Ассистент: Д.А. Кропотов.
Вопросы и комментарии по курсу можно оставлять на вкладке «Обсуждение» к этой странице или направлять письмом по адресу bayesml@gmail.com. При этом в название письма просьба добавлять [БММО14].
Содержание |
Расписание занятий
В 2014 году курс читается на факультете ВМиК МГУ по пятницам в ауд. 637, начало в 14-35 (лекция) и 16-20 (семинар).
Практические задания
Задание 1. «Байесовские рассуждения».
Домашние задания
Оценки по курсу
№ п/п | Студент | Практические задания | Контрольные | Сумма | Экзамен | Оценка | |||
---|---|---|---|---|---|---|---|---|---|
№1 | №2 | №3 | №1 | №2 | |||||
1 | Апишев Мурат | ||||||||
2 | Афанасьев Кирилл | ||||||||
3 | Готман Мария | ||||||||
4 | Дойков Никита | ||||||||
5 | Захаров Егор | ||||||||
6 | Козлов Владимир | ||||||||
7 | Колмаков Евгений | ||||||||
8 | Лисяной Александр | ||||||||
9 | Лукашкина Юлия | ||||||||
10 | Ожерельев Илья | ||||||||
11 | Родоманов Антон | ||||||||
12 | Сендерович Никита | ||||||||
13 | Славнов Константин | ||||||||
14 | Тюрин Александр | ||||||||
15 | Хальман Михаил | ||||||||
16 | Хомутов Никита | ||||||||
17 | Чистяков Александр | ||||||||
18 | Шапулин Андрей | ||||||||
19 | Языков Артём (ВШЭ) |
Система выставления оценок по курсу
- При наличии несданных заданий максимальная возможная оценка за курс — это «удовлетворительно».
- Необходимым условием получения положительной оценки за курс является сдача не менее двух практических заданий и сдача устного экзамена не менее чем на оценку «удовлетворительно».
- Формула вычисления итоговой оценки будет объявлена позже.
- На экзамене студент может отказаться от оценки и пойти на пересдачу, на которой может заново получить Oral.
- За каждое несданное задание выставляется минус 10 баллов в баллы по заданиям (допускаются отрицательные значения).
- Если на экзамене итоговая оценка оказывается ниже трех, то студент отправляется на пересдачу. При этом оценка Oral, полученная на пересдаче, добавляется к положительной (три и выше) оценке Oral, полученной на основном экзамене и т.д. до тех пор, пока студент не наберет на итоговую оценку «удовлетворительно» (для итоговых оценок выше «удовлетворительно» оценки Oral не суммируются).
- Студент может досдать недостающие практические задания в любое время. При этом проверка задания гарантируется только в том случае, если задание сдано не позднее, чем за неделю до основного экзамена или пересдачи.
- Штраф за просрочку сдачи заданий начисляется из расчета 0.1 балла в день, но не более 5 баллов.
- В случае успешной сдачи всех практических заданий студент получает возможность претендовать на итоговую оценку «хорошо» и «отлично». При этом экзамен на оценку Oral может сдаваться до сдачи всех заданий (оценки Oral в этом случае не суммируются).
- Экзамен на оценку Oral сдается либо в срок основного экзамена, либо в срок официальных пересдач.
Литература
- Barber D. Bayesian Reasoning and Machine Learning. Cambridge University Press, 2012.
- Простые и удобные заметки по матричным вычислениям и свойствам гауссовских распределений
- Памятка по теории вероятностей
- Ветров Д.П., Кропотов Д.А. Байесовские методы машинного обучения, учебное пособие по спецкурсу, 2007 (Часть 1, PDF 1.22МБ; Часть 2, PDF 1.58МБ)
- Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
- Mackay D.J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
- Tipping M. Sparse Bayesian Learning. Journal of Machine Learning Research, 1, 2001, pp. 211-244.
- Шумский С.А. Байесова регуляризация обучения. В сб. Лекции по нейроинформатике, часть 2, 2002.
Страницы курса прошлых лет
2010 год
2011 год
весна 2013 года
осень 2013 года