Просмотр

Материал из MachineLearning.

У вас нет прав на выполнение этой операции по следующим причинам:

• Запрошенное действие могут выполнять только участники из групп emailconfirmed, Администраторы.
• Вы должны подтвердить ваш адрес электронной почты перед правкой страниц. Пожалуйста, введите и подтвердите ваш адрес эл. почты на странице настроек.

Вы можете просмотреть и скопировать исходный текст этой страницы:

{| |[[Изображение:BMMO11_Intro.jpg|280px]] | valign="top"|Курс посвящен т.н. байесовским методам решения различных задач [[Машинное обучение|машинного обучения]] (классификации, восстановления регрессии, уменьшения размерности, разделения смесей, тематического моделирования и др.), которые в настоящее время активно развиваются в мире. Большинство современных научных публикаций по машинному обучению используют вероятностное моделирование, опирающееся на байесовский подход к теории вероятностей. Последний позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и пр. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики. Основной задачей курса является привитие студентам навыков самостоятельного построения сложных вероятностных моделей обработки данных, используя стандартные модели в качестве своеобразных "кирпичиков". Особое внимание уделяется приближенным байесовским методам, позволяющим обсчитывать сложные вероятностные модели. |} Лектор: [[Участник:Dmitry Vetrov|Д.П. Ветров]], Семинаристы: [[Участник:Tipt0p|Е. Лобачева]], Д. Подоприхин '''Таблица с результатами находится [https://docs.google.com/spreadsheets/d/1EWr2XJOpnr5CAHnzP_WVWBCnbdPu25K0TnJIp5wK8oU/edit?usp=sharing здесь].''' Вопросы и комментарии по курсу, а также сдаваемые задания нужно отправлять на почту '''bayesml@gmail.com'''. В название письма обязательно добавлять тег '''[БММО16]'''. Формат темы письма: *'''[БММО16]Вопрос''' — для вопросов; *'''[БММО16]Практика №, Фамилия Имя, Вариант №''' — для практический заданий (если вариант только один, то его указывать не нужно); *'''[БММО16]Теория №, Фамилия Имя''' — для домашних заданий. Просьба не смешивать темы, то есть не нужно присылать в одном письме практическое задание и домашнее. == Экзамен == Экзамен по курсу состоится 14 января в ауд. 510, начало в 12-00. На экзамене при подготовке билета разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя. Просьба обратить внимание на теоретический минимум по курсу — незнание ответов на вопросы теор. минимума автоматически влечёт неудовлетворительную оценку за экзамен. [[Media:BMML16_exam_questions.pdf|Вопросы к экзамену]] == Расписание занятий == В 2016 году курс читается на факультете [[ВМиК]] МГУ по пятницам в ауд. 508, начало в 14-35 (лекция) и 16-20 (семинар). {| class="standard" !Дата !! № занятия !! Занятие !! Материалы |- | rowspan=2|2&nbsp;сентября&nbsp;2016 || rowspan=2 align="center"|1 || Лекция «Байесовский подход к теории вероятностей. Примеры байесовских рассуждений.» || [[Media:Lecture7_2012.pdf|Конспект (pdf)]] [[Media:BMMO11_2.pdf|Презентация (pdf)]] |- |Семинар «Байесовские рассуждения. Выдача практического задания №1» || [[Media:S01_bayesian_reasoning_2016.pdf|Задачи (pdf)]] |- | rowspan=2|9&nbsp;сентября&nbsp;2016 || rowspan=2 align="center"|2 || Лекция «Сопряжённые распределения, аналитический байесовский вывод, экспоненциальный класс распределений» || |- |Семинар «Сопряжённые распределения» || [[Media:BMML_sem2_2016.pdf|Задачи (pdf)]] |- | rowspan=2|16&nbsp;сентября&nbsp;2016 || rowspan=2 align="center"|3 || Лекция «Байесовский выбор модели» || [[Media:BMMO11_5.pdf|Презентация (pdf)]] |- |Семинар «Подсчёт обоснованности моделей» || [[Media:BMML_sem3_2016.pdf|Задачи (pdf)]] [[Media:Formulas.pdf|Формулы (pdf)]] |- | rowspan=2|23&nbsp;сентября&nbsp;2016 || rowspan=2 align="center"|4 || Лекция «Метод релевантных векторов для задачи регрессии» || [[Media:BMMO11_7.pdf|Презентация (pdf)]] |- |Семинар «Матричные вычисления» || [[Media:S04_matrix_calculations.pdf|Задачи на семинаре с разбором(pdf)]] |- | rowspan=2|30&nbsp;сентября&nbsp;2016 || rowspan=2 align="center"|5 || Лекция «Метод релевантных векторов для задачи классификации» || [[Media:BMMO11_8.pdf|Конспект (pdf)]] |- |Семинар «Метод релевантных векторов» || [https://github.com/bayesgroup/bayesgroup.github.io/blob/master/bmml/2016/Seminars/BMML_sem5_2016.pdf Задачи] [https://github.com/bayesgroup/bayesgroup.github.io/blob/master/bmml/2016/Seminars/BMML_sem5_2016_presentation.pdf Презентация] [https://en.wikipedia.org/wiki/Woodbury_matrix_identity Доказательство тождества Вудбери] [[Media:BMMO11_7.pdf|Доказательство тождества об определителе]] |- | rowspan=2|7&nbsp;октября&nbsp;2016 || rowspan=2 align="center"|6 || Лекция «EM-алгоритм. Байесовский метод главных компонент» || [[Media:BMMO11_11.pdf|Конспект (pdf)]] |- |Семинар «ЕМ-алгоритм» || [https://github.com/bayesgroup/bayesgroup.github.io/blob/master/bmml/2016/Seminars/BMML_sem6_2016.pdf Задачи] [https://github.com/bayesgroup/bayesgroup.github.io/blob/master/bmml/2016/Seminars/BMML_sem6_2016_presentation.pdf Презентация] |- | rowspan=2|14&nbsp;октября&nbsp;2016 || rowspan=2 align="center"|7 || Лекция «Вариационный вывод» || [[Media:BMMO14_variational_lecture.pdf|Конспект лекции (pdf)]] [[Media:BMMO11_9.pdf|Конспект (pdf)]] |- | Семинар «Вариационный вывод» || [[Media:BMML15_S08_variational_inference.pdf|Задачи (pdf)]] |- | rowspan=2|21&nbsp;октября&nbsp;2016 || rowspan=2 align="center"|8 || Лекция «Методы Монте Карло по схеме марковский цепей (MCMC)» || [[Media:BMMO11_10.pdf|Конспект (pdf)]] |- |Семинар «Методы MCMC» || [[Media:BMMO8_2.pdf|Конспект (pdf)]] |- |rowspan=2|28&nbsp;октября&nbsp;2016 || rowspan=2 align="center"|9 || Лекция «Гауссовские процессы для регрессии и классификации» || |- |Семинар «Гауссовские процессы для регрессии и классификации» || [[Media:S11_show_BMML16.pdf|Презентация]] [[Media:S11_GP_BMML16.pdf|Задачи]] |- |rowspan=2|11&nbsp;ноября&nbsp;2016 || rowspan=2 align="center"|10 || Лекция «Непараметрические байесовские методы. Процессы Дирихле» || [[Media:DirichletProcessNotes.pdf|Конспект (pdf)]] |- |Семинар «Свойства распределения Дирихле. Выдача задания №3» || [[Media:BMMO10_2.pdf|Конспект (pdf)]] |- |rowspan=2|18&nbsp;ноября&nbsp;2016 || rowspan=2 align="center"|11 || Лекция «Латентное размещение Дирихле (LDA)» || [[Media:BMMO11_14.pdf|Конспект (pdf)]] |- |Семинар «Модификации LDA» || [http://www.cs.berkeley.edu/~jordan/papers/hierarchical-dp.pdf Статья по HDP] |- |25&nbsp;ноября&nbsp;2016 || align="center"|12 || Лекция и семинар «Стохастический вариационный вывод. Вариационный автокодировщик» || [http://jmlr.org/papers/v14/hoffman13a.html Статья 1], [http://arxiv.org/abs/1312.6114 Статья 2] |- |2&nbsp;декабря&nbsp;2016 || align="center"|13 || Занятие «Несопряженный вариационный вывод» || [https://arxiv.org/pdf/1209.4360v4.pdf Статья] |- |9&nbsp;декабря&nbsp;2016 || align="center"|14 || Занятие «Масштабируемые модели гауссовских процессов» || [https://arxiv.org/abs/1611.06132 Статья] |- |} == Теоретические задания == Задание 1. [[Media:BMML_hw1_2016.pdf‎‎|Сопряжённые распределения и экспоненциальный класс распределений]] Срок сдачи: 16 сентября (пятница), 23:59. Задание 2. [[Media:Hw_2_2016.pdf‎‎|Матричные вычисления]] Срок сдачи: 1 октября (суббота), 23:59. Задание 3 [[Media:-Hometask3.pdf‎|Вариационный вывод]] Срок сдачи: 29 октября (суббота), 23:59. ‎ == Практические задания == Задание 1. [[Media:BMML_Assignment1_2016.pdf‎|Байесовские рассуждения]] Проверьте свой код перед сдачей с помощью данного [https://github.com/bayesgroup/bayesgroup.github.io/blob/master/bmml/2016/Hometasks/BMML1_tester_for_students.ipynb тестера]! Срок сдачи: 17 сентября (суббота), 23:59. Задание 2. [[Media:BMML_Assignment2_2016.pdf‎|ЕМ алгоритм для детектива]] Прототипы функций находятся [https://github.com/bayesgroup/bayesgroup.github.io/blob/master/bmml/2016/Hometasks/BMML2_prototypes.py здесь], а текущий набор данных – [https://drive.google.com/file/d/0B7TWwiIrcJstaDUxdXBsWU9BLTA/view?usp=sharing здесь]. Выложена полная и окончательная версия данных. Срок сдачи: 23 октября (воскресенье), 23:59. ''В версии задания на github не открывались ссылки в первой части задания, поэтому задание перезалито на machinelearning.'' Задание 3. [[Media:Hometask-3.pdf‎|Процессы Дирихле для кластеризации изображений цифр]] Срок сдачи: 27 ноября (воскресенье), 23:59 == Система выставления оценок по курсу == # В рамках курса предполагается выполнение трёх практических заданий и трёх домашних заданий. # Задания выполняются самостоятельно. Если задание выполнялось сообща, или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчете. В противном случае „похожие“ решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны. # При наличии несданных практических заданий максимальная возможная оценка за курс — это «удовлетворительно». # Практические задания оцениваются из 5 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.1 балла за каждый день просрочки, но суммарно не более 5-и баллов. # Домашние задания оцениваются из 2 баллов. За сдачу заданий позже срока начисляется штраф в размере 0.1 балла за каждый день просрочки. Задания не принимаются спустя неделю после срока. # Необходимым условием получения положительной оценки за курс является сдача не менее двух практических заданий и сдача устного экзамена не менее чем на оценку «удовлетворительно». # Итоговая оценка вычисляется по формуле <tex>Mark = \frac{Oral*4+HomeWork}{8}</tex>, где Oral — оценка за устный экзамен (0, 3, 4, 5), HomeWork — баллы, набранные за практические и домашние задания (см. таблицу выше), Mark — итоговая оценка по 5-балльной шкале. Нецелые значения округляются в сторону ближайшего целого, <b>превосходящего</b> дробное значение. # На экзамене студент может отказаться от оценки и пойти на пересдачу, на которой может заново получить Oral. # За каждое несданное практическое задание выставляется минус 10 баллов в баллы по заданиям (допускаются отрицательные значения). # За каждую несданное домашнее задание выставляется 0 баллов в баллы по заданиям. # Если на экзамене итоговая оценка оказывается ниже трех, то студент отправляется на пересдачу. При этом оценка Oral, полученная на пересдаче, <b>добавляется</b> к положительной (три и выше) оценке Oral, полученной на основном экзамене и т.д. до тех пор, пока студент не наберет на итоговую оценку «удовлетворительно» (для итоговых оценок выше «удовлетворительно» оценки Oral не суммируются). # Студент может досдать недостающие практические задания в любое время. При этом проверка задания гарантируется только в том случае, если задание сдано не позднее, чем за неделю до основного экзамена или пересдачи. # В случае успешной сдачи всех практических заданий студент получает возможность претендовать на итоговую оценку «хорошо» и «отлично». При этом экзамен на оценку Oral может сдаваться до сдачи всех заданий (оценки Oral в этом случае <b>не суммируются</b>). # Экзамен на оценку Oral сдается либо в срок основного экзамена, либо в срок официальных пересдач. == Литература == # ''Barber D.'' [http://www0.cs.ucl.ac.uk/staff/d.barber/brml/ Bayesian Reasoning and Machine Learning.] Cambridge University Press, 2012. # [http://www2.imm.dtu.dk/pubdb/views/edoc_download.php/3274/pdf/imm3274.pdf Набор полезных фактов для матричных вычислений] # Простые и удобные [http://cs.nyu.edu/~roweis/notes.html заметки по матричным вычислениям и свойствам гауссовских распределений] # [http://statistics.zone/ Памятка по теории вероятностей] # ''Ветров Д.П., Кропотов Д.А.'' Байесовские методы машинного обучения, учебное пособие по спецкурсу, 2007 ([[Медиа:BayesML-2007-textbook-1.pdf|Часть 1, PDF 1.22МБ]]; [[Медиа:BayesML-2007-textbook-2.pdf|Часть 2, PDF 1.58МБ]]) # ''Bishop C.M.'' [http://research.microsoft.com/en-us/um/people/cmbishop/prml/ Pattern Recognition and Machine Learning.] Springer, 2006. # ''Mackay D.J.C.'' [http://www.inference.phy.cam.ac.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms.] Cambridge University Press, 2003. # ''Tipping M.'' [http://www.jmlr.org/papers/volume1/tipping01a/tipping01a.pdf Sparse Bayesian Learning.] Journal of Machine Learning Research, 1, 2001, pp. 211-244. # ''Шумский С.А.'' [http://www.niisi.ru/iont/ni/Library/School-2002/Shumsky-2002.pdf Байесова регуляризация обучения.] В сб. Лекции по нейроинформатике, часть 2, 2002. == Страницы курса прошлых лет == [[Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов, 2010)|2010 год]]<br> [[Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/2011|2011 год]]<br> [[Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/весна 2013|весна 2013 года]]<br> [[Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/осень 2013|осень 2013 года]]<br> [[Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/2014|2014 год]]<br> [[Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/2015|2015 год]] == См. также == [[ГМ|Курс «Графические модели»]] [[Спецсеминар "Байесовские методы машинного обучения"|Спецсеминар «Байесовские методы машинного обучения»]] [[Математические методы прогнозирования (кафедра ВМиК МГУ)]] [[Категория:Учебные курсы]] [[Категория:Байесовские методы]]

Возврат к странице Байесовские методы машинного обучения (курс лекций) / 2016.