Просмотр

Материал из MachineLearning.

У вас нет прав на выполнение этой операции по следующим причинам:

• Запрошенное действие могут выполнять только участники из групп emailconfirmed, Администраторы.
• Вы должны подтвердить ваш адрес электронной почты перед правкой страниц. Пожалуйста, введите и подтвердите ваш адрес эл. почты на странице настроек.

Вы можете просмотреть и скопировать исходный текст этой страницы:

__NOTOC__ Курс посвящен применению байесовских методов в глубинном обучении. На лекциях будет рассказано о применении вероятностного моделирования для построения порождающих моделей данных, использованию состящающихся сетей для приближенного вывода, моделированию неопределенности в параметрах нейронной сети и о некоторых открытых проблемах глубинного обучения. '''Лектор:''' [[Участник:Dmitry Vetrov|Д.П. Ветров]] '''Семинаристы:''' [[Участник:Кирилл_Струминский|Кирилл Струминский]], Дмитрий Молчанов, Кирилл Неклюдов, Артём Соболев, Арсений Ашуха, Олег Иванов, Артем Гадецкий, Айбек Аланов. '''Куратор:''' [[Участник:Alexgr1|Александр Гришин]] По всем вопросам, связанным с курсом, просьба писать на '''bayesml@gmail.com''', в тему письма обязательно добавлять тег '''[ВМК НБМ20]'''. Письма без данного тега с большой вероятностью будут утеряны. Также у курса есть чат в телеграме. Все объявления по курсу будут вывешиваться именно в чате! Основной язык чата - английский. Ссылка на него будет разослана студентам на почту групп. Если вам ссылка не пришла, то пишите для ее получения на почту курса. == Новости == == Система выставления оценок по курсу == В рамках курса предполагается выполнение четырех практических заданий и устный экзамен. Каждое задание и экзамен оцениваются из 10-ти баллов. * Необходимым условием получения оценки 4/6/8 или выше является сдача не менее 1/2/3 практических заданий и сдача экзамена на положительную оценку. * Практическое задание считается сданным, если оценка за него не меньше чем 5 из 10 * Итоговый балл за курс вычисляется по формуле 0.7*<Средняя_оценка_за_задания> + 0.3*<Оценка_за_экзамен>. Итоговый балл округляется математически. * Средняя оценка по заданиям (Sparse Variational Dropout, Normalizing flows, VAE, и Discrete Latent Variables) считается как среднее взвешенное Средняя_оценка_за_задания = 1/6 * O(SVDO) + 1/3 * O(NF) + 1/3 * O(VAE) + 1/6 * O(DLV). * Оценке 5 в пятибальной шкале соответствует оценка 8 и выше, оценке 4 -- оценка [6, 8), оценке 3 -- промежуток [4, 6). == Практические задания == * В рамках курса предполагается выполнение четырех практических заданий на следующие темы: Sparse Variational Dropout, Normalizing flows, VAE, и Discrete Latent Variables. * Приём заданий по курсу осуществляется [https://anytask.org/course/602 в системе anytask]. * Все задания сдаются на Python 3 с использованием PyTorch. * Все задания должны выполняться студентами самостоятельно. Использование кода коллег или кода из открытых источников запрещено и будет считаться плагиатом. Все студенты, замешанные в плагиате (в том числе и те, у кого списали), будут сурово наказаны. * Задания оцениваются из 10 баллов (но учитываются с разными весам). За сдачу заданий позже срока начисляется штраф в размере 0.3 балла за каждый день просрочки, но суммарно не более 6-и баллов. На выполнение каждого задания будет даваться от 1 до 2 недель. В некоторых заданиях будут бонусные пункты. Примерные даты выдачи заданий: 28 Февраля, 6 Марта, 20 Марта, 3 Апреля Дата жесткого дедлайна по всем заданиям: TBA == Экзамен == Формат и дата экзамена TBA == Расписание занятий == В 2020 году курс читается на факультете [[ВМиК]] МГУ по пятницам в ауд. 526б, начало в 14-35 (лекция) и 16-20 (семинар). {| class="standard" !Дата !! № занятия !! Занятие |- | rowspan=2|14&nbsp;февраля || rowspan=2 align="center"| 1 || Лекция «Стохастический вариационный вывод (SVI)» |- |Семинар «Применение SVI на примере масштабируемых тематических моделей» |- | rowspan=2|21&nbsp;февраля || rowspan=2 align="center"| 2 || Лекция « Дважды стохастический вариационный вывод» |- |Семинар «Дисперсия стохастических градиентов в примерах» |- | rowspan=2|28&nbsp;февраля || rowspan=2 align="center"| 3 || Лекция «Байесовские нейронные сети» |- |Семинар «TBA» |- | rowspan=2|6&nbsp;марта || rowspan=2 align="center"| 4 || Лекция «Вариационный автокодировщик, нормализующие потоки для вариационного вывода» |- |Семинар «Репараметризация, оценки с выборкой по значимости (IWAE)» |- | rowspan=2|13&nbsp;марта || rowspan=2 align="center"| 5 || Лекция «Методы снижения дисперсии в моделях со скрытыми переменными» |- |Семинар «Методы снижения дисперсии в моделях со скрытыми переменными» |- | rowspan=2|20&nbsp;марта || rowspan=2 align="center"| 6 || Лекция «Оценка отношения плотностей распределений, применение на примере \alpha-GAN» |- |Семинар «f-GAN» |- | rowspan=2|27&nbsp;марта || rowspan=2 align="center"| 7 || Лекция «Semi-Implicit Variational Inference (SIVI)» |- |Семинар «Semi-Implicit Variational Inference (SIVI)» |- | rowspan=2|3&nbsp;апреля || rowspan=2 align="center"| 8 || Лекция «Deep Markov chain Monte Carlo (MCMC)» |- |Семинар «Deep Markov chain Monte Carlo (MCMC)» |- |} == Материалы == [https://docs.google.com/document/d/1Mqzo89OeX5gteQ9qYF5rhz6Ap00JQEyoiq2WKo54vA8/edit?usp=sharing Обновляемый список материалов (статей и т.п.)] [https://drive.google.com/drive/folders/1rEbRC6n6WL51GHPwje-pDw89jpYB9hE5?usp=sharing Папка с конспектами прошлогодних лекций/семинаров] [https://drive.google.com/file/d/1yu_77loRT3Th3-YkYc6sbnf9QDcYIO9U/view?usp=sharing Natural gradient, Fisher Information matrix, VI] by Artem Sobolev '''Замечание:''' рукописные конспекты лекций и семинаров это в первую очередь заметки лектора и семинаристов, а не материалы по курсу. В них могут содержать неточности! == Литература == # ''Murphy K.P.'' [http://www.twirpx.com/file/1347295/ Machine Learning: A Probabilistic Perspective.] The MIT Press, 2012. # ''Bishop C.M.'' [http://www.twirpx.com/file/146159/ Pattern Recognition and Machine Learning.] Springer, 2006. # ''Mackay D.J.C.'' [http://www.inference.phy.cam.ac.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms.] Cambridge University Press, 2003. # ''Ian Goodfellow and Yoshua Bengio and Aaron Courville'' [http://www.deeplearningbook.org/ Deep Learning.] MIT Press, 2016. == См. также == [[Бммо|Курс «Байесовские методы машинного обучения»]] [[Математические методы прогнозирования (кафедра ВМиК МГУ)]] [[Категория:Учебные курсы]] [[Категория:Байесовские методы]]

Возврат к странице Нейробайесовские методы машинного обучения (курс лекций) / 2020.