Байесовские методы машинного обучения (курс лекций) / 2021

Материал из MachineLearning.

Версия от 12:43, 13 декабря 2021; Tipt0p (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Изучение дисциплины нацелено на освоение т.н. байесовского подхода к теории вероятностей как одного из последовательных способов математических рассуждений в условиях неопределенности. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.

Целью курса также является освоение студентами основных способов применения байесовского подхода при решении задач машинного обучения. Байесовский подход позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и проч.

Предполагается, что в результате освоения курса студенты будут способны строить комплексные вероятностные модели, учитывающие структуру прикладной задачи машинного обучения, выводить необходимые формулы для решения задач обучения и вывода в рамках построенных вероятностных моделей, а также эффективно реализовывать данные модели на компьютере.

Лектор: Дмитрий Петрович Ветров,

Семинаристы: Максим Кодрян, Тимофей Южаков + орг. вопросы курирует Екатерина Лобачева

Контакты: по всем вопросам, связанным с курсом, просьба писать на bayesml@gmail.com. В название письма обязательно добавлять [ВМК БММО21]. Письма без этого тега могут просто не дойти до преподавателей!

У курса есть чат в телеграме. Все объявления по курсу будут вывешиваться именно в чате! Всем студентам будет отправлена ссылка на него на почту. Преподаватели в чате бывают, но не всегда. По всем важным вопросам стоит писать на почту.

Новости

10.09.21 Выложена формулировка первого практического задания. Стандартный срок сдачи - 24 сентября 23:00.

18.09.21 Выложена формулировка первого теоретического задания. Стандартный срок сдачи - 3 октября 23:00.

02.10.21 Выложена формулировка второго теоретического задания. Стандартный срок сдачи - 8 октября 23:00.

02.10.21 Выложена формулировка первой лабораторной работы. Стандартный срок сдачи - 15 октября 23:00.

15.10.21 Выложена формулировка второго практического задания. Стандартный срок сдачи - 29 октября 23:00.

23.10.21 Выложена формулировка третьего теоретического задания. Стандартный срок сдачи - 7 ноября 23:00.

11.11.21 Выложена формулировка второй лабораторной работы. Стандартный срок сдачи - 20 ноября 23:00.

20.11.21 Выложена формулировка третьей лабораторной работы. Стандартный срок сдачи - 27 ноября 23:00.

26.11.21 Выложена формулировка четвертой лабораторной работы. Стандартный срок сдачи - 5 декабря 23:00.

Отчётность по курсу и критерии оценки

В курсе предусмотрено несколько форм контроля знаний: 2 практических домашних задания, 3 теоретических домашних задания, 4 домашних лабораторных работы и устный экзамен. Итоговая оценка по курсу в 10-бальной шкале рассчитывается по формуле:

Итоговая оценка = 0.3 * Экз + 0.3 * Практ + 0.4 * ( 3/7 * Теор + 4/7 * Лаб ))

Итоговая оценка округляется арифметически. Оценка за каждый тип заданий рассчитывается как среднее по всем заданиям данного типа. Каждое задание и экзамен оцениваются по 10-балльной шкале (по заданиям допускается дробная оценка). За некоторые задания можно будет получить бонусные баллы, о чем будет объявляться при выдаче задания. Оценке 5 в пятибальной шкале соответствует оценка 8 и выше, оценке 4 -- оценка [6, 8), оценке 3 -- промежуток [4, 6).

Кроме набора необходимого балла по формуле, для получения положительной оценки по курсу также нужно выполнить следующие обязательные условия:

сдать экзамен на оценку не ниже 4 из 10,
сдать одно практическое задание, одно теоретическое задание и две лабораторных работы на оценку не менее 5 из 10 (без учета штрафа за опоздание).

Про оценивание экзамена:

На экзамене студент может отказаться от оценки и пойти на пересдачу, на которой может заново получить оценку.
Если студенту не хватает баллов на оценку «удовлетворительно» по формуле выше, то он отправляется на пересдачу. При этом оценка, полученная на пересдаче, добавляется к положительной (4 из 10 и выше) оценке, полученной на основном экзамене и т.д. до тех пор, пока студент не наберет на итоговую оценку «удовлетворительно» (для итоговых оценок выше «удовлетворительно» оценки за экзамен не суммируются).

Домашние задания

В рамках курса предполагается выполнение двух практических заданий, трёх теоретических домашних заданий и четырёх лабораторных работ. Задания сдаются в системе anytask. Для получения инвайта просьба писать на почту курса.
Все практические задания и лабораторные сдаются на Python 3. Код практических заданий должен быть обязательно предварительно сдан в систему ejudge. Формат логина в ejudge должен быть следующий: vmk21_ + первая буква имени + фамилия. Пример: vmk21_elobacheva. Конфигурация сервера проверки кода в ejudge: python==3.9.6, matplotlib==3.4.3, numpy==1.21.2, scipy==1.7.1
Все задания должны выполняться студентами самостоятельно. Использование кода и решений от коллег или из открытых источников запрещено и считается плагиатом. Все студенты, замешанные в плагиате (в том числе и те, у кого списали) будут сурово наказаны. Также мы просим не выкладывать свои решения в открытый доступ.
Для каждого задания устанавливается стандартный и жесткий сроки сдачи. Жесткий срок сдачи обычно отстоит от стандартного на одну неделю. За каждый день просрочки после стандартного срока сдачи устанавливается штраф в 1 балл. После жесткого срока сдачи задания на проверку не принимаются.

Примерные даты выдачи домашних заданий (они могут быть изменены!):

Практическая работа -- 10 сентября, 15 октября
Лабораторная работа -- 1 октября, 12 ноября, 19 ноября, 3 декабря
Теоретическое задание -- 17 сентября, 1 октября, 22 октября

Экзамен

Экзамен пройдет 19 января с 13:00.

При подготовке ответа на экзамене разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя. Просьба обратить внимание на теоретический минимум по курсу — незнание ответов на вопросы теор. минимума автоматически влечёт неудовлетворительную оценку за экзамен. На экзамене дается час на подготовку ответа на билет, после чего вы отвечаете экзаменатору на вопросы из теоретического минимума, рассказываете билет, отвечаете на дополнительные вопросы по курсу и решаете задачи.

Вопросы к экзамену.

Расписание занятий

Занятия проходят по пятницам в ауд. 526б, начало в 14-35 (лекция) и 16-20 (семинар).

Дата	№ занятия	Занятие	Материалы
10 сентября 2021	1	Лекция «Байесовский подход к теории вероятностей. Примеры байесовских рассуждений.»	Конспект Саммари Презентация
10 сентября 2021	1	Семинар «Байесовские рассуждения. Выдача практического задания №1»	Задачи Конспект
17 сентября 2021	2	Лекция «Сопряжённые распределения, аналитический байесовский вывод, экспоненциальный класс распределений»	Конспект
17 сентября 2021	2	Семинар «Сопряжённые распределения»	Задачи Конспект Ноутбук
24 сентября 2021	3	Лекция «Байесовский выбор модели»	Презентация Конспект
24 сентября 2021	3	Семинар «Подсчёт обоснованности моделей»	Задачи Конспект Ноутбук
1 октября 2021	4	Лекция «Метод релевантных векторов для задачи регрессии»	Презентация Конспект
1 октября 2021	4	Семинар «Матричные вычисления»	Задачи с семинара Решения с семинара Методичка Задачи доп 1 Задачи доп 2,
8 октября 2021	5	Лекция «Метод релевантных векторов для задачи классификации»	Саммари Конспект,
8 октября 2021	5	Семинар «Метод релевантных векторов»	Задачи Конспект Презентация Доказательство тождества Вудбери Доказательство тождества об определителе
15 октября 2021	6	Лекция «EM-алгоритм. Байесовский метод главных компонент»	Саммари Конспект
15 октября 2021	6	Семинар «ЕМ-алгоритм»	Задачи Конспект
22 октября 2021	7	Лекция «Вариационный вывод»	Саммари 1 Саммари 2 Конспект
22 октября 2021	7	Семинар «Вариационный вывод»	Задачи Конспект Ноутбук
29 октября 2021	8	Лекция «Методы Монте-Карло по схеме марковский цепей (MCMC)»	Саммари
29 октября 2021	8	Семинар «МСМС»	Задачи Конспект Ноутбук
12 ноября 2021	9	Лекция «Гибридный метод Монте-Карло и его масштабируемые модиификации»	Hamiltonian dynamics Langevin Dynamics
12 ноября 2021	9	Лекция «Динамика Ланжевена для сэмплирования и оптимизации»	Презентация
19 ноября 2021	10	Лекция «Латентное размещение Дирихле (LDA)»	Саммари
19 ноября 2021	10	Семинар «Модификации LDA»	Конспект Статья по HDP
26 ноября 2021	11	Лекция «Гауссовские процессы для регрессии и классификации»	материалы лекции изложены в разделе 6.4 Бишопа
26 ноября 2021	11	Семинар «Гауссовские процессы для регрессии и классификации»	Задачи Конспект Презентация
3 декабря 2021	12	Лекция «Непараметрические байесовские методы. Процессы Дирихле»	Саммари
3 декабря 2021	12	Семинар «Свойства распределения Дирихле»	Задачи Конспект

Замечание: рукописные конспекты лекций и семинаров это в первую очередь заметки лектора и семинаристов, а не материалы по курсу. В них могут содержать неточности!

Видеозаписи лекций прошлых лет

Официальный конспект лекций в процессе (первые 7 лекций чистовые, остальной материал черновой и может не совпадать с лекциями или содержать ошибки).