Машинное обучение (семинар, ММП ВМиК)

Материал из MachineLearning.

Перейти к: навигация, поиск
Семинары по годовому курсу лекций «Машинное обучение» К.В.Воронцова.

На занятиях будут решаться теоретические задачи, важные для понимания и лучшего усвоения материала, читаемого на лекциях. Разбираемые на семинарах задачи частично составлены И.О.Толстихиным и М.Н.Ивановым, частично взяты из учебников, книжек и статей (в том числе указанных в списке литературы) и частично позаимствованы из аналогичных курсов, читаемых в западных университетах (в том числе из курсов MIT и Стэнфордского университета).

Семинары ведутся на кафедре ММП ВМиК МГУ с осени 2012 года.

Семинарист: И.О.Толстихин.

Содержание

Новости

  • На четвертом семинаре в материалах была допущена серия очень обидных опечаток. Во многих местах в описании ЕМ алгоритма был потерян логарифм! Обратите на это внимание, в материалах исправоения отмечены красным цветом!
  • Принято решение вывешивать мои черновики к семинарам вместе с решениями. Домашние задания также будут вывешиваться на этой странице. Ищите все в расписании занятий.
  • На втором семинаре, возможно, я допустил ошибку. Когда мы выводили ОМП для ковариационной матрицы многомерного нормального распределения, по-моему, я записал дифференцирование по \Sigma, тогда как, конечно же, дифференцирование шло по \Sigma^{-1}. Еще раз загляните к себе в записи и убедитесь, что там все правильно.
  • 18 и 25 сентября семинары не состоялись по причине командировки семинариста.

Оценка за курс и «правила игры»

Итоговая оценка за семестр будет вычисляться по формуле 0.67*(оценка за работу в семестре) + 0.33*(оценка на устном экзамене). При этом

  • Округляться итоговая дробная оценка будет до ближайшего целого числа (*.5 будет округляться вверх).
  • Оценка за экзамен — целая оценка 0, 3, 4 или 5.
  • Оценка за работу в семестре — действительное число от 0 до 5. Оценка складывается из баллов, набранных студентом за
    1. контрольные работы (0.4),
    2. регулярные короткие проверочные работы на семинарах (0.3),
    3. коллоквиум (0.3),
    4. возможно, некоторые дополнительные активности (может быть доклады, решение задач со звездочками, и т.д. по усмотрению семинариста).
  • За каждую работу студент получает дробную оценку от 0 до 5, пропорциональную числу решенных в данной работе задач. Так, если в работе было 4 задачи, а студент решает 2 из них, он получает 2.5 балла.
  • Каждый вид из перечисленных выше семестровых активностей получает коэффициент, отражающий его степень важности (см. выше жирным в скобках). В сумме коэффициенты дают 1. Баллы внутри одного вида активности усредняются (если всего было 4 проверочных и студент набрал 0, 2.5, 3, 2.5, то за проверочные он получает (2.5+3+2.5)/4 = 2). Семестровая оценка вычисляется как взвешенная сумма усредненных баллов с указанными коэффициентами.
  • Для успешного написания проверочных работ студенту домой будут выдаваться несколько типовых задач по темам, пройденным на последнем семинаре. Самостоятельного разбора этих задач будет вполне достаточно для успешного написания проверочной работы на следующем семинаре. За решение домашних задач оценки выставляться не будут.
  • В проверочную работу будут входить также «задачи со звездочкой». Решение этих задач не обязательно для получения отличного балла (они не учитываются при подсчете доли решенных в работе задач), но они могут дать бонусные баллы.
  • Студенты имеют возможность всегда написать семинаристу письмо с возникающими у них вопросами по домашним задачам. Семинарист по мере возможностей готов обсуждать вопросы студента и помогать ему в их разборе.
  • К студентам, не набравшим в результате достаточного для «3» балла, применяются особые меры. Во-первых, они автоматически не смогут получить финальную оценку больше 3. Во-вторых, для получения оценки «удовл» им придется начать экзамен с написания большой письменной работы, куда войдут все пройденные в семестре темы. Студент будет пересдавать экзамен, пока не наберет нужного количества баллов.

Осенний семестр 2012

Расписание занятий

Дата Семинар Материалы Д/З
4 сентября Семинар 1:
  • правила игры
  • основные определения, постановки задач и примеры прикладных задач
11 сентября Семинар 2:
  • работа с вероятностью, условные вероятности, формула Байеса, формула полной вероятности
  • вероятностная постановка задачи обучения, минимизация риска, минимизация эмпирического риска
  • функция правдоподобия, оценки максимального правдоподобия
  • одномерное и многомерное нормальное распределение, ОМП для его параметров

Короткий конспект (PDF, 151Кб)

Задачи

18 сентября Семинар не состоялся
25 сентября Семинар не состоялся
2 октября Семинар 3:
  • байесовский подход к классификации, байесовский оптимальный классификатор
  • параметрическое оценивание плотностей классов, нормальный дискриминантный анализ
  • Линейный Дискриминант Фишера (ЛДФ)
  • Проверочная работа 1

Короткий конспект (PDF, 154Кб)

Задачи

9 октября Семинар 4:
  • смеси нормальных распределений
  • скрытые переменные, совместное распределение скрытых и наблюдаемых переменных
  • KL"=дивергенция, свойства
  • ЕМ"=алгоритм в общем виде
  • Проверочная работа 2

Короткий конспект (PDF, 152Кб)

TBC

Оценки

ФИО студента Группа Проверочные работы Контрольные работы Коллоквиум Экзамен Итоговая оценка
№1(3) №2(4) Сред. №1 Сред.
Алешин И. 317 1.66 2.5
Антипов А. 317 0 2.5
Арбузова Д. 317 0 2.5
Горелов А. 317 3.33 0
Зиннурова Э. 317 1.66 3.75
Кузьмин А. 317 3.33 н
Ломов Н. 317 3.33 1.25
Львов С. 317 1.66 3.75
Найдин О.317 0 0
Никифоров А. 317 5 2.5
Новиков А.317 5 3.75
Петров Г.317 1.66 3.75
Подоприхин Д.317 5 1.25
Рыжков А.317 3.33 3.75
Сокурский Ю.317 3.33 3.75
Ульянов Д.317 1.66 3.75
Харациди О.317 1.66 0
Шабалиев Ф.317 3.33 0
Шадриков А.317 1.66 2.5
Швец П.317 0 0
Афанасьев К.316 1.66 2.5

Литература

  1. Курс лекций К.В.Воронцова (1 часть, PDF, 3 МБ)
  2. Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
  3. Hastie T., TIbshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2008.