Просмотр

Материал из MachineLearning.

У вас нет прав на выполнение этой операции по следующим причинам:

• Запрошенное действие могут выполнять только участники из групп emailconfirmed, Администраторы.
• Вы должны подтвердить ваш адрес электронной почты перед правкой страниц. Пожалуйста, введите и подтвердите ваш адрес эл. почты на странице настроек.

Вы можете просмотреть и скопировать исходный текст этой страницы:

{| |[[Изображение:Mlseminarlogo.jpg|280px]] | valign="top"| Семинары по годовому курсу лекций [[Машинное обучение (курс лекций, К.В.Воронцов)|«Машинное обучение»]] [[Участник:Vokov|К.В.Воронцова]]. На занятиях будут решаться теоретические задачи, важные для понимания и лучшего усвоения материала, читаемого на лекциях. Разбираемые на семинарах задачи частично составлены [[Участник:Tolstikhin|И.О.Толстихиным]] и М.Н.Ивановым, частично взяты из учебников, книжек и статей (в том числе указанных в списке литературы) и частично позаимствованы из аналогичных курсов, читаемых в западных университетах (в том числе из курсов MIT и Стэнфордского университета). Семинары ведутся на кафедре [[Математические методы прогнозирования (кафедра ВМиК МГУ)|ММП]] [[Факультет вычислительной математики и кибернетики МГУ| ВМиК МГУ]] с осени 2012 года. Семинарист: [[Участник:Tolstikhin|И.О.Толстихин]]. |} == Новости == * {{важно|В выложенной версии текста последнего семинара обнаружилась опечатка. На странице 8 в формулах (9) и (b) величины <tex>\delta</tex> и <tex>\delta/2</tex> надо заменить на <tex>\delta/2</tex> и <tex>\delta/4</tex> соответственно.}} [31.03.2013] * {{важно|Ориентировочно через 2 семинара будет контрольная работа по линейным методам классификации.}} [14.11.2012] * Обратите внимание. Добавлена домашка по материалам 6го семинара (логистическая регрессия). [6.11.2012] * {{важно|В материалах 5го семинара найдена опечатка: в последней части, где речь идет о связи алгоритма ближайших соседей с парзеновским окном, была опечатка в мат.ожидании биномиального распределения. Исправления отмечены красным.}} * 30 октября будет контрольная работа по байесовским методам и метрическим алгоритмам классификации. В ближайший вторник (23 октября) вместо семинара будет лекция, которая пройдет в той же аудитории и в то же время, что семинар. В ближайшее время, скорее всего, будет вывешен список задачек для подготовки к контрольной работе. В отличие от проверочных, этого списка будет ''не достаточно'' для успешной сдачи контрольной работы. Так что повторяйте весь пройденный на лекциях и семинарах материал, все домашки и все проверочные. * Скорее всего через один семинар (23 октября) будет контрольная по темам "Байесовские методы" и "Метрические классификаторы". Имейте ввиду. [11.10.2012 18:20] * {{важно|На четвертом семинаре в материалах была допущена серия очень обидных опечаток. Во многих местах в описании ЕМ алгоритма был потерян логарифм! Обратите на это внимание, в материалах исправоения отмечены красным цветом!}} * Принято решение вывешивать мои черновики к семинарам '''вместе''' с решениями. Домашние задания также будут вывешиваться на этой странице. Ищите все в расписании занятий. * {{важно|На втором семинаре, возможно, я допустил ошибку. Когда мы выводили ОМП для ковариационной матрицы многомерного нормального распределения, по-моему, я записал дифференцирование по <tex>\Sigma</tex>, тогда как, конечно же, дифференцирование шло по <tex>\Sigma^{-1}</tex>. Еще раз загляните к себе в записи и убедитесь, что там все правильно.}} * 18 и 25 сентября семинары не состоялись по причине командировки семинариста. == Оценка за курс и «правила игры» == Итоговая оценка за семестр будет вычисляться по формуле 0.67*(оценка за работу в семестре) + 0.33*(оценка на устном экзамене). При этом *Округляться итоговая дробная оценка будет до '''ближайшего''' целого числа (*.5 будет округляться вверх). *Оценка за экзамен — целая оценка 0, 3, 4 или 5. *Оценка за работу в семестре — действительное число от 0 до 5. Оценка складывается из баллов, набранных студентом за *#контрольные работы ('''0.4'''), *#регулярные короткие проверочные работы на семинарах ('''0.3'''), *#коллоквиум ('''0.3'''), *#возможно, некоторые дополнительные активности (может быть доклады, решение задач ''со звездочками'', и т.д. по усмотрению семинариста). *За каждую работу студент получает дробную оценку от 0 до 5, пропорциональную числу решенных в данной работе задач. Так, если в работе было 4 задачи, а студент решает 2 из них, он получает 2.5 балла. *Каждый вид из перечисленных выше семестровых активностей получает коэффициент, отражающий его степень важности (см. выше жирным в скобках). В сумме коэффициенты дают 1. Баллы внутри одного вида активности усредняются (если всего было 4 проверочных и студент набрал 0, 2.5, 3, 2.5, то за проверочные он получает (2.5+3+2.5)/4 = 2). ''Семестровая оценка вычисляется как взвешенная сумма усредненных баллов'' с указанными коэффициентами. *Для успешного написания проверочных работ студенту домой будут выдаваться несколько типовых задач по темам, пройденным на последнем семинаре. Самостоятельного разбора этих задач будет вполне достаточно для успешного написания проверочной работы на следующем семинаре. За решение домашних задач оценки выставляться не будут. *В проверочную работу будут входить также «задачи со звездочкой». Решение этих задач не обязательно для получения отличного балла (они не учитываются при подсчете доли решенных в работе задач), но они могут дать ''бонусные баллы''. *Студенты имеют возможность всегда написать семинаристу письмо с возникающими у них вопросами по домашним задачам. Семинарист по мере возможностей готов обсуждать вопросы студента и помогать ему в их разборе. *К студентам, не набравшим в результате достаточного для «3» балла, применяются особые меры. Во-первых, они автоматически не смогут получить финальную оценку больше 3. Во-вторых, для получения оценки «удовл» им придется начать экзамен с написания большой письменной работы, куда войдут все пройденные в семестре темы. Студент будет пересдавать экзамен, пока не наберет нужного количества баллов. == Осенний семестр 2012 == === Расписание занятий === {|class = "standard" ! Дата !! Семинар !! Материалы !! Д/З |- |4 сентября || Семинар 1: * правила игры * основные определения, постановки задач и примеры прикладных задач || || |- |11 сентября || Семинар 2: *работа с вероятностью, условные вероятности, формула Байеса, формула полной вероятности *вероятностная постановка задачи обучения, минимизация риска, минимизация эмпирического риска *функция правдоподобия, оценки максимального правдоподобия *одномерное и многомерное нормальное распределение, ОМП для его параметров || [[Media:New.Ml.mmp.s2.pdf‎|Короткий конспект (PDF, 151Кб)]] || [[Media:Ml.mmp.hw2.pdf|Задачи]] |- |18 сентября || Семинар не состоялся || || |- |25 сентября || Семинар не состоялся || || |- |2 октября || Семинар 3: *байесовский подход к классификации, байесовский оптимальный классификатор *параметрическое оценивание плотностей классов, нормальный дискриминантный анализ *Линейный Дискриминант Фишера (ЛДФ) *'''Проверочная работа 1''' || [[Media:Ml.mmp.s3.pdf|Короткий конспект (PDF, 154Кб)]] || [[Media:Ml.mmp.hw3.pdf|Задачи]] |- |9 октября || Семинар 4: *смеси нормальных распределений *скрытые переменные, совместное распределение скрытых и наблюдаемых переменных *KL"=дивергенция, свойства *ЕМ"=алгоритм в общем виде *'''Проверочная работа 2''' || [[Media:Ml.mmp.s4_new.pdf|Короткий конспект (PDF, 152Кб)]] || [[Media:Ml.mmp.hw4_1.pdf|Задачи]] |- |16 октября || Семинар 5: *Разбор прошлой домашки: ЕМ-алгоритм *Проклятие размерности *Связь парзеновского окна с алгоритмом ближайших соседей *'''Проверочная работа 3''' || [[Media:ML.mmp.s5.new.pdf|Короткий конспект (PDF, 152Кб)]] || TBC |- |23 октября || Вместо семинара состоялась дополнительная лекция || || |- |30 октября || '''Контрольная работа №1''' *Байесовские методы классификации; *Метрические методы классификации. || || |- |6 ноября || Семинар 6: *Производящие и разделяющие подходы к классификации; *Линейные методы классификации; *Логистическая регрессия; *Многоклассовая логистическая регрессия. || [[Media:Ml.mmp.s6.pdf|Короткий конспект (PDF, 146Кб)]] || [[Media:Ml.mmp.hw6.pdf|Задачи]] |- |13 ноября || Семинар 7: *Разбор прошлой домашки: логистическая регрессия *Метод множителей Лагранжа, условия Куна-Таккера; *Оптимальная разделающая гиперплоскость (hard-margin); *'''Проверочная работа 4''' || [[Media:Ml.mmp.s7.pdf|Короткий конспект (PDF, 200Кб)]] || [[Media:Ml.mmp.hw7.pdf|Задачи]] |- |20 ноября || Семинар 8: *Разбор прошлой домашки: опт. раздел. гип-ть.; *Двойственная функция, двойственная задача; *Метод опорных векторов (soft-margin) *'''Проверочная работа 5''' || [[Media:Ml.mmp.s8.pdf|Короткий конспект (PDF, 200Кб)]] || [[Media:Ml.mmp.hw8.pdf|Задачи]] |- |27 ноября || Семинар не состоялся || || |- |4 декабря || Семинар 9: *Разбор прошлой домашки: soft-margin SVM; *Линейные классификаторы, SVM; *Ядровой переход, ядровая функция; *'''Проверочная работа 6''' || [[Media:Ml.mmp.s9.pdf|Короткий конспект (PDF, 165Кб)]] || [[Media:Ml.mmp.hw9.pdf|Задачи]] |- |10 декабря ||'''Контрольная работа 2''' || || |- |11 декабря || Семинар 10: *Линейная регрессия; *Метод наименьших квадратов; *Геометрическая интерпретация || [[Media:Ml.mmp.s10.pdf|Короткий конспект (PDF, 160Кб)]] || [[Media:Ml.mmp.hw10.pdf|Задачи]] |- |18 декабря || '''Письменный коллоквиум''' || || |- |} === Оценки === '''Информация по средним баллам актуальна!''' {|class = "standard sortable" ! class="unsortable" rowspan="2"|ФИО студента !! rowspan="2" class="unsortable"|Группа !!class="unsortable" colspan="6"|Проверочные работы !!class="unsortable" rowspan="2"|Сред. пров. !! class="unsortable" colspan="3"|Контрольные работы !!class="unsortable" rowspan="2"|Коллоквиум !! class="unsortable" rowspan="2"|Экзамен !!class="unsortable" rowspan="2"|Итоговая оценка |- ! №1(3) !! №2(4) !! №3 (5) !! №4 (5) !! №5 (5)!! №6 (5)!! №1(6) !! №2(24) !! Сред. |- |Алешин И. || align="center"|317 || align="center"| 1.66|| align="center"| 2.5||align="center"| 3||align="center"| 1||align="center"|5||align="center"|3 ||align="center"| 2.693|| align="center"| 2.5|| align="center"|1.25|| align="center"| 1.875|| align="center"| 5|| align="center"| || align="center"|3 |- |Антипов А. || align="center"|317 || align="center"| 0|| align="center"| 2.5||align="center"| 1||align="center"| 2||align="center"|5||align="center"|1||align="center"| 1.917|| align="center"| 1.67|| align="center"|1.875|| align="center"| 1.773|| align="center"| 4.71|| align="center"| || align="center"|4 |- |Арбузова Д. || align="center"|317 || align="center"| 0|| align="center"| 2.5||align="center"| 3||align="center"| 3||align="center"|5||align="center"|4||align="center"| 2.917|| align="center"| 4.17|| align="center"|2.29|| align="center"| 3.23|| align="center"| 4.855|| align="center"| || align="center"|5 |- |Горелов А. || align="center"|317 || align="center"| 3.33|| align="center"| 0||align="center"| 3||align="center"| 3||align="center"|5||align="center"|3||align="center"| 2.888|| align="center"| 3.33|| align="center"|3.33|| align="center"| 3.33|| align="center"| 4.71|| align="center"| || align="center"|5 |- |Зиннурова Э. || align="center"|317 || align="center"| 1.66|| align="center"| 3.75||align="center"| 1||align="center"| 3||align="center"|3||align="center"|3||align="center"| 2.568|| align="center"| 1.67|| align="center"|3.125|| align="center"| 2.398|| align="center"| 4.71|| align="center"| || align="center"|4 |- |Кузьмин А. || align="center"|317 || align="center"| 3.33||align="center"| 1.25|| align="center"| 3||align="center"| 2||align="center"|3||align="center"|3||align="center"|2.597 || align="center"| 4.17|| align="center"|3.54|| align="center"| 3.855|| align="center"| 3.696|| align="center"| || align="center"|4 |- |Ломов Н. || align="center"|317 || align="center"| 3.33|| align="center"| 1.25||align="center"| 2||align="center"| 3||align="center"|5||align="center"|3||align="center"| 2.93|| align="center"| 4.17|| align="center"|3.33|| align="center"| 3.75|| align="center"| 4.493|| align="center"| || align="center"|5 |- |Львов С. || align="center"|317 || align="center"| 1.66|| align="center"| 3.75||align="center"| 3||align="center"| 3||align="center"|{{важно|0}}||align="center"|4||align="center"| {{важно|2.568}}|| align="center"| 1.67|| align="center"|1.875|| align="center"| 1.773|| align="center"| 4.565|| align="center"| || align="center"|4 |- |Найдин О.|| align="center"|317 || align="center"| 0|| align="center"| 0||align="center"| 1||align="center"| 2||align="center"|5||align="center"|2||align="center"| 1.667|| align="center"| 2.5|| align="center"|1.875|| align="center"| 2.188|| align="center"| 3.913|| align="center"| || align="center"|4 |- |Никифоров А. || align="center"|317 || align="center"| 5||align="center"| 2.5|| align="center"| 4||align="center"| 3||align="center"|5||align="center"|3||align="center"| 3.75|| align="center"| 5|| align="center"|3.125|| align="center"| 4.063|| align="center"| 4.42|| align="center"| || align="center"|5 |- |Новиков А.|| align="center"|317 || align="center"| 5|| align="center"| 3.75||align="center"| 4||align="center"| 5||align="center"|5||align="center"|5||align="center"| 4.625|| align="center"| 3.33|| align="center"|4.58|| align="center"| 3.955|| align="center"| 4.71|| align="center"| || align="center"|5 |- |Петров Г.|| align="center"|317 || align="center"| 1.66|| align="center"| 3.75||align="center"| 2||align="center"| 2||align="center"|5||align="center"|3||align="center"| 2.901|| align="center"| 0.83|| align="center"|1.04|| align="center"| 0.935|| align="center"| 4.493|| align="center"| || align="center"|3 |- |Подоприхин Д.|| align="center"|317 || align="center"| 5|| align="center"| 1.25||align="center"| 4||align="center"| 3||align="center"|5||align="center"|5||align="center"| 3.875|| align="center"| 3.33|| align="center"|2.08|| align="center"| 2.705|| align="center"| 4.928|| align="center"| || align="center"|5 |- |Рыжков А.|| align="center"|317 || align="center"| 3.33|| align="center"| 3.75||align="center"| 3||align="center"| 2||align="center"|4||align="center"|5||align="center"| 3.513|| align="center"| 2.5|| align="center"|1.875|| align="center"| 2.188|| align="center"| 4.493|| align="center"| || align="center"|4 |- |Сокурский Ю.|| align="center"|317 || align="center"| 3.33|| align="center"| 3.75||align="center"| 3||align="center"| 2||align="center"|5||align="center"|3||align="center"| 3.347|| align="center"| 2.5|| align="center"|3.125|| align="center"| 2.813|| align="center"| 4.493|| align="center"| || align="center"|4 |- |Ульянов Д.|| align="center"|317 || align="center"|1.66 ||align="center"| 3.75|| align="center"| 2||align="center"| 5||align="center"|5||align="center"|3||align="center"|3.402|| align="center"| 2.5|| align="center"|3.125|| align="center"| 2.813|| align="center"| 4.71|| align="center"| || align="center"|5 |- |Харациди О.|| align="center"|317 || align="center"| 1.66|| align="center"| 0||align="center"| 0||align="center"| 2||align="center"|4||align="center"|2||align="center"| 1.61|| align="center"| 3.33|| align="center"|3.33|| align="center"| 3.33|| align="center"| 4.565|| align="center"| || align="center"|4 |- |Шабашев Ф.|| align="center"|317 || align="center"| 3.33|| align="center"| 0||align="center"| 1||align="center"| 4||align="center"|5||align="center"|1||align="center"| 2.388|| align="center"| 2.5|| align="center"|1.875|| align="center"| 2.813|| align="center"| 4.348|| align="center"| || align="center"|4 |- |Шадриков А.|| align="center"|317 || align="center"| 1.66|| align="center"| 2.5||align="center"| 3||align="center"| 3||align="center"|4||align="center"|2||align="center"| 2.693|| align="center"| 4.17|| align="center"|3.958|| align="center"| 4.064|| align="center"| 3.55|| align="center"| || align="center"|4 |- |Швец П.|| align="center"|317 || align="center"|0 || align="center"| 0||align="center"| 2||align="center"| 0||align="center"|3||align="center"|1||align="center"| 0.5|| align="center"| 2.5|| align="center"| || align="center"| || align="center"| || align="center"| || align="center"| |- |Афанасьев К.|| align="center"|316 || align="center"| 1.66|| align="center"| 2.5||align="center"| 1||align="center"| 1||align="center"|3||align="center"|3||align="center"| 2.027|| align="center"| 1.67|| align="center"|н|| align="center"| {{важно|?}}|| align="center"| 3.044|| align="center"| || align="center"|4 |- |} == Весенний семестр 2013 == === Расписание занятий === {|class = "standard" ! Дата !! Семинар !! Материалы !! Д/З |- |19 февраля || Семинар 1: * Композиции; * Boosting: adaboost, anyboost; * Многоклассовый AdaBoost || [[Media:Ml.mmp.2.s1.pdf‎|Короткий конспект]] || [[Media:Ml.mmp.2.hw1.pdf‎|Задачи]] |- |26 февраля|| Семинар 2: * Композиции; * Bias-variance decomposition; * Bagging * '''Проверочная работа 1''' || [[Media:Ml.mmp.2.s2.pdf‎|Короткий конспект]] || [[Media:Ml.mmp.2.hw2.pdf‎|Задачи]] |- |5 марта || Семинар 3: * Композиции; * Gradient Boosting; * Stochastic Gradient Boosting || [[Media:Ml.mmp.2.s3.pdf‎|Короткий конспект]] || [[Media:Ml.mmp.2.hw3.pdf‎|Задачи]] |- |12 марта || Семинар 4: * '''Контрольная работа 1''' || || |- |19 марта || Семинар 5: * Оценки обобщающей способности; * Неравенства Буля, Маркова, Чебышев, метод Чернова; * Лемма Хевдинга, неравенство Хевдинга. || [[Media:Ml.mmp.2.s5.pdf‎|Короткий конспект]] || См конспект |- |26 марта || Семинары 6,7: * Оценки обобщающей способности; * Оценка для одной функции; * Оценка для конечного класса функций; * Оценка "Бритва Оккама" для счетного класса функций; * Оценка Вапника--Червоненкиса для общего случая; * Функция роста, размерность Вапника--Червоненкиса. || [[Media:Ml.mmp.2.s67.pdf‎|Короткий конспект]] || [[Media:Ml.mmp.2.hw6.pdf‎|Задачи на дом]] |- |} === Оценки === {|class = "standard sortable" ! class="unsortable" rowspan="2"|ФИО студента !! rowspan="2" class="unsortable"|Группа !!class="unsortable" colspan="6"|Проверочные работы !!class="unsortable" rowspan="2"|Сред. пров. !! class="unsortable" colspan="3"|Контрольные работы !!class="unsortable" rowspan="2"|Коллоквиум !! class="unsortable" rowspan="2"|Экзамен !!class="unsortable" rowspan="2"|Итоговая оценка |- ! №1(7) !! №2() !! №3 () !! №4 () !! №5 ()!! №6 ()!! №1() !! №2() !! Сред. |- |Алешин И. || align="center"|317 || align="center"| 0.71 || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| 2.78 |- |Антипов А. || align="center"|317 || align="center"| н|| align="center"| || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| 2.78 |- |Арбузова Д. || align="center"|317 || align="center"| 2.86|| align="center"| || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| 2.22 |- |Горелов А. || align="center"|317 || align="center"| 1.43|| align="center"| || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| 3.89 |- |Зиннурова Э. || align="center"|317 || align="center"| 1.43|| align="center"| || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| 1.67 |- |Корольков М. || align="center"|317 || align="center"| 0|| align="center"| || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| 2.78 |- |Кузьмин А. || align="center"|317 || align="center"| 3.57|| align="center"| || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| 4.44 |- |Ломов Н. || align="center"|317 || align="center"| 3.57|| align="center"| || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| 4.44 |- |Львов С. || align="center"|317 || align="center"| 0.71|| align="center"| || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| 3.33 |- |Найдин О.|| align="center"|317 || align="center"| 2.86|| align="center"| || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| 4.44 |- |Никифоров А. || align="center"|317 || align="center"| н|| align="center"| || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| 3.89 |- |Новиков А.|| align="center"|317 || align="center"| н|| align="center"| || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| 5 |- |Петров Г.|| align="center"|317 || align="center"| 1.43|| align="center"| || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| 2.78 |- |Подоприхин Д.|| align="center"|317 || align="center"| 3.57|| align="center"| || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| 3.33 |- |Рыжков А.|| align="center"|317 || align="center"| 4.29|| align="center"| || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| 3.89 |- |Сокурский Ю.|| align="center"|317 || align="center"| 4.29|| align="center"| || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| 5 |- |Ульянов Д.|| align="center"|317 || align="center"| 2.14 || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| 3.89 |- |Харациди О.|| align="center"|317 || align="center"| 2.86|| align="center"| || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| 3.89 |- |Шабашев Ф.|| align="center"|317 || align="center"| 0.71|| align="center"| || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| 2.22 |- |Шадриков А.|| align="center"|317 || align="center"| 2.86|| align="center"| || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| || align="center"| 2.22 |- |} == Литература == # [[Машинное обучение (курс лекций, К.В.Воронцов)|Курс лекций К.В.Воронцова]] ([[Media:Voron-ML-1.pdf|1 часть, PDF,&nbsp;3&nbsp;МБ]]) # ''Bishop C.M.'' [http://research.microsoft.com/en-us/um/people/cmbishop/prml/ Pattern Recognition and Machine Learning.] Springer, 2006. # ''Hastie T., TIbshirani R, Friedman J.'' [http://www-stat.stanford.edu/~tibs/ElemStatLearn/download.html The Elements of Statistical Learning (2nd edition).] Springer, 2008. [[Категория:Учебные курсы]]

Возврат к странице Машинное обучение (семинар, ММП ВМиК).