|
|
| (93 промежуточные версии не показаны) |
| Строка 1: |
Строка 1: |
| - | __NOTOC__
| + | #REDIRECT [[Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/2014]] |
| - | | + | |
| - | {|
| + | |
| - | |[[Изображение:BMMO11_Intro.jpg|280px]]
| + | |
| - | | valign="top"|Курс посвящен т.н. байесовским методам решения различных задач [[Машинное обучение|машинного обучения]] (классификации, прогнозирования, [[Регрессионный анализ|восстановления регрессии]]), которые в настоящее время активно развиваются в мире. Байесовский подход к теории вероятностей позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и проч. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.
| + | |
| - | |}
| + | |
| - | | + | |
| - | Авторы курса: н.с. каф. [[ММП]] [[Участник:Dmitry Vetrov|Ветров Д.П.]], м.н.с. [[ВЦ РАН]] [[Участник:Kropotov|Кропотов Д.А.]]. Курс читается студентам [[ВМиК МГУ|ВМиК МГУ]], начиная с 2007 года. Курс не требует от студентов дополнительной математической подготовки, выходящей за пределы первых двух курсов университетского образования, все необходимые понятия вводятся в ходе лекций.
| + | |
| - | | + | |
| - | == Расписание на 2011–2012 учебный год ==
| + | |
| - | В осеннем семестре 2011 года спецкурс читается на [[ВМиК МГУ|ВМК]] ....
| + | |
| - | | + | |
| - | {| class = "standard"
| + | |
| - | |+
| + | |
| - | ! width="10%" | Дата
| + | |
| - | ! width="60%" | Название лекции
| + | |
| - | ! width="30%" | Материалы
| + | |
| - | |-
| + | |
| - | | ?? сентября 2011
| + | |
| - | | Введение в курс. Постановки практических задач, рассматриваемых в курсе. ||
| + | |
| - | |-
| + | |
| - | |}
| + | |
| - | | + | |
| - | == Оценка за курс ==
| + | |
| - | В рамках курса студентам предлагается выполнить два практических задания. Выполнение этих заданий является обязательным условием для допуска к экзамену и, соответственно, успешной сдачи курса. Итоговая оценка за курс вычисляется по формуле 0.25*(оценка за первое
| + | |
| - | задание)+0.25*(оценка за второе задание)+0.5*(оценка за экзамен).
| + | |
| - | | + | |
| - | == Программа курса ==
| + | |
| - | | + | |
| - | === Введение в курс. Различные постановки задач машинного обучения ===
| + | |
| - | Обзор задач анализа данных: классификация, регрессия, кластеризация, идентификация. Примеры. Историческая справка. Основные проблемы теории распознавания образов: переобучение, противоречивость информации, малый объем [[Выборка|выборки]]. Иллюстративные примеры переобучения, связь переобучения и объема выборки. Дискриминативные и порождающие (вероятностные) модели.
| + | |
| - | | + | |
| - | ''Ликбез'': основные понятия теории вероятностей (математическое ожидание, дисперсия, ковариационная матрица, плотность вероятности, функция правдоподобия), метод максимального правдоподобия.
| + | |
| - | | + | |
| - | === Байесовский подход к теории вероятностей. Примеры байесовских рассуждений. ===
| + | |
| - | Частотный и вероятностный подходы к теории вероятностей. Интерпретация вероятности как меры нашего незнания, сравнение байесовских рассуждений с логическими. Байесовские сети и основные задачи в них. Пример жизненной ситуации «Джон и колокольчик для воров». Вывод формул для апостериорных вероятностей.
| + | |
| - | | + | |
| - | ''Ликбез'': условная вероятность, формула Байеса и ее применение, формула полной вероятности.
| + | |
| - | | + | |
| - | === Акинатор. Матричные вычисления. ===
| + | |
| - | Принцип работы игры [http://ru.akinator.com/ Акинатор]. Дифференцирование по вектору и по матрице. Матричная нотация, примеры матричных тождеств. Комментарии к первому практическому заданию.
| + | |
| - | | + | |
| - | === Задача выбора модели на примере выбора коэффициента регуляризации, ядровой функции, настройки структурных параметров алгоритма обучения. Основные методы выбора модели. ===
| + | |
| - | Общая постановка проблемы выбора модели, ее философский характер. Конкретные примеры структурных параметров. [[Кросс-валидация]]. [[Теория Вапника-Червоненкиса]], емкость алгоритмов обучения. [[Принцип минимальной длины описания]], его эквивалентность максимуму регуляризованного правдоподобия. Информационные [[Информационный критерий Акаике|критерии Акаике]] и [[Информационный критерий Байеса-Шварца|Байеса-Шварца]], область их применения.
| + | |
| - | | + | |
| - | ''Ликбез'': теорема Шеннона и оптимальная длина описания.
| + | |
| - | | + | |
| - | === Решение задачи выбора модели по Байесу. Обоснованность модели. Полный байесовский вывод. ===
| + | |
| - | Вывод формул для принятия решения. Принцип наибольшей обоснованности как метод максимального правдоподобия для моделей. Половинчатость данного подхода, полный вывод по Байесу. Интерпретация понятия обоснованности, ее геометрический смысл, бессмысленность сколь-угодно гибкого решающего правила, иллюстративные примеры, связь с [[Принцип Оккама|принципом Оккама]].
| + | |
| - | | + | |
| - | ''Ликбез'': принцип Оккама, ad hoc гипотезы.
| + | |
| - | | + | |
| - | === [[Нормальное распределение|Нормальное распределение]] и [[ЕМ-алгоритм, его модификации и обобщения|EM-алгоритм]]. ===
| + | |
| - | Одномерное и многомерное нормальное распределение, его основные свойства. Модель смеси нормальных распределений. ЕМ-алгоритм для задачи разделения смеси нормальных распределений. EM-алгоритм в общем виде. EM-алгоритм как покоординатный подъем. Решение задачи идентификации.
| + | |
| - | | + | |
| - | ''Ликбез'': неравенство Йенсена, решение задач условной оптимизации.
| + | |
| - | | + | |
| - | === Метод релевантных векторов ===
| + | |
| - | [[Метод релевантных векторов]], вывод формул для регрессии. Приближение Лапласа для оценки обоснованности в случае задачи классификации, его достоинства и недостатки. Свойства решающего правила RVM.
| + | |
| - | | + | |
| - | ''Ликбез'': матричные тождества обращения, тождество Вудбери.
| + | |
| - | | + | |
| - | === Приближенные способы байесовского вывода: вариационный подход. ===
| + | |
| - | Приближенные методы байесовского вывода. Минимизация дивергенции Кульбака-Лейблера и факторизованное приближение. Идея вариационного подхода, вывод формул для вариационной линейной регрессии.
| + | |
| - | | + | |
| - | ''Ликбез'': дивергенция Кульбака-Лейблера, гамма-распределение.
| + | |
| - | | + | |
| - | === Приближенные способы байесовского вывода: методы Монте-Карло с марковскими цепями. ===
| + | |
| - | Взятие интегралов методами Монте-Карло, голосование по апостериорному распределению вместо точечной оценки. Схема Метрополиса-Хастингса. Схема Гиббса. Гибридные методы Монте-Карло. Модель Изинга, применение методов Монте-Карло для вывода в ней. Выдача второго практического задания.
| + | |
| - | | + | |
| - | === Байесовский метод главных компонент. ===
| + | |
| - | Задача уменьшения размерности данных. Вероятностная модель главных компонент. Решение задачи идентификации. Байесовский метод главных компонент для автоматического выбора размерности редуцированного пространства.
| + | |
| - | | + | |
| - | === Байесовская смесь нормальных распределений. ===
| + | |
| - | Автоматический выбор количества компонент в смеси.
| + | |
| - | | + | |
| - | === Приближенные способы байесовского вывода: подход распространения ожидания (Expectation Propagation). ===
| + | |
| - | Экспоненциальное семейство распределений. Минимизация обратной дивергенции Кульбака-Лейблера для экспоненциального и факторизованного семейств распределений. Общая схема Expectation Propagation. Примеры применения.
| + | |
| - | | + | |
| - | ''Ликбез'': достаточные статистики.
| + | |
| - | | + | |
| - | == Литература ==
| + | |
| - | # [http://matthias.vallentin.net/probability-and-statistics-cookbook/ Памятка по теории вероятностей] | + | |
| - | # ''Ветров Д.П., Кропотов Д.А.'' Байесовские методы машинного обучения, учебное пособие по спецкурсу, 2007 ([[Медиа:BayesML-2007-textbook-1.pdf|Часть 1, PDF 1.22МБ]]; [[Медиа:BayesML-2007-textbook-2.pdf|Часть 2, PDF 1.58МБ]])
| + | |
| - | # ''Bishop C.M.'' [http://research.microsoft.com/en-us/um/people/cmbishop/prml/ Pattern Recognition and Machine Learning.] Springer, 2006.
| + | |
| - | # ''Mackay D.J.C.'' [http://www.inference.phy.cam.ac.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms.] Cambridge University Press, 2003.
| + | |
| - | # ''Tipping M.'' [http://www.jmlr.org/papers/volume1/tipping01a/tipping01a.pdf Sparse Bayesian Learning.] Journal of Machine Learning Research, 1, 2001, pp. 211-244.
| + | |
| - | # ''Шумский С.А.'' Байесова регуляризация обучения. В сб. Лекции по нейроинформатике, часть 2, 2002.
| + | |
| - | # ''Ветров Д.П., Кропотов Д.А.'' Алгоритмы выбора моделей и синтеза коллективных решений в задачах классификации, основанные на принципе устойчивости. — М.: УРСС, 2006.
| + | |
| - | | + | |
| - | == Страницы курса прошлых лет ==
| + | |
| - | [[Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов, 2010)|2010 год]] | + | |
| - | | + | |
| - | == См. также ==
| + | |
| - | [[СМАИС|Курс «Структурные методы анализа изображений и сигналов»]]
| + | |
| - | | + | |
| - | [[Спецсеминар "Байесовские методы машинного обучения"|Спецсеминар «Байесовские методы машинного обучения»]]
| + | |
| - | | + | |
| - | [[Математические методы прогнозирования (кафедра ВМиК МГУ)]]
| + | |
| - | | + | |
| - | [[Категория:Учебные курсы]]
| + | |
| - | [[Категория:Байесовские методы]]
| + | |
