Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
м (→Оценка за курс)
Текущая версия (09:49, 13 сентября 2014) (править) (отменить)
 
(42 промежуточные версии не показаны)
Строка 1: Строка 1:
-
__NOTOC__
+
#REDIRECT [[Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/2014]]
-
 
+
-
{{notice|Внимание! Вторая попытка сдачи экзамена по спецкурсу состоится в среду, 28 декабря, в ауд. 523. Начало в 14-00.}}
+
-
 
+
-
{|
+
-
|[[Изображение:BMMO11_Intro.jpg|280px]]
+
-
| valign="top"|Курс посвящен т.н. байесовским методам решения различных задач [[Машинное обучение|машинного обучения]] (классификации, прогнозирования, [[Регрессионный анализ|восстановления регрессии]]), которые в настоящее время активно развиваются в мире. Байесовский подход к теории вероятностей позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и проч. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.
+
-
|}
+
-
 
+
-
Авторы курса: н.с. каф. [[ММП]] [[Участник:Dmitry Vetrov|Ветров Д.П.]], м.н.с. [[ВЦ РАН]] [[Участник:Kropotov|Кропотов Д.А.]]. Курс читается студентам [[ВМиК МГУ|ВМиК МГУ]], начиная с 2007 года. Курс не требует от студентов дополнительной математической подготовки, выходящей за пределы первых двух курсов университетского образования, все необходимые понятия вводятся в ходе лекций.
+
-
 
+
-
== Расписание на 2011–2012 учебный год ==
+
-
В осеннем семестре 2011 года спецкурс читается на [[ВМиК МГУ|ВМК]] по средам в ауд. 523, начало в 16-20.
+
-
 
+
-
{| class = "standard"
+
-
|+
+
-
! width="10%" | Дата
+
-
! width="60%" | Название лекции
+
-
! width="30%" | Материалы
+
-
|-
+
-
| 7 сентября 2011
+
-
| Введение в курс. Постановки практических задач, рассматриваемых в курсе. || [[Media:BMMO11_1.pdf|Презентация (PDF, 353Кб)]]
+
-
|-
+
-
| 14 сентября 2011
+
-
| ''Лекции не будет'' ||
+
-
|-
+
-
| 21 сентября 2011
+
-
| Байесовский подход к теории вероятностей ||[[Media:BMMO11_2.pdf|Презентация (PDF, 260Кб)]]
+
-
|-
+
-
| 28 сентября 2011
+
-
| Применение байесовских методов на примере игры "Акинатор". Выдача первого практического задания||[[Media:BayesML-2010-Yangel-Akinator.pdf|Презентация (PDF, 304Кб)]]
+
-
|-
+
-
| 5 октября 2011
+
-
| Задачи выбора модели||[[Media:BMMO11_4.pdf|Презентация (PDF, 362Кб)]]
+
-
|-
+
-
| 12 октября 2011
+
-
| Решение задачи выбора модели по Байесу. Обоснованность модели||[[Media:BMMO11_5.pdf|Презентация (PDF, 376Кб)]]
+
-
|-
+
-
| 19 октября 2011
+
-
| Матричные вычисления и нормальное распределение || [[Media:BMMO11_6.pdf|Текст (PDF, 374Кб)]]
+
-
|-
+
-
| 26 октября 2011
+
-
| Линейная регрессия и метод релевантных векторов для задачи регрессии || [[Media:BMMO11_7.pdf|Презентация (PDF, 507Кб)]]
+
-
|-
+
-
| 2 ноября 2011
+
-
| ЕМ-алгоритм и метод релевантных векторов для задачи классификации || [[Media:BMMO11_8.pdf|Текст (PDF, 979Кб)]]
+
-
|-
+
-
| 9 ноября 2011
+
-
| Приближенные способы байесовского вывода: вариационный подход || [[Media:BMMO11_9.pdf|Текст (PDF, 112Кб)]]
+
-
|-
+
-
| 16 ноября 2011
+
-
| Приближенные способы байесовского вывода: методы Монте Карло по схеме марковских цепей || [[Media:BMMO11_10.pdf|Текст (PDF, 97Кб)]]
+
-
|-
+
-
| 23 ноября 2011
+
-
| Байесовский метод главных компонент || [[Media:BMMO11_11.pdf|Текст (PDF, 769Кб)]]
+
-
|-
+
-
| 30 ноября 2011
+
-
| Байесовская смесь нормальных распределений ||
+
-
|-
+
-
| 7 декабря 2011
+
-
| Приближенные способы байесовского вывода: подход распространения ожидания || [[Media:BMMO11_13.pdf|Текст (PDF, 203Кб)]]
+
-
|-
+
-
| 14 декабря 2011
+
-
| Тематические модели для коллекций текстов || [[Media:BMMO11_14.pdf|Текст (PDF, 481Кб)]]
+
-
|-
+
-
| 21 декабря 2011
+
-
| Экзамен || [[Media:BMMO11_exam_questions.pdf|Вопросы к экзамену (PDF, 89Кб)]]
+
-
|-
+
-
|}
+
-
 
+
-
== Практические задания ==
+
-
Задание 1. [[Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/2011/Задание 1|«Посещаемость спецкурса»]].
+
-
 
+
-
Задание 2. [[Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/2011/Задание 2|«Матричные вычисления»]].
+
-
 
+
-
Задание 3. [[Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/2011/Задание 3|«Модель Изинга»]].
+
-
 
+
-
== Экзамен ==
+
-
 
+
-
Вторая попытка сдачи экзамена состоится в {{важно|среду, 28 декабря}} в ауд. 523, начало в 14-00. К экзамену допускаются только те студенты, которые успешно сдали все три практических задания. При подготовке ответа по билету разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя.
+
-
 
+
-
[[Media:BMMO11_exam_questions.pdf|Вопросы к экзамену (PDF, 89 Кб)]]
+
-
 
+
-
== Оценка за курс ==
+
-
В рамках курса студентам предлагается выполнить три практических задания. Выполнение этих заданий является обязательным условием для допуска к экзамену и, соответственно, успешной сдачи курса. Итоговая оценка за курс вычисляется по формуле 0.2*(оценка за первое
+
-
задание)+0.2*(оценка за второе задание)+0.2*(оценка за третье задание)+0.4*(оценка за экзамен).
+
-
 
+
-
{|class = "standard"
+
-
! rowspan="2"|ФИО студента !! rowspan="2"|Группа !! colspan="2"|Задание 1 !! colspan="2"|Задание 2 !! colspan="2"|Задание 3 !! rowspan="2"|Экзамен !! rowspan="2"|Итоговая оценка
+
-
|-
+
-
! Вариант !! Оценка !! Вариант !! Оценка !! Вариант !! Оценка
+
-
|-
+
-
|Зиннурова Э. || align="center"|204 || align="center"|1 || align="center"|5.0 || align="center"|1 || || align="center"|2 || || ||
+
-
|-
+
-
|Рыжков А. || align="center"|204 || align="center"|3 || || align="center"|3 || || align="center"|2 || || ||
+
-
|-
+
-
|Шадриков А. || align="center"|204 || align="center"|1 || align="center"|5.0 || align="center"|1 || || align="center"|1 || || ||
+
-
|-
+
-
|Кузьмин А. || align="center"|206 || align="center"|2 || align="center"|5.0 || align="center"|2 || align="center"|5.0 || align="center"|1 || align="center"|5.0 || align="center"|5.0 || align="center"|5.0
+
-
|-
+
-
|Гавриков М. || align="center"|317 || align="center"|2 || align="center"|4.0 || align="center"|2 || align="center"|5.0 || align="center"|1 || || ||
+
-
|-
+
-
|Фонарев А. || align="center"|317 || align="center"|3 || align="center"|4.0 || align="center"|3 || align="center"|5.0 || align="center"|2 || || ||
+
-
|-
+
-
|Никитин М. || align="center"|321 || align="center"|3 || align="center"|5.0 || align="center"|3 || align="center"|5.0 || align="center"|1 || align="center"|5.0 || ||
+
-
|-
+
-
|Меркулова Т. || align="center"|417 || align="center"|1 || align="center"|4.5 || align="center"|1 || align="center"|5.0 || align="center"|2 || align="center"|5.0 || ||
+
-
|-
+
-
|Гаврилюк К. || align="center"|417 || align="center"|3 || align="center"|5.0 || align="center"|3 || align="center"|5.0 || align="center"|1 || align="center"|5.0 || align="center"|5.0 || align="center"|5.0
+
-
|-
+
-
|Кривошеева Т. || align="center"|419 || align="center"|2 || align="center"|4.0 || align="center"|2 || align="center"|5.0 || align="center"|2 || align="center"|5.0 || ||
+
-
|-
+
-
|Лихогруд Н. || align="center"|520 || align="center"|3 || || align="center"|3 || || align="center"|1 || || ||
+
-
|-
+
-
|}
+
-
 
+
-
== Программа курса ==
+
-
 
+
-
=== Введение в курс. Различные постановки задач машинного обучения ===
+
-
Обзор задач анализа данных: классификация, регрессия, кластеризация, идентификация. Примеры. Историческая справка. Основные проблемы теории распознавания образов: переобучение, противоречивость информации, малый объем [[Выборка|выборки]]. Иллюстративные примеры переобучения, связь переобучения и объема выборки. Дискриминативные и порождающие (вероятностные) модели.
+
-
 
+
-
''Ликбез'': основные понятия теории вероятностей (математическое ожидание, дисперсия, ковариационная матрица, плотность вероятности, функция правдоподобия), метод максимального правдоподобия.
+
-
 
+
-
[[Media:BMMO11_1.pdf|Презентация (PDF, 353Кб)]]
+
-
 
+
-
=== Байесовский подход к теории вероятностей. Примеры байесовских рассуждений. ===
+
-
Частотный и вероятностный подходы к теории вероятностей. Интерпретация вероятности как меры нашего незнания, сравнение байесовских рассуждений с логическими. Байесовские сети и основные задачи в них. Пример жизненной ситуации «Джон и колокольчик для воров». Вывод формул для апостериорных вероятностей.
+
-
 
+
-
''Ликбез'': условная вероятность, формула Байеса и ее применение, формула полной вероятности.
+
-
 
+
-
[[Media:BMMO11_2.pdf|Презентация (PDF, 260Кб)]]
+
-
 
+
-
=== Байесовский подход и Акинатор ===
+
-
Пример применения байесовских рассуждений для игры [http://ru.akinator.com/ Акинатор]. Комментарии к первому практическому заданию.
+
-
 
+
-
[[Media:BayesML-2010-Yangel-Akinator.pdf|Презентация (PDF, 304Кб)]]
+
-
 
+
-
Пример работы программы «Пифия»:
+
-
 
+
-
<videoflash type="youtube">-RZCKnudOoM|600|370</videoflash>
+
-
 
+
-
=== Задача выбора модели на примере выбора коэффициента регуляризации, ядровой функции, настройки структурных параметров алгоритма обучения. Основные методы выбора модели. ===
+
-
Общая постановка проблемы выбора модели, ее философский характер. Конкретные примеры структурных параметров. [[Кросс-валидация]]. [[Теория Вапника-Червоненкиса]], емкость алгоритмов обучения. [[Принцип минимальной длины описания]], его эквивалентность максимуму регуляризованного правдоподобия. Информационные [[Информационный критерий Акаике|критерии Акаике]] и [[Информационный критерий Байеса-Шварца|Байеса-Шварца]], область их применения.
+
-
 
+
-
''Ликбез'': теорема Шеннона и оптимальная длина описания.
+
-
 
+
-
[[Media:BMMO11_4.pdf|Презентация (PDF, 362Кб)]]
+
-
 
+
-
=== Решение задачи выбора модели по Байесу. Обоснованность модели. Полный байесовский вывод. ===
+
-
Вывод формул для принятия решения. Принцип наибольшей обоснованности как метод максимального правдоподобия для моделей. Половинчатость данного подхода, полный вывод по Байесу. Интерпретация понятия обоснованности, ее геометрический смысл, бессмысленность сколь-угодно гибкого решающего правила, иллюстративные примеры, связь с [[Принцип Оккама|принципом Оккама]].
+
-
 
+
-
''Ликбез'': принцип Оккама, ad hoc гипотезы.
+
-
 
+
-
[[Media:BMMO11_5.pdf|Презентация (PDF, 376Кб)]]
+
-
 
+
-
=== Матричные вычисления и [[Нормальное распределение|нормальное распределение]]. ===
+
-
Дивергенция Кульбака-Лейблера, ее использование для поиска аппроксимации вероятностных распределений. Векторно-матричные преобразования, дифференцирование по вектору и по матрице. Основные матричные тождества. Одномерное и многомерное нормальное распределение, его основные свойства.
+
-
 
+
-
[[Media:BMMO11_6.pdf|Текст (PDF, 374Кб)]]<br>
+
-
<u>Рекомендуется к прочтению:</u> [http://cs.nyu.edu/~roweis/notes.html Заметки по матричным вычислениям и свойствам гауссовских распределений]
+
-
 
+
-
=== Линейная регрессия и [[Метод релевантных векторов|метод релевантных векторов]] для задачи регрессии ===
+
-
Обобщенные линейные модели, вероятностная модель линейной регрессии. Метод релевантных векторов, вывод формул для регрессии. Приближение Лапласа для оценки обоснованности в случае задачи классификации, его достоинства и недостатки. Свойства решающего правила RVM.
+
-
 
+
-
[[Media:BMMO11_7.pdf|Презентация (PDF, 507Кб)]]
+
-
 
+
-
=== [[ЕМ-алгоритм, его модификации и обобщения|EM-алгоритм]] и метод релевантных векторов для задачи классификации ===
+
-
Метод оптимизации Ньютона. EM-алгоритм в общем виде. EM-алгоритм как покоординатный подъем. ЕМ-алгоритм для задачи разделения смеси нормальных распределений. Логистическая и мультиномиальная регрессия. Метод релевантных векторов для задачи классификации.
+
-
 
+
-
[[Media:BMMO11_8.pdf|Текст (PDF, 979Кб)]]
+
-
 
+
-
=== Приближенные способы байесовского вывода: вариационный подход. ===
+
-
Приближенные методы байесовского вывода. Минимизация дивергенции Кульбака-Лейблера и факторизованное приближение. Идея вариационного подхода, вывод формул для вариационной линейной регрессии.
+
-
 
+
-
''Ликбез'': дивергенция Кульбака-Лейблера, гамма-распределение.
+
-
 
+
-
[[Media:BMMO11_9.pdf|Текст (PDF, 112Кб)]]
+
-
 
+
-
=== Приближенные способы байесовского вывода: методы Монте-Карло с марковскими цепями. ===
+
-
Методы Монте Карло для оценки вероятностных интегралов в байесовском подходе. Методы генерации одномерной случайной величины. Идея методов Монте Карло по схеме марковских цепей. Теоретические свойства марковских цепей. Схема Метрополиса-Хастингса. Схема Гиббса. Применение схемы Гиббса для марковских сетей. Оценка нормировочной константы распределения с помощью схемы Гиббса.
+
-
 
+
-
[[Media:BMMO11_10.pdf|Текст (PDF, 97Кб)]]
+
-
 
+
-
=== Байесовский метод главных компонент. ===
+
-
Задача уменьшения размерности в данных. Метод главных компонент. ЕМ-алгоритм для обучения метода главных компонент. Учет пропусков в данных. Байесовский вариант метода главных компонент для автоматического выбора размерности редуцированного пространства. Модель смеси главных компонент.
+
-
 
+
-
[[Media:BMMO11_11.pdf|Текст (PDF, 769Кб)]]
+
-
 
+
-
=== Байесовская смесь нормальных распределений. ===
+
-
Автоматический выбор количества компонент в смеси.
+
-
 
+
-
=== Приближенные способы байесовского вывода: подход распространения ожидания (Expectation Propagation). ===
+
-
Экспоненциальное семейство распределений. Минимизация дивергенции Кульбака-Лейблера для экспоненциального семейства распределений. Общая схема Expectation Propagation. Примеры применения.
+
-
 
+
-
''Ликбез'': достаточные статистики.
+
-
 
+
-
[[Media:BMMO11_13.pdf|Текст (PDF, 203Кб)]]
+
-
 
+
-
=== Тематические модели для коллекций текстов ===
+
-
Тематическая модель Latent Dirichlet Allocation (LDA). Обучение и вывод в модели LDA с помощью вариационного подхода. Вывод в модели LDA с помощью схемы Гиббса. Способы использования LDA.
+
-
 
+
-
''Ликбез'': распределение Дирихле.
+
-
 
+
-
[[Media:BMMO11_14.pdf|Текст (PDF, 481Кб)]]
+
-
 
+
-
== Литература ==
+
-
# Простые и удобные [http://cs.nyu.edu/~roweis/notes.html заметки по матричным вычислениям и свойствам гауссовских распределений]
+
-
# [http://matthias.vallentin.net/probability-and-statistics-cookbook/ Памятка по теории вероятностей]
+
-
# ''Ветров Д.П., Кропотов Д.А.'' Байесовские методы машинного обучения, учебное пособие по спецкурсу, 2007 ([[Медиа:BayesML-2007-textbook-1.pdf|Часть 1, PDF 1.22МБ]]; [[Медиа:BayesML-2007-textbook-2.pdf|Часть 2, PDF 1.58МБ]])
+
-
# ''Bishop C.M.'' [http://research.microsoft.com/en-us/um/people/cmbishop/prml/ Pattern Recognition and Machine Learning.] Springer, 2006.
+
-
# ''Mackay D.J.C.'' [http://www.inference.phy.cam.ac.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms.] Cambridge University Press, 2003.
+
-
# ''Tipping M.'' [http://www.jmlr.org/papers/volume1/tipping01a/tipping01a.pdf Sparse Bayesian Learning.] Journal of Machine Learning Research, 1, 2001, pp. 211-244.
+
-
# ''Шумский С.А.'' Байесова регуляризация обучения. В сб. Лекции по нейроинформатике, часть 2, 2002.
+
-
# ''Ветров Д.П., Кропотов Д.А.'' Алгоритмы выбора моделей и синтеза коллективных решений в задачах классификации, основанные на принципе устойчивости. — М.: УРСС, 2006.
+
-
 
+
-
== Страницы курса прошлых лет ==
+
-
[[Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов, 2010)|2010 год]]
+
-
 
+
-
== См. также ==
+
-
[[СМАИС|Курс «Структурные методы анализа изображений и сигналов»]]
+
-
 
+
-
[[Спецсеминар "Байесовские методы машинного обучения"|Спецсеминар «Байесовские методы машинного обучения»]]
+
-
 
+
-
[[Математические методы прогнозирования (кафедра ВМиК МГУ)]]
+
-
 
+
-
[[Категория:Учебные курсы]]
+
-
[[Категория:Байесовские методы]]
+

Текущая версия

  1. REDIRECT Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/2014
Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%91%D0%B0%D0%B9%D0%B5%D1%81%D0%BE%D0%B2%D1%81%D0%BA%D0%B8%D0%B5_%D0%BC%D0%B5%D1%82%D0%BE%D0%B4%D1%8B_%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B3%D0%BE_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D1%8F_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%2C_%D0%94.%D0%9F._%D0%92%D0%B5%D1%82%D1%80%D0%BE%D0%B2%2C_%D0%94.%D0%90._%D0%9A%D1%80%D0%BE%D0%BF%D0%BE%D1%82%D0%BE%D0%B2%29»
Личные инструменты