|
|
(114 промежуточных версий не показаны.) |
Строка 1: |
Строка 1: |
- | __NOTOC__
| + | #REDIRECT [[Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/2014]] |
- | | + | |
- | Курс посвящен т.н. байесовским методам [[Машинное обучение|машинного обучения]] (классификации, прогнозирования, [[Регрессионный анализ|восстановления регрессии]]), которые в настоящее время активно развиваются в мире. Байесовский подход к теории вероятностей является альтернативой классическому частотному подходу. Здесь вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.
| + | |
- | | + | |
- | '''Цели курса''':
| + | |
- | * Ознакомление с классическими методами обработки данных, особенностями их применения на практике и их недостатками
| + | |
- | * Представление современных проблем теории машинного обучения
| + | |
- | * Введение в байесовские методы машинного обучения
| + | |
- | * Изложение последних достижений в области практического использования байесовских методов
| + | |
- | * Напоминание основных результатов из смежных дисциплин (теория кодирования, анализ, матричные вычисления, статистика, линейная алгебра, теория вероятностей, случайные процессы)
| + | |
- | | + | |
- | Курс читается студентам [[ВМиК МГУ|ВМиК МГУ]], начиная с 2007 года. Курс не требует от студентов дополнительной математической подготовки, выходящей за пределы первых двух курсов университетского образования, все необходимые понятия вводятся в ходе лекций. В ходе чтения курса студенты будут ознакомлены с передним краем научных исследований в теории машинного обучения и существующими проблемами.
| + | |
- | | + | |
- | === Замечания для студентов ===
| + | |
- | | + | |
- | * На этой странице имеются материалы, которые не входят в программу курса текущего года, но могут представлять определенный интерес в контексте байесовских методов.
| + | |
- | * Вопросы по курсу, любые пожелания и предложения всячески приветствуются. Их можно оставлять на вкладке «Обсуждение» к этой странице или написать письмо по адресу ''bayesml@gmail.com''. Ни одно письмо не останется без ответа!
| + | |
- | * Студентам 3-4 курсов, которые сдали экзамен в 2009 году: учебная часть отказывается засчитывать спецкурс, полученный ранее, чем требуется учебным планом. Во избежание проблем принято следующее решение: в конце «нужного» семестра вы подходите к [[Участник: Dmitry Vetrov|Ветрову Д.П.]] с ведомостью и зачеткой, и он проставляет оценку в зачетку ЕЩЕ РАЗ (это разрешается) уже в нужный семестр. Одновременно оценка ставится в ведомость, которую вы относите в учебную часть. Текущие ведомости для студентов 3-го курса, заполненные в ходе экзамена, уничтожены. Вся информация о сдавших хранится в архиве, так что все полученные вами оценки останутся в силе.
| + | |
- | | + | |
- | == Расписание на 2010–2011 учебный год ==
| + | |
- | В осеннем семестре 2010 года спецкурс читается на [[ВМиК МГУ|ВМиК МГУ]] по понедельникам в ауд. 653, начало в 16-20.
| + | |
- | | + | |
- | {| class = "standard"
| + | |
- | |+
| + | |
- | ! width="10%" | Дата
| + | |
- | ! width="60%" | Название лекции
| + | |
- | ! width="30%" | Материалы
| + | |
- | |-
| + | |
- | | 13 сентября 2010
| + | |
- | | Различные постановки задачи машинного обучения.
| + | |
- | |[[Media:BayesML-2009-1.pdf|Презентация (PDF, 555 КБ)]]
| + | |
- | |-
| + | |
- | | 20 сентября 2010<br>
| + | |
- | | Вероятностная постановка задач машинного обучения. Методы линейной и логистической регрессии. Регуляризация обучения.
| + | |
- | | [[Медиа:BayesML-2009-2a.pdf| Презентация (PDF, 598 КБ)]]
| + | |
- | |-
| + | |
- | | 27 сентября 2010<br>
| + | |
- | | Задача выбора модели на примере выбора коэффициента регуляризации, ядровой функции, настройки структурных параметров алгоритма обучения. Основные методы выбора модели.
| + | |
- | | [[Медиа:BayesML-2009-3a.pdf| Презентация (PDF, 450 КБ)]]
| + | |
- | |-
| + | |
- | | 4 октября 2010<br>
| + | |
- | | Байесовский подход к теории вероятностей. Примеры байесовских рассуждений.
| + | |
- | | [[Медиа:BayesML-2009-4.pdf| Презентация (PDF, 1,57 МБ)]]
| + | |
- | |-
| + | |
- | | 11 октября 2010<br>
| + | |
- | | Акинатор при помощи байесовских рассуждений. Выдача первого задания.
| + | |
- | | [[Медиа:BayesML-2010-Yangel-Akinator.pdf| Презентация (PDF, 304 КБ)]]
| + | |
- | |-
| + | |
- | | 25 октября 2010<br>
| + | |
- | | Решение задачи выбора модели по Байесу. Обоснованность модели. Полный байесовский вывод.
| + | |
- | | [[Media:BayesML-2009-5.pdf | Презентация (PDF, 448 Кб)]]
| + | |
- | |-
| + | |
- | | 1 ноября 2010<br>
| + | |
- | | Применение принципа наибольшей обоснованности на примере метода релевантных векторов.
| + | |
- | | [[Media:BayesML2009-6.pdf | Презентация (PDF, 665 Кб)]]
| + | |
- | |-
| + | |
- | | 8 ноября 2010<br>
| + | |
- | | Приближенные способы вывода. Методы Монте-Карло с марковскими цепями. Гауссовские процессы в машинном обучении.
| + | |
- | | [[Media:BayesML2010-MCMC.pdf|Презентация (PDF, 700 Кб)]]
| + | |
- | |-
| + | |
- | | 15 ноября 2010<br>
| + | |
- | | EM-алгоритм.
| + | |
- | | [[Media:BayesML2010-EM.pdf|Презентация (PDF, 398 Кб)]] + выводы формул на доске
| + | |
- | |-
| + | |
- | |}
| + | |
- | | + | |
- | | + | |
- | | + | |
- | | + | |
- | == Практические задания по курсу ==
| + | |
- | Для успешной сдачи спецкурса необходимо выполнить все практические задания, а также сдать экзамен.
| + | |
- | | + | |
- | Задание 1. [[Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/Задание 1 | '''Вероятностная модель «Посещаемость спецкурса»''']].
| + | |
- | | + | |
- | | + | |
- | == Оценка за курс ==
| + | |
- | В этом году оценка за курс будет вычисляться по формуле 0.25*(оценка за первое
| + | |
- | задание)+0.25*(оценка за второе задание)+0.5*(оценка за экзамен). При этом оценка за курс будет выставляться только тем, кто успешно справился с обоими практическими заданиями + сдал экзамен.
| + | |
- | | + | |
- | {| class="standard"
| + | |
- | !rowspan="2" |Участник||rowspan="2" |Группа||colspan="2" |Задание 1||colspan = "2" |Задание 2||rowspan="2" |Экзамен||rowspan="2" |Итоговая оценка
| + | |
- | |-
| + | |
- | !Вариант||Оценка||Вариант||Оценка
| + | |
- | |-
| + | |
- | |Потапенко А.А.|| align="center"|207 || align="center"|2 || align="center"|5.0. || || || ||
| + | |
- | |-
| + | |
- | |Борисов А.В.|| align="center"|209 || align="center"|3 || align="center"|5.0. || || || ||
| + | |
- | |-
| + | |
- | |Кузнецов А.С.|| align="center"|209 || align="center"|2 || align="center"|4.0. || || || ||
| + | |
- | |-
| + | |
- | |Лобачева Е.|| align="center"|209 || align="center"|1 || align="center"|4.5. || || || ||
| + | |
- | |-
| + | |
- | |Елшин Д.|| align="center"|317 || align="center"|2 || align="center"|4.5. || || || ||
| + | |
- | |-
| + | |
- | |Некрасов К.В.|| align="center"|317 || align="center"|2 || align="center"|5.0. || || || ||
| + | |
- | |-
| + | |
- | |Новиков П.А.|| align="center"|317 || align="center"|3 || align="center"|3.5. || || || ||
| + | |
- | |-
| + | |
- | |Соколов Е.А.|| align="center"|317 || align="center"|3 || align="center"|4.0. || || || ||
| + | |
- | |-
| + | |
- | |Казаков И.А.|| align="center"|432 || align="center"|3 || align="center"|4.0. || || || ||
| + | |
- | |-
| + | |
- | |Логачев Ю.М.|| align="center"|517 || align="center"|1 || align="center"|4.5. || || || ||
| + | |
- | |-
| + | |
- | |Потапов Д.С.|| align="center"|521 || align="center"|2 || align="center"|4.0. || || || ||
| + | |
- | |-
| + | |
- | |}
| + | |
- | | + | |
- | == Программа курса ==
| + | |
- | === Различные постановки задачи машинного обучения ===
| + | |
- | Обзор задач анализа данных: классификация, регрессия, кластеризация, идентификация, прогнозирование. Примеры. Историческая справка. Основные проблемы теории распознавания образов: переобучение, противоречивость информации, малый объем [[Выборка|выборки]]. Иллюстративные примеры переобучения, связь переобучения и объема выборки.
| + | |
- | | + | |
- | ''Ликбез'': основные понятия теории вероятностей (математическое ожидание, дисперсия, ковариационная матрица, плотность вероятности, функция правдоподобия)
| + | |
- | | + | |
- | [[Media:BayesML-2009-1.pdf|Презентация (PDF, 555 КБ)]]
| + | |
- | | + | |
- | === Вероятностная постановка задач машинного обучения. Методы линейной и логистической регрессии. Регуляризация обучения. ===
| + | |
- | [[Метод максимального правдоподобия]]. Формальные обозначения, генеральная совокупность, критерии качества обучения как точности на генеральной совокупности. Вывод выражения для идеальных решающих правил. Способы введения функции правдоподобия для задачи регрессии и классификации. Выражение для коэффициентов линейной регрессии, хэт-матрица. [[Метод наименьших квадратов с итеративно-перевзвешивающимися весами]]. Необходимость ридж-оценивания для устранения вырожденности гессиана.
| + | |
- | | + | |
- | ''Ликбез'': нормальное распределение, псевдообращение матриц и нормальное псевдорешение.
| + | |
- | | + | |
- | [[Медиа:BayesML-2009-2a.pdf| Презентация (PDF, 598 КБ)]]
| + | |
- | | + | |
- | === Задача выбора модели на примере выбора коэффициента регуляризации, ядровой функции, настройки структурных параметров алгоритма обучения. Основные методы выбора модели. ===
| + | |
- | Общая постановка проблемы выбора модели, ее философский характер. Конкретные примеры структурных параметров. [[Кросс-валидация]]. [[Теория Вапника-Червоненкиса]], емкость алгоритмов обучения. [[Принцип минимальной длины описания]], его эквивалентность максимуму регуляризованного правдоподобия. Информационные [[Информационный критерий Акаике|критерии Акаике]] и [[Информационный критерий Байеса-Шварца|Байеса-Шварца]], область их применения.
| + | |
- | | + | |
- | ''Ликбез'': теорема Шеннона и оптимальная длина описания.
| + | |
- | | + | |
- | [[Медиа:BayesML-2009-3a.pdf| Презентация (PDF, 450 КБ)]]
| + | |
- | | + | |
- | === Байесовский подход к теории вероятностей. Примеры байесовских рассуждений. ===
| + | |
- | Частотный и вероятностный подходы к теории вероятностей. Интерпретация вероятности как меры нашего незнания, сравнение байесовских рассуждений с логическими. Байесовские сети и основные задачи в них. Пример жизненной ситуации «Джон и колокольчик для воров». Вывод формул для апостериорных вероятностей.
| + | |
- | | + | |
- | ''Ликбез'': условная вероятность, формула Байеса и ее применение, формула полной вероятности.
| + | |
- | | + | |
- | [[Медиа:BayesML-2009-4.pdf| Презентация (PDF, 1.57 МБ)]]
| + | |
- | | + | |
- | === Решение задачи выбора модели по Байесу. Обоснованность модели. Полный байесовский вывод. ===
| + | |
- | Вывод формул для принятия решения. Принцип наибольшей обоснованности как метод максимального правдоподобия для моделей. Половинчатость данного подхода, полный вывод по Байесу. Интерпретация понятия обоснованности, ее геометрический смысл, бессмысленность сколь-угодно гибкого решающего правила, иллюстративные примеры, связь с [[Принцип Оккама|принципом Оккама]].
| + | |
- | | + | |
- | ''Ликбез'': принцип Оккама, ad hoc гипотезы.
| + | |
- | | + | |
- | [[Media:BayesML-2009-5.pdf | Презентация (PDF, 448 Кб)]]
| + | |
- | | + | |
- | === Применение принципа наибольшей обоснованности на примере метода релевантных векторов ===
| + | |
- | [[Метод релевантных векторов]], вывод формул для регрессии. Приближение Лапласа для оценки обоснованности в случае задачи классификации, его достоинства и недостатки. Свойства решающего правила RVM.
| + | |
- | | + | |
- | ''Ликбез'': матричные тождества обращения, тождество Вудбери.
| + | |
- | | + | |
- | [[Media:BayesML2009-6.pdf | Презентация (PDF, 665 Кб)]]
| + | |
- | | + | |
- | === Недиагональная регуляризация обобщенных линейных моделей. Гауссовское и Лапласовское априорные распределения. ===
| + | |
- | Свойства гауссовского и лапласовского регуляризаторов, трудности использования последнего в методе релевантных векторов. Метод релевантных собственных векторов, идея диагонализации правдоподобия. Вывод формул для оценки обоснованности.
| + | |
- | | + | |
- | ''Ликбез'': Неотрицательно определенные матрицы. Лапласовское распределение.
| + | |
- | | + | |
- | [[Media:BayesML2009-7.pdf | Презентация (PDF, 1.11 Мб)]]
| + | |
- | | + | |
- | === Общее решение для недиагональной квадратичной регуляризации ===
| + | |
- | Получение выражения для обоснованности в явном виде в семействе произвольных симметричных неотрицательно определенных матриц регуляризации. Условие релевантности.
| + | |
- | | + | |
- | ''Ликбез'': Дифференцирование по матрице и по вектору.
| + | |
- | | + | |
- | [[Media:BayesML2009-8.pdf| Презентация (PDF, 454 Кб)]]
| + | |
- | | + | |
- | === Приближенные способы вывода. Вариационный подход. Expectation Propagation. ===
| + | |
- | Приближенные методы байесовского вывода. Минимизация Кульбака-Лейблера и факторизованное приближение. Идея вариационного подхода, вывод формул для линейной регрессии. Идея Expectation propagation, вывод формул для пуассоновской фильтрации.
| + | |
- | | + | |
- | ''Ликбез'': дивергенция Кульбака-Лейблера, гамма-распределение.
| + | |
- | | + | |
- | [[Media:BayesML2009-9.pdf|Презентация (PDF, 528 Кб)]]
| + | |
- | | + | |
- | === Приближенные способы вывода. Методы Монте-Карло с марковскими цепями. Гауссовские процессы в машинном обучении. ===
| + | |
- | Взятие интегралов методами Монте-Карло, голосование по апостериорному распределению вместо точечной оценки. Схема Гиббса. Гибридные методы Монте-Карло. Гауссовские процессы в задачах регрессии и классификации. Выбор наиболее адекватной ковариационной функции.
| + | |
- | | + | |
- | ''Ликбез'': случайные процессы.
| + | |
- | | + | |
- | [[Media:BayesML2009-11.pdf|Презентация (PDF, 559 Кб)]]
| + | |
- | | + | |
- | === Непрерывное обобщение информационного критерия Акаике и его применение в задаче отбора признаков для линейной регрессии. ===
| + | |
- | Классический критерий Акаике и трудности его использования на практике. Обобщение критерия Акаике на непрерывный случай. Алгоритм автоматического определения значимости на основе непрерывного критерия Акаике.
| + | |
- | | + | |
- | ''Ликбез'': свойства оценок максимального правдоподобия, информационная матрица Фишера, формула блочного обращения.
| + | |
- | | + | |
- | [[Media:BayesML2009-10.pdf|Презентация (PDF, 679Кб)]]
| + | |
- | | + | |
- | === EM-алгоритм. ===
| + | |
- | ЕМ алгоритм для задачи разделения смеси нормальных распределений. EM-алгоритм в общем виде. EM-алгоритм как покоординатный подъем.
| + | |
- | | + | |
- | ''Ликбез'': Дифференцирование по матрице и по вектору.
| + | |
- | | + | |
- | [[Media:BayesML2010-EM.pdf|Презентация (PDF, 444Кб)]]
| + | |
- | | + | |
- | == Литература ==
| + | |
- | # ''Ветров Д.П., Кропотов Д.А.'' Байесовские методы машинного обучения, учебное пособие по спецкурсу, 2007 ([[Медиа:BayesML-2007-textbook-1.pdf|Часть 1, PDF 1.22МБ]]; [[Медиа:BayesML-2007-textbook-2.pdf|Часть 2, PDF 1.58МБ]])
| + | |
- | # ''Bishop C.M.'' [http://research.microsoft.com/en-us/um/people/cmbishop/prml/ Pattern Recognition and Machine Learning.] Springer, 2006.
| + | |
- | # ''Mackay D.J.C.'' [http://www.inference.phy.cam.ac.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms.] Cambridge University Press, 2003.
| + | |
- | # ''Tipping M.'' [http://www.jmlr.org/papers/volume1/tipping01a/tipping01a.pdf Sparse Bayesian Learning.] Journal of Machine Learning Research, 1, 2001, pp. 211-244.
| + | |
- | # ''Шумский С.А.'' Байесова регуляризация обучения. В сб. Лекции по нейроинформатике, часть 2, 2002.
| + | |
- | # ''Ветров Д.П., Кропотов Д.А.'' Алгоритмы выбора моделей и синтеза коллективных решений в задачах классификации, основанные на принципе устойчивости. — М.: УРСС, 2006.
| + | |
- | | + | |
- | == См. также ==
| + | |
- | [[Структурные методы анализа изображений и сигналов (курс лекций, А.С. Конушин, Д.П. Ветров, Д.А. Кропотов, О.В. Баринова, В.С. Конушин, 2009)|Курс «Структурные методы анализа изображений и сигналов»]]
| + | |
- | | + | |
- | [[Спецсеминар "Байесовские методы машинного обучения"|Спецсеминар «Байесовские методы машинного обучения»]]
| + | |
- | | + | |
- | [[Математические методы прогнозирования (кафедра ВМиК МГУ)]]
| + | |
- | | + | |
- | [[Категория:Учебные курсы]]
| + | |
- | [[Категория:Байесовские методы]]
| + | |