Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(+ презентация по методам Монте Карло)
Текущая версия (09:49, 13 сентября 2014) (править) (отменить)
 
(137 промежуточных версий не показаны.)
Строка 1: Строка 1:
-
__NOTOC__
+
#REDIRECT [[Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/2014]]
-
 
+
-
{{tip|
+
-
Студентам на заметку: на вкладке «Обсуждение» к данной странице можно задать вопрос по курсу, высказать свои пожелания, предложения и т.п.
+
-
[[Участник:Kropotov|Кропотов Д.А.]], 20 сентября 2009
+
-
}}
+
-
 
+
-
Курс посвящен т.н. байесовским методам [[Машинное обучение|машинного обучения]] (классификации, прогнозирования, [[Регрессионный анализ|восстановления регрессии]]), которые в настоящее время активно развиваются в мире. Байесовский подход к теории вероятностей является альтернативой классическому частотному подходу. Здесь вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.
+
-
 
+
-
'''Цели курса''':
+
-
* Ознакомление с классическими методами обработки данных, особенностями их применения на практике и их недостатками
+
-
* Представление современных проблем теории машинного обучения
+
-
* Введение в байесовские методы машинного обучения
+
-
* Изложение последних достижений в области практического использования байесовских методов
+
-
* Напоминание основных результатов из смежных дисциплин (теория кодирования, анализ, матричные вычисления, статистика, линейная алгебра, теория вероятностей, случайные процессы)
+
-
 
+
-
Курс читается студентам ВМиК МГУ, начиная с 2007 года. Курс не требует от студентов дополнительной математической подготовки, выходящей за пределы первых двух курсов университетского образования, все необходимые понятия вводятся в ходе лекций. В ходе чтения курса студенты будут ознакомлены с передним краем научных исследований в теории машинного обучения и существующими проблемами.
+
-
 
+
-
== Программа курса ==
+
-
=== Различные постановки задачи машинного обучения ===
+
-
Обзор задач анализа данных: классификация, регрессия, кластеризация, идентификация, прогнозирование. Примеры. Историческая справка. Основные проблемы теории распознавания образов: переобучение, противоречивость информации, малый объем [[Выборка|выборки]]. Иллюстративные примеры переобучения, связь переобучения и объема выборки.
+
-
 
+
-
''Ликбез'': основные понятия теории вероятностей (математическое ожидание, дисперсия, ковариационная матрица, плотность вероятности, функция правдоподобия)
+
-
 
+
-
[[Media:BayesML-2009-1.pdf‎|Презентация (PDF, 555 КБ)]]
+
-
 
+
-
=== Вероятностная постановка задач машинного обучения. Методы линейной и логистической регрессии. Регуляризация обучения. ===
+
-
[[Метод максимального правдоподобия]]. Формальные обозначения, генеральная совокупность, критерии качества обучения как точности на генеральной совокупности. Вывод выражения для идеальных решающих правил. Способы введения функции правдоподобия для задачи регрессии и классификации. Выражение для коэффициентов линейной регрессии, хэт-матрица. [[Метод наименьших квадратов с итеративно-перевзвешивающимися весами]]. Необходимость ридж-оценивания для устранения вырожденности гессиана.
+
-
 
+
-
''Ликбез'': нормальное распределение, псевдообращение матриц и нормальное псевдорешение.
+
-
 
+
-
[[Медиа:BayesML-2009-2a.pdf| Презентация (PDF, 598 КБ)]]
+
-
 
+
-
=== Задача выбора модели на примере выбора коэффициента регуляризации, ядровой функции, настройки структурных параметров алгоритма обучения. Основные методы выбора модели. ===
+
-
Общая постановка проблемы выбора модели, ее философский характер. Конкретные примеры структурных параметров. [[Кросс-валидация]]. [[Теория Вапника-Червоненкиса]], емкость алгоритмов обучения. [[Принцип минимальной длины описания]], его эквивалентность максимуму регуляризованного правдоподобия. Информационные [[Информационный критерий Акаике|критерии Акаике]] и [[Информационный критерий Байеса-Шварца|Байеса-Шварца]], область их применения.
+
-
 
+
-
''Ликбез'': теорема Шеннона и оптимальная длина описания.
+
-
 
+
-
[[Медиа:BayesML-2009-3a.pdf| Презентация (PDF, 450 КБ)]]
+
-
 
+
-
=== Байесовский подход к теории вероятностей. Примеры байесовских рассуждений. ===
+
-
Частотный и вероятностный подходы к теории вероятностей. Интерпретация вероятности как меры нашего незнания, сравнение байесовских рассуждений с логическими. Байесовские сети и основные задачи в них. Пример жизненной ситуации «Джон и колокольчик для воров». Вывод формул для апостериорных вероятностей.
+
-
 
+
-
''Ликбез'': условная вероятность, формула Байеса и ее применение, формула полной вероятности.
+
-
 
+
-
[[Медиа:BayesML-2009-4.pdf| Презентация (PDF, 1.57 МБ)]]
+
-
 
+
-
=== Решение задачи выбора модели по Байесу. Обоснованность модели. Полный байесовский вывод. ===
+
-
Вывод формул для принятия решения. Принцип наибольшей обоснованности как метод максимального правдоподобия для моделей. Половинчатость данного подхода, полный вывод по Байесу. Интерпретация понятия обоснованности, ее геометрический смысл, бессмысленность сколь-угодно гибкого решающего правила, иллюстративные примеры, связь с [[Принцип Оккама|принципом Оккама]].
+
-
 
+
-
''Ликбез'': принцип Оккама, ad hoc гипотезы.
+
-
 
+
-
[[Media:BayesML-2009-5.pdf | Презентация (PDF, 448 Кб)]]
+
-
 
+
-
=== Применение принципа наибольшей обоснованности на примере метода релевантных векторов ===
+
-
[[Метод релевантных векторов]], вывод формул для регрессии. Приближение Лапласа для оценки обоснованности в случае задачи классификации, его достоинства и недостатки. Свойства решающего правила RVM.
+
-
 
+
-
''Ликбез'': матричные тождества обращения, тождество Вудбери.
+
-
 
+
-
[[Media:BayesML2009-6.pdf | Презентация (PDF, 665 Кб)]]
+
-
 
+
-
=== Недиагональная регуляризация обобщенных линейных моделей. Гауссовское и Лапласовское априорные распределения. ===
+
-
Свойства гауссовского и лапласовского регуляризаторов, трудности использования последнего в методе релевантных векторов. Метод релевантных собственных векторов, идея диагонализации правдоподобия. Вывод формул для оценки обоснованности.
+
-
 
+
-
''Ликбез'': Неотрицательно определенные матрицы. Лапласовское распределение.
+
-
 
+
-
[[Media:BayesML2009-7.pdf | Презентация (PDF, 1.11 Мб)]]
+
-
 
+
-
=== Общее решение для недиагональной квадратичной регуляризации ===
+
-
Получение выражения для обоснованности в явном виде в семействе произвольных симметричных неотрицательно определенных матриц регуляризации. Условие релевантности.
+
-
 
+
-
''Ликбез'': Дифференцирование по матрице и по вектору.
+
-
 
+
-
[[Media:BayesML2009-8.pdf| Презентация (PDF, 454 Кб)]]
+
-
 
+
-
=== Приближенные способы вывода. Вариационный подход. Expectation Propagation. ===
+
-
Приближенные методы байесовского вывода. Минимизация Кульбака-Лейблера и факторизованное приближение. Идея вариационного подхода, вывод формул для линейной регрессии. Идея Expectation propagation, вывод формул для пуассоновской фильтрации.
+
-
 
+
-
''Ликбез'': дивергенция Кульбака-Лейблера, гамма-распределение.
+
-
 
+
-
[[Media:BayesML2009-9.pdf|Презентация (PDF, 528 Кб)]]
+
-
 
+
-
=== Приближенные способы вывода. Методы Монте-Карло с марковскими цепями. Гауссовские процессы в машинном обучении. ===
+
-
Взятие интегралов методами Монте-Карло, голосование по апостериорному распределению вместо точечной оценки. Схема Гиббса. Гибридные методы Монте-Карло. Гауссовские процессы в задачах регрессии и классификации. Выбор наиболее адекватной ковариационной функции.
+
-
 
+
-
''Ликбез'': случайные процессы.
+
-
 
+
-
[[Media:BayesML2009-11.pdf|Презентация (PDF, 559 Кб)]]
+
-
 
+
-
=== Непрерывное обобщение информационного критерия Акаике и его применение в задаче отбора признаков для линейной регрессии. ===
+
-
Классический критерий Акаике и трудности его использования на практике. Обобщение критерия Акаике на непрерывный случай. Алгоритм автоматического определения значимости на основе непрерывного критерия Акаике.
+
-
 
+
-
''Ликбез'': свойства оценок максимального правдоподобия, информационная матрица Фишера, формула блочного обращения.
+
-
 
+
-
 
+
-
 
+
-
== Расписание занятий ==
+
-
В 2009 году курс читается по четвергам на факультете ВМиК МГУ, в ауд. 671, начало в 16-20.
+
-
 
+
-
{| class="standard"
+
-
!Дата||Занятие
+
-
|-
+
-
|10 сентября 2009||Лекция 1 «Различные постановки задачи машинного обучения»
+
-
|-
+
-
|17 сентября 2009||Лекция 2 «Вероятностная постановка задачи распознавания образов. Обобщенные линейные модели»
+
-
|-
+
-
|1 октября 2009||Лекция 3 «Задачи выбора модели»
+
-
|-
+
-
|22 октября 2009||Лекция 4 «Байесовский подход к теории вероятностей. Примеры байесовских рассуждений.»
+
-
|-
+
-
|29 октября 2009||Лекция 5 «Решение задачи выбора модели по Байесу. Обоснованность модели.»
+
-
|-
+
-
|5 ноября 2009||Лекция 6 «Метод релевантных векторов»
+
-
|-
+
-
|12 ноября 2009||Лекция 7 «Недиагональная регуляризация обобщенных линейных моделей»
+
-
|-
+
-
|19 ноября 2009||Лекция 8 «Общее решение для недиагональной регуляризации»
+
-
|-
+
-
|26 ноября 2009||Лекция 9 «Приближенные способы вывода. Вариационный подход. Expectation Propagation.»
+
-
|-
+
-
|3 декабря 2009||Лекция 10 «Непрерывное обобщение информационного критерия Акаике»
+
-
|-
+
-
|10 декабря 2009||Лекция 11 «Приближенные способы вывода. Методы Монте-Карло с марковскими цепями. Гауссовские процессы в машинном обучении.»
+
-
|-
+
-
|17 декабря 2009||Экзамен
+
-
|-
+
-
|}
+
-
 
+
-
== Литература ==
+
-
# ''Ветров Д.П., Кропотов Д.А.'' Байесовские методы машинного обучения, учебное пособие по спецкурсу, 2007 ([[Медиа:BayesML-2007-textbook-1.pdf|Часть 1, PDF 1.22МБ]]; [[Медиа:BayesML-2007-textbook-2.pdf|Часть 2, PDF 1.58МБ]])
+
-
# ''Bishop C.M.'' [http://research.microsoft.com/en-us/um/people/cmbishop/prml/ Pattern Recognition and Machine Learning.] Springer, 2006.
+
-
# ''Mackay D.J.C.'' [http://www.inference.phy.cam.ac.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms.] Cambridge University Press, 2003.
+
-
# ''Tipping M.'' [http://www.jmlr.org/papers/volume1/tipping01a/tipping01a.pdf Sparse Bayesian Learning.] Journal of Machine Learning Research, 1, 2001, pp. 211-244.
+
-
# ''Шумский С.А.'' Байесова регуляризация обучения. В сб. Лекции по нейроинформатике, часть 2, 2002.
+
-
# ''Ветров Д.П., Кропотов Д.А.'' Алгоритмы выбора моделей и синтеза коллективных решений в задачах классификации, основанные на принципе устойчивости. — М.: УРСС, 2006.
+
-
# ''Kropotov D., Vetrov D.'' [http://www.machinelearning.org/proceedings/icml2007/papers/140.pdf On One Method of Non-Diagonal Regularization in Sparse Bayesian Learning.] Proc. of 24th International Conference on Machine Learning (ICML'2007).
+
-
# ''Kropotov D., Vetrov D.'' On Equivalence of Information-Based and Bayesian Approaches to Model Selection for Linear Regression Problems. Proc. of 9th International Conference "Pattern Recognition and Image Analysis: New Information Technologies" (PRIA-9-2008).
+
-
 
+
-
== См. также ==
+
-
[[Структурные методы анализа изображений и сигналов (курс лекций, А.С. Конушин, Д.П. Ветров, Д.А. Кропотов, О.В. Баринова, В.С. Конушин, 2009)|Курс «Структурные методы анализа изображений и сигналов»]]
+
-
 
+
-
[[Спецсеминар "Байесовские методы машинного обучения"|Спецсеминар «Байесовские методы машинного обучения»]]
+
-
 
+
-
[[Математические методы прогнозирования (кафедра ВМиК МГУ)]]
+
-
 
+
-
[[Категория:Учебные курсы]]
+
-
[[Категория:Байесовские методы]]
+

Текущая версия

  1. REDIRECT Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/2014
Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%91%D0%B0%D0%B9%D0%B5%D1%81%D0%BE%D0%B2%D1%81%D0%BA%D0%B8%D0%B5_%D0%BC%D0%B5%D1%82%D0%BE%D0%B4%D1%8B_%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B3%D0%BE_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D1%8F_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%2C_%D0%94.%D0%9F._%D0%92%D0%B5%D1%82%D1%80%D0%BE%D0%B2%2C_%D0%94.%D0%90._%D0%9A%D1%80%D0%BE%D0%BF%D0%BE%D1%82%D0%BE%D0%B2%29»
Личные инструменты