|
|
(146 промежуточных версий не показаны.) |
Строка 1: |
Строка 1: |
- | __NOTOC__
| + | #REDIRECT [[Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/2014]] |
- | | + | |
- | {{tip|
| + | |
- | Студентам на заметку: на вкладке «Обсуждение» к данной странице можно задать вопрос по курсу, высказать свои пожелания, предложения и т.п.
| + | |
- | [[Участник:Kropotov|Кропотов Д.А.]], 20 сентября 2009 | + | |
- | }}
| + | |
- | | + | |
- | Курс посвящен т.н. байесовским методам [[Машинное обучение|машинного обучения]] (классификации, прогнозирования, [[Регрессионный анализ|восстановления регрессии]]), которые в настоящее время активно развиваются в мире. Байесовский подход к теории вероятностей является альтернативой классическому частотному подходу. Здесь вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.
| + | |
- | | + | |
- | '''Цели курса''':
| + | |
- | * Ознакомление с классическими методами обработки данных, особенностями их применения на практике и их недостатками
| + | |
- | * Представление современных проблем теории машинного обучения
| + | |
- | * Введение в байесовские методы машинного обучения
| + | |
- | * Изложение последних достижений в области практического использования байесовских методов
| + | |
- | * Напоминание основных результатов из смежных дисциплин (теория кодирования, анализ, матричные вычисления, статистика, линейная алгебра, теория вероятностей, случайные процессы)
| + | |
- | | + | |
- | Курс читается студентам ВМиК МГУ, начиная с 2007 года. Курс не требует от студентов дополнительной математической подготовки, выходящей за пределы первых двух курсов университетского образования, все необходимые понятия вводятся в ходе лекций. В ходе чтения курса студенты будут ознакомлены с передним краем научных исследований в теории машинного обучения и существующими проблемами.
| + | |
- | | + | |
- | == Программа курса ==
| + | |
- | === Различные постановки задачи машинного обучения ===
| + | |
- | Обзор задач анализа данных: классификация, регрессия, кластеризация, идентификация, прогнозирование. Примеры. Историческая справка. Основные проблемы теории распознавания образов: переобучение, противоречивость информации, малый объем [[Выборка|выборки]]. Иллюстративные примеры переобучения, связь переобучения и объема выборки.
| + | |
- | | + | |
- | ''Ликбез'': основные понятия теории вероятностей (математическое ожидание, дисперсия, ковариационная матрица, плотность вероятности, функция правдоподобия)
| + | |
- | | + | |
- | [[Media:BayesML-2009-1.pdf|Презентация (PDF, 555 КБ)]]
| + | |
- | | + | |
- | === Вероятностная постановка задач машинного обучения. Методы линейной и логистической регрессии. Регуляризация обучения. ===
| + | |
- | [[Метод максимального правдоподобия]]. Формальные обозначения, генеральная совокупность, критерии качества обучения как точности на генеральной совокупности. Вывод выражения для идеальных решающих правил. Способы введения функции правдоподобия для задачи регрессии и классификации. Выражение для коэффициентов линейной регрессии, хэт-матрица. [[Метод наименьших квадратов с итеративно-перевзвешивающимися весами]]. Необходимость ридж-оценивания для устранения вырожденности гессиана.
| + | |
- | | + | |
- | ''Ликбез'': нормальное распределение, псевдообращение матриц и нормальное псевдорешение.
| + | |
- | | + | |
- | [[Медиа:BayesML-2009-2a.pdf| Презентация (PDF, 598 КБ)]]
| + | |
- | | + | |
- | === Задача выбора модели на примере выбора коэффициента регуляризации, ядровой функции, настройки структурных параметров алгоритма обучения. Основные методы выбора модели. ===
| + | |
- | Общая постановка проблемы выбора модели, ее философский характер. Конкретные примеры структурных параметров. [[Кросс-валидация]]. [[Теория Вапника-Червоненкиса]], емкость алгоритмов обучения. [[Принцип минимальной длины описания]], его эквивалентность максимуму регуляризованного правдоподобия. Информационные [[Информационный критерий Акаике|критерии Акаике]] и [[Информационный критерий Байеса-Шварца|Байеса-Шварца]], область их применения.
| + | |
- | | + | |
- | ''Ликбез'': теорема Шеннона и оптимальная длина описания.
| + | |
- | | + | |
- | [[Медиа:BayesML-2009-3a.pdf| Презентация (PDF, 450 КБ)]]
| + | |
- | | + | |
- | === Байесовский подход к теории вероятностей. Примеры байесовских рассуждений. ===
| + | |
- | Частотный и вероятностный подходы к теории вероятностей. Интерпретация вероятности как меры нашего незнания, сравнение байесовских рассуждений с логическими. Байесовские сети и основные задачи в них. Пример жизненной ситуации «Джон и колокольчик для воров». Вывод формул для апостериорных вероятностей.
| + | |
- | | + | |
- | ''Ликбез'': условная вероятность, формула Байеса и ее применение, формула полной вероятности.
| + | |
- | | + | |
- | [[Медиа:BayesML-2009-4.pdf| Презентация (PDF, 1.57 МБ)]]
| + | |
- | | + | |
- | === Решение задачи выбора модели по Байесу. Обоснованность модели. Полный байесовский вывод. ===
| + | |
- | Вывод формул для принятия решения. Принцип наибольшей обоснованности как метод максимального правдоподобия для моделей. Половинчатость данного подхода, полный вывод по Байесу. Интерпретация понятия обоснованности, ее геометрический смысл, бессмысленность сколь-угодно гибкого решающего правила, иллюстративные примеры, связь с [[Принцип Оккама|принципом Оккама]].
| + | |
- | | + | |
- | ''Ликбез'': принцип Оккама, ad hoc гипотезы.
| + | |
- | | + | |
- | === Применение принципа наибольшей обоснованности на примере метода релевантных векторов ===
| + | |
- | [[Метод релевантных векторов]], вывод формул для регрессии. Приближение Лапласа для оценки обоснованности в случае задачи классификации, его достоинства и недостатки. Свойства решающего правила RVM.
| + | |
- | | + | |
- | ''Ликбез'': матричные тождества обращения, тождество Вудбери.
| + | |
- | | + | |
- | === Недиагональная регуляризация обобщенных линейных моделей. Гауссовское и Лапласовское априорные распределения. ===
| + | |
- | Свойства гауссовского и лапласовского регуляризаторов, трудности использования последнего в методе релевантных векторов. Метод релевантных собственных векторов, идея диагонализации правдоподобия. Вывод формул для оценки обоснованности.
| + | |
- | | + | |
- | ''Ликбез'': Неотрицательно определенные матрицы. Лапласовское распределение.
| + | |
- | | + | |
- | === Общее решение для недиагональной квадратичной регуляризации ===
| + | |
- | Получение выражения для обоснованности в явном виде в семействе произвольных симметричных неотрицательно определенных матриц регуляризации. Условие релевантности.
| + | |
- | | + | |
- | ''Ликбез'': Дифференцирование по матрице и по вектору.
| + | |
- | | + | |
- | === ЕМ-алгоритм, его теоретические свойства. Примеры применений ЕМ-алгоритма для разделения гауссовской смеси и в методе главных компонент. ===
| + | |
- | Оптимизация неполного правдоподобия. Доказательство сходимости ЕМ-алгоритма. Задача разделения смесей и ее решение с помощью ЕМ-алгоритма. Метод главных компонент, вероятностная постановка задачи минимизации признакового пространства и ее решение с помощью ЕМ-алгоритма.
| + | |
- | | + | |
- | ''Ликбез'': дивергенция Кульбака-Лейблера, смесь распределений
| + | |
- | | + | |
- | === Приближенные способы вывода. Вариационный подход. Expectation Propagation. ===
| + | |
- | Приближенные методы байесовского вывода. Минимизация Кульбака-Лейблера и факторизованное приближение. Идея вариационного подхода, вывод формул для линейной регрессии. Идея Expectation propagation, вывод формул для пуассоновской фильтрации.
| + | |
- | | + | |
- | ''Ликбез'': свойства дивергенции Кульбака-Лейблера, гамма-распределение.
| + | |
- | | + | |
- | === Приближенные способы вывода. Методы Монте-Карло с марковскими цепями. Гауссовские процессы в машинном обучении. ===
| + | |
- | Взятие интегралов методами Монте-Карло, голосование по апостериорному распределению вместо точечной оценки. Схема Гиббса. Гибридные методы Монте-Карло. Гауссовские процессы в задачах регрессии и классификации. Выбор наиболее адекватной ковариационной функции.
| + | |
- | | + | |
- | ''Ликбез'': случайные процессы.
| + | |
- | | + | |
- | === Непрерывное обобщение информационного критерия Акаике и его применение в задаче отбора признаков для линейной регрессии. ===
| + | |
- | Классический критерий Акаике и трудности его использования на практике. Обобщение критерия Акаике на непрерывный случай. Алгоритм автоматического определения значимости на основе непрерывного критерия Акаике.
| + | |
- | | + | |
- | ''Ликбез'': свойства оценок максимального правдоподобия, информационная матрица Фишера, формула блочного обращения.
| + | |
- | | + | |
- | | + | |
- | | + | |
- | == Расписание занятий ==
| + | |
- | В 2009 году курс читается по четвергам на факультете ВМиК МГУ, в ауд. 671, начало в 16-20.
| + | |
- | | + | |
- | {| class="standard"
| + | |
- | !Дата||Занятие
| + | |
- | |-
| + | |
- | |10 сентября 2009||Лекция 1 «Различные постановки задачи машинного обучения»
| + | |
- | |-
| + | |
- | |17 сентября 2009||Лекция 2 «Вероятностная постановка задачи распознавания образов. Обобщенные линейные модели»
| + | |
- | |-
| + | |
- | |1 октября 2009||Лекция 3 «Задачи выбора модели»
| + | |
- | |-
| + | |
- | |8 октября 2009||Лекция 4 «Байесовский подход к теории вероятностей. Примеры байесовских рассуждений.»
| + | |
- | |-
| + | |
- | |22 октября 2009||Лекция 5 «Решение задачи выбора модели по Байесу. Обоснованность модели.»
| + | |
- | |-
| + | |
- | |29 октября 2009||Лекция 6 «Метод релевантных векторов»
| + | |
- | |-
| + | |
- | |5 ноября 2009||Лекция 7 «Недиагональная регуляризация обобщенных линейных моделей»
| + | |
- | |-
| + | |
- | |12 ноября 2009||Лекция 8 «Общее решение для недиагональной регуляризации»
| + | |
- | |-
| + | |
- | |19 ноября 2009||Лекция 9 «ЕМ-алгоритм»
| + | |
- | |-
| + | |
- | |26 ноября 2009||Лекция 10 «Приближенные способы вывода. Вариационный подход. Expectation Propagation.»
| + | |
- | |-
| + | |
- | |3 декабря 2009||Лекция 11 «Приближенные способы вывода. Методы Монте-Карло с марковскими цепями. Гауссовские процессы в машинном обучении.»
| + | |
- | |-
| + | |
- | |10 декабря 2009||Лекция 12 «Непрерывное обобщение информационного критерия Акаике»
| + | |
- | |-
| + | |
- | |17 декабря 2009||Экзамен
| + | |
- | |-
| + | |
- | |}
| + | |
- | | + | |
- | == Литература ==
| + | |
- | # ''Ветров Д.П., Кропотов Д.А.'' Байесовские методы машинного обучения, учебное пособие по спецкурсу, 2007 ([[Медиа:BayesML-2007-textbook-1.pdf|Часть 1, PDF 1.22МБ]]; [[Медиа:BayesML-2007-textbook-2.pdf|Часть 2, PDF 1.58МБ]])
| + | |
- | # ''Bishop C.M.'' [http://research.microsoft.com/en-us/um/people/cmbishop/prml/ Pattern Recognition and Machine Learning.] Springer, 2006.
| + | |
- | # ''Mackay D.J.C.'' [http://www.inference.phy.cam.ac.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms.] Cambridge University Press, 2003.
| + | |
- | # ''Tipping M.'' [http://www.jmlr.org/papers/volume1/tipping01a/tipping01a.pdf Sparse Bayesian Learning.] Journal of Machine Learning Research, 1, 2001, pp. 211-244.
| + | |
- | # ''Шумский С.А.'' Байесова регуляризация обучения. В сб. Лекции по нейроинформатике, часть 2, 2002.
| + | |
- | # ''Ветров Д.П., Кропотов Д.А.'' Алгоритмы выбора моделей и синтеза коллективных решений в задачах классификации, основанные на принципе устойчивости. — М.: УРСС, 2006.
| + | |
- | # ''Kropotov D., Vetrov D.'' [http://www.machinelearning.org/proceedings/icml2007/papers/140.pdf On One Method of Non-Diagonal Regularization in Sparse Bayesian Learning.] Proc. of 24th International Conference on Machine Learning (ICML'2007).
| + | |
- | # ''Kropotov D., Vetrov D.'' On Equivalence of Information-Based and Bayesian Approaches to Model Selection for Linear Regression Problems. Proc. of 9th International Conference "Pattern Recognition and Image Analysis: New Information Technologies" (PRIA-9-2008).
| + | |
- | | + | |
- | == См. также ==
| + | |
- | [[Структурные методы анализа изображений и сигналов (курс лекций, А.С. Конушин, Д.П. Ветров, Д.А. Кропотов, О.В. Баринова, В.С. Конушин, 2009)|Курс «Структурные методы анализа изображений и сигналов»]]
| + | |
- | | + | |
- | [[Спецсеминар "Байесовские методы машинного обучения"|Спецсеминар «Байесовские методы машинного обучения»]]
| + | |
- | | + | |
- | [[Математические методы прогнозирования (кафедра ВМиК МГУ)]]
| + | |
- | | + | |
- | [[Категория:Учебные курсы]]
| + | |