Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
м
Текущая версия (09:49, 13 сентября 2014) (править) (отменить)
 
(176 промежуточных версий не показаны.)
Строка 1: Строка 1:
-
__NOTOC__
+
#REDIRECT [[Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/2014]]
-
 
+
-
{{UnderConstruction|[[Участник:Kropotov|Kropotov]] 15:31, 11 сентября 2009 (MSD)}}
+
-
 
+
-
Курс посвящен т.н. байесовским методам машинного обучения (классификации, прогнозирования, восстановления регрессии), которые в настоящее время активно развиваются в мире. Байесовский подход к теории вероятностей является альтернативой классическому частотному подходу. Здесь вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.
+
-
 
+
-
'''Цели курса''':
+
-
* Ознакомление с классическими методами обработки данных, особенностями их применения на практике и их недостатками
+
-
* Представление современных проблем теории машинного обучения
+
-
* Введение в байесовские методы машинного обучения
+
-
* Изложение последних достижений в области практического использования байесовских методов
+
-
* Напоминание основных результатов из смежных дисциплин (теория кодирования, анализ, матричные вычисления, статистика, линейная алгебра, теория вероятностей, случайные процессы)
+
-
 
+
-
Курс читается студентам ВМиК МГУ, начиная с 2007 года. Курс не требует от студентов дополнительной математической подготовки, выходящей за пределы первых двух курсов университетского образования, все необходимые понятия вводятся в ходе лекций. В ходе чтения курса студенты будут ознакомлены с передним краем научных исследований в теории машинного обучения и существующими проблемами.
+
-
 
+
-
== Программа курса ==
+
-
=== Различные постановки задачи машинного обучения ===
+
-
Обзор задач анализа данных: классификация, регрессия, кластеризация, идентификация, прогнозирование. Примеры. Историческая справка. Основные проблемы теории распознавания образов: переобучение, противоречивость информации, малый объем выборки. Иллюстративные примеры переобучения, связь переобучения и объема выборки.
+
-
 
+
-
''Ликбез'': основные понятия теории вероятностей (математическое ожидание, дисперсия, ковариационная матрица, плотность вероятности, функция правдоподобия)
+
-
 
+
-
[[Media:BayesML-2009-1.pdf‎|Презентация (PDF, 555 КБ)]]
+
-
 
+
-
=== Вероятностная постановка задачи распознавания образов. Байесовский классификатор. Методы восстановления плотностей. ЕМ-алгоритм. ===
+
-
Формальные обозначения, генеральная совокупность, критерии качества обучения как точности на генеральной совокупности. Вывод выражения для идеального классификатора. Парзеновские окна и восстановление плотностей по ближайшим соседям. ЕМ-алгоритм как способ разделения смесей нормальных распределений.
+
-
 
+
-
''Ликбез'': нормальное распределение.
+
-
 
+
-
=== Методы линейной и логистической регрессии и обобщенные линейные модели. Регуляризация обучения. ===
+
-
Метод максимального правдоподобия. Способы введения функции правдоподобия для задачи регрессии и классификации. Выражение для коэффициентов линейной регрессии, хэт-матрица. Метод наименьших квадратов с итеративно-перевзвешивающимися весами. Необходимость ридж-оценивания для избежания вырожденности гессиана.
+
-
 
+
-
''Ликбез'': псевдообращение матриц и нормальное псевдорешение.
+
-
 
+
-
=== Задача выбора модели на примере выбора коэффициента регуляризации, ядровой функции, настройки структурных параметров алгоритма обучения. Основные методы выбора модели. ===
+
-
Общая постановка проблемы выбора модели, ее философский характер. Конкретные примеры структурных параметров. Кросс-валидация. Теория Вапника-Червоненкиса, емкость алгоритмов обучения. Принцип минимальной длины описания, его эквивалентность максимуму регуляризованного правдоподобия. Информационные критерии Акаике и Байеса-Шварца, область их применения.
+
-
 
+
-
''Ликбез'': теорема Шеннона и оптимальная длина описания.
+
-
 
+
-
=== Байесовский подход к теории вероятностей. Примеры байесовских рассуждений. ===
+
-
Частотный и вероятностный подходы к теории вероятностей. Интерпретация вероятности как меры нашего незнания, сравнение байесовских рассуждений с логическими. Пример жизненной ситуации "Джон и колокольчик для воров". Вывод формул для апостериорных вероятностей.
+
-
 
+
-
''Ликбез'': условная вероятность, формула Байеса и ее применение, формула полной вероятности.
+
-
 
+
-
=== Решение задачи выбора модели по Байесу. Обоснованность модели. Полный байесовский вывод. ===
+
-
Вывод формул для принятия решения. Принцип наибольшей обоснованности как метод максимального правдоподобия для моделей. Половинчатость данного подхода, полный вывод по Байесу. Интерпретация понятия обоснованности, ее геометрический смысл, бессмысленность сколь-угодно гибкого решающего правила, иллюстративные примеры, связь с принципом Оккама.
+
-
 
+
-
''Ликбез'': принцип Оккама, ad hoc гипотезы.
+
-
 
+
-
=== Применение принципа наибольшей обоснованности на примере метода релевантных векторов ===
+
-
Метод релевантных векторов, вывод формул для регрессии. Приближение Лапласа для оценки обоснованности в случае задачи классификации, его достоинства и недостатки. Свойства решающего правила RVM.
+
-
 
+
-
''Ликбез'': матричные тождества обращения, тождество Вудбери.
+
-
 
+
-
=== Недиагональная регуляризация обобщенных линейных моделей. Гауссовское и Лапласовское априорные распределения. ===
+
-
Свойства гауссовского и лапласовского регуляризаторов, трудности использования последнего в методе релевантных векторов. Метод релевантных собственных векторов, идея диагонализации правдоподобия. Вывод формул для оценки обоснованности.
+
-
 
+
-
''Ликбез'': Неотрицательно определенные матрицы. Лапласовское распределение.
+
-
 
+
-
=== Способы оценки обоснованности: Вариационный метод, методы Монте-Карло. ===
+
-
Взятие интегралов методами Монте-Карло, голосование по апостериорному распределению вместо точечной оценки. Схема Гиббса. Гибридные методы Монте-Карло. Приближение обоснованности гауссианой. Идея вариационного подхода, вывод формул для линейной регрессии.
+
-
 
+
-
''Ликбез'': дивергенция Кульбака-Лейблера, гамма-распределение.
+
-
 
+
-
=== Графические модели. Гауссовские процессы в машинном обучении. ===
+
-
Иерархические байесовские модели. Ориентированные и неориентированные модели. Элементарные графы. Гауссовские процессы в задачах регрессии и классификации. Выбор наиболее адекватной ковариационной функции.
+
-
 
+
-
''Ликбез'': условная независимость, случайные процессы.
+
-
 
+
-
=== Непрерывное обобщение информационного критерия Акаике и его применение в задаче отбора признаков для линейной регрессии. ===
+
-
Классический критерий Акаике и трудности его использования на практике. Обобщение критерия Акаике на непрерывный случай. Алгоритм автоматического определения значимости на основе непрерывного критерия Акаике.
+
-
 
+
-
''Ликбез'': свойства оценок максимального правдоподобия, информационная матрица Фишера, формула блочного обращения.
+
-
 
+
-
=== Общее решение для недиагональной квадратичной регуляризации ===
+
-
Получение выражений для обоснованности и непрерывного критерия Акаике в явном виде в семействе произвольных симметричных неотрицательно определенных матриц регуляризации. Доказательство эквивалентности оптимальных матриц регуляризации в рамках обоих подходов.
+
-
 
+
-
''Ликбез'': Дифференцирование по матрице и по вектору.
+
-
 
+
-
== Расписание занятий ==
+
-
В 2009 году курс проходит по четвергам на факультете ВМиК МГУ, в ауд. 777, начало в 16-20.
+
-
 
+
-
{| class="standard"
+
-
!Дата||Занятие
+
-
|-
+
-
|10 сентября||Лекция 1
+
-
|-
+
-
|17 сентября||Лекция 2
+
-
|-
+
-
|1 октября||Лекция 3
+
-
|-
+
-
|8 октября||Лекция 4
+
-
|-
+
-
|22 октября||Лекция 5
+
-
|-
+
-
|29 октября||Лекция 6
+
-
|-
+
-
|5 ноября||Лекция 7
+
-
|-
+
-
|12 ноября||Лекция 8
+
-
|-
+
-
|19 ноября||Лекция 9
+
-
|-
+
-
|26 ноября||Лекция 10
+
-
|-
+
-
|3 декабря||Лекция 11
+
-
|-
+
-
|10 декабря||Лекция 12
+
-
|-
+
-
|17 декабря||Экзамен
+
-
|-
+
-
|}
+
-
 
+
-
== Литература ==
+
-
# ''Bishop C.M.'' Pattern Recognition and Machine Learning. Springer, 2006.
+
-
# ''Mackay D.J.C.'' Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
+
-
# ''Tipping M.'' Sparse Bayesian Learning. Journal of Machine Learning Research, 1, 2001, pp. 211-244.
+
-
# ''Шумский С.А.'' Байесова регуляризация обучения. В сб. Лекции по нейроинформатике, часть 2, 2002.
+
-
# ''Ветров Д.П., Кропотов Д.А.'' Алгоритмы выбора моделей и синтеза коллективных решений в задачах классификации, основанные на принципе устойчивости. — М.: УРСС, 2006.
+
-
# ''Kropotov D., Vetrov D.'' On One Method of Non-Diagonal Regularization in Sparse Bayesian Learning. Proc. of 24th International Conference on Machine Learning (ICML'2007).
+
-
# ''Kropotov D., Vetrov D.'' On Equivalence of Information-Based and Bayesian Approaches to Model Selection for Linear Regression Problems. Proc. of 9th International Conference "Pattern Recognition and Image Analysis: New Information Technologies" (PRIA-9-2008).
+
-
 
+
-
<!---
+
-
# ''Лапач С. Н. , Чубенко А. В., Бабич П. Н.'' Статистика в науке и бизнесе. — Киев: Морион, 2002.
+
-
# ''Лагутин М. Б.'' Наглядная математическая статистика. В двух томах. — М.: П-центр, 2003.
+
-
# ''Лукашин Ю. П.'' Адаптивные методы краткосрочного прогнозирования временных рядов. — М.: Финансы и статистика, 2003.
+
-
# ''Магнус Я. Р., Катышев П. К., Пересецкий А. А.'' Эконометрика. Начальный курс: Учеб. — 7-е изд., испр. — М.: Дело, 2005.
+
-
# ''Кобзарь А. И.'' Прикладная математическая статистика. — М.: Физматлит, 2006.
+
-
# ''Орлов А. И.'' Эконометрика. — М.: Экзамен, 2003.
+
-
# ''Айвазян С. А., Мхитарян В. С.'' Прикладная статистика. Том 1. Теория вероятностей и прикладная статистика. — М.: Юнити, 2001.
+
-
# ''Айвазян С. А.'' Прикладная статистика. Том 2. Основы эконометрики. — М.: Юнити, 2001.
+
-
# ''Кулаичев А. П.'' Методы и средства комплексного анализа данных. — М.: Форум–Инфра-М, 2006.
+
-
# ''Тюрин Ю. Н., Макаров А. А.'' Анализ данных на компьютере. — М.: Инфра-М, 2003.
+
-
# ''Вучков И., Бояджиева А., Солаков Е.'' Прикладной линейный регрессионный анализ. — М.: Финансы и статистика, 1987.
+
-
# {{Публикация:Hastie 2001 The Elements of Statistical Learning}}
+
-
 
+
-
#''Strijov, V., Shakin, V.'' [http://strijov.com/papers/10-v_strijov.pdf Index construction: the expert-statistical method]. // Environmental research, engineering and management 2003. No.4 (26), P.51-55.
+
-
#''Стрижов В. В., Казакова Т. В.'' [http://strijov.com/papers/stable_idx4zavlab_after_recenz.pdf Устойчивые интегральные индикаторы с выбором опорного множества описаний]. // Заводская лаборатория. Диагностика материалов. 2007 (7). C. 72-76.
+
-
#''Литвак Б. Г.'' Экспертная информация: Методы получения и анализа. – М.: Радио и связь, 1982. – 184 с.
+
-
#''Стрижов В. В.'' [http://strijov.com/papers/strijov06precise.pdf Уточнение экспертных оценок с помощью измеряемых данных]. // Заводская лаборатория. Диагностика материалов. 2006 (7). С.59-64.
+
-
 
+
-
 
+
-
== Ссылки ==
+
-
* [http://ru.wikipedia.org/wiki/%D0%A1%D1%82%D0%B0%D1%82%D0%B8%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B0%D1%8F_%D0%B3%D0%B8%D0%BF%D0%BE%D1%82%D0%B5%D0%B7%D0%B0 Википедия: Проверка статистических гипотез]
+
-
* [http://ru.wikipedia.org/wiki/%D0%A1%D1%82%D0%B0%D1%82%D0%B8%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%BA%D1%80%D0%B8%D1%82%D0%B5%D1%80%D0%B8%D0%B9 Википедия: Статистический критерий]
+
-
* [http://www.statsoft.ru/home/portal/default.asp Статистический Портал StatSoft]
+
-
* [http://www.statsoft.ru/home/textbook/glossary Электронный статистический словарь StatSoft]
+
-
 
+
-
 
+
-
[[Категория:Учебные курсы]]
+
-
--->
+

Текущая версия

  1. REDIRECT Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/2014
Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%91%D0%B0%D0%B9%D0%B5%D1%81%D0%BE%D0%B2%D1%81%D0%BA%D0%B8%D0%B5_%D0%BC%D0%B5%D1%82%D0%BE%D0%B4%D1%8B_%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B3%D0%BE_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D1%8F_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%2C_%D0%94.%D0%9F._%D0%92%D0%B5%D1%82%D1%80%D0%BE%D0%B2%2C_%D0%94.%D0%90._%D0%9A%D1%80%D0%BE%D0%BF%D0%BE%D1%82%D0%BE%D0%B2%29»
Личные инструменты