|
|
(165 промежуточных версий не показаны.) |
Строка 1: |
Строка 1: |
- | __NOTOC__
| + | #REDIRECT [[Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/2014]] |
- | | + | |
- | {{UnderConstruction|[[Участник:Kropotov|Kropotov]] 15:31, 11 сентября 2009 (MSD)}}
| + | |
- | | + | |
- | Курс посвящен т.н. байесовским методам [[Машинное обучение|машинного обучения]] (классификации, прогнозирования, [[Регрессионный анализ|восстановления регрессии]]), которые в настоящее время активно развиваются в мире. Байесовский подход к теории вероятностей является альтернативой классическому частотному подходу. Здесь вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.
| + | |
- | | + | |
- | '''Цели курса''':
| + | |
- | * Ознакомление с классическими методами обработки данных, особенностями их применения на практике и их недостатками
| + | |
- | * Представление современных проблем теории машинного обучения
| + | |
- | * Введение в байесовские методы машинного обучения
| + | |
- | * Изложение последних достижений в области практического использования байесовских методов
| + | |
- | * Напоминание основных результатов из смежных дисциплин (теория кодирования, анализ, матричные вычисления, статистика, линейная алгебра, теория вероятностей, случайные процессы)
| + | |
- | | + | |
- | Курс читается студентам ВМиК МГУ, начиная с 2007 года. Курс не требует от студентов дополнительной математической подготовки, выходящей за пределы первых двух курсов университетского образования, все необходимые понятия вводятся в ходе лекций. В ходе чтения курса студенты будут ознакомлены с передним краем научных исследований в теории машинного обучения и существующими проблемами.
| + | |
- | | + | |
- | == Программа курса ==
| + | |
- | === Различные постановки задачи машинного обучения ===
| + | |
- | Обзор задач анализа данных: классификация, регрессия, кластеризация, идентификация, прогнозирование. Примеры. Историческая справка. Основные проблемы теории распознавания образов: переобучение, противоречивость информации, малый объем [[Выборка|выборки]]. Иллюстративные примеры переобучения, связь переобучения и объема выборки.
| + | |
- | | + | |
- | ''Ликбез'': основные понятия теории вероятностей (математическое ожидание, дисперсия, ковариационная матрица, плотность вероятности, функция правдоподобия)
| + | |
- | | + | |
- | [[Media:BayesML-2009-1.pdf|Презентация (PDF, 555 КБ)]]
| + | |
- | | + | |
- | | + | |
- | | + | |
- | === Методы линейной и логистической регрессии и обобщенные линейные модели. Регуляризация обучения. ===
| + | |
- | [[Метод максимального правдоподобия]]. Формальные обозначения, генеральная совокупность, критерии качества обучения как точности на генеральной совокупности. Вывод выражения для идеальных решающих правил. Способы введения функции правдоподобия для задачи регрессии и классификации. Выражение для коэффициентов линейной регрессии, хэт-матрица. [[Метод наименьших квадратов с итеративно-перевзвешивающимися весами]]. Необходимость ридж-оценивания для избежания вырожденности гессиана.
| + | |
- | | + | |
- | ''Ликбез'': псевдообращение матриц и нормальное псевдорешение.
| + | |
- | | + | |
- | [[Медиа:BayesML-2009-2.pdf| Презентация (PDF, 579 КБ)]]
| + | |
- | | + | |
- | === Задача выбора модели на примере выбора коэффициента регуляризации, ядровой функции, настройки структурных параметров алгоритма обучения. Основные методы выбора модели. ===
| + | |
- | Общая постановка проблемы выбора модели, ее философский характер. Конкретные примеры структурных параметров. [[Кросс-валидация]]. [[Теория Вапника-Червоненкиса]], емкость алгоритмов обучения. [[Принцип минимальной длины описания]], его эквивалентность максимуму регуляризованного правдоподобия. Информационные [[Информационный критерий Акаике|критерии Акаике]] и [[Информационный критерий Байеса-Шварца|Байеса-Шварца]], область их применения.
| + | |
- | | + | |
- | ''Ликбез'': теорема Шеннона и оптимальная длина описания.
| + | |
- | | + | |
- | === Байесовский подход к теории вероятностей. Примеры байесовских рассуждений. ===
| + | |
- | Частотный и вероятностный подходы к теории вероятностей. Интерпретация вероятности как меры нашего незнания, сравнение байесовских рассуждений с логическими. Байесовские сети и основные задачи в них. Пример жизненной ситуации «Джон и колокольчик для воров». Вывод формул для апостериорных вероятностей.
| + | |
- | | + | |
- | ''Ликбез'': условная вероятность, формула Байеса и ее применение, формула полной вероятности.
| + | |
- | | + | |
- | === Решение задачи выбора модели по Байесу. Обоснованность модели. Полный байесовский вывод. ===
| + | |
- | Вывод формул для принятия решения. Принцип наибольшей обоснованности как метод максимального правдоподобия для моделей. Половинчатость данного подхода, полный вывод по Байесу. Интерпретация понятия обоснованности, ее геометрический смысл, бессмысленность сколь-угодно гибкого решающего правила, иллюстративные примеры, связь с [[Принцип Оккама|принципом Оккама]].
| + | |
- | | + | |
- | ''Ликбез'': принцип Оккама, ad hoc гипотезы.
| + | |
- | | + | |
- | === Применение принципа наибольшей обоснованности на примере метода релевантных векторов ===
| + | |
- | [[Метод релевантных векторов]], вывод формул для регрессии. Приближение Лапласа для оценки обоснованности в случае задачи классификации, его достоинства и недостатки. Свойства решающего правила RVM.
| + | |
- | | + | |
- | ''Ликбез'': матричные тождества обращения, тождество Вудбери.
| + | |
- | | + | |
- | === Недиагональная регуляризация обобщенных линейных моделей. Гауссовское и Лапласовское априорные распределения. ===
| + | |
- | Свойства гауссовского и лапласовского регуляризаторов, трудности использования последнего в методе релевантных векторов. Метод релевантных собственных векторов, идея диагонализации правдоподобия. Вывод формул для оценки обоснованности.
| + | |
- | | + | |
- | ''Ликбез'': Неотрицательно определенные матрицы. Лапласовское распределение.
| + | |
- | | + | |
- | === Общее решение для недиагональной квадратичной регуляризации ===
| + | |
- | Получение выражения для обоснованности в явном виде в семействе произвольных симметричных неотрицательно определенных матриц регуляризации. Условие релевантности.
| + | |
- | | + | |
- | ''Ликбез'': Дифференцирование по матрице и по вектору.
| + | |
- | | + | |
- | === Способы оценки обоснованности: Вариационный метод, методы Монте-Карло. ===
| + | |
- | Взятие интегралов методами Монте-Карло, голосование по апостериорному распределению вместо точечной оценки. Схема Гиббса. Гибридные методы Монте-Карло. Приближение обоснованности гауссианой. Идея вариационного подхода, вывод формул для линейной регрессии.
| + | |
- | | + | |
- | ''Ликбез'': дивергенция Кульбака-Лейблера, гамма-распределение.
| + | |
- | | + | |
- | === Графические модели. Гауссовские процессы в машинном обучении. ===
| + | |
- | [[Иерархическая байесовская модель|Иерархические байесовские модели]]. Ориентированные и неориентированные модели. Элементарные графы. Гауссовские процессы в задачах регрессии и классификации. Выбор наиболее адекватной ковариационной функции.
| + | |
- | | + | |
- | ''Ликбез'': условная независимость, случайные процессы.
| + | |
- | | + | |
- | === Непрерывное обобщение информационного критерия Акаике и его применение в задаче отбора признаков для линейной регрессии. ===
| + | |
- | Классический критерий Акаике и трудности его использования на практике. Обобщение критерия Акаике на непрерывный случай. Алгоритм автоматического определения значимости на основе непрерывного критерия Акаике.
| + | |
- | | + | |
- | ''Ликбез'': свойства оценок максимального правдоподобия, информационная матрица Фишера, формула блочного обращения.
| + | |
- | | + | |
- | === Общее решение для недиагональной квадратичной регуляризации ===
| + | |
- | Получение выражений для обоснованности и непрерывного критерия Акаике в явном виде в семействе произвольных симметричных неотрицательно определенных матриц регуляризации. Доказательство эквивалентности оптимальных матриц регуляризации в рамках обоих подходов.
| + | |
- | | + | |
- | ''Ликбез'': Дифференцирование по матрице и по вектору.
| + | |
- | | + | |
- | == Расписание занятий ==
| + | |
- | В 2009 году курс читается по четвергам на факультете ВМиК МГУ, в ауд. 671, начало в 16-20.
| + | |
- | | + | |
- | {| class="standard"
| + | |
- | !Дата||Занятие
| + | |
- | |-
| + | |
- | |10 сентября 2009||Лекция 1
| + | |
- | |-
| + | |
- | |17 сентября 2009||Лекция 2
| + | |
- | |-
| + | |
- | |1 октября 2009||Лекция 3
| + | |
- | |-
| + | |
- | |8 октября 2009||Лекция 4
| + | |
- | |-
| + | |
- | |22 октября 2009||Лекция 5
| + | |
- | |-
| + | |
- | |29 октября 2009||Лекция 6
| + | |
- | |-
| + | |
- | |5 ноября 2009||Лекция 7
| + | |
- | |-
| + | |
- | |12 ноября 2009||Лекция 8
| + | |
- | |-
| + | |
- | |19 ноября 2009||Лекция 9
| + | |
- | |-
| + | |
- | |26 ноября 2009||Лекция 10
| + | |
- | |-
| + | |
- | |3 декабря 2009||Лекция 11
| + | |
- | |-
| + | |
- | |10 декабря 2009||Лекция 12
| + | |
- | |-
| + | |
- | |17 декабря 2009||Экзамен
| + | |
- | |-
| + | |
- | |}
| + | |
- | | + | |
- | == Литература ==
| + | |
- | # ''Bishop C.M.'' Pattern Recognition and Machine Learning. Springer, 2006.
| + | |
- | # ''Mackay D.J.C.'' [http://www.inference.phy.cam.ac.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms.] Cambridge University Press, 2003.
| + | |
- | # ''Tipping M.'' [http://www.jmlr.org/papers/volume1/tipping01a/tipping01a.pdf Sparse Bayesian Learning.] Journal of Machine Learning Research, 1, 2001, pp. 211-244.
| + | |
- | # ''Шумский С.А.'' Байесова регуляризация обучения. В сб. Лекции по нейроинформатике, часть 2, 2002.
| + | |
- | # ''Ветров Д.П., Кропотов Д.А.'' Алгоритмы выбора моделей и синтеза коллективных решений в задачах классификации, основанные на принципе устойчивости. — М.: УРСС, 2006.
| + | |
- | # ''Kropotov D., Vetrov D.'' [http://www.machinelearning.org/proceedings/icml2007/papers/140.pdf On One Method of Non-Diagonal Regularization in Sparse Bayesian Learning.] Proc. of 24th International Conference on Machine Learning (ICML'2007).
| + | |
- | # ''Kropotov D., Vetrov D.'' On Equivalence of Information-Based and Bayesian Approaches to Model Selection for Linear Regression Problems. Proc. of 9th International Conference "Pattern Recognition and Image Analysis: New Information Technologies" (PRIA-9-2008).
| + | |
- | | + | |
- | <!---
| + | |
- | # ''Лапач С. Н. , Чубенко А. В., Бабич П. Н.'' Статистика в науке и бизнесе. — Киев: Морион, 2002.
| + | |
- | # ''Лагутин М. Б.'' Наглядная математическая статистика. В двух томах. — М.: П-центр, 2003.
| + | |
- | # ''Лукашин Ю. П.'' Адаптивные методы краткосрочного прогнозирования временных рядов. — М.: Финансы и статистика, 2003.
| + | |
- | # ''Магнус Я. Р., Катышев П. К., Пересецкий А. А.'' Эконометрика. Начальный курс: Учеб. — 7-е изд., испр. — М.: Дело, 2005.
| + | |
- | # ''Кобзарь А. И.'' Прикладная математическая статистика. — М.: Физматлит, 2006.
| + | |
- | # ''Орлов А. И.'' Эконометрика. — М.: Экзамен, 2003.
| + | |
- | # ''Айвазян С. А., Мхитарян В. С.'' Прикладная статистика. Том 1. Теория вероятностей и прикладная статистика. — М.: Юнити, 2001.
| + | |
- | # ''Айвазян С. А.'' Прикладная статистика. Том 2. Основы эконометрики. — М.: Юнити, 2001.
| + | |
- | # ''Кулаичев А. П.'' Методы и средства комплексного анализа данных. — М.: Форум–Инфра-М, 2006.
| + | |
- | # ''Тюрин Ю. Н., Макаров А. А.'' Анализ данных на компьютере. — М.: Инфра-М, 2003.
| + | |
- | # ''Вучков И., Бояджиева А., Солаков Е.'' Прикладной линейный регрессионный анализ. — М.: Финансы и статистика, 1987.
| + | |
- | # {{Публикация:Hastie 2001 The Elements of Statistical Learning}}
| + | |
- | | + | |
- | #''Strijov, V., Shakin, V.'' [http://strijov.com/papers/10-v_strijov.pdf Index construction: the expert-statistical method]. // Environmental research, engineering and management 2003. No.4 (26), P.51-55.
| + | |
- | #''Стрижов В. В., Казакова Т. В.'' [http://strijov.com/papers/stable_idx4zavlab_after_recenz.pdf Устойчивые интегральные индикаторы с выбором опорного множества описаний]. // Заводская лаборатория. Диагностика материалов. 2007 (7). C. 72-76.
| + | |
- | #''Литвак Б. Г.'' Экспертная информация: Методы получения и анализа. – М.: Радио и связь, 1982. – 184 с.
| + | |
- | #''Стрижов В. В.'' [http://strijov.com/papers/strijov06precise.pdf Уточнение экспертных оценок с помощью измеряемых данных]. // Заводская лаборатория. Диагностика материалов. 2006 (7). С.59-64.
| + | |
- | | + | |
- | | + | |
- | == Ссылки ==
| + | |
- | * [http://ru.wikipedia.org/wiki/%D0%A1%D1%82%D0%B0%D1%82%D0%B8%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B0%D1%8F_%D0%B3%D0%B8%D0%BF%D0%BE%D1%82%D0%B5%D0%B7%D0%B0 Википедия: Проверка статистических гипотез]
| + | |
- | * [http://ru.wikipedia.org/wiki/%D0%A1%D1%82%D0%B0%D1%82%D0%B8%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%BA%D1%80%D0%B8%D1%82%D0%B5%D1%80%D0%B8%D0%B9 Википедия: Статистический критерий]
| + | |
- | * [http://www.statsoft.ru/home/portal/default.asp Статистический Портал StatSoft]
| + | |
- | * [http://www.statsoft.ru/home/textbook/glossary Электронный статистический словарь StatSoft]
| + | |
- | | + | |
- | --->
| + | |
- | | + | |
- | == См. также ==
| + | |
- | [[Математические методы прогнозирования (кафедра ВМиК МГУ)]]
| + | |
- | | + | |
- | [[Категория:Учебные курсы]]
| + | |