Просмотр

Материал из MachineLearning.

У вас нет прав на выполнение этой операции по следующим причинам:

• Запрошенное действие могут выполнять только участники из групп emailconfirmed, Администраторы.
• Вы должны подтвердить ваш адрес электронной почты перед правкой страниц. Пожалуйста, введите и подтвердите ваш адрес эл. почты на странице настроек.

Вы можете просмотреть и скопировать исходный текст этой страницы:

__NOTOC__ {{notice|Студенты, успешно сдавшие спецкурс, могут в любое время (и в любом семестре) проставить оценки в зачетку и отрывную ведомость у Д.П. Ветрова. Наличие отрывной ведомости ОБЯЗАТЕЛЬНО!}} {| |[[Изображение:BMMO11_Intro.jpg|280px]] | valign="top"|Курс посвящен т.н. байесовским методам решения различных задач [[Машинное обучение|машинного обучения]] (классификации, прогнозирования, [[Регрессионный анализ|восстановления регрессии]]), которые в настоящее время активно развиваются в мире. Байесовский подход к теории вероятностей позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и проч. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики. |} Авторы курса: н.с. каф. [[ММП]] [[Участник:Dmitry Vetrov|Ветров Д.П.]], м.н.с. [[ВЦ РАН]] [[Участник:Kropotov|Кропотов Д.А.]]. Курс читается студентам [[ВМиК МГУ|ВМиК МГУ]], начиная с 2007 года. Курс не требует от студентов дополнительной математической подготовки, выходящей за пределы первых двух курсов университетского образования, все необходимые понятия вводятся в ходе лекций. В осеннем семестре 2013 года занятия по курсу проходят по вторникам в ауд. 526б, начало в 16-20. Первое занятие 1 октября. Вопросы и комментарии по курсу можно оставлять на вкладке «Обсуждение» к этой странице или направлять письмом по адресу bayesml@gmail.com. При этом в название письма просьба добавлять [БММО13]. == Оценка за курс == В рамках курса студентам предлагается выполнить два практических задания. Выполнение этих заданий является обязательным условием для допуска к экзамену и, соответственно, успешной сдачи курса. Итоговая оценка за курс вычисляется по формуле 0.25*(оценка за первое задание)+0.25*(оценка за второе задание)+0.5*(оценка за экзамен). Экзамен состоится 24 декабря в ауд. 524 в 1620. Вопросы к экзамену: 1. Различные постановки задач машинного обучения. 2. Байесовский подход к теории вероятностей. Примеры байесовских рассуждений. 3. Задача выбора модели. Небайесовские методы выбора модели. 4. Задача выбора модели. Принцип наибольшей обоснованности. 5. Дифференцирование матриц и по матрице. 6. Линейная регрессия. Метод релевантных векторов. 7. Логистическая регрессия. Метод релевантных векторов для задачи классификации 8. ЕМ-алгоритм. Примеры использования. 9. Вариационный байесовский вывод. 10. Вероятностная модель смеси гауссиан. 11. Латентное размещение Дирихле. {|class = "standard sortable" ! class="unsortable"|№ п/п !! Студент !! Задание 1 !! Задание 2 !! Устный экзамен !! Итого |- | align="center"|1 || Жмудь - 203 || || || || |- | align="center"|2 || Коняхин - 203|| || || || |- | align="center"|3 || Молчанов - 203 || 5 || 5 || 5 || 5 |- | align="center"|4 || Юкова - 203|| 5 || 5 || 4 || 5 |- | align="center"|5 || Швец - 416|| || || || |- | align="center"|6 || Кульпинов - 202 || 5 || || || |- | align="center"|7 || Чабаненко - 204|| 5 || 5 || 4 || 5 |- | align="center"|8 || Галков - 205|| || || || |- | align="center"|9 || Тавыриков - 205 || || || || |- | align="center"|10 || Казорин - ВВО|| 4.2 || || || |- | align="center"|11 || Колосков - 204|| || || || |- | align="center"|12 || Комалов - 210 || || || || |- | align="center"|13 || Белоусов - 210|| || || || |- | align="center"|14 || Чиркова - 210|| || || || |- | align="center"|15 || Даулбаев - 205 || || || || |- | align="center"|16 || Иванов - 203|| 5 || 5 || 5 || 5 |- | align="center"|17 || Кондрашкин - 517 || 5 || 4.9 || 5 || 5 |- | align="center"|18 || Ибадов - 420|| || || || |- | align="center"|19 || Чепарухин - 214|| 3.0 || || || |- | align="center"|20 || Панкратов - 205|| 4.1 || || || |- | align="center"|21 || Борисов - 525|| || || || |- | align="center"|22 || Дремов - 205|| || || || |- | align="center"|23 || Щемирова - 205|| 4.0 || || || |- | align="center"|24 || Нижибицкий - 517|| 5 || 5 || 4 || 5 |- | align="center"|25 || Горячих - 210|| || || || |- | align="center"|26 || Захаров - 317||4.7 || || 5 || |- | align="center"|27 || Ямшинин - ВВО|| || || || |- |} == Практические задания == [[БММО (курс лекций)/2013осень/Задание 1| Задание 1]] [[БММО (курс лекций)/2013осень/Задание 2| Задание 2]] == Программа курса == === Введение в курс. Различные постановки задач машинного обучения === Обзор задач анализа данных: классификация, регрессия, кластеризация, идентификация. Примеры. Историческая справка. Основные проблемы теории распознавания образов: переобучение, противоречивость информации, малый объем [[Выборка|выборки]]. Иллюстративные примеры переобучения, связь переобучения и объема выборки. Дискриминативные и порождающие (вероятностные) модели. ''Ликбез'': основные понятия теории вероятностей (математическое ожидание, дисперсия, ковариационная матрица, плотность вероятности, функция правдоподобия), метод максимального правдоподобия. [[Media:BMMO11_1.pdf|Презентация (PDF, 353Кб)]] === Байесовский подход к теории вероятностей. Примеры байесовских рассуждений. === Частотный и вероятностный подходы к теории вероятностей. Интерпретация вероятности как меры нашего незнания, сравнение байесовских рассуждений с логическими. Байесовские сети и основные задачи в них. Пример жизненной ситуации «Джон и колокольчик для воров». Вывод формул для апостериорных вероятностей. ''Ликбез'': условная вероятность, формула Байеса и ее применение, формула полной вероятности. [[Media:BMMO11_2.pdf|Презентация (PDF, 260Кб)]], [[Media:Lecture7_2012.pdf|Конспект (PDF)]] === Байесовский подход и Акинатор === Пример применения байесовских рассуждений для игры [http://ru.akinator.com/ Акинатор]. [[Media:BayesML-2010-Yangel-Akinator.pdf|Презентация (PDF, 304Кб)]] Пример работы программы «Пифия»: <videoflash type="youtube">-RZCKnudOoM|600|370</videoflash> === Задача выбора модели на примере выбора коэффициента регуляризации, ядровой функции, настройки структурных параметров алгоритма обучения. Основные методы выбора модели. === Общая постановка проблемы выбора модели, ее философский характер. Конкретные примеры структурных параметров. [[Кросс-валидация]]. [[Теория Вапника-Червоненкиса]], емкость алгоритмов обучения. [[Принцип минимальной длины описания]], его эквивалентность максимуму регуляризованного правдоподобия. Информационные [[Информационный критерий Акаике|критерии Акаике]] и [[Информационный критерий Байеса-Шварца|Байеса-Шварца]], область их применения. ''Ликбез'': теорема Шеннона и оптимальная длина описания. [[Media:BMMO11_4.pdf|Презентация (PDF, 362Кб)]] === Решение задачи выбора модели по Байесу. Обоснованность модели. Полный байесовский вывод. === Вывод формул для принятия решения. Принцип наибольшей обоснованности как метод максимального правдоподобия для моделей. Половинчатость данного подхода, полный вывод по Байесу. Интерпретация понятия обоснованности, ее геометрический смысл, бессмысленность сколь-угодно гибкого решающего правила, иллюстративные примеры, связь с [[Принцип Оккама|принципом Оккама]]. ''Ликбез'': принцип Оккама, ad hoc гипотезы. [[Media:BMMO11_5.pdf|Презентация (PDF, 376Кб)]] === Матричные вычисления и [[Нормальное распределение|нормальное распределение]]. === Дивергенция Кульбака-Лейблера, ее использование для поиска аппроксимации вероятностных распределений. Векторно-матричные преобразования, дифференцирование по вектору и по матрице. Основные матричные тождества. Одномерное и многомерное нормальное распределение, его основные свойства. [[Media:BMMO11_6.pdf|Текст (PDF, 374Кб)]]<br> <u>Рекомендуется к прочтению:</u> [http://cs.nyu.edu/~roweis/notes.html Заметки по матричным вычислениям и свойствам гауссовских распределений] === Линейная регрессия и [[Метод релевантных векторов|метод релевантных векторов]] для задачи регрессии === Обобщенные линейные модели, вероятностная модель линейной регрессии. Метод релевантных векторов, вывод формул для регрессии. Приближение Лапласа для оценки обоснованности в случае задачи классификации, его достоинства и недостатки. Свойства решающего правила RVM. [[Media:BMMO11_7.pdf|Презентация (PDF, 507Кб)]] === [[ЕМ-алгоритм, его модификации и обобщения|EM-алгоритм]] и метод релевантных векторов для задачи классификации === Метод оптимизации Ньютона. EM-алгоритм в общем виде. EM-алгоритм как покоординатный подъем. ЕМ-алгоритм для задачи разделения смеси нормальных распределений. Логистическая и мультиномиальная регрессия. Метод релевантных векторов для задачи классификации. [[Media:BMMO11_8.pdf|Текст (PDF, 979Кб)]] === Приближенные способы байесовского вывода: вариационный подход. === Приближенные методы байесовского вывода. Минимизация дивергенции Кульбака-Лейблера и факторизованное приближение. Идея вариационного подхода, вывод формул для вариационной линейной регрессии. ''Ликбез'': дивергенция Кульбака-Лейблера, гамма-распределение. [[Media:BMMO11_9.pdf|Текст (PDF, 112Кб)]] === Приближенные способы байесовского вывода: методы Монте-Карло с марковскими цепями. === Методы Монте Карло для оценки вероятностных интегралов в байесовском подходе. Методы генерации одномерной случайной величины. Идея методов Монте Карло по схеме марковских цепей. Теоретические свойства марковских цепей. Схема Метрополиса-Хастингса. Схема Гиббса. Применение схемы Гиббса для марковских сетей. Оценка нормировочной константы распределения с помощью схемы Гиббса. [[Media:BMMO11_10.pdf|Текст (PDF, 97Кб)]] === Байесовский метод главных компонент. === Задача уменьшения размерности в данных. Метод главных компонент. ЕМ-алгоритм для обучения метода главных компонент. Учет пропусков в данных. Байесовский вариант метода главных компонент для автоматического выбора размерности редуцированного пространства. Модель смеси главных компонент. [[Media:BMMO11_11.pdf|Текст (PDF, 769Кб)]] === Латентное размещение Дирихле. === Задача рубрикации текстов. Вероятностная модель порождения текста как смеси тем. Применение вариационного ЕМ-алгоритма для обучения тематической модели. [[Media:BMMO11_14.pdf|Текст (PDF, 481Кб)]] == Литература == # ''Barber D.'' [http://www0.cs.ucl.ac.uk/staff/d.barber/brml/ Bayesian Reasoning and Machine Learning.] Cambridge University Press, 2012. # Простые и удобные [http://cs.nyu.edu/~roweis/notes.html заметки по матричным вычислениям и свойствам гауссовских распределений] # [http://matthias.vallentin.net/probability-and-statistics-cookbook/ Памятка по теории вероятностей] # ''Ветров Д.П., Кропотов Д.А.'' Байесовские методы машинного обучения, учебное пособие по спецкурсу, 2007 ([[Медиа:BayesML-2007-textbook-1.pdf|Часть 1, PDF 1.22МБ]]; [[Медиа:BayesML-2007-textbook-2.pdf|Часть 2, PDF 1.58МБ]]) # ''Bishop C.M.'' [http://research.microsoft.com/en-us/um/people/cmbishop/prml/ Pattern Recognition and Machine Learning.] Springer, 2006. # ''Mackay D.J.C.'' [http://www.inference.phy.cam.ac.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms.] Cambridge University Press, 2003. # ''Tipping M.'' [http://www.jmlr.org/papers/volume1/tipping01a/tipping01a.pdf Sparse Bayesian Learning.] Journal of Machine Learning Research, 1, 2001, pp. 211-244. # ''Шумский С.А.'' [http://www.niisi.ru/iont/ni/Library/School-2002/Shumsky-2002.pdf Байесова регуляризация обучения.] В сб. Лекции по нейроинформатике, часть 2, 2002. == Страницы курса прошлых лет == [[Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов, 2010)|2010 год]]<br> [[Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/2011|2011 год]]<br> [[Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/весна 2013|весна 2013 года]] == См. также == [[ГМ|Курс «Графические модели»]] [[Спецсеминар "Байесовские методы машинного обучения"|Спецсеминар «Байесовские методы машинного обучения»]] [[Математические методы прогнозирования (кафедра ВМиК МГУ)]] [[Категория:Учебные курсы]] [[Категория:Байесовские методы]]

• Шаблон:Mbox
• Шаблон:Notice

Возврат к странице Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/осень 2013.