Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)
Материал из MachineLearning.
|
Курс посвящен т.н. байесовским методам машинного обучения (классификации, прогнозирования, восстановления регрессии), которые в настоящее время активно развиваются в мире. Байесовский подход к теории вероятностей является альтернативой классическому частотному подходу. Здесь вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.
Цели курса:
- Ознакомление с классическими методами обработки данных, особенностями их применения на практике и их недостатками
- Представление современных проблем теории машинного обучения
- Введение в байесовские методы машинного обучения
- Изложение последних достижений в области практического использования байесовских методов
- Напоминание основных результатов из смежных дисциплин (теория кодирования, анализ, матричные вычисления, статистика, линейная алгебра, теория вероятностей, случайные процессы)
Курс читается студентам ВМиК МГУ, начиная с 2007 года. Курс не требует от студентов дополнительной математической подготовки, выходящей за пределы первых двух курсов университетского образования, все необходимые понятия вводятся в ходе лекций. В ходе чтения курса студенты будут ознакомлены с передним краем научных исследований в теории машинного обучения и существующими проблемами.
Программа курса
Расписание занятий
В 2009 году курс проходит по четвергам на факультете ВМиК МГУ, в ауд. 777, начало в 16-20.
Дата | Занятие |
---|---|
10 сентября | Лекция 1 |
17 сентября | Лекция 2 |
1 октября | Лекция 3 |
8 октября | Лекция 4 |
22 октября | Лекция 5 |
29 октября | Лекция 6 |
5 ноября | Лекция 7 |
12 ноября | Лекция 8 |
19 ноября | Лекция 9 |
26 ноября | Лекция 10 |
3 декабря | Лекция 11 |
10 декабря | Лекция 12 |
17 декабря | Экзамен |
Литература
- Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
- Mackay D.J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
- Tipping M. Sparse Bayesian Learning. Journal of Machine Learning Research, 1, 2001, pp. 211-244.
- Шумский С.А. Байесова регуляризация обучения. В сб. Лекции по нейроинформатике, часть 2, 2002.
- Ветров Д.П., Кропотов Д.А. Алгоритмы выбора моделей и синтеза коллективных решений в задачах классификации, основанные на принципе устойчивости. — М.: УРСС, 2006.
- Kropotov D., Vetrov D. On One Method of Non-Diagonal Regularization in Sparse Bayesian Learning. Proc. of 24th International Conference on Machine Learning (ICML'2007).
- Kropotov D., Vetrov D. On Equivalence of Information-Based and Bayesian Approaches to Model Selection for Linear Regression Problems. Proc. of 9th International Conference "Pattern Recognition and Image Analysis: New Information Technologies" (PRIA-9-2008).