Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)
Материал из MachineLearning.
(Добавлено расписание занятий) |
(Добавлена литература к курск) |
||
| Строка 48: | Строка 48: | ||
|} | |} | ||
| - | |||
== Литература == | == Литература == | ||
| + | # ''Bishop C.M.'' Pattern Recognition and Machine Learning. Springer, 2006. | ||
| + | # ''Mackay D.J.C.'' Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003. | ||
| + | # ''Tipping M.'' Sparse Bayesian Learning. Journal of Machine Learning Research, 1, 2001, pp. 211-244. | ||
| + | # ''Шумский С.А.'' Байесова регуляризация обучения. В сб. Лекции по нейроинформатике, часть 2, 2002. | ||
| + | # ''Ветров Д.П., Кропотов Д.А.'' Алгоритмы выбора моделей и синтеза коллективных решений в задачах классификации, основанные на принципе устойчивости. — М.: УРСС, 2006. | ||
| + | # ''Kropotov D., Vetrov D.'' On One Method of Non-Diagonal Regularization in Sparse Bayesian Learning. Proc. of 24th International Conference on Machine Learning (ICML'2007). | ||
| + | # ''Kropotov D., Vetrov D.'' On Equivalence of Information-Based and Bayesian Approaches to Model Selection for Linear Regression Problems. Proc. of 9th International Conference "Pattern Recognition and Image Analysis: New Information Technologies" (PRIA-9-2008). | ||
| + | |||
| + | <!--- | ||
# ''Лапач С. Н. , Чубенко А. В., Бабич П. Н.'' Статистика в науке и бизнесе. — Киев: Морион, 2002. | # ''Лапач С. Н. , Чубенко А. В., Бабич П. Н.'' Статистика в науке и бизнесе. — Киев: Морион, 2002. | ||
# ''Лагутин М. Б.'' Наглядная математическая статистика. В двух томах. — М.: П-центр, 2003. | # ''Лагутин М. Б.'' Наглядная математическая статистика. В двух томах. — М.: П-центр, 2003. | ||
Версия 10:52, 11 сентября 2009
|
Курс посвящен т.н. байесовским методам машинного обучения (классификации, прогнозирования, восстановления регрессии), которые в настоящее время активно развиваются в мире. Байесовский подход к теории вероятностей является альтернативой классическому частотному подходу. Здесь вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.
Цели курса:
- Ознакомление с классическими методами обработки данных, особенностями их применения на практике и их недостатками
- Представление современных проблем теории машинного обучения
- Введение в байесовские методы машинного обучения
- Изложение последних достижений в области практического использования байесовских методов
- Напоминание основных результатов из смежных дисциплин (теория кодирования, анализ, матричные вычисления, статистика, линейная алгебра, теория вероятностей, случайные процессы)
Курс читается студентам ВМиК МГУ, начиная с 2007 года. Курс не требует от студентов дополнительной математической подготовки, выходящей за пределы первых двух курсов университетского образования, все необходимые понятия вводятся в ходе лекций. В ходе чтения курса студенты будут ознакомлены с передним краем научных исследований в теории машинного обучения и существующими проблемами.
Программа курса
Расписание занятий
В 2009 году курс проходит по четвергам на факультете ВМиК МГУ, в ауд. 777, начало в 16-20.
| Дата | Занятие |
|---|---|
| 10 сентября | Лекция 1 |
| 17 сентября | Лекция 2 |
| 1 октября | Лекция 3 |
| 8 октября | Лекция 4 |
| 22 октября | Лекция 5 |
| 29 октября | Лекция 6 |
| 5 ноября | Лекция 7 |
| 12 ноября | Лекция 8 |
| 19 ноября | Лекция 9 |
| 26 ноября | Лекция 10 |
| 3 декабря | Лекция 11 |
| 10 декабря | Лекция 12 |
| 17 декабря | Экзамен |
Литература
- Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
- Mackay D.J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
- Tipping M. Sparse Bayesian Learning. Journal of Machine Learning Research, 1, 2001, pp. 211-244.
- Шумский С.А. Байесова регуляризация обучения. В сб. Лекции по нейроинформатике, часть 2, 2002.
- Ветров Д.П., Кропотов Д.А. Алгоритмы выбора моделей и синтеза коллективных решений в задачах классификации, основанные на принципе устойчивости. — М.: УРСС, 2006.
- Kropotov D., Vetrov D. On One Method of Non-Diagonal Regularization in Sparse Bayesian Learning. Proc. of 24th International Conference on Machine Learning (ICML'2007).
- Kropotov D., Vetrov D. On Equivalence of Information-Based and Bayesian Approaches to Model Selection for Linear Regression Problems. Proc. of 9th International Conference "Pattern Recognition and Image Analysis: New Information Technologies" (PRIA-9-2008).
