Математические основы теории прогнозирования (курс лекций)
Материал из MachineLearning.
| Курс посвящен изучению современных методов диагностики и прогнозирования, основанных на машинном обучении, а также современных методов интеллектуального анализа данных. Даётся обзор современных методов распознавания, включая статистические, нейросетевые, комбинаторно-логические, алгебраические модели, модель опорных векторов. Рассматривается основная проблематика методов машинного обучения, включая эффект переобучения. Изучаются вопросы оценки точности классифицирующих правил или прогностических функций. Рассматривается метод ROC анализа. Изучаются методы интеллектуального анализа данных, включая методы кластерного анализа, многомерного шкалирования, а также метод главных компонент. Рассматриваются математические модели анализа надёжности. |
Лектор: Сенько Олег Валентинович
Ассистенты: Ветров Д.П., Кропотов Д.А.
Свои вопросы по курсу и пожелания можно оставлять на вкладке «Обсуждение» к этой странице или направлять письмом по адресу bayesml@gmail.com, в название письма просьба добавлять [МОТП13].
В весеннем семестре 2013 года курс читается на ВМК по средам в ауд. П-8а, начало в 10:30.
Экзамен
На экзамене при подготовке билета разрешается пользоваться любыми материалами.
Вопросы к экзамену + теоретический минимум (pdf)
Контрольная работа
В программе курса предусмотрена письменная контрольная работа. Успешное написание контрольной работы является обязательным условием допуска к экзамену по курсу. При отсутствии допуска студент пишет контрольную работу на экзамене и в случае успеха сдает экзамен на первой пересдаче.
При написании контрольной работы разрешается пользоваться любыми бумажными материалами, а также калькуляторами. Использование электронных устройств (кроме калькуляторов) запрещено.
Пример варианта из контрольной (PDF)
Тестовый вариант 2012 года (PDF)
Презентации к лекциям
| Лекция | Презентация | Презентация на белом фоне для печати |
|---|---|---|
| 1 | Презентация (pdf) | Презентация (pdf) |
| 2 | Презентация (pdf) | Презентация (pdf) |
| 3 | Презентация (pdf) | Презентация (pdf) |
| 4 | Презентация (pdf) | Презентация (pdf) |
| 5 | Презентация (pdf) | Презентация (pdf) |
| 6 | Презентация (pdf) | Презентация (pdf) |
| 7 | Презентация (pdf) | |
| 8 | Презентация (pdf) | |
| 9 | Презентация (pdf) | |
| 10 | Презентация (pdf) | |
| 11 | Презентация (pdf) | |
| 12 | Презентация (pdf) |
Программа курса
- Область применения методов, основанных на обучении по прецедентам. Способ обучения, основанный на минимизации эмпирического риска.
- Понятие обобщающей способности. Способы оценки обобщающей способности. Смысл эффекта переобучения.
- Теоретические подходы к исследованию обобщающей способности. Байесовский классификатор. Лемма Неймана-Пирсона. Основные положения теории Вапника-Червоненкиса.
- Простая и многомерная линейная регрессия.
- Структура алгоритма распознавания. Оценка эффективности распознающих операторов. ROC-анализ.
- Статистические методы распознавания.
- Комбинаторно-логические методы. Алгоритмы вычисления оценок.
- Нейросетевые методы.
- Метод опорных векторов.
- Решающие деревья.
- Коллективные методы распознавания. Простые комитетные методы. Наивный байесовский классификатор. Логическая коррекция. Основы алгебраической коррекции. Операции над распознающими операторами. Линейное и алгебраическое замыкания множеств распознающих операторов.
- Методы, основанные на коллективных решениях по наборам логических закономерностей, а также по областям признакового пространства, выделенных с помощью оптимальных разбиений.
- Методы кластерного анализа. Методы проектирования многомерных векторов описаний объектов обучающей выборки на плоскость. Метод главных компонент.
- Методы анализа выживаемости (надёжности). Кривые выживаемости. Оценки Каплан-Майера. Модель Кокса.
- Методы прогнозирования временных рядов.
Литература
- Журавлев Ю.И., Рязанов В.В., Сенько О.В. Распознавание. Математические методы. Программная система. Практические применения, М.: Фазис, 2006. (ISBN 5-7036-0108-8)
- Ветров Д.П., Кропотов Д.А. Байесовские методы машинного обучения, учебное пособие по спецкурсу, 2007 (Часть 1, PDF 1.22МБ; Часть 2, PDF 1.58МБ)
- Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
Страницы курса прошлых лет
См. также
Видео-лекции по курсу «Машинное обучение» в Школе анализа данных Яндекса
Простой в освоении видео-курс по машинному обучению (на английском)
