Математические основы теории прогнозирования (курс лекций)
Материал из MachineLearning.
(+ презентация к лекции 1) |
(+ презентация к лекции 2) |
||
| Строка 1: | Строка 1: | ||
__NOTOC__ | __NOTOC__ | ||
| - | {{notice|Внимание! Лекции по курсу | + | {{notice|Внимание! Лекции по курсу проходят по пятницам 1-ой парой (начало в 8-45) в ауд. П-14.}} |
{| border="0" | {| border="0" | ||
| Строка 12: | Строка 12: | ||
== Контрольная работа == | == Контрольная работа == | ||
В программе курса предусмотрена письменная контрольная работа. Успешное написание контрольной работы является обязательным условием допуска к экзамену по курсу. | В программе курса предусмотрена письменная контрольная работа. Успешное написание контрольной работы является обязательным условием допуска к экзамену по курсу. | ||
| + | |||
| + | == Презентации к лекциям == | ||
| + | {|class="standard" | ||
| + | ! Лекция !! Материалы | ||
| + | |- | ||
| + | | align="center"|1 || [[Media:MOTP12_1.pdf|Презентация (PDF, 364Кб)]] | ||
| + | |- | ||
| + | | align="center"|2 || [[Media:MOTP12_2.pdf|Презентация (PDF, 302Кб)]] | ||
| + | |- | ||
| + | |} | ||
== Программа курса == | == Программа курса == | ||
| Строка 17: | Строка 27: | ||
==== Различные постановки задач [[Машинное обучение|машинного обучения]] ==== | ==== Различные постановки задач [[Машинное обучение|машинного обучения]] ==== | ||
Постановка задач машинного обучения. Задачи распознавания и прогнозирования числовых переменных по признаковым описаниям. Настройка алгоритмов по выборкам прецедентов. Обучающая [[Выборка|выборка]]. [[Обобщающая способность]]. Области использования методов машинного обучения. | Постановка задач машинного обучения. Задачи распознавания и прогнозирования числовых переменных по признаковым описаниям. Настройка алгоритмов по выборкам прецедентов. Обучающая [[Выборка|выборка]]. [[Обобщающая способность]]. Области использования методов машинного обучения. | ||
| - | |||
| - | |||
==== [[Байесовский классификатор|Байесовские классификаторы]] ==== | ==== [[Байесовский классификатор|Байесовские классификаторы]] ==== | ||
Версия 19:21, 22 февраля 2012
| Внимание! Лекции по курсу проходят по пятницам 1-ой парой (начало в 8-45) в ауд. П-14. |
| Курс посвящен изучению современных методов диагностики и прогнозирования, основанных на машинном обучении, а также современных методов интеллектуального анализа данных. Даётся обзор современных методов распознавания, включая статистические, нейросетевые, комбинаторно-логические, алгебраические модели, модель опорных векторов. Рассматривается основная проблематика методов машинного обучения, включая эффект переобучения. Изучаются вопросы оценки точности классифицирующих правил или прогностических функций. Рассматривается метод ROC анализа. Изучаются методы интеллектуального анализа данных, включая методы кластерного анализа, многомерного шкалирования, а также метод главных компонент. Рассматриваются математические модели анализа надёжности. |
Лектор: д.ф.-м.н. Сенько Олег Валентинович
Контрольная работа
В программе курса предусмотрена письменная контрольная работа. Успешное написание контрольной работы является обязательным условием допуска к экзамену по курсу.
Презентации к лекциям
| Лекция | Материалы |
|---|---|
| 1 | Презентация (PDF, 364Кб) |
| 2 | Презентация (PDF, 302Кб) |
Программа курса
Различные постановки задач машинного обучения
Постановка задач машинного обучения. Задачи распознавания и прогнозирования числовых переменных по признаковым описаниям. Настройка алгоритмов по выборкам прецедентов. Обучающая выборка. Обобщающая способность. Области использования методов машинного обучения.
Байесовские классификаторы
Верхние пределы точности. Оптимальные прогностические решения и классифицирующие правила. Байесовские классификаторы.
Методы оценки обобщающей способности алгоритмов
Кросс-проверка, скользящий контроль. Проблема переобучения.
Теоретические оценки обобщающей способности
Теория Вапника-Червоненкиса. Трёхкомпонентное разложение обобщённой ошибки.
ROC анализ
Структура распознающего алгоритма. Распознающий оператор и решающее правило. Кривые ROC анализа.
Методы распознавания, используемые в традиционном статистическом анализе
Методы, основанные на теореме Байеса. Восстановление плотностей вероятности: параметрические методы, ядерные методы. Линейный дискриминант Фишера. Метод ближайших соседей.
Множественная линейная регрессия
Оптимизация с помощью метода наименьших квадратов. Свойства оптимальных линейных регрессий.
Методы, основанные на принципе разделения
Линейная машина.
Метод опорных векторов
Линейный классификатор. Гиперплоскость, максимизирующая зазор между классами. Обучение классификатора как задача квадратичного программирования. Получение двойственной задачи для задачи квадратичного программирования. Ядровой переход. Опорные объекты. Настройка параметров метода.
Уменьшение размерности описания данных. Метод главных компонент
Проблема анализа многомерных данных. Метод главных компонент. Выбор размерности редуцированного пространства.
Литература
- Журавлев Ю.И., Рязанов В.В., Сенько О.В. Распознавание. Математические методы. Программная система. Практические применения, М.: Фазис, 2006. (ISBN 5-7036-0108-8)
- Ветров Д.П., Кропотов Д.А. Байесовские методы машинного обучения, учебное пособие по спецкурсу, 2007 (Часть 1, PDF 1.22МБ; Часть 2, PDF 1.58МБ)
- Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
Страницы курса прошлых лет
Ссылки
Машинное обучение (курс лекций, К.В. Воронцов)
Байесовские методы машинного обучения (спецкурс, Д.П. Ветров, Д.А. Кропотов, А.А. Осокин)
