МОТП/2012

Материал из MachineLearning.

Основная статья: Математические основы теории прогнозирования (курс лекций)

Курс посвящен изучению современных методов диагностики и прогнозирования, основанных на машинном обучении, а также современных методов интеллектуального анализа данных. Даётся обзор современных методов распознавания, включая статистические, нейросетевые, комбинаторно-логические, алгебраические модели, модель опорных векторов. Рассматривается основная проблематика методов машинного обучения, включая эффект переобучения. Изучаются вопросы оценки точности классифицирующих правил или прогностических функций. Рассматривается метод ROC анализа. Изучаются методы интеллектуального анализа данных, включая методы кластерного анализа, многомерного шкалирования, а также метод главных компонент. Рассматриваются математические модели анализа надёжности.

Лектор: д.ф.-м.н. Сенько Олег Валентинович

Контрольная работа

В программе курса предусмотрена письменная контрольная работа. Успешное написание контрольной работы является обязательным условием допуска к экзамену по курсу. При отсутствии допуска студент пишет контрольную работу на экзамене и в случае успеха сдает экзамен на первой пересдаче.

При написании контрольной работы разрешается пользоваться любыми бумажными материалами, а также калькуляторами. Использование электронных устройств (кроме калькуляторов) запрещено.

Тестовый вариант (PDF, 21Кб)

Список студентов, допущенных к экзамену по результатам контрольной работы

В фамилиях и номерах групп возможны неточности, т.к. почерк не всегда легко разобрать.

Представлены результаты с учетом всех переписываний до 11.09.

Группа 420	Группа 421	Группа 422	Группа 424	Группа 425	Группа 427	Группа 428	СФ	Группа не указана
Костин	Новикова	Пискун	Алейников	Свиридов	Шубин	Тарасевич	Сильдушкина	Долошказин
Кисляков	Новоторцев	Глонина	Леонова	Самохина	Фролов	Асташкин	Федосеенко	Путилин
Калужин	Акимов	Самойлов	Ветров	Попеско	Луговской	Мордань	Сендеров
Александрычева	Шальнов	Самосадный	Светлов	Переходько	Петушкова	Гомзин
Банников	Карпухин	Калистратова	Рогова	Пузиков	Ющенко	Синева
Исламгулов	Меркулов	Артемов	Костарев	Второв	Киров	Ефимов
Романенков	Батанов	Шилов	Мошкина	Степанов	Федоренко	Устинова
Куркин	Ерофеев	Плотников	Парамонов	Шариков	Акциперов	Терзи
Челнокова	Птенцов	Бабак	Копин	Баландюк-Опалинская	Пустовалов	Агаев
Лисица	Гурьянов	Булгаков	Вайсман	Куприков	Гладкова	Бадретдинов
	Зачесов	Ермишкин	Пояркова	Соколов	Сепевенко	Ушаков
	Сапатов	Жураховский	Лоза	Смагин	Коцыняк	Шуберт
	Пироженко	Свирин	Нечаев		Лукин	Дмитриев
	Сумин	Сорокин	Ростовский		Федотов	Абакумов
	Самсонов	Журавлев	Мелешкин		Голушко
	Конев	Зимарина	Максименко		Фионов
	Григорян	Ременяк	Марулин		Семеняк
		Типисова			Судариков
		Валиев			Лагута
		Кондратенко

Экзамен

К экзамену допускаются только те студенты, которые успешно справились с контрольной работой. При подготовке к экзамену обратите внимание на теоретический минимум. Отсутствие ответа на любой из вопросов теоретического минимума влечет за собой неудовлетворительную оценку за экзамен. На экзамене при подготовке билета разрешается пользоваться любыми материалами.

Теоретический минимум + список вопросов (PDF,439Кб)

Практическое задание

Всем студентам, имеющим задолженность по курсу (в первую очередь, студентам Севастопольского филиала), предлагается возможность выполнить практическое задание. Оценка за это задание будет засчитана в качестве итоговой оценки за курс (при условии наличия допуска к экзамену по результатам контрольной работы). Выполнение данного задания не является обязательным для московских студентов ВМиК. Оно является лишь альтернативой пересдаче осенью.

Презентации к лекциям

Лекция	Материалы
1	Презентация (PDF, 364Кб)
2	Презентация (PDF, 302Кб)
3	Презентация (PDF, 204Кб)
4	Презентация (PDF, 267Кб)
5	Презентация (PDF, 493Кб)
6	Презентация (PDF, 557Кб)
7	Презентация (PDF, 546Кб)
8	Презентация (PDF, 305Кб)
9	Презентация (PDF, 470Кб)
10	Презентация (PDF, 366Кб)
11	Презентация (PDF, 544Кб)
12	Презентация (PDF, 315Кб)

Программа курса

Различные постановки задач машинного обучения

Постановка задач машинного обучения. Задачи распознавания и прогнозирования числовых переменных по признаковым описаниям. Настройка алгоритмов по выборкам прецедентов. Обучающая выборка. Обобщающая способность. Области использования методов машинного обучения.

Байесовские классификаторы

Верхние пределы точности. Оптимальные прогностические решения и классифицирующие правила. Байесовские классификаторы.

Методы оценки обобщающей способности алгоритмов

Кросс-проверка, скользящий контроль. Проблема переобучения.

Теоретические оценки обобщающей способности

Теория Вапника-Червоненкиса. Трёхкомпонентное разложение обобщённой ошибки.

ROC анализ

Структура распознающего алгоритма. Распознающий оператор и решающее правило. Кривые ROC анализа.

Методы распознавания, используемые в традиционном статистическом анализе

Методы, основанные на теореме Байеса. Восстановление плотностей вероятности: параметрические методы, ядерные методы. Линейный дискриминант Фишера. Метод ближайших соседей.

Множественная линейная регрессия

Оптимизация с помощью метода наименьших квадратов. Свойства оптимальных линейных регрессий.

Методы, основанные на принципе разделения

Линейная машина.

Метод опорных векторов

Линейный классификатор. Гиперплоскость, максимизирующая зазор между классами. Обучение классификатора как задача квадратичного программирования. Получение двойственной задачи для задачи квадратичного программирования. Ядровой переход. Опорные объекты. Настройка параметров метода.

Уменьшение размерности описания данных. Метод главных компонент

Проблема анализа многомерных данных. Метод главных компонент. Выбор размерности редуцированного пространства.

Литература

Журавлев Ю.И., Рязанов В.В., Сенько О.В. Распознавание. Математические методы. Программная система. Практические применения, М.: Фазис, 2006. (ISBN 5-7036-0108-8)
Ветров Д.П., Кропотов Д.А. Байесовские методы машинного обучения, учебное пособие по спецкурсу, 2007 (Часть 1, PDF 1.22МБ; Часть 2, PDF 1.58МБ)
Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.