Математические основы теории прогнозирования (курс лекций)

Материал из MachineLearning.

Версия 15:00, 5 февраля 2012

Внимание! Страница курса находится в стадии формирования.

Курс посвящен изучению современных методов диагностики и прогнозирования, основанных на машинном обучении, а также современных методов интеллектуального анализа данных. Даётся обзор современных методов распознавания, включая статистические, нейросетевые, комбинаторно-логические, алгебраические модели, модель опорных векторов. Рассматривается основная проблематика методов машинного обучения, включая эффект переобучения. Изучаются вопросы оценки точности классифицирующих правил или прогностических функций. Рассматривается метод ROC анализа. Изучаются методы интеллектуального анализа данных, включая методы кластерного анализа, многомерного шкалирования, а также метод главных компонент. Рассматриваются математические модели анализа надёжности.

Лектор: д.ф.-м.н. Сенько Олег Валентинович

Программа курса

Различные постановки задач машинного обучения

Постановка задач машинного обучения. Задачи распознавания и прогнозирования числовых переменных по признаковым описаниям. Настройка алгоритмов по выборкам прецедентов. Обучающая выборка. Обобщающая способность. Области использования методов машинного обучения.

Байесовские классификаторы

Верхние пределы точности. Оптимальные прогностические решения и классифицирующие правила. Байесовские классификаторы.

Методы оценки обобщающей способности алгоритмов

Кросс-проверка, скользящий контроль. Проблема переобучения.

Теоретические оценки обобщающей способности

Теория Вапника-Червоненкиса. Трёхкомпонентное разложение обобщённой ошибки.

ROC анализ

Структура распознающего алгоритма. Распознающий оператор и решающее правило. Кривые ROC анализа.

Методы распознавания, используемые в традиционном статистическом анализе

Методы, основанные на теореме Байеса. Восстановление плотностей вероятности: параметрические методы, ядерные методы. Линейный дискриминант Фишера. Метод ближайших соседей.

Методы линейной и логистической регрессии. Регуляризация обучения.

Метод максимального правдоподобия. Формальные обозначения, генеральная совокупность, критерии качества обучения как точности на генеральной совокупности. Вывод выражения для идеальных решающих правил. Способы введения функции правдоподобия для задачи регрессии и классификации. Выражение для коэффициентов линейной регрессии, хэт-матрица. Метод наименьших квадратов с итеративно-перевзвешивающимися весами. Необходимость ридж-оценивания для устранения вырожденности гессиана.

Ликбез: нормальное распределение, псевдообращение матриц и нормальное псевдорешение.

Метод опорных векторов

Линейный классификатор. Гиперплоскость, максимизирующая зазор между классами. Обучение классификатора как задача квадратичного программирования. Получение двойственной задачи для задачи квадратичного программирования. Ядровой переход. Опорные объекты. Настройка параметров метода.

Ликбез: решение задач условной оптимизации, правило множителей Лагранжа, переход к двойственной задаче.

Уменьшение размерности описания данных. Метод главных компонент

Проблема анализа многомерных данных. Метод главных компонент. Выбор размерности редуцированного пространства. Эффективные формулы метода главных компонент для случая, когда число объектов меньше числа признаков. Ядровая версия метода главных компонент.

Стандартная задача распознавания. Алгоритм «Кора».

Тестовый алгоритм. Система уравнений, определяющих тупиковые тесты. Таблица обучения с двумя классами объектов. Основные упрощающие формулы при умножении левых частей тестовых уравнений.

Обоснование способа построения всех тупиковых тестов через приведение системы тестовых уравнений к неупрощаемой ДНФ.

Алгоритм вычисления оценок (АВО). Шаги определения, полный перечень параметров. Итоговая формула для числа голосов.

Эффективные формулы вычисления оценок в АВО.

Представление алгоритма как композиции распознающего оператора и фиксированного решающего правила. Алгебры над алгоритмами. Отмеченные точки в контрольной матрице. Построение корректного алгоритма, если найдена совокупность операторов, отмечающих все единичные точки информационных векторов контрольной матрицы.

2) 3) 4) 5) 6) 7) Множественная линейная регрессия. Оптимизация с помощью МНК. Свойства оптимальных линейных регрессий. 8) Методы, основанные на принципе разделения. Линейная машина. КОНТРОЛЬНАЯ

Литература

1. Журавлёв Ю.И. Избранные научные труды. – М.: «Магистр», 1998.– 420с.
2. Журавлев Ю.И., Рязанов В.В., Сенько О.В. Распознавание. Математические методы. Программная система. Практические применения, М.: Фазис, 2006. (ISBN 5-7036-0108-8)
3. Дьяконов А.Г. Алгебра над алгоритмами вычисления оценок: Учебное пособие. – М.: Издательский отдел ф-та ВМиК МГУ им. М.В. Ломоносова, 2006. – 72с. (ISBN 5-89407-252-2)
4. Ветров Д.П., Кропотов Д.А. Байесовские методы машинного обучения, учебное пособие по спецкурсу, 2007 (Часть 1, PDF 1.22МБ; Часть 2, PDF 1.58МБ)
5. Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.

Страницы курса прошлых лет

2011 год

Ссылки

Машинное обучение (курс лекций, К.В. Воронцов)

Байесовские методы машинного обучения (спецкурс, Д.П. Ветров, Д.А. Кропотов, А.А. Осокин)

Форум студентов ВМиК с обсуждением курса

Математические методы прогнозирования (кафедра ВМиК МГУ)