Математические основы теории прогнозирования (курс лекций)

Материал из MachineLearning.

Содержание 1 Программа курса 1.1 Различные постановки задач машинного обучения 1.2 Вероятностная постановка задач машинного обучения. Методы линейной и логистической регрессии. Регуляризация обучения. 1.3 Метод опорных векторов

Программа курса

ЧАСТЬ 1 (лектор Д.П. Ветров)

Различные постановки задач машинного обучения

Обзор задач анализа данных: классификация, регрессия, кластеризация, идентификация, прогнозирование. Примеры. Историческая справка. Основные проблемы теории распознавания образов: переобучение, противоречивость информации, малый объем выборки. Иллюстративные примеры переобучения, связь переобучения и объема выборки.

Ликбез: основные понятия теории вероятностей (математическое ожидание, дисперсия, ковариационная матрица, плотность вероятности, функция правдоподобия)

Презентация (PDF, 555 КБ)

Вероятностная постановка задач машинного обучения. Методы линейной и логистической регрессии. Регуляризация обучения.

Метод максимального правдоподобия. Формальные обозначения, генеральная совокупность, критерии качества обучения как точности на генеральной совокупности. Вывод выражения для идеальных решающих правил. Способы введения функции правдоподобия для задачи регрессии и классификации. Выражение для коэффициентов линейной регрессии, хэт-матрица. Метод наименьших квадратов с итеративно-перевзвешивающимися весами. Необходимость ридж-оценивания для устранения вырожденности гессиана.

Ликбез: нормальное распределение, псевдообращение матриц и нормальное псевдорешение.

Презентация (PDF, 598 КБ)

Метод опорных векторов

Линейный классификатор, максимизирующий зазор между классами. Обучение классификатора как задача квадратичного программирования. Получение двойственной задачи для задачи квадратичного программирования. Ядровой переход. Опорные объекты. Настройка параметров метода.

Ликбез: решение задач условной оптимизации, правило множителей Лагранжа, переход к двойственной задаче