Теория статистического обучения (курс лекций, Н. К. Животовский)

Материал из MachineLearning.

Перейти к: навигация, поиск

В настоящее время страница находится в стадии наполнения.


Содержание

Курс знакомит студентов с теорией статистического обучения (Statistical Learning Theory), исследующей проблему надёжности восстановления зависимостей по эмпирическим данным.

В весеннем семестре 2015 года на кафедре Интеллектуальные системы ФУПМ МФТИ данный курс читается вместо курса Теория надёжности обучения по прецедентам, являющегося третьей частью трёхсеместрового курса Теория обучения машин.

Примерная программа курса

Вероятностная постановка задач распознавания

  • PAC (Probably Approximately Correct) обучение.
  • Задачи классификации, регрессии и общая задача статистического оценивания.
  • Функции потерь, риск, избыточный риск.
  • No Free Lunch Theorem

Неравенства концентрации меры

  • Методы, основанные на производящих функциях моментов.
  • Неравенства Маркова и Чебышева.
  • Неравенство Хеффдинга и МакДиармида.
  • Неравенство Бернштейна.

Конкретные методы обучения

  • Метод минимизации эмпирического риска.
  • Доказательство обучаемости конечных классов.
  • Равномерные оценки отклонения частоты от вероятности.
  • Верхние оценки избыточного риска.

Радемахеровский анализ

Размерность Вапника-Червоненкиса (ёмкость)

Обобщающая способность конкретных методов обучения

  • Обобщающая способность линейных правил.
  • Оценки обобщающей способности SVM.

Комбинаторная теория переобучения (лекция К. В. Воронцова)

Продолжение следует

Учебные материалы

Ссылки

Основная литература

  1. Introduction to Statistical Learning Theory // Olivier Bousquet, Stéphane Boucheron, and Gábor Lugosi. Advanced Lectures on Machine Learning. Lecture Notes in Computer Science Volume 3176, 2004, pp 169-207
  2. Understanding Machine Learning: From Theory to Algorithms // Shai Shalev-Shwartz and Shai Ben-David, Cambridge University Press, 2014
  3. Concentration Inequalities: A Nonasymptotic Theory of Independence // Stéphane Boucheron, Gábor Lugosi, Pascal Massart. Oxford University Press, 2013

Дополнительная литература

Программы прошлых лет

Личные инструменты