Теория статистического обучения (курс лекций, Н. К. Животовский)

Материал из MachineLearning.

Версия от 21:09, 29 января 2015; Nkzh (Обсуждение | вклад)
(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)
Перейти к: навигация, поиск
В настоящее время страница находится в стадии наполнения.


Содержание

Курс знакомит студентов с теорией статистического обучения (Statistical Learning Theory), исследующей проблему надёжности восстановления зависимостей по эмпирическим данным.

В весеннем семестре 2015 года на кафедре Интеллектуальные системы ФУПМ МФТИ данный курс читается вместо курса Теория надёжности обучения по прецедентам, являющегося третьей частью трёхсеместрового курса Теория обучения машин.

Примерная программа курса

Вероятностная постановка задач распознавания

  • PAC (Probably Approximately Correct) обучение.
  • Задачи классификации, регрессии и общая задача статистического оценивания.
  • Функции потерь, риск, избыточный риск.
  • No Free Lunch Theorem

Неравенства концентрации меры

  • Методы, основанные на производящих функциях моментов.
  • Неравенства Маркова и Чебышева.
  • Неравенство Хеффдинга и МакДиармида.
  • Неравенство Бернштейна.

Конкретные методы обучения

  • Метод минимизации эмпирического риска.
  • Доказательство обучаемости конечных классов.
  • Равномерные оценки отклонения частоты от вероятности.
  • Верхние оценки избыточного риска.

Радемахеровский анализ

  • Радемахеровская сложность и ее свойства.
  • Оценки избыточного риска, основанные на Радемахеровской сложности.

Размерность Вапника-Червоненкиса (ёмкость)

  • Понятие ёмкости.
  • Выражение функции роста через ёмкость.
  • Ёмкость семейства линейных разделяющих правил.
  • Пример однопараметрического семейства бесконечной ёмкости.
  • Верхние оценки Радемахеровской сложности классов конечной ёмкости.

Обобщающая способность конкретных методов обучения

  • Обобщающая способность линейных правил.
  • Оценки обобщающей способности SVM.

Комбинаторная теория переобучения (лекция К. В. Воронцова)

Продолжение следует

Учебные материалы

Ссылки

Программы прошлых лет

Личные инструменты