Теория статистического обучения (курс лекций, Н. К. Животовский)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Новая: {{well| '''В настоящее время страница находится в стадии наполнения.''' }} {{TOCright}} Курс знакомит студентов с [...)
м
Строка 49: Строка 49:
== Ссылки ==
== Ссылки ==
-
 
+
'''Основная литература'''
 +
# Introduction to Statistical Learning Theory// Olivier Bousquet, Stéphane Boucheron, and Gábor Lugosi. Advanced Lectures on Machine Learning. Lecture Notes in Computer Science Volume 3176, 2004, pp 169-207
 +
# Understanding Machine Learning: From Theory to Algorithms// Shai Shalev-Shwartz and Shai Ben-David, Cambridge University Press, 2014
== Программы прошлых лет ==
== Программы прошлых лет ==
[[Категория:Учебные курсы]]
[[Категория:Учебные курсы]]

Версия 11:26, 2 февраля 2015

В настоящее время страница находится в стадии наполнения.


Содержание

Курс знакомит студентов с теорией статистического обучения (Statistical Learning Theory), исследующей проблему надёжности восстановления зависимостей по эмпирическим данным.

В весеннем семестре 2015 года на кафедре Интеллектуальные системы ФУПМ МФТИ данный курс читается вместо курса Теория надёжности обучения по прецедентам, являющегося третьей частью трёхсеместрового курса Теория обучения машин.

Примерная программа курса

Вероятностная постановка задач распознавания

  • PAC (Probably Approximately Correct) обучение.
  • Задачи классификации, регрессии и общая задача статистического оценивания.
  • Функции потерь, риск, избыточный риск.
  • No Free Lunch Theorem

Неравенства концентрации меры

  • Методы, основанные на производящих функциях моментов.
  • Неравенства Маркова и Чебышева.
  • Неравенство Хеффдинга и МакДиармида.
  • Неравенство Бернштейна.

Конкретные методы обучения

  • Метод минимизации эмпирического риска.
  • Доказательство обучаемости конечных классов.
  • Равномерные оценки отклонения частоты от вероятности.
  • Верхние оценки избыточного риска.

Радемахеровский анализ

  • Радемахеровская сложность и ее свойства.
  • Оценки избыточного риска, основанные на Радемахеровской сложности.

Размерность Вапника-Червоненкиса (ёмкость)

  • Понятие ёмкости.
  • Выражение функции роста через ёмкость.
  • Ёмкость семейства линейных разделяющих правил.
  • Пример однопараметрического семейства бесконечной ёмкости.
  • Верхние оценки Радемахеровской сложности классов конечной ёмкости.

Обобщающая способность конкретных методов обучения

  • Обобщающая способность линейных правил.
  • Оценки обобщающей способности SVM.

Комбинаторная теория переобучения (лекция К. В. Воронцова)

Продолжение следует

Учебные материалы

Ссылки

Основная литература

  1. Introduction to Statistical Learning Theory// Olivier Bousquet, Stéphane Boucheron, and Gábor Lugosi. Advanced Lectures on Machine Learning. Lecture Notes in Computer Science Volume 3176, 2004, pp 169-207
  2. Understanding Machine Learning: From Theory to Algorithms// Shai Shalev-Shwartz and Shai Ben-David, Cambridge University Press, 2014

Программы прошлых лет

Личные инструменты