Теория статистического обучения (курс лекций, Н. К. Животовский)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
м
Строка 25: Строка 25:
Текст: [[Медиа:SLT,_lecture_2.pdf|Вторая лекция‎]]
Текст: [[Медиа:SLT,_lecture_2.pdf|Вторая лекция‎]]
-
=== Конкретные методы обучения ===
+
=== Радемахеровский анализ ===
* [[Минимизация эмпирического риска|Метод минимизации эмпирического риска]].
* [[Минимизация эмпирического риска|Метод минимизации эмпирического риска]].
* Равномерные оценки отклонения частоты от вероятности.
* Равномерные оценки отклонения частоты от вероятности.
* Верхние оценки избыточного риска.
* Верхние оценки избыточного риска.
-
 
-
=== Радемахеровский анализ ===
 
* [[Радемахеровская сложность|Радемахеровская сложность]].
* [[Радемахеровская сложность|Радемахеровская сложность]].
* Оценки избыточного риска, основанные на Радемахеровской сложности.
* Оценки избыточного риска, основанные на Радемахеровской сложности.
 +
Текст: [[Медиа:SLT,_lecture_3.pdf|Третья лекция‎]]
=== Размерность Вапника-Червоненкиса (ёмкость) ===
=== Размерность Вапника-Червоненкиса (ёмкость) ===

Версия 12:40, 27 февраля 2015

В настоящее время страница находится в стадии наполнения.


Содержание

Курс знакомит студентов с теорией статистического обучения (Statistical Learning Theory), исследующей проблему надёжности восстановления зависимостей по эмпирическим данным.

В весеннем семестре 2015 года на кафедре Интеллектуальные системы ФУПМ МФТИ данный курс читается вместо курса Теория надёжности обучения по прецедентам, являющегося третьей частью трёхсеместрового курса Теория обучения машин.

Примерная программа курса

Вероятностная постановка задач распознавания

  • PAC (Probably Approximately Correct) обучение.
  • Задачи классификации, регрессии и общая задача статистического оценивания.
  • Функции потерь, риск, избыточный риск.
  • No Free Lunch Theorem

Текст: Первая лекция‎

Неравенства концентрации меры

  • Доказательство No Free Lunch Theorem
  • Методы, основанные на производящих функциях моментов.
  • Неравенства Маркова и Чебышева.
  • Неравенство Хеффдинга.
  • Неравенство ограниченных разностей.
  • Доказательство обучаемости конечных классов.

Текст: Вторая лекция‎

Радемахеровский анализ

Текст: Третья лекция‎

Размерность Вапника-Червоненкиса (ёмкость)

Обобщающая способность конкретных методов обучения

  • Обобщающая способность линейных правил.
  • Оценки обобщающей способности SVM.

Комбинаторная теория переобучения

  • Комбинаторная постановка задачи оценивания вероятности переобучения.
  • Одноэлементное семейство. Гипергеометрическое распределение.
  • Произвольное семейство. Оценка вапниковского типа.
  • Эксперимент с четырьмя модельными семействами алгоритмов. Свойства расслоения и связности.
  • Оценка расслоения-связности. Принцип порождающих и запрещающих множеств.
  • Частные оценки для модельных семейств алгоритмов.
  • Использование комбинаторных оценок для выбора модели и отбора признаков.
  • Оценки скользящего контроля для метода ближайших соседей. Понятие профиля компактности.
  • Оценки скользящего контроля для монотонных классификаторов.

Хорошо бы сделать две лекции — К.В.Воронцов 04:10, 4 февраля 2015 (MSK)

Выбор моделей

  • Структурная минимизация эмпирического риска.
  • Регуляризация и fitting-stability tradeoff.
  • Отбор признаков.
  • AIC, BIC.

Снижение размерности

Условия малого шума

  • Фундаментальная теорема PAC обучения.
  • Минимаксная постановка задач распознавания.
  • Massart's low noise condition.
  • Нижние оценки и оптимальность минимизации эмпирического риска.

Композиции алгоритмов

Ссылки

Основная литература

  1. Introduction to Statistical Learning Theory // Olivier Bousquet, Stéphane Boucheron, and Gábor Lugosi. Advanced Lectures on Machine Learning. Lecture Notes in Computer Science Volume 3176, 2004, pp 169-207
  2. Understanding Machine Learning: From Theory to Algorithms // Shai Shalev-Shwartz and Shai Ben-David. Cambridge University Press, 2014
  3. Concentration Inequalities: A Nonasymptotic Theory of Independence // Stéphane Boucheron, Gábor Lugosi, Pascal Massart. Oxford University Press, 2013

Дополнительная литература

  1. Risk bounds for statistical learning // Pascal Massart, Élodie Nédélec. Ann. Statist. Volume 34, Number 5 (2006), 2326-2366.
Личные инструменты