Теория статистического обучения (курс лекций, Н. К. Животовский)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
м
м
Строка 1: Строка 1:
-
{{well|
+
{{well|
'''В настоящее время страница находится в стадии наполнения.'''
'''В настоящее время страница находится в стадии наполнения.'''
}}
}}
Строка 28: Строка 28:
=== Радемахеровский анализ ===
=== Радемахеровский анализ ===
-
* Радемахеровская сложность и ее свойства.
+
* [[Радемахеровская сложность|Радемахеровская сложность]].
* Оценки избыточного риска, основанные на Радемахеровской сложности.
* Оценки избыточного риска, основанные на Радемахеровской сложности.
=== Размерность Вапника-Червоненкиса (ёмкость) ===
=== Размерность Вапника-Червоненкиса (ёмкость) ===
* Понятие [[Ёмкость|ёмкости]].
* Понятие [[Ёмкость|ёмкости]].
-
* Выражение функции роста через ёмкость.
+
* [[Функция роста]] семейства алгоритмов.
* Ёмкость семейства [[Линейный классификатор|линейных разделяющих правил]].
* Ёмкость семейства [[Линейный классификатор|линейных разделяющих правил]].
* Пример однопараметрического семейства бесконечной ёмкости.
* Пример однопараметрического семейства бесконечной ёмкости.
Строка 42: Строка 42:
* Оценки обобщающей способности SVM.
* Оценки обобщающей способности SVM.
-
=== Комбинаторная теория переобучения (лекция К. В. Воронцова) ===
+
=== [[Теория надёжности обучения по прецедентам (курс лекций, К. В. Воронцов)|Комбинаторная теория переобучения]] (лекция К. В. Воронцова) ===
=== Продолжение следует ===
=== Продолжение следует ===
Строка 50: Строка 50:
== Ссылки ==
== Ссылки ==
'''Основная литература'''
'''Основная литература'''
-
# Introduction to Statistical Learning Theory// Olivier Bousquet, Stéphane Boucheron, and Gábor Lugosi. Advanced Lectures on Machine Learning. Lecture Notes in Computer Science Volume 3176, 2004, pp 169-207
+
# Introduction to Statistical Learning Theory // Olivier Bousquet, Stéphane Boucheron, and Gábor Lugosi. Advanced Lectures on Machine Learning. Lecture Notes in Computer Science Volume 3176, 2004, pp 169-207
-
# Understanding Machine Learning: From Theory to Algorithms// Shai Shalev-Shwartz and Shai Ben-David, Cambridge University Press, 2014
+
# Understanding Machine Learning: From Theory to Algorithms // Shai Shalev-Shwartz and Shai Ben-David, Cambridge University Press, 2014
 +
# Concentration Inequalities: A Nonasymptotic Theory of Independence // Stéphane Boucheron, Gábor Lugosi, Pascal Massart. Oxford University Press, 2013
 +
'''Дополнительная литература'''
== Программы прошлых лет ==
== Программы прошлых лет ==
[[Категория:Учебные курсы]]
[[Категория:Учебные курсы]]

Версия 12:10, 2 февраля 2015

В настоящее время страница находится в стадии наполнения.


Содержание

Курс знакомит студентов с теорией статистического обучения (Statistical Learning Theory), исследующей проблему надёжности восстановления зависимостей по эмпирическим данным.

В весеннем семестре 2015 года на кафедре Интеллектуальные системы ФУПМ МФТИ данный курс читается вместо курса Теория надёжности обучения по прецедентам, являющегося третьей частью трёхсеместрового курса Теория обучения машин.

Примерная программа курса

Вероятностная постановка задач распознавания

  • PAC (Probably Approximately Correct) обучение.
  • Задачи классификации, регрессии и общая задача статистического оценивания.
  • Функции потерь, риск, избыточный риск.
  • No Free Lunch Theorem

Неравенства концентрации меры

  • Методы, основанные на производящих функциях моментов.
  • Неравенства Маркова и Чебышева.
  • Неравенство Хеффдинга и МакДиармида.
  • Неравенство Бернштейна.

Конкретные методы обучения

  • Метод минимизации эмпирического риска.
  • Доказательство обучаемости конечных классов.
  • Равномерные оценки отклонения частоты от вероятности.
  • Верхние оценки избыточного риска.

Радемахеровский анализ

Размерность Вапника-Червоненкиса (ёмкость)

Обобщающая способность конкретных методов обучения

  • Обобщающая способность линейных правил.
  • Оценки обобщающей способности SVM.

Комбинаторная теория переобучения (лекция К. В. Воронцова)

Продолжение следует

Учебные материалы

Ссылки

Основная литература

  1. Introduction to Statistical Learning Theory // Olivier Bousquet, Stéphane Boucheron, and Gábor Lugosi. Advanced Lectures on Machine Learning. Lecture Notes in Computer Science Volume 3176, 2004, pp 169-207
  2. Understanding Machine Learning: From Theory to Algorithms // Shai Shalev-Shwartz and Shai Ben-David, Cambridge University Press, 2014
  3. Concentration Inequalities: A Nonasymptotic Theory of Independence // Stéphane Boucheron, Gábor Lugosi, Pascal Massart. Oxford University Press, 2013

Дополнительная литература

Программы прошлых лет

Личные инструменты