Теория статистического обучения (курс лекций, Н. К. Животовский)
Материал из MachineLearning.
(Различия между версиями)
м |
м |
||
| Строка 10: | Строка 10: | ||
=== Вероятностная постановка задач распознавания === | === Вероятностная постановка задач распознавания === | ||
| - | * PAC (Probably Approximately Correct) обучение. | + | * [http://en.wikipedia.org/wiki/Probably_approximately_correct_learning PAC (Probably Approximately Correct)] обучение. |
* Задачи классификации, регрессии и общая задача статистического оценивания. | * Задачи классификации, регрессии и общая задача статистического оценивания. | ||
* Функции потерь, риск, избыточный риск. | * Функции потерь, риск, избыточный риск. | ||
| Строка 22: | Строка 22: | ||
=== Конкретные методы обучения === | === Конкретные методы обучения === | ||
| - | * Метод минимизации эмпирического риска. | + | * [[Минимизация эмпирического риска|Метод минимизации эмпирического риска]]. |
* Доказательство обучаемости конечных классов. | * Доказательство обучаемости конечных классов. | ||
* Равномерные оценки отклонения частоты от вероятности. | * Равномерные оценки отклонения частоты от вероятности. | ||
| Строка 44: | Строка 44: | ||
=== [[Теория надёжности обучения по прецедентам (курс лекций, К. В. Воронцов)|Комбинаторная теория переобучения]] (лекция К. В. Воронцова) === | === [[Теория надёжности обучения по прецедентам (курс лекций, К. В. Воронцов)|Комбинаторная теория переобучения]] (лекция К. В. Воронцова) === | ||
| - | === | + | === Выбор моделей === |
| + | * Структурная минимизация эмпирического риска. | ||
| + | * Регуляризация и fitting-stability tradeoff. | ||
| + | * Отбор признаков. | ||
| + | * [http://en.wikipedia.org/wiki/Akaike_information_criterion AIC], [http://en.wikipedia.org/wiki/Bayesian_information_criterion BIC]. | ||
| + | |||
| + | === Снижение размерности === | ||
| + | * [[Метод главных компонент|Метод главных компонент]]. | ||
| + | * [http://en.wikipedia.org/wiki/Compressed_sensing Compressed sensing] | ||
| + | * [http://en.wikipedia.org/wiki/Restricted_isometry_property| Restricted isometry property] | ||
| + | * Условия точного восстановления разреженного вектора. | ||
| + | |||
| + | === Условия малого шума === | ||
| + | * Фундаментальная теорема PAC обучения. | ||
| + | * Минимаксная постановка задач распознавания. | ||
| + | * Massart's low noise condition. | ||
| + | * Нижние оценки и оптимальность минимизации эмпирического риска. | ||
| + | |||
| + | === Композиции алгоритмов === | ||
| + | * | ||
| + | * | ||
| + | * | ||
== Учебные материалы == | == Учебные материалы == | ||
| Строка 51: | Строка 72: | ||
'''Основная литература''' | '''Основная литература''' | ||
# Introduction to Statistical Learning Theory // Olivier Bousquet, Stéphane Boucheron, and Gábor Lugosi. Advanced Lectures on Machine Learning. Lecture Notes in Computer Science Volume 3176, 2004, pp 169-207 | # Introduction to Statistical Learning Theory // Olivier Bousquet, Stéphane Boucheron, and Gábor Lugosi. Advanced Lectures on Machine Learning. Lecture Notes in Computer Science Volume 3176, 2004, pp 169-207 | ||
| - | # Understanding Machine Learning: From Theory to Algorithms // Shai Shalev-Shwartz and Shai Ben-David | + | # Understanding Machine Learning: From Theory to Algorithms // Shai Shalev-Shwartz and Shai Ben-David. Cambridge University Press, 2014 |
# Concentration Inequalities: A Nonasymptotic Theory of Independence // Stéphane Boucheron, Gábor Lugosi, Pascal Massart. Oxford University Press, 2013 | # Concentration Inequalities: A Nonasymptotic Theory of Independence // Stéphane Boucheron, Gábor Lugosi, Pascal Massart. Oxford University Press, 2013 | ||
'''Дополнительная литература''' | '''Дополнительная литература''' | ||
| + | # Risk bounds for statistical learning // Pascal Massart, Élodie Nédélec. Ann. Statist. Volume 34, Number 5 (2006), 2326-2366. | ||
== Программы прошлых лет == | == Программы прошлых лет == | ||
[[Категория:Учебные курсы]] | [[Категория:Учебные курсы]] | ||
Версия 13:11, 2 февраля 2015
⇆
| В настоящее время страница находится в стадии наполнения. |
Курс знакомит студентов с теорией статистического обучения (Statistical Learning Theory), исследующей проблему надёжности восстановления зависимостей по эмпирическим данным.
В весеннем семестре 2015 года на кафедре Интеллектуальные системы ФУПМ МФТИ данный курс читается вместо курса Теория надёжности обучения по прецедентам, являющегося третьей частью трёхсеместрового курса Теория обучения машин.
Примерная программа курса
Вероятностная постановка задач распознавания
- PAC (Probably Approximately Correct) обучение.
- Задачи классификации, регрессии и общая задача статистического оценивания.
- Функции потерь, риск, избыточный риск.
- No Free Lunch Theorem
Неравенства концентрации меры
- Методы, основанные на производящих функциях моментов.
- Неравенства Маркова и Чебышева.
- Неравенство Хеффдинга и МакДиармида.
- Неравенство Бернштейна.
Конкретные методы обучения
- Метод минимизации эмпирического риска.
- Доказательство обучаемости конечных классов.
- Равномерные оценки отклонения частоты от вероятности.
- Верхние оценки избыточного риска.
Радемахеровский анализ
- Радемахеровская сложность.
- Оценки избыточного риска, основанные на Радемахеровской сложности.
Размерность Вапника-Червоненкиса (ёмкость)
- Понятие ёмкости.
- Функция роста семейства алгоритмов.
- Ёмкость семейства линейных разделяющих правил.
- Пример однопараметрического семейства бесконечной ёмкости.
- Верхние оценки Радемахеровской сложности классов конечной ёмкости.
Обобщающая способность конкретных методов обучения
- Обобщающая способность линейных правил.
- Оценки обобщающей способности SVM.
Комбинаторная теория переобучения (лекция К. В. Воронцова)
Выбор моделей
- Структурная минимизация эмпирического риска.
- Регуляризация и fitting-stability tradeoff.
- Отбор признаков.
- AIC, BIC.
Снижение размерности
- Метод главных компонент.
- Compressed sensing
- Restricted isometry property
- Условия точного восстановления разреженного вектора.
Условия малого шума
- Фундаментальная теорема PAC обучения.
- Минимаксная постановка задач распознавания.
- Massart's low noise condition.
- Нижние оценки и оптимальность минимизации эмпирического риска.
Композиции алгоритмов
Учебные материалы
Ссылки
Основная литература
- Introduction to Statistical Learning Theory // Olivier Bousquet, Stéphane Boucheron, and Gábor Lugosi. Advanced Lectures on Machine Learning. Lecture Notes in Computer Science Volume 3176, 2004, pp 169-207
- Understanding Machine Learning: From Theory to Algorithms // Shai Shalev-Shwartz and Shai Ben-David. Cambridge University Press, 2014
- Concentration Inequalities: A Nonasymptotic Theory of Independence // Stéphane Boucheron, Gábor Lugosi, Pascal Massart. Oxford University Press, 2013
Дополнительная литература
- Risk bounds for statistical learning // Pascal Massart, Élodie Nédélec. Ann. Statist. Volume 34, Number 5 (2006), 2326-2366.
