Методы оптимизации в машинном обучении (курс лекций)/2020
Материал из MachineLearning.
Настройка модели алгоритмов по данным — это задача оптимизации, от эффективности решения которой зависит практическая применимость метода машинного обучения. В эпоху больших данных многие классические алгоритмы оптимизации становятся неприменимы, т.к. здесь требуется решать задачи оптимизации функций за время меньшее, чем необходимо для вычисления значения функции в одной точке. Таким требованиям можно удовлетворить в случае грамотного комбинирования известных подходов в оптимизации с учётом конкретной специфики решаемой задачи. Курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклой), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Наличие у слушателей каких-либо предварительных знаний по оптимизации не предполагается, все необходимые понятия разбираются в ходе занятий. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.
Преподаватели: Кропотов Д.А., Бобров Евгений, Таскынов Ануар, Шаповалов Никита, Гадецкий Артём, Гринберг Вадим.
Занятия проходят: по пятницам, лекция с 14-35 до 16-10, семинар с 16-20 до 17-55. Ссылка на zoom.
Инвайт в AnyTask: EMdZUhf
Таблица с оценками: ???
Все вопросы по курсу можно задавать в Telegram группе
Видеозаписи занятий в zoom: здесь
Экзамен
Экзамен по курсу состоится 23 июня. Процедура экзамена, а также вопросы к экзамену находятся здесь.
Распределение студентов по времени на экзамене находится здесь. В таблице указано время начала опроса. За час до этого времени по электронной почте придёт номер билета вместе со ссылкой на zoom конференцию.
22 июня в 12-00 состоится консультация к экзамену. Ссылка на zoom.
Система выставления оценок по курсу
В рамках курса предполагается 6 домашних заданий. За каждое задание можно получить 5 баллов, а также, возможно, дополнительные баллы за выполнение бонусных пунктов. После мягкого дедлайна задание сдаётся со штрафом 0.1 балла в день.
Общая оценка по курсу вычисляется по правилу: Округл_вверх (0.3*<Оценка_за_экзамен> + 0.7*<Оценка_за_семестр>), где <Оценка_за_семестр> = min(5, <Сумма_оценок_за_задания> / 6). Итоговая оценка совпадает с общей при выполнении дополнительных условий:
| Итог | Необходимые условия |
|---|---|
| 5 | сдано не менее 5 заданий, оценка за экзамен >= 4 |
| 4 | сдано не менее 4 заданий, оценка за экзамен >= 3 |
| 3 | сдано не менее 3 заданий, оценка за экзамен >= 3 |
Лекции
| № п/п | Занятие | Материалы |
|---|---|---|
| 1 | Введение в курс. Классы функций в оптимизации. Скорости сходимости. Неточная одномерная оптимизация. | Скорости сходимости последовательностей |
| 2 | Метод градиентного спуска. | |
| 3 | Матричные разложения и метод Ньютона. | |
| 4 | Метод сопряжённых градиентов для решения СЛАУ. | |
| 5 | Неточный/безгессианный метод Ньютона. | |
| 6 | Квазиньютоновские методы. | |
| 7 | Задачи условной оптимизации, теорема ККТ. | Видео |
| 8 | Метод Ньютона и метод логарифмических барьеров для выпуклых задач условной оптимизации. | Видео |
| 9 | Негладкая оптимизация. Субградиентный метод. | Видео |
| 10 | Проксимальные методы. | Видео |
| 11 | Ускоренный проксимальный градиентный метод Нестерова. | Видео |
| 12 | Стохастическая оптимизация | Видео |
| 13 | Риманова оптимизация | Видео книга по римановой оптимизации библиотека для римановой оптимизации |
| 14 | Решение задач оптимизации с помощью нейронных сетей | Видео Статья 1 Статья 2 |
Семинары
| № п/п | Занятие | Материалы |
|---|---|---|
| 1 | Метод градиентного спуска. | |
| 5 | Нелинейный метод сопряженных градиентов. Предобуславливание | Презентация |
| 6 | Матричные преобразования в квазиньютоновских методах | Конспект |
| 7 | Задачи условной оптимизации, теорема ККТ. | Видео Конспекты |
| 8 | Двойственность, эквивалентные преобразования задач. | Видео Конспект |
| 9 | Субдифференциальное исчисление | Видео Конспект |
| 10 | Проекции и проксимальные операторы | Видео |
| 11 | Сопряжённые функции и нормы | Видео Конспект |
| 12 | Решение задач дискретной оптимизации непрерывными методами | Видео Презентация |
Дополнительный материал
- Матрично-векторные скалярные произведения и нормы.
- Методы сопряженных градиентов.
- Самосогласованные функции и метод Ньютона.
- Метод зеркального спуска.
Домашние задания
Практические задания
Литература
- J. Nocedal, S. Wright. Numerical Optimization, Springer, 2006.
- A. Ben-Tal, A. Nemirovski. Optimization III. Lecture Notes, 2013.
- Y. Nesterov. Introductory Lectures on Convex Optimization: A Basic Course, Springer, 2003.
- Ю.Е. Нестеров. Методы выпуклой оптимизации, МЦНМО, 2010
- S. Boyd, L. Vandenberghe. Convex Optimization, Cambridge University Press, 2004.
- J.-P. Hiriart-Urruty, C. Lemaréchal. Convex Analysis and Minimization Algorithms I: Fundamentals and Convex Analysis and Minimization Algorithms II: Advanced Theory and Bundle Methods, Springer-Verlag Berlin Heidelberg, 1993.
- D. Bertsekas. Convex Analysis and Optimization, Athena Scientific, 2003.
- Б.Т. Поляк. Введение в оптимизацию, Наука, 1983.
- J. Duchi. Introductory Lectures on Stochastic Optimization, Graduate Summer School Lectures, 2016.
- S. Sra et al.. Optimization for Machine Learning, MIT Press, 2011.
Архив
См. также
Курс «Байесовские методы в машинном обучении»
