Методы оптимизации в машинном обучении (курс лекций)/2021
Материал из MachineLearning.
(→Лекции и семинары) |
|||
| (10 промежуточных версий не показаны.) | |||
| Строка 4: | Строка 4: | ||
'''Преподаватели''': [[Участник:Kropotov|Кропотов Д.А.]]. | '''Преподаватели''': [[Участник:Kropotov|Кропотов Д.А.]]. | ||
| - | Занятия проходят онлайн | + | Занятия проходят онлайн. |
Инвайт в AnyTask: 2v4zgAP | Инвайт в AnyTask: 2v4zgAP | ||
| Строка 11: | Строка 11: | ||
Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLNO729xOopfFUXzjh5o5IkiXoGyvEdf4q здесь] | Видеозаписи занятий: [https://www.youtube.com/playlist?list=PLNO729xOopfFUXzjh5o5IkiXoGyvEdf4q здесь] | ||
| + | |||
| + | == Экзамен == | ||
| + | Экзамен по курсу будет проходить онлайн 10 и 11 июня. Все студенты заранее распределяются по времени сдачи экзамена. За час до указанного времени по почте студенту приходит номер экзаменационного билета и зум-ссылка. При ответе со стороны студента должна быть обеспечена возможность интерактивного написания формул в ответ на вопросы экзаменатора. | ||
| + | |||
| + | [https://drive.google.com/file/d/1zMWBbPgPCfFN0t1ndrLCDzFYbX8UOv1m/view?usp=sharing Список вопросов к экзамену] | ||
== Система выставления оценок по курсу == | == Система выставления оценок по курсу == | ||
| Строка 36: | Строка 41: | ||
| 1 | | 1 | ||
| Введение в курс. Классы функций в оптимизации. Скорости сходимости. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект] | | Введение в курс. Классы функций в оптимизации. Скорости сходимости. || [https://drive.google.com/file/d/1MXENV3Ryy8SgK3_q_lKB5gBG39qcl8_M/view?usp=sharing Конспект] | ||
| + | |- | ||
| + | | 2 | ||
| + | | Одномерная оптимизация || [[Media:MOMO16_min1d.pdf|Конспект]] | ||
| + | |- | ||
| + | | 3 | ||
| + | | Метод градиентного спуска || | ||
| + | |- | ||
| + | | 4 | ||
| + | | Матричные разложения и метод Ньютона || | ||
| + | |- | ||
| + | | 5 | ||
| + | | Метод сопряженных градиентов || [https://drive.google.com/file/d/1Ai3ZSuLTb0C6hL5KcAvagzJgKqL1-ySo/view?usp=sharing Презентация] | ||
| + | |- | ||
| + | | 6 | ||
| + | | Безгессианный метод Ньютона. Выпуклые множества. || [https://drive.google.com/file/d/1t9_Uvo-xrVd_nIVUk4CGXGfebHcFtTkw/view?usp=sharing Конспект] | ||
| + | |- | ||
| + | | 7 | ||
| + | | Квазиньютоновские методы. Выпуклые функции. || [http://www.machinelearning.ru/wiki/images/1/10/MOMO18_Seminar6.pdf Конспект]<br> [https://drive.google.com/file/d/1glvkT1g6C405RT773KwUdKYRW_bhOKct/view?usp=sharing Конспект] | ||
| + | |- | ||
| + | | 8 | ||
| + | | Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. || [http://www.machinelearning.ru/wiki/images/7/7f/MOMO18_Seminar7.pdf Конспект] | ||
| + | |- | ||
| + | | 9 | ||
| + | | Метод Ньютона и метод логарифмических барьеров для решения задач условной оптимизации. Стандартные классы выпуклых условных задач оптимизации. Эквивалентные преобразования задач. || [http://www.machinelearning.ru/wiki/images/8/81/MOMO12_ipm.pdf Конспект]<br> [http://www.machinelearning.ru/wiki/images/c/c2/MOMO18_Seminar9.pdf Конспект] | ||
| + | |- | ||
| + | | 10 | ||
| + | | Выпуклая негладкая оптимизация. Субградиентный метод. Субдифференциалы и субдифференциальное исчисление. || [http://www.machinelearning.ru/wiki/images/e/e5/MOMO18_Seminar10.pdf Конспект] | ||
|- | |- | ||
|} | |} | ||
Текущая версия
Настройка модели алгоритмов по данным — это задача оптимизации, от эффективности решения которой зависит практическая применимость метода машинного обучения. В эпоху больших данных многие классические алгоритмы оптимизации становятся неприменимы, т.к. здесь требуется решать задачи оптимизации функций за время меньшее, чем необходимо для вычисления значения функции в одной точке. Таким требованиям можно удовлетворить в случае грамотного комбинирования известных подходов в оптимизации с учётом конкретной специфики решаемой задачи. Курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклой), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Наличие у слушателей каких-либо предварительных знаний по оптимизации не предполагается, все необходимые понятия разбираются в ходе занятий. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.
Преподаватели: Кропотов Д.А..
Занятия проходят онлайн.
Инвайт в AnyTask: 2v4zgAP
Все вопросы по курсу можно задавать в телеграм-группе
Видеозаписи занятий: здесь
Экзамен
Экзамен по курсу будет проходить онлайн 10 и 11 июня. Все студенты заранее распределяются по времени сдачи экзамена. За час до указанного времени по почте студенту приходит номер экзаменационного билета и зум-ссылка. При ответе со стороны студента должна быть обеспечена возможность интерактивного написания формул в ответ на вопросы экзаменатора.
Система выставления оценок по курсу
В рамках курса предполагается 6 домашних заданий. За каждое задание можно получить 5 баллов, а также, возможно, дополнительные баллы за выполнение бонусных пунктов. После мягкого дедлайна задание сдаётся со штрафом 0.2 балла в день.
Общая оценка по курсу вычисляется по правилу: Округл_вверх (0.3*<Оценка_за_экзамен> + 0.7*<Оценка_за_семестр>), где <Оценка_за_семестр> = min(5, 5*<Сумма_оценок_за_задания> / <Максимальная_сумма_за_задания_без_бонусов>). Итоговая оценка совпадает с общей при выполнении дополнительных условий:
| Итог | Необходимые условия |
|---|---|
| 5 | сдано не менее 5 заданий, оценка за экзамен >= 4 |
| 4 | сдано не менее 4 заданий, оценка за экзамен >= 3 |
| 3 | сдано не менее 3 заданий, оценка за экзамен >= 3 |
Лекции и семинары
| № п/п | Занятие | Материалы |
|---|---|---|
| 1 | Введение в курс. Классы функций в оптимизации. Скорости сходимости. | Конспект |
| 2 | Одномерная оптимизация | Конспект |
| 3 | Метод градиентного спуска | |
| 4 | Матричные разложения и метод Ньютона | |
| 5 | Метод сопряженных градиентов | Презентация |
| 6 | Безгессианный метод Ньютона. Выпуклые множества. | Конспект |
| 7 | Квазиньютоновские методы. Выпуклые функции. | Конспект Конспект |
| 8 | Задачи условной оптимизации. Теорема Каруша-Куна-Таккера. | Конспект |
| 9 | Метод Ньютона и метод логарифмических барьеров для решения задач условной оптимизации. Стандартные классы выпуклых условных задач оптимизации. Эквивалентные преобразования задач. | Конспект Конспект |
| 10 | Выпуклая негладкая оптимизация. Субградиентный метод. Субдифференциалы и субдифференциальное исчисление. | Конспект |
Дополнительный материал
- Матрично-векторные скалярные произведения и нормы.
- Методы сопряженных градиентов.
- Самосогласованные функции и метод Ньютона.
- Метод зеркального спуска.
Литература
- J. Nocedal, S. Wright. Numerical Optimization, Springer, 2006.
- A. Ben-Tal, A. Nemirovski. Optimization III. Lecture Notes, 2013.
- Y. Nesterov. Introductory Lectures on Convex Optimization: A Basic Course, Springer, 2003.
- Ю.Е. Нестеров. Методы выпуклой оптимизации, МЦНМО, 2010
- S. Boyd, L. Vandenberghe. Convex Optimization, Cambridge University Press, 2004.
- J.-P. Hiriart-Urruty, C. Lemaréchal. Convex Analysis and Minimization Algorithms I: Fundamentals and Convex Analysis and Minimization Algorithms II: Advanced Theory and Bundle Methods, Springer-Verlag Berlin Heidelberg, 1993.
- D. Bertsekas. Convex Analysis and Optimization, Athena Scientific, 2003.
- Б.Т. Поляк. Введение в оптимизацию, Наука, 1983.
- J. Duchi. Introductory Lectures on Stochastic Optimization, Graduate Summer School Lectures, 2016.
- S. Sra et al.. Optimization for Machine Learning, MIT Press, 2011.
