Методы оптимизации в машинном обучении (курс лекций)/2020
Материал из MachineLearning.
(→Лекции) |
|||
(6 промежуточных версий не показаны.) | |||
Строка 1: | Строка 1: | ||
__NOTOC__ | __NOTOC__ | ||
Настройка модели алгоритмов по данным — это задача оптимизации, от эффективности решения которой зависит практическая применимость метода машинного обучения. В эпоху больших данных многие классические алгоритмы оптимизации становятся неприменимы, т.к. здесь требуется решать задачи оптимизации функций за время меньшее, чем необходимо для вычисления значения функции в одной точке. Таким требованиям можно удовлетворить в случае грамотного комбинирования известных подходов в оптимизации с учётом конкретной специфики решаемой задачи. Курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклой), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Наличие у слушателей каких-либо предварительных знаний по оптимизации не предполагается, все необходимые понятия разбираются в ходе занятий. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности. | Настройка модели алгоритмов по данным — это задача оптимизации, от эффективности решения которой зависит практическая применимость метода машинного обучения. В эпоху больших данных многие классические алгоритмы оптимизации становятся неприменимы, т.к. здесь требуется решать задачи оптимизации функций за время меньшее, чем необходимо для вычисления значения функции в одной точке. Таким требованиям можно удовлетворить в случае грамотного комбинирования известных подходов в оптимизации с учётом конкретной специфики решаемой задачи. Курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклой), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Наличие у слушателей каких-либо предварительных знаний по оптимизации не предполагается, все необходимые понятия разбираются в ходе занятий. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности. | ||
- | |||
'''Преподаватели''': [[Участник:Kropotov|Кропотов Д.А.]], Бобров Евгений, Таскынов Ануар, Шаповалов Никита, Гадецкий Артём, Гринберг Вадим. | '''Преподаватели''': [[Участник:Kropotov|Кропотов Д.А.]], Бобров Евгений, Таскынов Ануар, Шаповалов Никита, Гадецкий Артём, Гринберг Вадим. | ||
- | Занятия проходят: по пятницам | + | Занятия проходят: по пятницам, лекция с 14-35 до 16-10, семинар с 16-20 до 17-55. [https://zoom.us/j/326723048 Ссылка на zoom]. |
Инвайт в AnyTask: EMdZUhf | Инвайт в AnyTask: EMdZUhf | ||
Строка 11: | Строка 10: | ||
Таблица с оценками: ??? | Таблица с оценками: ??? | ||
- | Все вопросы по курсу можно задавать в Telegram группе | + | Все вопросы по курсу можно задавать в [https://t.me/joinchat/FIB6dlb7a_-uAMSz_R-IMg Telegram группе] |
== Система выставления оценок по курсу == | == Система выставления оценок по курсу == | ||
Строка 25: | Строка 24: | ||
| 1 | | 1 | ||
| Введение в курс. Классы функций в оптимизации. Скорости сходимости. Неточная одномерная оптимизация. || [[Media:MOMO18_Extra1.pdf|Скорости сходимости последовательностей]] | | Введение в курс. Классы функций в оптимизации. Скорости сходимости. Неточная одномерная оптимизация. || [[Media:MOMO18_Extra1.pdf|Скорости сходимости последовательностей]] | ||
+ | |- | ||
+ | | 2 | ||
+ | | Метод градиентного спуска. || | ||
+ | |- | ||
+ | | 3 | ||
+ | | Матричные разложения и метод Ньютона. || | ||
+ | |- | ||
+ | | 4 | ||
+ | | Метод сопряжённых градиентов для решения СЛАУ. || | ||
+ | |- | ||
+ | | 5 | ||
+ | | Неточный/безгессианный метод Ньютона. || | ||
+ | |- | ||
+ | | 6 | ||
+ | | Квазиньютоновские методы. || | ||
+ | |- | ||
+ | | 7 | ||
+ | | Задачи условной оптимизации, теорема ККТ. || [https://youtu.be/oyjetycMeWY видео] | ||
|- | |- | ||
|} | |} | ||
Строка 35: | Строка 52: | ||
! width="25%" | Материалы | ! width="25%" | Материалы | ||
|- | |- | ||
+ | | 1 | ||
+ | | Метод градиентного спуска. || | ||
+ | |- | ||
+ | | 7 | ||
+ | | Задачи условной оптимизации, теорема ККТ. || [https://youtu.be/-0TFkqqVt_A видео] | ||
|- | |- | ||
|} | |} |
Версия 12:09, 30 марта 2020
Настройка модели алгоритмов по данным — это задача оптимизации, от эффективности решения которой зависит практическая применимость метода машинного обучения. В эпоху больших данных многие классические алгоритмы оптимизации становятся неприменимы, т.к. здесь требуется решать задачи оптимизации функций за время меньшее, чем необходимо для вычисления значения функции в одной точке. Таким требованиям можно удовлетворить в случае грамотного комбинирования известных подходов в оптимизации с учётом конкретной специфики решаемой задачи. Курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклой), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Наличие у слушателей каких-либо предварительных знаний по оптимизации не предполагается, все необходимые понятия разбираются в ходе занятий. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.
Преподаватели: Кропотов Д.А., Бобров Евгений, Таскынов Ануар, Шаповалов Никита, Гадецкий Артём, Гринберг Вадим.
Занятия проходят: по пятницам, лекция с 14-35 до 16-10, семинар с 16-20 до 17-55. Ссылка на zoom.
Инвайт в AnyTask: EMdZUhf
Таблица с оценками: ???
Все вопросы по курсу можно задавать в Telegram группе
Система выставления оценок по курсу
Лекции
№ п/п | Занятие | Материалы |
---|---|---|
1 | Введение в курс. Классы функций в оптимизации. Скорости сходимости. Неточная одномерная оптимизация. | Скорости сходимости последовательностей |
2 | Метод градиентного спуска. | |
3 | Матричные разложения и метод Ньютона. | |
4 | Метод сопряжённых градиентов для решения СЛАУ. | |
5 | Неточный/безгессианный метод Ньютона. | |
6 | Квазиньютоновские методы. | |
7 | Задачи условной оптимизации, теорема ККТ. | видео |
Семинары
№ п/п | Занятие | Материалы |
---|---|---|
1 | Метод градиентного спуска. | |
7 | Задачи условной оптимизации, теорема ККТ. | видео |
Дополнительный материал
- Матрично-векторные скалярные произведения и нормы.
- Методы сопряженных градиентов.
- Самосогласованные функции и метод Ньютона.
- Метод зеркального спуска.
Домашние задания
Практические задания
Литература
- J. Nocedal, S. Wright. Numerical Optimization, Springer, 2006.
- A. Ben-Tal, A. Nemirovski. Optimization III. Lecture Notes, 2013.
- Y. Nesterov. Introductory Lectures on Convex Optimization: A Basic Course, Springer, 2003.
- Ю.Е. Нестеров. Методы выпуклой оптимизации, МЦНМО, 2010
- S. Boyd, L. Vandenberghe. Convex Optimization, Cambridge University Press, 2004.
- J.-P. Hiriart-Urruty, C. Lemaréchal. Convex Analysis and Minimization Algorithms I: Fundamentals and Convex Analysis and Minimization Algorithms II: Advanced Theory and Bundle Methods, Springer-Verlag Berlin Heidelberg, 1993.
- D. Bertsekas. Convex Analysis and Optimization, Athena Scientific, 2003.
- Б.Т. Поляк. Введение в оптимизацию, Наука, 1983.
- J. Duchi. Introductory Lectures on Stochastic Optimization, Graduate Summer School Lectures, 2016.
- S. Sra et al.. Optimization for Machine Learning, MIT Press, 2011.
Архив
См. также
Курс «Байесовские методы в машинном обучении»