Методы оптимизации (курс лекций)
Материал из MachineLearning.
![]() | Страница курса находится в стадии формирования |
Настройка модели алгоритмов по данным — это задача оптимизации, от эффективности решения которой зависит практическая применимость метода машинного обучения. В эпоху больших данных многие классические алгоритмы оптимизации становятся неприменимы, т.к. здесь требуется решать задачи оптимизации функций за время меньшее, чем необходимо для вычисления значения функции в одной точке. Таким требованиям можно удовлетворить в случае грамотного комбинирования известных подходов в оптимизации с учётом конкретной специфики решаемой задачи. Курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклой), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Наличие у слушателей каких-либо предварительных знаний по оптимизации не предполагается, все необходимые понятия разбираются в ходе занятий. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.
Курс рассчитан на студентов старших курсов и аспирантов. Знание основ машинного обучения приветствуется, но не является обязательным — все необходимые понятия вводятся в ходе лекций.
Занятия проходят на ФКН ВШЭ.
Лектор: Кропотов Дмитрий Александрович. Лекции проходят по вторникам в ауд. 622 с 13:40 до 15:00.
Семинаристы:
Группа | Семинарист | Расписание |
---|---|---|
141 (МОП) | Родоманов Антон Олегович | вторник, 15:10 – 16:30, ауд. 513 |
142 (МОП) | Хальман Михаил Анатольевич | вторник, 15:10 – 16:30, ауд. 501 |
145 (РС) | Дойков Никита Владимирович | вторник, 15:10 – 16:30, ауд. 503 |
Система выставления оценок по курсу в 3-м модуле
- В рамках курса предполагается три практических задания, четыре домашних заданий и экзамен. Каждое задание и экзамен оцениваются по десятибалльной шкале.
- В итоговой оценке 50% составляют баллы за домашние задания и 50% – баллы за практические задания. Для получения финального результата (0, 4–10) итоговая оценка по курсу округляется в большую сторону.
- Сдача экзамена является необязательной и позволяет получить до 2 дополнительных баллов в итоговую оценку.
- Для получения итоговой оценки >= 8 баллов необходимо сдать все домашние и практические задания на положительный балл, для получения итоговой оценки >= 6 баллов необходимо сдать не менее двух практических и трех домашних заданий, для получения итоговой оценки >= 4 баллов необходимо сдать не менее одного практического и двух домашних заданий.
Правила сдачи заданий
В рамках курса предполагается сдача нескольких домашних и практических заданий. Домашнее задание сдаётся к началу очередного семинара на листочках или (по согласованию с семинаристом) по почте в виде скана или pdf-файла. Домашние задания после срока сдачи не принимаются. Практические задания сдаются по почте. Эти задания могут быть присланы после срока сдачи, при этом начисляется штраф из расчёта 0.2 балла в день, но суммарно не более 6 баллов. При сдаче задания позже срока его проверка гарантируется только в случае, если оно было прислано не позже одной недели до официального окончания сессии.
Все домашние и практические задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.
Лекции
№ п/п | Дата | Занятие | Материалы |
---|---|---|---|
1 | 10 января 2017 | Введение в курс. Необходимое условие экстремума. Оракулы, скорости сходимости итерационных процессов. | |
2 | 17 января 2017 | Точная одномерная оптимизация. | |
3 | 24 января 2017 | Неточная одномерная оптимизация. Классы функций для оптимизации. Метод градиентного спуска. | |
4 | 31 января 2017 | Матричные разложения и их использование для решения СЛАУ. Метод Ньютона для выпуклых и невыпуклых задач. | |
5 | 7 февраля 2017 | Линейный метод сопряжённых градиентов. | |
6 | 14 февраля 2017 | Неточный метод Ньютона. Разностные производные. | |
7 | 21 февраля 2017 | Квазиньютоновские методы. Метод L-BFGS. | |
8 | 28 февраля 2017 | Задачи условной оптимизации: условия ККТ. | |
9 | 7 марта 2017 | Выпуклые задачи оптимизации. Двойственность. Метод барьеров. | |
10 | 14 марта 2017 | Негладкая безусловная оптимизация. Субградиентный метод. Проксимальные методы. | |
11 | 21 марта 2017 | Стохастическая оптимизация. |
Литература
- J. Nocedal, S. Wright. Numerical Optimization, Springer, 2006.
- S. Boyd, L. Vandenberghe. Convex Optimization, Cambridge University Press, 2004.
- S. Sra et al.. Optimization for Machine Learning, MIT Press, 2011.
- A. Ben-Tal, A. Nemirovski. Optimization III. Lecture Notes, 2013.
- Б. Поляк. Введение в оптимизацию, Наука, 1983.
- Y. Nesterov. Introductory Lectures on Convex Optimization: A Basic Course, Springer, 2003.
- R. Fletcher. Practical Methods of Optimization, Wiley, 2000.
- A. Antoniou, W.-S. Lu. Practical Optimization: Algorithms and Engineering Applications, Springer, 2007.
- W. Press et al.. Numerical Recipes. The Art of Scientific Computing, Cambridge University Press, 2007.