Методы оптимизации (курс лекций)

Материал из MachineLearning.

Версия 21:31, 17 марта 2017

Методы оптимизации лежат в основе решения многих задач компьютерных наук. Например, в машинном обучении задачу оптимизации необходимо решать каждый раз при настройке какой-то модели алгоритмов по данным. Причём от эффективности решения соответствующей задачи оптимизации зависит практическая применимость самого метода машинного обучения. Данный курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклой), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности.

Занятия проходят на ФКН ВШЭ.

Лектор: Кропотов Дмитрий Александрович. Лекции проходят по вторникам в ауд. 622 с 13:40 до 15:00.

Семинаристы:

Таблица с оценками

Система выставления оценок по курсу в 3-м модуле

1. В рамках курса предполагается три практических задания, четыре домашних заданий и экзамен. Каждое задание и экзамен оцениваются по десятибалльной шкале.
2. В итоговой оценке 50% составляют баллы за домашние задания и 50% – баллы за практические задания. Для получения финального результата (0, 4–10) итоговая оценка по курсу округляется в большую сторону.
3. Сдача экзамена является необязательной и позволяет получить до 2 дополнительных баллов в итоговую оценку.
4. Для получения итоговой оценки >= 8 баллов необходимо сдать все домашние и практические задания на положительный балл, для получения итоговой оценки >= 6 баллов необходимо сдать не менее двух практических и трех домашних заданий, для получения итоговой оценки >= 4 баллов необходимо сдать не менее одного практического и двух домашних заданий.

Формирование итоговой оценки по курсу по итогам 3-го и 4-го модулей

1. За каждый из двух модулей выставляется независимая оценка в шкале 0, 4-10.
2. Итоговая оценка по курсу вычисляется как среднее арифметическое двух оценок за каждый из модулей с дальнейшим округлением к ближайшему целому (.5 округляется к единице).
3. Если по одному из модулей оценка 0 баллов, то итоговая оценка за курс – также 0 баллов.

Правила сдачи заданий

В рамках курса предполагается сдача нескольких домашних и практических заданий. Домашнее задание сдаётся к началу очередного семинара на листочках или (по согласованию с семинаристом) по почте в виде скана или pdf-файла. Домашние задания после срока сдачи не принимаются. Практические задания сдаются по почте. Эти задания могут быть присланы после срока сдачи, при этом начисляется штраф из расчёта 0.2 балла в день, но суммарно не более 6 баллов. При сдаче задания позже срока его проверка гарантируется только в случае, если оно было прислано не позже одной недели до официального окончания сессии.

Все домашние и практические задания выполняются самостоятельно. Если задание выполнялось сообща или использовались какие-либо сторонние коды и материалы, то об этом должно быть написано в отчёте. В противном случае «похожие» решения считаются плагиатом и все задействованные студенты (в том числе те, у кого списали) будут сурово наказаны.

Лекции

Семинары

Домашние задания

Задание 1. Скорости сходимости и матричные вычисления. Срок сдачи: 17 января 2017 (на семинаре).

Задание 2. Производные и условия оптимальности. Срок сдачи: 31 января 2017 (на семинаре).

Задание 3. Выпуклые множества и функции. Срок сдачи: 22 февраля 2017 (23:59).

Задание 4. Условная оптимизация. Срок сдачи: 22 марта 2017 (23:59).

Практические задания

Задание 1. Методы градиентного спуска и Ньютона. Срок сдачи: 22 февраля 2017 (23:59).

Задание 2. Продвинутые методы безусловной оптимизации. Срок сдачи: 9 марта 2017 (23:59).

Задание 3. Выпуклая негладкая, условная и структурная оптимизация. Срок сдачи: 26 марта 2017 (23:59).

Литература

1. J. Nocedal, S. Wright. Numerical Optimization, Springer, 2006.
2. S. Boyd, L. Vandenberghe. Convex Optimization, Cambridge University Press, 2004.
3. S. Sra et al.. Optimization for Machine Learning, MIT Press, 2011.
4. A. Ben-Tal, A. Nemirovski. Optimization III. Lecture Notes, 2013.
5. Б. Поляк. Введение в оптимизацию, Наука, 1983.
6. Y. Nesterov. Introductory Lectures on Convex Optimization: A Basic Course, Springer, 2003.
7. R. Fletcher. Practical Methods of Optimization, Wiley, 2000.
8. A. Antoniou, W.-S. Lu. Practical Optimization: Algorithms and Engineering Applications, Springer, 2007.
9. W. Press et al.. Numerical Recipes. The Art of Scientific Computing, Cambridge University Press, 2007.