Методы оптимизации (курс лекций)

Материал из MachineLearning.

Страница курса находится в стадии формирования

Настройка модели алгоритмов по данным — это задача оптимизации, от эффективности решения которой зависит практическая применимость метода машинного обучения. В эпоху больших данных многие классические алгоритмы оптимизации становятся неприменимы, т.к. здесь требуется решать задачи оптимизации функций за время меньшее, чем необходимо для вычисления значения функции в одной точке. Таким требованиям можно удовлетворить в случае грамотного комбинирования известных подходов в оптимизации с учётом конкретной специфики решаемой задачи. Курс посвящен изучению классических и современных методов решения задач непрерывной оптимизации (в том числе невыпуклой), а также особенностям применения этих методов в задачах оптимизации, возникающих в машинном обучении. Наличие у слушателей каких-либо предварительных знаний по оптимизации не предполагается, все необходимые понятия разбираются в ходе занятий. Основной акцент в изложении делается на практические аспекты реализации и использования методов. Целью курса является выработка у слушателей навыков по подбору подходящего метода для своей задачи, наиболее полно учитывающего её особенности. Курс рассчитан на студентов старших курсов и аспирантов. Знание основ машинного обучения приветствуется, но не является обязательным — все необходимые понятия вводятся в ходе лекций.

Занятия проходят на ФКН ВШЭ.

Лектор: Кропотов Дмитрий Александрович. Лекции проходят по вторникам в ауд. 622 с 13:40 до 15:00.

Семинаристы:

Группа	Семинарист	Расписание
141 (МОП)	Родоманов Антон Олегович	вторник, 15:10 – 16:30, ауд. 513
142 (МОП)	Хальман Михаил Анатольевич	вторник, 15:10 – 16:30, ауд. 501
145 (РС)	Дойков Никита Владимирович	вторник, 15:10 – 16:30, ауд. 503

Система выставления оценок по курсу

В рамках курса предполагается четыре практических задания, несколько домашних заданий и экзамен. Каждое задание и экзамен оцениваются по пятибалльной шкале. В итоговой оценке 45% составляют баллы за практические задания, 25% — баллы за домашние задания и 30% — оценка за экзамен. Для получения финального результата (0, 3, 4, 5) итоговая оценка по курсу округляется в большую сторону. За каждый день просрочки при сдаче практического задания начисляется штраф 0.1 балла, но суммарно не более 3 баллов.

Лекции

№ п/п	Дата	Занятие	Материалы
1	10 января 2017	Введение в курс. Необходимое условие экстремума. Оракулы, скорости сходимости итерационных процессов.
2	17 января 2017	Точная одномерная оптимизация.
3	24 января 2017	Неточная одномерная оптимизация. Классы функций для оптимизации. Метод градиентного спуска.
4	31 января 2017	Матричные разложения и их использование для решения СЛАУ. Метод Ньютона для выпуклых и невыпуклых задач.
5	7 февраля 2017	Линейный метод сопряжённых градиентов.
6	14 февраля 2017	Неточный метод Ньютона. Разностные производные.
7	21 февраля 2017	Квазиньютоновские методы. Метод L-BFGS.
8	28 февраля 2017	Задачи условной оптимизации: условия ККТ.
9	7 марта 2017	Выпуклые задачи оптимизации. Двойственность. Метод барьеров.
10	14 марта 2017	Негладкая безусловная оптимизация. Субградиентный метод. Проксимальные методы.
11	21 марта 2017	Стохастическая оптимизация.

Литература

1. J. Nocedal, S. Wright. Numerical Optimization, Springer, 2006.
2. S. Boyd, L. Vandenberghe. Convex Optimization, Cambridge University Press, 2004.
3. S. Sra et al.. Optimization for Machine Learning, MIT Press, 2011.
4. A. Ben-Tal, A. Nemirovski. Optimization III. Lecture Notes, 2013.
5. Б. Поляк. Введение в оптимизацию, Наука, 1983.
6. Y. Nesterov. Introductory Lectures on Convex Optimization: A Basic Course, Springer, 2003.
7. R. Fletcher. Practical Methods of Optimization, Wiley, 2000.
8. A. Antoniou, W.-S. Lu. Practical Optimization: Algorithms and Engineering Applications, Springer, 2007.
9. W. Press et al.. Numerical Recipes. The Art of Scientific Computing, Cambridge University Press, 2007.