Нейросетевые методы обработки изображений (В.В.Китов)
Материал из MachineLearning.
О курсе
Спецкурс проходит на ф-те ВМиК в весеннем семестре и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо отобразить в стиле, задаваемым другим изображением. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо изменение зимней панорамы в летнюю. Для решения задачи предлагаются современные подгоды переноса стиля (style transfer) и генеративно-состязательные сети (generative adversarial networks). Эта задача широко используется в индустрии разлечений (например, мобильное приложение Prisma было самым скачиваемым на Android в странах СНГ в течение 10 дней после выхода), обработке фотографий и дизайне (функции стилизации были добавлены в Adobe Photoshop 2021), а также может применяться в мультипликации, наложении спецэффектов в фильмах, видеоиграх и средствах дополненной реальности, а также для более точной настройки методов машинного при обучении на одной предметной области, а применении модели к другой (transfer learning). Помимо изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и музыка). Основные методы стилизации были предложены в последние 7 лет и опираются на глубокие нейронные сети, базовому изучению которых посвящена начальная часть курса.
Лектор
Виктор Владимирович Китов, к.ф.-м.н., преподаватель кафедры математических методов прогнозирования ВМК МГУ. Почта: v.v.kitov(at)yandex.ru.
Время занятий
Занятия проходят в удаленном формате по понедельникам 18-00 - 19-30 по ссылке. Первое занятие 14 февраля.
Лекции
Нейросети. Многослойный персептрон.
Расширение выборки изображений.
Основные архитектуры сверточных нейросетей (классификация).
Оптимизационный метод переноса стиля.
Трансформационный метод переноса стиля.
Мульти-стилевые трансформационные модели.
Перенос стиля, основанный на патчах.
Генеративно-состязательные сети.
Приложения генеративно-состязательных сетей.
Технические улучшения стилизации.
Концептуальные улучшения стилизации.
Рекомендуемые ресурсы
- Примеры переноса стиля для видео: пример 1, пример 2, пример 3.
- Обзорная статья по переносу стиля для изображений.
- Лекции курса в Стэнфорде по сверточным нейронным сетям.
- Топовые конференции по машинному обучению и компьютерному зрению (самые интересные статьи там)
- Поиск google по статьям.
- Образовательные материалы по библиотеке глубинного обучения PyTorch.
- Книга по глубинному обучению.
