Нейросетевые методы обработки изображений (В.В.Китов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
Строка 4: Строка 4:
==О курсе==
==О курсе==
Спецкурс проходит на ф-те ВМиК в весеннем семестре и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо преобразовать так, чтобы сохранить изображенные на нем предметы, но стилистику их отображения взять из другого изображения или группы изображений. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо изменение зимней панорамы в летнюю. Эта задача может применяться в мультипликации, наложении спецэффектов в фильмах и видеоиграх, симуляторах и средствах дополненной реальности, а также для более точной настройки методов машинного обучения работе с изображениями за счет расширения обучающей выборки путем вариации стиля и адаптации стиля под целевую предметную область. Помимо отдельных изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и т.д.). Основные методы стилизации были предложены в последние 5 лет и опираются на глубинные нейронные сети, базовому изучению которых посвящена существенная часть курса.
Спецкурс проходит на ф-те ВМиК в весеннем семестре и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо преобразовать так, чтобы сохранить изображенные на нем предметы, но стилистику их отображения взять из другого изображения или группы изображений. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо изменение зимней панорамы в летнюю. Эта задача может применяться в мультипликации, наложении спецэффектов в фильмах и видеоиграх, симуляторах и средствах дополненной реальности, а также для более точной настройки методов машинного обучения работе с изображениями за счет расширения обучающей выборки путем вариации стиля и адаптации стиля под целевую предметную область. Помимо отдельных изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и т.д.). Основные методы стилизации были предложены в последние 5 лет и опираются на глубинные нейронные сети, базовому изучению которых посвящена существенная часть курса.
 +
 +
==Экзамен==
 +
[https://disk.yandex.ru/i/JTRy49iBP6iKuA Билеты для экзамена 06.2021].
==Лектор==
==Лектор==
Строка 12: Строка 15:
26 фев (пт), 5 мар (пт), 9 мар (вт), 12 мар (пт), 16 мар (вт), 19 мар (пт), 23 мар (вт), 26 мар (пт), 30 мар (вт), 02 апр (пт), 06 апр (вт), 16 апр (пт), 23 апр (пт).
26 фев (пт), 5 мар (пт), 9 мар (вт), 12 мар (пт), 16 мар (вт), 19 мар (пт), 23 мар (вт), 26 мар (пт), 30 мар (вт), 02 апр (пт), 06 апр (вт), 16 апр (пт), 23 апр (пт).
-
=Лекции=
+
==Лекции==
[https://disk.yandex.ru/d/4OpIzpEIDAtIxg?w=1 Все материалы лекций, включая рукописные записи]
[https://disk.yandex.ru/d/4OpIzpEIDAtIxg?w=1 Все материалы лекций, включая рукописные записи]

Версия 11:16, 12 июня 2021


О курсе

Спецкурс проходит на ф-те ВМиК в весеннем семестре и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо преобразовать так, чтобы сохранить изображенные на нем предметы, но стилистику их отображения взять из другого изображения или группы изображений. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо изменение зимней панорамы в летнюю. Эта задача может применяться в мультипликации, наложении спецэффектов в фильмах и видеоиграх, симуляторах и средствах дополненной реальности, а также для более точной настройки методов машинного обучения работе с изображениями за счет расширения обучающей выборки путем вариации стиля и адаптации стиля под целевую предметную область. Помимо отдельных изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и т.д.). Основные методы стилизации были предложены в последние 5 лет и опираются на глубинные нейронные сети, базовому изучению которых посвящена существенная часть курса.

Экзамен

Билеты для экзамена 06.2021.

Лектор

Виктор Владимирович Китов, к.ф.-м.н., преподаватель кафедры математических методов прогнозирования ВМК МГУ. Почта: v.v.kitov(at)yandex.ru.

Расписание

Занятия проходят удалённо по вторникам (18-30 - 20-00) и по пятницам (19-00 - 20-30) через zoom по ссылке в следующие дни: 26 фев (пт), 5 мар (пт), 9 мар (вт), 12 мар (пт), 16 мар (вт), 19 мар (пт), 23 мар (вт), 26 мар (пт), 30 мар (вт), 02 апр (пт), 06 апр (вт), 16 апр (пт), 23 апр (пт).

Лекции

Все материалы лекций, включая рукописные записи

---

Введение в машинное обучение.

Градиентный спуск

Расширение выборки изображений.

Сверточные нейросети.

Основные архитектуры сверточных нейросетей (классификация).

Семантическая сегментация.

Оптимизационный метод переноса стиля.

Трансформационный метод переноса стиля.

Мульти-стилевые трансформационные модели.

Перенос стиля, основанный на патчах.

Генеративно-состязательные сети.

Приложения генеративно-состязательных сетей.

Технические улучшения стилизации.

Концептуальные улучшения стилизации.

Расширение обучающей выборки.

Стилизация видео.

Рекомендуемые ресурсы

Личные инструменты