Нейросетевые методы обработки изображений (В.В.Китов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(→Расписание)
(→Экзамен)
 
(46 промежуточных версий не показаны.)
Строка 3: Строка 3:
==О курсе==
==О курсе==
-
Спецкурс проходит на ф-те ВМиК в весеннем семестре и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо преобразовать так, чтобы сохранить изображенные на нем предметы, но стилистику их отображения взять из другого изображения или группы изображений. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо изменение зимней панорамы в летнюю. Эта задача может применяться в мультипликации, наложении спецэффектов в фильмах и видеоиграх, симуляторах и средствах дополненной реальности, а также для более точной настройки методов машинного обучения работе с изображениями за счет расширения обучающей выборки путем вариации стиля и адаптации стиля под целевую предметную область. Помимо отдельных изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и т.д.). Основные методы стилизации были предложены в последние 5 лет и опираются на глубинные нейронные сети, базовому изучению которых посвящена существенная часть курса.
+
Спецкурс проходит на ф-те ВМиК в весеннем семестре и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо отобразить в стиле, задаваемым другим изображением. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо преобразование фотогрфии в схематичную книжную иллюстрацию. Для решения задачи существуют современные подходы переноса стиля (style transfer) и генеративно-состязательные сети (generative adversarial networks). Эта задача широко используется в индустрии разлечений (например, мобильное приложение Prisma было самым скачиваемым на Android в странах СНГ в течение 10 дней после выхода), при обработке фотографий и дизайне (функции стилизации были добавлены в Adobe Photoshop 2021), может применяться в мультипликации, наложении спецэффектов в фильмах, видеоиграх и средствах дополненной реальности, а также для более точной настройки методов машинного при обучении на одной предметной области, а применении модели к другой (transfer learning). Помимо изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и музыка). Основные методы стилизации были предложены в последние 7 лет и опираются на глубокие нейронные сети, базовому изучению которых посвящена начальная часть курса.
-
==Расписание==
+
Занятия проходят в формате лекций. В процессе прохождения курса каждый студент должен сделать презентацию основных идей и подходов одной из недавних статей, посвященных стилизации изображений, а также представить свои идеи улучшений традиционных методов стилизации изображений и их обосновать.
-
Занятия проходят удалённо по пятницам с 19-00 до 20-30 через zoom по [https://zoom.us/j/8043842932?pwd=SUlMOFNRRDRXOG5kcm9pamZMWXdBdz09 ссылке].
+
-
Первое занятие 26.02.2021.
+
==Экзамен==
 +
[https://disk.yandex.ru/i/isoVOoVDo2DObw список билетов].
==Лектор==
==Лектор==
-
[[Участник:Victor Kitov|Виктор Владимирович Китов]], к.ф.-м.н., преподаватель кафедры [[Mmp|математических методов прогнозирования]] [http://cmc.msu.ru ВМК МГУ]. Почта: v.v.kitov(at)yandex.ru.
+
[[Участник:Victor Kitov|Виктор Владимирович Китов]], к.ф.-м.н., преподаватель кафедры [[Mmp|математических методов прогнозирования]] [http://cmc.msu.ru ВМК МГУ].
-
=Материалы лекций=
+
Телеграм: VictorKitov
-
+
-
[https://yadi.sk/i/IfR0TdxpHAhmRA Введение в машинное обучение.]
+
-
[https://yadi.sk/i/H_Oi0oL1tzqBRw Многослойный персептрон.]
+
Почта: v.v.kitov(at)yandex.ru.
-
[https://yadi.sk/i/jIbSmgR_2akThg Сверточные нейросети.]
+
==Время занятий==
 +
По вторникам 16-20 - 17-55, ауд. 609.
 +
Первое занятие будет 14.02.2023.
-
[https://yadi.sk/i/XnAZ-fLKX9Bpmg Основные архитектуры сверточных нейросетей.]
+
==Лекции==
-
[https://yadi.sk/i/fHZUcrVFWFbODw Оптимизационный метод переноса стиля.]
+
[https://disk.yandex.ru/i/L3-gyBerNhNH5g Задачи глубокого обучения.]
-
[https://yadi.sk/i/_6AInrhKcJzl9A Трансформационный метод переноса стиля.]
+
[https://disk.yandex.ru/i/X92ZQYaDmJdMSA Нейросети. Многослойный персептрон.]
-
[https://yadi.sk/i/dzghc0Ufxi7zMw Перенос стиля, основанный на патчах.]
+
[https://disk.yandex.ru/i/yzx2n6_GAeknVA Оптимизация нейросетей.]
-
[https://yadi.sk/i/TGA1AOP64G1a_Q Технические улучшения.]
+
[https://disk.yandex.ru/i/1Myn1D-_A-nxRg Сверточные нейросети.]
-
[https://yadi.sk/i/gVypaP4Kmql_rw Концептуальные улучшения.]
+
[https://disk.yandex.ru/i/lZEK0TYOIg2Dhw Оптимизационный метод переноса стиля.]
-
[https://yadi.sk/i/uiDNs7aAe2-tUw Мульти-стилевые трансформационные модели.]
+
[https://disk.yandex.ru/i/lLfe3zOC0IX28Q Трансформационный метод переноса стиля.]
-
[https://yadi.sk/i/QwndMEu3to27dg Расширение обучающей выборки.]
+
[https://disk.yandex.ru/i/9jzeENMDEA3-eA Патчевый метод переноса стиля.]
-
[https://yadi.sk/i/MVFsFttnAV_YMg Генеративно-состязательные сети.]
+
[https://disk.yandex.ru/i/4RMfxk1Lg5eC9Q Технические улучшения методов стилизации изображений.]
 +
 
 +
[https://disk.yandex.ru/i/GJQPwB02CJXoaA Концептуальные улучшения методов стилизации изображений.]
 +
 
 +
[https://disk.yandex.ru/i/f7D9e7dX-iOfjA Мульти-стилевые трансформационные модели.]
 +
 
 +
[https://disk.yandex.ru/i/G2nm-lSOWWRIgw Сингулярное разложение.]
 +
 
 +
[https://disk.yandex.ru/i/ng48clrTsdE_6w Семантическая сегментация.]
 +
 
 +
[https://disk.yandex.ru/i/gN5hPPNT8V8EdQ Детекция объектов и instance-сегментация.]
=Рекомендуемые ресурсы=
=Рекомендуемые ресурсы=

Текущая версия


О курсе

Спецкурс проходит на ф-те ВМиК в весеннем семестре и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо отобразить в стиле, задаваемым другим изображением. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо преобразование фотогрфии в схематичную книжную иллюстрацию. Для решения задачи существуют современные подходы переноса стиля (style transfer) и генеративно-состязательные сети (generative adversarial networks). Эта задача широко используется в индустрии разлечений (например, мобильное приложение Prisma было самым скачиваемым на Android в странах СНГ в течение 10 дней после выхода), при обработке фотографий и дизайне (функции стилизации были добавлены в Adobe Photoshop 2021), может применяться в мультипликации, наложении спецэффектов в фильмах, видеоиграх и средствах дополненной реальности, а также для более точной настройки методов машинного при обучении на одной предметной области, а применении модели к другой (transfer learning). Помимо изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и музыка). Основные методы стилизации были предложены в последние 7 лет и опираются на глубокие нейронные сети, базовому изучению которых посвящена начальная часть курса.

Занятия проходят в формате лекций. В процессе прохождения курса каждый студент должен сделать презентацию основных идей и подходов одной из недавних статей, посвященных стилизации изображений, а также представить свои идеи улучшений традиционных методов стилизации изображений и их обосновать.

Экзамен

список билетов.

Лектор

Виктор Владимирович Китов, к.ф.-м.н., преподаватель кафедры математических методов прогнозирования ВМК МГУ.

Телеграм: VictorKitov

Почта: v.v.kitov(at)yandex.ru.

Время занятий

По вторникам 16-20 - 17-55, ауд. 609. Первое занятие будет 14.02.2023.

Лекции

Задачи глубокого обучения.

Нейросети. Многослойный персептрон.

Оптимизация нейросетей.

Сверточные нейросети.

Оптимизационный метод переноса стиля.

Трансформационный метод переноса стиля.

Патчевый метод переноса стиля.

Технические улучшения методов стилизации изображений.

Концептуальные улучшения методов стилизации изображений.

Мульти-стилевые трансформационные модели.

Сингулярное разложение.

Семантическая сегментация.

Детекция объектов и instance-сегментация.

Рекомендуемые ресурсы

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9D%D0%B5%D0%B9%D1%80%D0%BE%D1%81%D0%B5%D1%82%D0%B5%D0%B2%D1%8B%D0%B5_%D0%BC%D0%B5%D1%82%D0%BE%D0%B4%D1%8B_%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B8_%D0%B8%D0%B7%D0%BE%D0%B1%D1%80%D0%B0%D0%B6%D0%B5%D0%BD%D0%B8%D0%B9_%28%D0%92.%D0%92.%D0%9A%D0%B8%D1%82%D0%BE%D0%B2%29»
Личные инструменты