Нейросетевые методы обработки изображений (В.В.Китов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Экзамен)
 
(76 промежуточных версий не показаны.)
Строка 1: Строка 1:
__NOTOC__
__NOTOC__
[[Категория:Учебные курсы]]
[[Категория:Учебные курсы]]
-
==Объявление==
 
-
К следующему четвергу до 23-55 всем посещающим спецкурс и желающим получить по нему оценку необходимо прислать письмо:
 
-
* на адрес v.v.kitov(at)yandex.ru
 
-
* озаглавленное "Отчет по НМОИ"
 
-
* к письму должна быть приложена презентация, содержащая:
 
-
** обзор некоторой статьи по переносу стиля или смежной теме. Цитируемость статьи должна быть >=10 на [https://scholar.google.ru/ google scholar], не привествуются статьи, уже рассмотренные на лекциях.
 
-
** ваши идеи возможных улучшений технологии перенося стиля (не обязательно по выбранной статье), приветствуется конкретика (формулы, алгоритмические изменения).
 
-
* к письму должна быть приложена статья, по которой вы делаете доклад
 
-
* '''если вы хотите идти под мое научное руководство - также приложите к письму заполненную [https://yadi.sk/d/zDfL-RP9Vgk3og анкету].'''
 
==О курсе==
==О курсе==
-
Спецкурс проходит на ф-те ВМиК весной 2019 года и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо преобразовать так, чтобы сохранить изображенные на нем предметы, но стилистику их отображения взять из другого изображения или группы изображений. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо изменение зимней панорамы в летнюю. Эта задача может применяться в мультипликации, наложении спецэффектов в фильмах и видеоиграх, симуляторах и средствах дополненной реальности, а также для более точной настройки методов машинного обучения работе с изображениями за счет вариации их стиля и адаптации стиля под целевую предметную область. Помимо отдельных изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и т.д.). Основные методы стилизации были предложены в последние 5 лет и опираются на глубинные нейронные сети, базовому изучению которых посвящена существенная часть курса.
+
Спецкурс проходит на ф-те ВМиК в весеннем семестре и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо отобразить в стиле, задаваемым другим изображением. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо преобразование фотогрфии в схематичную книжную иллюстрацию. Для решения задачи существуют современные подходы переноса стиля (style transfer) и генеративно-состязательные сети (generative adversarial networks). Эта задача широко используется в индустрии разлечений (например, мобильное приложение Prisma было самым скачиваемым на Android в странах СНГ в течение 10 дней после выхода), при обработке фотографий и дизайне (функции стилизации были добавлены в Adobe Photoshop 2021), может применяться в мультипликации, наложении спецэффектов в фильмах, видеоиграх и средствах дополненной реальности, а также для более точной настройки методов машинного при обучении на одной предметной области, а применении модели к другой (transfer learning). Помимо изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и музыка). Основные методы стилизации были предложены в последние 7 лет и опираются на глубокие нейронные сети, базовому изучению которых посвящена начальная часть курса.
 +
 
 +
Занятия проходят в формате лекций. В процессе прохождения курса каждый студент должен сделать презентацию основных идей и подходов одной из недавних статей, посвященных стилизации изображений, а также представить свои идеи улучшений традиционных методов стилизации изображений и их обосновать.
 +
 
 +
==Экзамен==
 +
[https://disk.yandex.ru/i/sU37mxSPkDMOvw Процедура экзамена и список билетов].
==Лектор==
==Лектор==
[[Участник:Victor Kitov|Виктор Владимирович Китов]], к.ф.-м.н., преподаватель кафедры [[Mmp|математических методов прогнозирования]] [http://cmc.msu.ru ВМК МГУ]. Почта: v.v.kitov(at)yandex.ru.
[[Участник:Victor Kitov|Виктор Владимирович Китов]], к.ф.-м.н., преподаватель кафедры [[Mmp|математических методов прогнозирования]] [http://cmc.msu.ru ВМК МГУ]. Почта: v.v.kitov(at)yandex.ru.
-
==Расписание==
+
==Время занятий==
-
Занятия проходят по пятницам в 16-20 в ауд. 606. Первое занятие - 22.02.2019.
+
Занятия проходят в удаленном формате по понедельникам 18-00 - 19-30 по [https://us06web.zoom.us/j/81357650774?pwd=RWZNZzl6VmJGNlo1eDJrZy9XN0xPQT09 ссылке].
 +
Первое занятие 14 февраля.
 +
 
 +
==Лекции==
 +
 
 +
[https://disk.yandex.ru/i/X92ZQYaDmJdMSA Нейросети. Многослойный персептрон.]
 +
 
 +
[https://disk.yandex.ru/i/ebaaTEilmOpmuw Оптимизация методами градиентного и стохастического градиентного спуска.]
 +
 
 +
[https://disk.yandex.ru/i/UwuewOCgomtK7Q DropOut, Batch-нормализация.]
-
==Программа==
+
[https://disk.yandex.ru/i/1Myn1D-_A-nxRg Сверточные нейросети.]
-
* Введение в машинное и глубинное обучение
+
-
* Алгоритмы настройки нейросетей. Регуляризация.
+
-
* Основные архитектуры сверточных нейросетей.
+
-
* Методы стилизации, основанные на сближении распределений.
+
-
* Методы стилизации, основанные на сопоставлении участков изображений.
+
-
* Методы стилизации видеопоследовательностей.
+
-
* Генеративно-состязательные сети и их применения для стилизации и повышения качества изображений.
+
 +
[https://disk.yandex.ru/i/x9b8eq_JcWB_KQ Расширение выборки изображений.]
-
=Материалы лекций=
+
[https://disk.yandex.ru/i/ki9WMCubvdhdGA Архитектуры сверточных нейросетей для задачи классификации.]
-
===Введение в машинное обучение.===
+
[https://disk.yandex.ru/i/lZEK0TYOIg2Dhw Оптимизационный метод переноса стиля.]
-
[https://yadi.sk/i/IfR0TdxpHAhmRA Презентация].
+
-
===Многослойный персептрон.===
+
[https://disk.yandex.ru/i/lLfe3zOC0IX28Q Трансформационный метод переноса стиля.]
-
[https://yadi.sk/i/H_Oi0oL1tzqBRw Презентация].
+
-
===Сверточные нейросети.===
+
[https://disk.yandex.ru/i/9jzeENMDEA3-eA Патчевый метод переноса стиля.]
-
[https://yadi.sk/i/jIbSmgR_2akThg Презентация].
+
-
===Модели переноса стиля.===
+
[https://disk.yandex.ru/i/4RMfxk1Lg5eC9Q Технические улучшения методов стилизации изображений.]
-
[https://yadi.sk/i/NpCyttnBnQknzg Презентация].
+
-
===Улучшения переноса стиля 1.===
+
[https://disk.yandex.ru/i/GJQPwB02CJXoaA Концептуальные улучшения методов стилизации изображений.]
-
[https://yadi.sk/i/uCeb3mYj0q5xbw Презентация].
+
-
===Улучшения переноса стиля 2.===
+
[https://disk.yandex.ru/i/f7D9e7dX-iOfjA Мульти-стилевые трансформационные модели.]
-
[https://yadi.sk/i/MakcK8WK2SmxbA Презентация].
+
-
===Мультистилевой онлайн перенос стиля.===
+
[https://disk.yandex.ru/i/ng48clrTsdE_6w Семантическая сегментация.]
-
[https://yadi.sk/i/AGvHwmQbD5dOuQ Презентация].
+
-
===Расширение обучающей выборки.===
+
[https://disk.yandex.ru/i/gN5hPPNT8V8EdQ Детекция объектов.]
-
[https://yadi.sk/i/mgfcDzHfp6t4ww Презентация].
+
-
===Фрагментарный перенос стиля.===
+
[https://disk.yandex.ru/i/ps83_Hr5W_7P-g Генеративно-состязательные сети.]
-
[https://yadi.sk/i/Q1i_fZyduk2u0w Презентация].
+
-
===Перенос стиля для видео.===
+
[https://disk.yandex.ru/i/PuWnGsJKImCTqg Приложения генеративно-состязательных сетей.]
-
[https://yadi.sk/i/VF5v6AM86U6OKQ Презентация].
+
=Рекомендуемые ресурсы=
=Рекомендуемые ресурсы=

Текущая версия


О курсе

Спецкурс проходит на ф-те ВМиК в весеннем семестре и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо отобразить в стиле, задаваемым другим изображением. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо преобразование фотогрфии в схематичную книжную иллюстрацию. Для решения задачи существуют современные подходы переноса стиля (style transfer) и генеративно-состязательные сети (generative adversarial networks). Эта задача широко используется в индустрии разлечений (например, мобильное приложение Prisma было самым скачиваемым на Android в странах СНГ в течение 10 дней после выхода), при обработке фотографий и дизайне (функции стилизации были добавлены в Adobe Photoshop 2021), может применяться в мультипликации, наложении спецэффектов в фильмах, видеоиграх и средствах дополненной реальности, а также для более точной настройки методов машинного при обучении на одной предметной области, а применении модели к другой (transfer learning). Помимо изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и музыка). Основные методы стилизации были предложены в последние 7 лет и опираются на глубокие нейронные сети, базовому изучению которых посвящена начальная часть курса.

Занятия проходят в формате лекций. В процессе прохождения курса каждый студент должен сделать презентацию основных идей и подходов одной из недавних статей, посвященных стилизации изображений, а также представить свои идеи улучшений традиционных методов стилизации изображений и их обосновать.

Экзамен

Процедура экзамена и список билетов.

Лектор

Виктор Владимирович Китов, к.ф.-м.н., преподаватель кафедры математических методов прогнозирования ВМК МГУ. Почта: v.v.kitov(at)yandex.ru.

Время занятий

Занятия проходят в удаленном формате по понедельникам 18-00 - 19-30 по ссылке. Первое занятие 14 февраля.

Лекции

Нейросети. Многослойный персептрон.

Оптимизация методами градиентного и стохастического градиентного спуска.

DropOut, Batch-нормализация.

Сверточные нейросети.

Расширение выборки изображений.

Архитектуры сверточных нейросетей для задачи классификации.

Оптимизационный метод переноса стиля.

Трансформационный метод переноса стиля.

Патчевый метод переноса стиля.

Технические улучшения методов стилизации изображений.

Концептуальные улучшения методов стилизации изображений.

Мульти-стилевые трансформационные модели.

Семантическая сегментация.

Детекция объектов.

Генеративно-состязательные сети.

Приложения генеративно-состязательных сетей.

Рекомендуемые ресурсы

Личные инструменты