Нейросетевые методы обработки изображений (В.В.Китов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(32 промежуточные версии не показаны)
Строка 1: Строка 1:
__NOTOC__
__NOTOC__
[[Категория:Учебные курсы]]
[[Категория:Учебные курсы]]
-
==Объявление==
 
-
К следующему четвергу до 23-55 всем посещающим спецкурс и желающим получить по нему оценку необходимо прислать письмо:
 
-
* на адрес v.v.kitov(at)yandex.ru
 
-
* озаглавленное "Отчет по НМОИ"
 
-
* к письму должна быть приложена презентация, содержащая:
 
-
** обзор некоторой статьи по переносу стиля или смежной теме. Цитируемость статьи должна быть >=10 на [https://scholar.google.ru/ google scholar], не привествуются статьи, уже рассмотренные на лекциях.
 
-
** ваши идеи возможных улучшений технологии перенося стиля (не обязательно по выбранной статье), приветствуется конкретика (формулы, алгоритмические изменения).
 
-
* к письму должна быть приложена статья, по которой вы делаете доклад
 
-
* '''если вы хотите идти под мое научное руководство - также приложите к письму заполненную [https://yadi.sk/d/zDfL-RP9Vgk3og анкету].'''
 
==О курсе==
==О курсе==
-
Спецкурс проходит на ф-те ВМиК весной 2019 года и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо преобразовать так, чтобы сохранить изображенные на нем предметы, но стилистику их отображения взять из другого изображения или группы изображений. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо изменение зимней панорамы в летнюю. Эта задача может применяться в мультипликации, наложении спецэффектов в фильмах и видеоиграх, симуляторах и средствах дополненной реальности, а также для более точной настройки методов машинного обучения работе с изображениями за счет вариации их стиля и адаптации стиля под целевую предметную область. Помимо отдельных изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и т.д.). Основные методы стилизации были предложены в последние 5 лет и опираются на глубинные нейронные сети, базовому изучению которых посвящена существенная часть курса.
+
Спецкурс проходит на ф-те ВМиК в весеннем семестре и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо преобразовать так, чтобы сохранить изображенные на нем предметы, но стилистику их отображения взять из другого изображения или группы изображений. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо изменение зимней панорамы в летнюю. Эта задача может применяться в мультипликации, наложении спецэффектов в фильмах и видеоиграх, симуляторах и средствах дополненной реальности, а также для более точной настройки методов машинного обучения работе с изображениями за счет расширения обучающей выборки путем вариации стиля и адаптации стиля под целевую предметную область. Помимо отдельных изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и т.д.). Основные методы стилизации были предложены в последние 5 лет и опираются на глубинные нейронные сети, базовому изучению которых посвящена существенная часть курса.
-
 
+
-
==Лектор==
+
-
[[Участник:Victor Kitov|Виктор Владимирович Китов]], к.ф.-м.н., преподаватель кафедры [[Mmp|математических методов прогнозирования]] [http://cmc.msu.ru ВМК МГУ]. Почта: v.v.kitov(at)yandex.ru.
+
-
 
+
-
==Расписание==
+
-
Занятия проходят по пятницам в 16-20 в ауд. 606. Первое занятие - 22.02.2019.
+
-
 
+
-
==Программа==
+
-
* Введение в машинное и глубинное обучение
+
-
* Алгоритмы настройки нейросетей. Регуляризация.
+
-
* Основные архитектуры сверточных нейросетей.
+
-
* Методы стилизации, основанные на сближении распределений.
+
-
* Методы стилизации, основанные на сопоставлении участков изображений.
+
-
* Методы стилизации видеопоследовательностей.
+
-
* Генеративно-состязательные сети и их применения для стилизации и повышения качества изображений.
+
-
 
+
-
 
+
-
=Материалы лекций=
+
-
 
+
-
===Введение в машинное обучение.===
+
-
[https://yadi.sk/i/IfR0TdxpHAhmRA Презентация].
+
-
 
+
-
===Многослойный персептрон.===
+
-
[https://yadi.sk/i/H_Oi0oL1tzqBRw Презентация].
+
-
 
+
-
===Сверточные нейросети.===
+
-
[https://yadi.sk/i/jIbSmgR_2akThg Презентация].
+
-
 
+
-
===Модели переноса стиля.===
+
-
[https://yadi.sk/i/NpCyttnBnQknzg Презентация].
+
-
 
+
-
===Улучшения переноса стиля 1.===
+
-
[https://yadi.sk/i/uCeb3mYj0q5xbw Презентация].
+
-
 
+
-
===Улучшения переноса стиля 2.===
+
-
[https://yadi.sk/i/MakcK8WK2SmxbA Презентация].
+
-
 
+
-
===Мультистилевой онлайн перенос стиля.===
+
-
[https://yadi.sk/i/AGvHwmQbD5dOuQ Презентация].
+
-
 
+
-
===Расширение обучающей выборки.===
+
-
[https://yadi.sk/i/mgfcDzHfp6t4ww Презентация].
+
-
 
+
-
===Фрагментарный перенос стиля.===
+
-
[https://yadi.sk/i/Q1i_fZyduk2u0w Презентация].
+
-
 
+
-
===Перенос стиля для видео.===
+
-
[https://yadi.sk/i/VF5v6AM86U6OKQ Презентация].
+
-
 
+
-
=Рекомендуемые ресурсы=
+
-
* Примеры переноса стиля для видео: [https://www.youtube.com/watch?v=Khuj4ASldmU пример 1], [https://www.youtube.com/watch?v=vMyMUNvsGfQ пример 2], [https://www.youtube.com/watch?v=BcflKNzO31A пример 3].
+
-
* [https://arxiv.org/pdf/1705.04058.pdf Обзорная статья по переносу стиля для изображений.]
+
-
* [https://www.youtube.com/playlist?list=PL3FW7Lu3i5JvHM8ljYj-zLfQRF3EO8sYv Лекции курса в Стэнфорде по сверточным нейронным сетям.]
+
-
* [http://www.pittnuts.com/2015/07/top-conferences-on-machine-learning-and-computer-vision/ Топовые конференции по машинному обучению и компьютерному зрению] (самые интересные статьи там)
+
-
* [https://scholar.google.ru/ Поиск google по статьям.]
+
-
* [https://pytorch.org/tutorials/ Образовательные материалы по библиотеке глубинного обучения PyTorch.]
+
-
* [http://d2l.ai/index.html Книга по глубинному обучению.]
+

Версия 05:50, 30 сентября 2020


О курсе

Спецкурс проходит на ф-те ВМиК в весеннем семестре и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо преобразовать так, чтобы сохранить изображенные на нем предметы, но стилистику их отображения взять из другого изображения или группы изображений. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо изменение зимней панорамы в летнюю. Эта задача может применяться в мультипликации, наложении спецэффектов в фильмах и видеоиграх, симуляторах и средствах дополненной реальности, а также для более точной настройки методов машинного обучения работе с изображениями за счет расширения обучающей выборки путем вариации стиля и адаптации стиля под целевую предметную область. Помимо отдельных изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и т.д.). Основные методы стилизации были предложены в последние 5 лет и опираются на глубинные нейронные сети, базовому изучению которых посвящена существенная часть курса.

Личные инструменты