Нейросетевые методы обработки изображений (В.В.Китов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(→Экзамен)
Строка 4: Строка 4:
==О курсе==
==О курсе==
Спецкурс проходит на ф-те ВМиК в весеннем семестре и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо преобразовать так, чтобы сохранить изображенные на нем предметы, но стилистику их отображения взять из другого изображения или группы изображений. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо изменение зимней панорамы в летнюю. Эта задача может применяться в мультипликации, наложении спецэффектов в фильмах и видеоиграх, симуляторах и средствах дополненной реальности, а также для более точной настройки методов машинного обучения работе с изображениями за счет расширения обучающей выборки путем вариации стиля и адаптации стиля под целевую предметную область. Помимо отдельных изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и т.д.). Основные методы стилизации были предложены в последние 5 лет и опираются на глубинные нейронные сети, базовому изучению которых посвящена существенная часть курса.
Спецкурс проходит на ф-те ВМиК в весеннем семестре и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо преобразовать так, чтобы сохранить изображенные на нем предметы, но стилистику их отображения взять из другого изображения или группы изображений. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо изменение зимней панорамы в летнюю. Эта задача может применяться в мультипликации, наложении спецэффектов в фильмах и видеоиграх, симуляторах и средствах дополненной реальности, а также для более точной настройки методов машинного обучения работе с изображениями за счет расширения обучающей выборки путем вариации стиля и адаптации стиля под целевую предметную область. Помимо отдельных изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и т.д.). Основные методы стилизации были предложены в последние 5 лет и опираются на глубинные нейронные сети, базовому изучению которых посвящена существенная часть курса.
-
 
-
==Экзамен==
 
-
[https://yadi.sk/i/fiOqsFojRz6K1w Билеты к экзамену]
 
-
 
-
 
-
[https://yadi.sk/i/FfPdQOvLP2AAmg Видео-лекция по стилизации видео]
 
-
 
-
==Лектор==
 
-
[[Участник:Victor Kitov|Виктор Владимирович Китов]], к.ф.-м.н., преподаватель кафедры [[Mmp|математических методов прогнозирования]] [http://cmc.msu.ru ВМК МГУ]. Почта: v.v.kitov(at)yandex.ru.
 
-
 
-
==Расписание==
 
-
Занятия проходят по четвергам в 18-00 в ауд. 612. Первое занятие - 20.02.2020.
 
-
 
-
==Программа==
 
-
* Введение в машинное и глубинное обучение
 
-
* Алгоритмы настройки нейросетей. Регуляризация.
 
-
* Основные архитектуры сверточных нейросетей.
 
-
* Методы стилизации, основанные на сближении распределений.
 
-
* Методы стилизации, основанные на сопоставлении участков изображений.
 
-
* Генеративно-состязательные сети и их применения для стилизации и повышения качества изображений.
 
-
 
-
=Задание=
 
-
В рамках спецкурса всем участникам выдается задание - подготовить обзорный доклад по статьям по стилизации изображений и рассказать свои идеи улучшений предложенных методов.
 
-
 
-
=Материалы лекций=
 
-
 
-
[https://yadi.sk/i/IfR0TdxpHAhmRA Введение в машинное обучение.]
 
-
 
-
[https://yadi.sk/i/H_Oi0oL1tzqBRw Многослойный персептрон.]
 
-
 
-
[https://yadi.sk/i/jIbSmgR_2akThg Сверточные нейросети.]
 
-
 
-
[https://yadi.sk/i/XnAZ-fLKX9Bpmg Основные архитектуры сверточных нейросетей.]
 
-
 
-
[https://yadi.sk/i/fHZUcrVFWFbODw Оптимизационный метод переноса стиля.]
 
-
 
-
[https://yadi.sk/i/_6AInrhKcJzl9A Трансформационный метод переноса стиля.]
 
-
 
-
[https://yadi.sk/i/dzghc0Ufxi7zMw Перенос стиля, основанный на патчах.]
 
-
 
-
[https://yadi.sk/i/TGA1AOP64G1a_Q Технические улучшения.]
 
-
 
-
[https://yadi.sk/i/gVypaP4Kmql_rw Концептуальные улучшения.]
 
-
 
-
[https://yadi.sk/i/uiDNs7aAe2-tUw Мульти-стилевые трансформационные модели.]
 
-
 
-
[https://yadi.sk/i/QwndMEu3to27dg Расширение обучающей выборки.]
 
-
 
-
[https://yadi.sk/i/MVFsFttnAV_YMg Генеративно-состязательные сети.]
 
-
 
-
[https://yadi.sk/i/Te1zloUyBE0diQ Перенос стиля для видео.]
 
-
 
-
[https://yadi.sk/i/gwVql6oddlKuQg Компактные представления слов.]
 
-
 
-
[https://yadi.sk/i/nd48U2atjQKs2Q Сверточные сети для работы с текстами.]
 
-
 
-
[https://yadi.sk/i/by75OE1sDbR4Lg Реккурентные сети для работы с текстами.]
 
-
 
-
[https://yadi.sk/i/3vNqPKSwm02PoQ Применения реккурентных сетей.]
 
-
 
-
==Экзамен==
 
-
 
-
Экзамен будет проходить устно в удаленном формате. 30 минут будет дано на подготовку, можно пользоваться любыми материалами.
 
-
 
-
=Рекомендуемые ресурсы=
 
-
* Примеры переноса стиля для видео: [https://www.youtube.com/watch?v=Khuj4ASldmU пример 1], [https://www.youtube.com/watch?v=vMyMUNvsGfQ пример 2], [https://www.youtube.com/watch?v=BcflKNzO31A пример 3].
 
-
* [https://arxiv.org/pdf/1705.04058.pdf Обзорная статья по переносу стиля для изображений.]
 
-
* [https://www.youtube.com/playlist?list=PL3FW7Lu3i5JvHM8ljYj-zLfQRF3EO8sYv Лекции курса в Стэнфорде по сверточным нейронным сетям.]
 
-
* [http://www.pittnuts.com/2015/07/top-conferences-on-machine-learning-and-computer-vision/ Топовые конференции по машинному обучению и компьютерному зрению] (самые интересные статьи там)
 
-
* [https://scholar.google.ru/ Поиск google по статьям.]
 
-
* [https://pytorch.org/tutorials/ Образовательные материалы по библиотеке глубинного обучения PyTorch.]
 
-
* [http://d2l.ai/index.html Книга по глубинному обучению.]
 

Версия 05:50, 30 сентября 2020


О курсе

Спецкурс проходит на ф-те ВМиК в весеннем семестре и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо преобразовать так, чтобы сохранить изображенные на нем предметы, но стилистику их отображения взять из другого изображения или группы изображений. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо изменение зимней панорамы в летнюю. Эта задача может применяться в мультипликации, наложении спецэффектов в фильмах и видеоиграх, симуляторах и средствах дополненной реальности, а также для более точной настройки методов машинного обучения работе с изображениями за счет расширения обучающей выборки путем вариации стиля и адаптации стиля под целевую предметную область. Помимо отдельных изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и т.д.). Основные методы стилизации были предложены в последние 5 лет и опираются на глубинные нейронные сети, базовому изучению которых посвящена существенная часть курса.

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9D%D0%B5%D0%B9%D1%80%D0%BE%D1%81%D0%B5%D1%82%D0%B5%D0%B2%D1%8B%D0%B5_%D0%BC%D0%B5%D1%82%D0%BE%D0%B4%D1%8B_%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B8_%D0%B8%D0%B7%D0%BE%D0%B1%D1%80%D0%B0%D0%B6%D0%B5%D0%BD%D0%B8%D0%B9_%28%D0%92.%D0%92.%D0%9A%D0%B8%D1%82%D0%BE%D0%B2%29»