Нейросетевые методы обработки изображений (В.В.Китов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Материалы лекций)
(Материалы лекций)
(46 промежуточных версий не показаны.)
Строка 2: Строка 2:
[[Категория:Учебные курсы]]
[[Категория:Учебные курсы]]
-
Спецкурс проходит на ф-те ВМиК весной 2019 года и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо преобразовать так, чтобы сохранить изображенные на нем предметы, но стилистику их отображения взять из другого изображения или группы изображений. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо изменение зимней панорамы в летнюю. Эта задача может применяться в мультипликации, наложении спецэффектов в фильмах и видеоиграх, симуляторах и средствах дополненной реальности, а также для более точной настройки методов машинного обучения работе с изображениями за счет вариации их стиля и адаптации стиля под целевую предметную область. Помимо отдельных изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и т.д.). Основные методы стилизации были предложены в последние 5 лет и опираются на глубинные нейронные сети, базовому изучению которых посвящена существенная часть курса.
+
==О курсе==
-
+
Спецкурс проходит на ф-те ВМиК в весеннем семестре и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо преобразовать так, чтобы сохранить изображенные на нем предметы, но стилистику их отображения взять из другого изображения или группы изображений. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо изменение зимней панорамы в летнюю. Эта задача может применяться в мультипликации, наложении спецэффектов в фильмах и видеоиграх, симуляторах и средствах дополненной реальности, а также для более точной настройки методов машинного обучения работе с изображениями за счет расширения обучающей выборки путем вариации стиля и адаптации стиля под целевую предметную область. Помимо отдельных изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и т.д.). Основные методы стилизации были предложены в последние 5 лет и опираются на глубинные нейронные сети, базовому изучению которых посвящена существенная часть курса.
-
==Лектор==
+
 
-
[[Участник:Victor Kitov|Виктор Владимирович Китов]], к.ф.-м.н., преподаватель кафедры [[Mmp|математических методов прогнозирования]] [http://cmc.msu.ru ВМК МГУ]. Почта: v.v.kitov(at)yandex.ru.
+
==Взаимодействие==
 +
[https://t.me/joinchat/CqyNIvwz1NE2YTk6 Группа в телеграмме]
==Расписание==
==Расписание==
-
Занятия проходят по пятницам в 16-20 в ауд. 606. Первое занятие - 22.02.2019.
+
Занятия проходят удалённо по пятницам с 19-00 до 20-30 через zoom по [https://zoom.us/j/8043842932?pwd=SUlMOFNRRDRXOG5kcm9pamZMWXdBdz09 ссылке].
-
==Программа==
+
Первое занятие 26.02.2021.
-
* Введение в машинное и глубинное обучение
+
-
* Алгоритмы настройки нейросетей. Регуляризация.
+
-
* Основные архитектуры сверточных нейросетей.
+
-
* Методы стилизации, основанные на сближении распределений.
+
-
* Методы стилизации, основанные на сопоставлении участков изображений.
+
-
* Методы стилизации видеопоследовательностей.
+
-
* Генеративно-состязательные сети и их применения для стилизации и повышения качества изображений.
+
 +
==Лектор==
 +
[[Участник:Victor Kitov|Виктор Владимирович Китов]], к.ф.-м.н., преподаватель кафедры [[Mmp|математических методов прогнозирования]] [http://cmc.msu.ru ВМК МГУ]. Почта: v.v.kitov(at)yandex.ru.
=Материалы лекций=
=Материалы лекций=
 +
 +
[https://disk.yandex.ru/i/DahA9a6xJACndA Введение в машинное обучение.]
 +
 +
[https://disk.yandex.ru/i/KTNghJL8y9SWPA Многослойный персептрон (записи).]
 +
 +
[https://disk.yandex.ru/i/i_BnuYAjWChnQg Расширение выборки изображений.]
 +
 +
[https://disk.yandex.ru/i/gph7FwVAtNQ9Dw Сверточные нейросети.]
 +
 +
[https://disk.yandex.ru/i/cpmM9us878oT7g Основные архитектуры сверточных нейросетей (классификация).]
 +
 +
[https://disk.yandex.ru/i/vDkARFFSAE2Dhw Семантическая сегментация.]
-
===Введение в машинное обучение.===
+
[https://disk.yandex.ru/i/RFZmN0Y14q4nqA Оптимизационный метод переноса стиля.]
-
[https://yadi.sk/i/IfR0TdxpHAhmRA Презентация].
+
-
===Многослойный персептрон.===
+
[https://disk.yandex.ru/i/wvcSzT2NEay_zQ Трансформационный метод переноса стиля.]
-
[https://yadi.sk/i/H_Oi0oL1tzqBRw Презентация].
+
-
===Сверточные нейросети.===
+
[https://disk.yandex.ru/i/1GM8VR-hyxgsMw Мульти-стилевые трансформационные модели.]
-
[https://yadi.sk/i/jIbSmgR_2akThg Презентация].
+
-
===Модели переноса стиля.===
+
[https://disk.yandex.ru/i/lT4wdWb7Pu47Aw Перенос стиля, основанный на патчах.]
-
[https://yadi.sk/i/NpCyttnBnQknzg Презентация].
+
-
===Улучшения переноса стиля 1.===
+
[https://disk.yandex.ru/i/A31uPFZJtw3ZoA Генеративно-состязательные сети.]
-
[https://yadi.sk/i/uCeb3mYj0q5xbw Презентация].
+
-
===Улучшения переноса стиля 2.===
+
[https://disk.yandex.ru/i/XC-1YMWi2gE9fg Приложения генеративно-состязательных сетей.]
-
[https://yadi.sk/i/MakcK8WK2SmxbA Презентация].
+
-
===Мультистилевой онлайн перенос стиля.===
+
[https://disk.yandex.ru/i/ZURITznAGYBSSA Технические улучшения стилизации.]
-
[https://yadi.sk/i/AGvHwmQbD5dOuQ Презентация].
+
-
===Расширение обучающей выборки.===
+
[https://disk.yandex.ru/i/cr8W3R3MguemNw Концептуальные улучшения стилизации.]
-
[https://yadi.sk/i/mgfcDzHfp6t4ww Презентация].
+
-
===Фрагментарный перенос стиля.===
+
[https://disk.yandex.ru/i/pav8WPuuxyfqyA Расширение обучающей выборки.]
-
[https://yadi.sk/i/Q1i_fZyduk2u0w Презентация].
+
-
===Перенос стиля для видео.===
+
[https://disk.yandex.ru/i/N1TWXuRkctQgzQ Стилизация видео.]
-
[https://yadi.sk/i/VF5v6AM86U6OKQ Презентация].
+
=Рекомендуемые ресурсы=
=Рекомендуемые ресурсы=

Версия 18:51, 26 февраля 2021


О курсе

Спецкурс проходит на ф-те ВМиК в весеннем семестре и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо преобразовать так, чтобы сохранить изображенные на нем предметы, но стилистику их отображения взять из другого изображения или группы изображений. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо изменение зимней панорамы в летнюю. Эта задача может применяться в мультипликации, наложении спецэффектов в фильмах и видеоиграх, симуляторах и средствах дополненной реальности, а также для более точной настройки методов машинного обучения работе с изображениями за счет расширения обучающей выборки путем вариации стиля и адаптации стиля под целевую предметную область. Помимо отдельных изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и т.д.). Основные методы стилизации были предложены в последние 5 лет и опираются на глубинные нейронные сети, базовому изучению которых посвящена существенная часть курса.

Взаимодействие

Группа в телеграмме

Расписание

Занятия проходят удалённо по пятницам с 19-00 до 20-30 через zoom по ссылке.

Первое занятие 26.02.2021.

Лектор

Виктор Владимирович Китов, к.ф.-м.н., преподаватель кафедры математических методов прогнозирования ВМК МГУ. Почта: v.v.kitov(at)yandex.ru.

Материалы лекций

Введение в машинное обучение.

Многослойный персептрон (записи).

Расширение выборки изображений.

Сверточные нейросети.

Основные архитектуры сверточных нейросетей (классификация).

Семантическая сегментация.

Оптимизационный метод переноса стиля.

Трансформационный метод переноса стиля.

Мульти-стилевые трансформационные модели.

Перенос стиля, основанный на патчах.

Генеративно-состязательные сети.

Приложения генеративно-состязательных сетей.

Технические улучшения стилизации.

Концептуальные улучшения стилизации.

Расширение обучающей выборки.

Стилизация видео.

Рекомендуемые ресурсы

Личные инструменты