Нейросетевые методы обработки изображений (В.В.Китов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(→Материалы лекций)
(7 промежуточных версий не показаны.)
Строка 1: Строка 1:
__NOTOC__
__NOTOC__
[[Категория:Учебные курсы]]
[[Категория:Учебные курсы]]
-
[[Категория:Учебные курсы]]
+
 
-
-
+
-
+
-
-
+
-
+
-
-
+
-
==Телеграм-канал курса==
+
-
+
-
-
+
-
Телеграм-канал курса: НМОИ 2020, присоединяйтесь. Там будет вся актуальная информация о проводимых онлайн занятиях по курсу.
+
-
+
-
==О курсе==
+
==О курсе==
==О курсе==
Спецкурс проходит на ф-те ВМиК в весеннем семестре и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо преобразовать так, чтобы сохранить изображенные на нем предметы, но стилистику их отображения взять из другого изображения или группы изображений. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо изменение зимней панорамы в летнюю. Эта задача может применяться в мультипликации, наложении спецэффектов в фильмах и видеоиграх, симуляторах и средствах дополненной реальности, а также для более точной настройки методов машинного обучения работе с изображениями за счет расширения обучающей выборки путем вариации стиля и адаптации стиля под целевую предметную область. Помимо отдельных изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и т.д.). Основные методы стилизации были предложены в последние 5 лет и опираются на глубинные нейронные сети, базовому изучению которых посвящена существенная часть курса.
Спецкурс проходит на ф-те ВМиК в весеннем семестре и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо преобразовать так, чтобы сохранить изображенные на нем предметы, но стилистику их отображения взять из другого изображения или группы изображений. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо изменение зимней панорамы в летнюю. Эта задача может применяться в мультипликации, наложении спецэффектов в фильмах и видеоиграх, симуляторах и средствах дополненной реальности, а также для более точной настройки методов машинного обучения работе с изображениями за счет расширения обучающей выборки путем вариации стиля и адаптации стиля под целевую предметную область. Помимо отдельных изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и т.д.). Основные методы стилизации были предложены в последние 5 лет и опираются на глубинные нейронные сети, базовому изучению которых посвящена существенная часть курса.
-
Спецкурс проходит на ф-те ВМиК в весеннем семестре и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо преобразовать так, чтобы сохранить изображенные на нем предметы, но стилистику их отображения взять из другого изображения или группы изображений. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо изменение зимней панорамы в летнюю. Эта задача может применяться в мультипликации, наложении спецэффектов в фильмах и видеоиграх, симуляторах и средствах дополненной реальности, а также для более точной настройки методов машинного обучения работе с изображениями за счет расширения обучающей выборки путем вариации стиля и адаптации стиля под целевую предметную область. Помимо отдельных изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и т.д.). Основные методы стилизации были предложены в последние 5 лет и опираются на глубинные нейронные сети, базовому изучению которых посвящена существенная часть курса.
+
 
-
-
+
==Взаимодействие==
-
+
[https://t.me/joinchat/CqyNIvwz1NE2YTk6 Группа в телеграмме]
-
-
+
 
 +
==Расписание==
 +
Занятия проходят удалённо по пятницам с 19-00 до 20-30 через zoom по [https://zoom.us/j/8043842932?pwd=SUlMOFNRRDRXOG5kcm9pamZMWXdBdz09 ссылке].
 +
 
 +
Первое занятие 26.02.2021.
 +
 
==Лектор==
==Лектор==
-
 
-
-
 
[[Участник:Victor Kitov|Виктор Владимирович Китов]], к.ф.-м.н., преподаватель кафедры [[Mmp|математических методов прогнозирования]] [http://cmc.msu.ru ВМК МГУ]. Почта: v.v.kitov(at)yandex.ru.
[[Участник:Victor Kitov|Виктор Владимирович Китов]], к.ф.-м.н., преподаватель кафедры [[Mmp|математических методов прогнозирования]] [http://cmc.msu.ru ВМК МГУ]. Почта: v.v.kitov(at)yandex.ru.
-
+
 
-
-
+
-
+
-
-
+
-
==Расписание==
+
-
+
-
-
+
-
Занятия проходят по четвергам в 18-00 в ауд. 612. Первое занятие - 20.02.2020.
+
-
+
-
-
+
-
+
-
-
+
-
==Программа==
+
-
+
-
-
+
-
* Введение в машинное и глубинное обучение
+
-
+
-
-
+
-
* Алгоритмы настройки нейросетей. Регуляризация.
+
-
+
-
-
+
-
* Основные архитектуры сверточных нейросетей.
+
-
+
-
-
+
-
* Методы стилизации, основанные на сближении распределений.
+
-
+
-
-
+
-
* Методы стилизации, основанные на сопоставлении участков изображений.
+
-
+
-
-
+
-
* Генеративно-состязательные сети и их применения для стилизации и повышения качества изображений.
+
-
+
-
-
+
-
+
-
-
+
-
=Задание=
+
-
+
-
-
+
-
В рамках спецкурса всем участникам выдается задание - подготовить обзорный доклад по статьям по стилизации изображений и рассказать свои идеи улучшений предложенных методов.
+
-
+
-
-
+
-
+
-
-
+
=Материалы лекций=
=Материалы лекций=
-
-
+
[https://disk.yandex.ru/i/DahA9a6xJACndA Введение в машинное обучение.]
-
+
 
-
-
+
[https://disk.yandex.ru/i/KTNghJL8y9SWPA Многослойный персептрон (записи).]
-
[https://yadi.sk/i/IfR0TdxpHAhmRA Введение в машинное обучение.]
+
 
-
+
[https://disk.yandex.ru/i/i_BnuYAjWChnQg Расширение выборки изображений.]
-
-
+
 
-
+
[https://disk.yandex.ru/i/gph7FwVAtNQ9Dw Сверточные нейросети.]
-
-
+
 
-
[https://yadi.sk/i/H_Oi0oL1tzqBRw Многослойный персептрон.]
+
[https://disk.yandex.ru/i/cpmM9us878oT7g Основные архитектуры сверточных нейросетей (классификация).]
-
+
 
-
-
+
[https://disk.yandex.ru/i/vDkARFFSAE2Dhw Семантическая сегментация.]
-
+
 
-
-
+
[https://disk.yandex.ru/i/RFZmN0Y14q4nqA Оптимизационный метод переноса стиля.]
-
[https://yadi.sk/i/jIbSmgR_2akThg Сверточные нейросети.]
+
 
-
+
[https://disk.yandex.ru/i/wvcSzT2NEay_zQ Трансформационный метод переноса стиля.]
-
-
+
 
-
+
[https://disk.yandex.ru/i/1GM8VR-hyxgsMw Мульти-стилевые трансформационные модели.]
-
-
+
 
-
[https://yadi.sk/i/XnAZ-fLKX9Bpmg Основные архитектуры сверточных нейросетей.]
+
[https://disk.yandex.ru/i/lT4wdWb7Pu47Aw Перенос стиля, основанный на патчах.]
-
+
 
-
-
+
[https://disk.yandex.ru/i/A31uPFZJtw3ZoA Генеративно-состязательные сети.]
-
+
 
-
-
+
[https://disk.yandex.ru/i/XC-1YMWi2gE9fg Приложения генеративно-состязательных сетей.]
-
[https://yadi.sk/i/fHZUcrVFWFbODw Оптимизационный метод переноса стиля.]
+
 
-
+
[https://disk.yandex.ru/i/ZURITznAGYBSSA Технические улучшения стилизации.]
-
-
+
 
-
+
[https://disk.yandex.ru/i/cr8W3R3MguemNw Концептуальные улучшения стилизации.]
-
-
+
 
-
[https://yadi.sk/i/_6AInrhKcJzl9A Трансформационный метод переноса стиля.]
+
[https://disk.yandex.ru/i/pav8WPuuxyfqyA Расширение обучающей выборки.]
-
+
 
-
-
+
[https://disk.yandex.ru/i/N1TWXuRkctQgzQ Стилизация видео.]
-
+
 
-
-
+
-
[https://yadi.sk/i/dzghc0Ufxi7zMw Перенос стиля, основанный на патчах.]
+
-
+
-
-
+
-
+
-
-
+
-
[https://yadi.sk/i/TGA1AOP64G1a_Q Технические улучшения.]
+
-
+
-
-
+
-
+
-
-
+
-
[https://yadi.sk/i/gVypaP4Kmql_rw Концептуальные улучшения.]
+
-
+
-
-
+
-
+
-
-
+
-
[https://yadi.sk/i/uiDNs7aAe2-tUw Мульти-стилевые трансформационные модели.]
+
-
+
-
-
+
-
+
-
-
+
-
[https://yadi.sk/i/QwndMEu3to27dg Расширение обучающей выборки.]
+
-
+
-
-
+
-
+
-
-
+
-
[https://yadi.sk/i/MVFsFttnAV_YMg Генеративно-состязательные сети.]
+
-
+
-
-
+
-
+
-
-
+
-
+
-
-
+
-
==Экзамен==
+
-
+
-
-
+
-
+
-
-
+
-
[https://yadi.sk/i/AdqMYWQ36bh0VA Билеты]
+
-
+
-
-
+
-
+
-
-
+
=Рекомендуемые ресурсы=
=Рекомендуемые ресурсы=
-
 
-
-
 
* Примеры переноса стиля для видео: [https://www.youtube.com/watch?v=Khuj4ASldmU пример 1], [https://www.youtube.com/watch?v=vMyMUNvsGfQ пример 2], [https://www.youtube.com/watch?v=BcflKNzO31A пример 3].
* Примеры переноса стиля для видео: [https://www.youtube.com/watch?v=Khuj4ASldmU пример 1], [https://www.youtube.com/watch?v=vMyMUNvsGfQ пример 2], [https://www.youtube.com/watch?v=BcflKNzO31A пример 3].
-
 
-
-
 
* [https://arxiv.org/pdf/1705.04058.pdf Обзорная статья по переносу стиля для изображений.]
* [https://arxiv.org/pdf/1705.04058.pdf Обзорная статья по переносу стиля для изображений.]
-
 
-
-
 
* [https://www.youtube.com/playlist?list=PL3FW7Lu3i5JvHM8ljYj-zLfQRF3EO8sYv Лекции курса в Стэнфорде по сверточным нейронным сетям.]
* [https://www.youtube.com/playlist?list=PL3FW7Lu3i5JvHM8ljYj-zLfQRF3EO8sYv Лекции курса в Стэнфорде по сверточным нейронным сетям.]
-
 
-
-
 
* [http://www.pittnuts.com/2015/07/top-conferences-on-machine-learning-and-computer-vision/ Топовые конференции по машинному обучению и компьютерному зрению] (самые интересные статьи там)
* [http://www.pittnuts.com/2015/07/top-conferences-on-machine-learning-and-computer-vision/ Топовые конференции по машинному обучению и компьютерному зрению] (самые интересные статьи там)
-
 
-
-
 
* [https://scholar.google.ru/ Поиск google по статьям.]
* [https://scholar.google.ru/ Поиск google по статьям.]
-
 
-
-
 
* [https://pytorch.org/tutorials/ Образовательные материалы по библиотеке глубинного обучения PyTorch.]
* [https://pytorch.org/tutorials/ Образовательные материалы по библиотеке глубинного обучения PyTorch.]
-
 
-
-
 
* [http://d2l.ai/index.html Книга по глубинному обучению.]
* [http://d2l.ai/index.html Книга по глубинному обучению.]

Версия 18:51, 26 февраля 2021


О курсе

Спецкурс проходит на ф-те ВМиК в весеннем семестре и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо преобразовать так, чтобы сохранить изображенные на нем предметы, но стилистику их отображения взять из другого изображения или группы изображений. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо изменение зимней панорамы в летнюю. Эта задача может применяться в мультипликации, наложении спецэффектов в фильмах и видеоиграх, симуляторах и средствах дополненной реальности, а также для более точной настройки методов машинного обучения работе с изображениями за счет расширения обучающей выборки путем вариации стиля и адаптации стиля под целевую предметную область. Помимо отдельных изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и т.д.). Основные методы стилизации были предложены в последние 5 лет и опираются на глубинные нейронные сети, базовому изучению которых посвящена существенная часть курса.

Взаимодействие

Группа в телеграмме

Расписание

Занятия проходят удалённо по пятницам с 19-00 до 20-30 через zoom по ссылке.

Первое занятие 26.02.2021.

Лектор

Виктор Владимирович Китов, к.ф.-м.н., преподаватель кафедры математических методов прогнозирования ВМК МГУ. Почта: v.v.kitov(at)yandex.ru.

Материалы лекций

Введение в машинное обучение.

Многослойный персептрон (записи).

Расширение выборки изображений.

Сверточные нейросети.

Основные архитектуры сверточных нейросетей (классификация).

Семантическая сегментация.

Оптимизационный метод переноса стиля.

Трансформационный метод переноса стиля.

Мульти-стилевые трансформационные модели.

Перенос стиля, основанный на патчах.

Генеративно-состязательные сети.

Приложения генеративно-состязательных сетей.

Технические улучшения стилизации.

Концептуальные улучшения стилизации.

Расширение обучающей выборки.

Стилизация видео.

Рекомендуемые ресурсы

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9D%D0%B5%D0%B9%D1%80%D0%BE%D1%81%D0%B5%D1%82%D0%B5%D0%B2%D1%8B%D0%B5_%D0%BC%D0%B5%D1%82%D0%BE%D0%B4%D1%8B_%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B8_%D0%B8%D0%B7%D0%BE%D0%B1%D1%80%D0%B0%D0%B6%D0%B5%D0%BD%D0%B8%D0%B9_%28%D0%92.%D0%92.%D0%9A%D0%B8%D1%82%D0%BE%D0%B2%29»
Личные инструменты