Нейросетевые методы обработки изображений (В.В.Китов)
Материал из MachineLearning.
(→Расписание) |
|||
| (15 промежуточных версий не показаны.) | |||
| Строка 4: | Строка 4: | ||
==О курсе== | ==О курсе== | ||
Спецкурс проходит на ф-те ВМиК в весеннем семестре и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо преобразовать так, чтобы сохранить изображенные на нем предметы, но стилистику их отображения взять из другого изображения или группы изображений. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо изменение зимней панорамы в летнюю. Эта задача может применяться в мультипликации, наложении спецэффектов в фильмах и видеоиграх, симуляторах и средствах дополненной реальности, а также для более точной настройки методов машинного обучения работе с изображениями за счет расширения обучающей выборки путем вариации стиля и адаптации стиля под целевую предметную область. Помимо отдельных изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и т.д.). Основные методы стилизации были предложены в последние 5 лет и опираются на глубинные нейронные сети, базовому изучению которых посвящена существенная часть курса. | Спецкурс проходит на ф-те ВМиК в весеннем семестре и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо преобразовать так, чтобы сохранить изображенные на нем предметы, но стилистику их отображения взять из другого изображения или группы изображений. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо изменение зимней панорамы в летнюю. Эта задача может применяться в мультипликации, наложении спецэффектов в фильмах и видеоиграх, симуляторах и средствах дополненной реальности, а также для более точной настройки методов машинного обучения работе с изображениями за счет расширения обучающей выборки путем вариации стиля и адаптации стиля под целевую предметную область. Помимо отдельных изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и т.д.). Основные методы стилизации были предложены в последние 5 лет и опираются на глубинные нейронные сети, базовому изучению которых посвящена существенная часть курса. | ||
| - | + | ||
| - | + | ||
==Лектор== | ==Лектор== | ||
[[Участник:Victor Kitov|Виктор Владимирович Китов]], к.ф.-м.н., преподаватель кафедры [[Mmp|математических методов прогнозирования]] [http://cmc.msu.ru ВМК МГУ]. Почта: v.v.kitov(at)yandex.ru. | [[Участник:Victor Kitov|Виктор Владимирович Китов]], к.ф.-м.н., преподаватель кафедры [[Mmp|математических методов прогнозирования]] [http://cmc.msu.ru ВМК МГУ]. Почта: v.v.kitov(at)yandex.ru. | ||
| - | = | + | ==Взаимодействие== |
| - | + | [https://t.me/joinchat/CqyNIvwz1NE2YTk6 Группа в телеграмме] | |
| - | [https:// | + | |
| + | ==Расписание== | ||
| + | Занятия проходят удалённо по вторникам (18-30 - 20-00) и по пятницам (19-00 - 20-30) через zoom по [https://zoom.us/j/8043842932?pwd=SUlMOFNRRDRXOG5kcm9pamZMWXdBdz09 ссылке] в следующие дни: | ||
| + | 26 фев (пт), 5 мар (пт), 9 мар (вт), 12 мар (пт), 16 мар (вт), 19 мар (пт), 23 мар (вт), 26 мар (пт), 30 мар (вт), 02 апр (пт), 06 апр (вт), 16 апр (пт), 23 апр (пт). | ||
| + | |||
| + | =Лекции= | ||
| + | |||
| + | [https://disk.yandex.ru/d/4OpIzpEIDAtIxg?w=1 Все материалы лекций, включая рукописные записи] | ||
| + | |||
| + | --- | ||
| + | |||
| + | [https://disk.yandex.ru/i/DahA9a6xJACndA Введение в машинное обучение.] | ||
| + | |||
| + | [https://disk.yandex.ru/i/yLIS882WZvWuJA Градиентный спуск] | ||
| + | |||
| + | [https://disk.yandex.ru/i/i_BnuYAjWChnQg Расширение выборки изображений.] | ||
| + | |||
| + | [https://disk.yandex.ru/i/gph7FwVAtNQ9Dw Сверточные нейросети.] | ||
| + | |||
| + | [https://disk.yandex.ru/i/cpmM9us878oT7g Основные архитектуры сверточных нейросетей (классификация).] | ||
| - | [https:// | + | [https://disk.yandex.ru/i/vDkARFFSAE2Dhw Семантическая сегментация.] |
| - | [https:// | + | [https://disk.yandex.ru/i/RFZmN0Y14q4nqA Оптимизационный метод переноса стиля.] |
| - | [https:// | + | [https://disk.yandex.ru/i/wvcSzT2NEay_zQ Трансформационный метод переноса стиля.] |
| - | [https:// | + | [https://disk.yandex.ru/i/1GM8VR-hyxgsMw Мульти-стилевые трансформационные модели.] |
| - | [https:// | + | [https://disk.yandex.ru/i/lT4wdWb7Pu47Aw Перенос стиля, основанный на патчах.] |
| - | [https:// | + | [https://disk.yandex.ru/i/A31uPFZJtw3ZoA Генеративно-состязательные сети.] |
| - | [https:// | + | [https://disk.yandex.ru/i/XC-1YMWi2gE9fg Приложения генеративно-состязательных сетей.] |
| - | [https:// | + | [https://disk.yandex.ru/i/ZURITznAGYBSSA Технические улучшения стилизации.] |
| - | [https:// | + | [https://disk.yandex.ru/i/cr8W3R3MguemNw Концептуальные улучшения стилизации.] |
| - | [https:// | + | [https://disk.yandex.ru/i/pav8WPuuxyfqyA Расширение обучающей выборки.] |
| - | [https:// | + | [https://disk.yandex.ru/i/N1TWXuRkctQgzQ Стилизация видео.] |
=Рекомендуемые ресурсы= | =Рекомендуемые ресурсы= | ||
Версия 07:47, 11 марта 2021
О курсе
Спецкурс проходит на ф-те ВМиК в весеннем семестре и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо преобразовать так, чтобы сохранить изображенные на нем предметы, но стилистику их отображения взять из другого изображения или группы изображений. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо изменение зимней панорамы в летнюю. Эта задача может применяться в мультипликации, наложении спецэффектов в фильмах и видеоиграх, симуляторах и средствах дополненной реальности, а также для более точной настройки методов машинного обучения работе с изображениями за счет расширения обучающей выборки путем вариации стиля и адаптации стиля под целевую предметную область. Помимо отдельных изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и т.д.). Основные методы стилизации были предложены в последние 5 лет и опираются на глубинные нейронные сети, базовому изучению которых посвящена существенная часть курса.
Лектор
Виктор Владимирович Китов, к.ф.-м.н., преподаватель кафедры математических методов прогнозирования ВМК МГУ. Почта: v.v.kitov(at)yandex.ru.
Взаимодействие
Расписание
Занятия проходят удалённо по вторникам (18-30 - 20-00) и по пятницам (19-00 - 20-30) через zoom по ссылке в следующие дни: 26 фев (пт), 5 мар (пт), 9 мар (вт), 12 мар (пт), 16 мар (вт), 19 мар (пт), 23 мар (вт), 26 мар (пт), 30 мар (вт), 02 апр (пт), 06 апр (вт), 16 апр (пт), 23 апр (пт).
Лекции
Все материалы лекций, включая рукописные записи
---
Расширение выборки изображений.
Основные архитектуры сверточных нейросетей (классификация).
Оптимизационный метод переноса стиля.
Трансформационный метод переноса стиля.
Мульти-стилевые трансформационные модели.
Перенос стиля, основанный на патчах.
Генеративно-состязательные сети.
Приложения генеративно-состязательных сетей.
Технические улучшения стилизации.
Концептуальные улучшения стилизации.
Рекомендуемые ресурсы
- Примеры переноса стиля для видео: пример 1, пример 2, пример 3.
- Обзорная статья по переносу стиля для изображений.
- Лекции курса в Стэнфорде по сверточным нейронным сетям.
- Топовые конференции по машинному обучению и компьютерному зрению (самые интересные статьи там)
- Поиск google по статьям.
- Образовательные материалы по библиотеке глубинного обучения PyTorch.
- Книга по глубинному обучению.
