Нейросетевые методы обработки изображений (В.В.Китов)
Материал из MachineLearning.
(→О курсе) |
(→Экзамен) |
||
(16 промежуточных версий не показаны.) | |||
Строка 3: | Строка 3: | ||
==О курсе== | ==О курсе== | ||
- | Спецкурс проходит на ф-те ВМиК в весеннем семестре и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо | + | Спецкурс проходит на ф-те ВМиК в весеннем семестре и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо отобразить в стиле, задаваемым другим изображением. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо преобразование фотогрфии в схематичную книжную иллюстрацию. Для решения задачи существуют современные подходы переноса стиля (style transfer) и генеративно-состязательные сети (generative adversarial networks). Эта задача широко используется в индустрии разлечений (например, мобильное приложение Prisma было самым скачиваемым на Android в странах СНГ в течение 10 дней после выхода), при обработке фотографий и дизайне (функции стилизации были добавлены в Adobe Photoshop 2021), может применяться в мультипликации, наложении спецэффектов в фильмах, видеоиграх и средствах дополненной реальности, а также для более точной настройки методов машинного при обучении на одной предметной области, а применении модели к другой (transfer learning). Помимо изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и музыка). Основные методы стилизации были предложены в последние 7 лет и опираются на глубокие нейронные сети, базовому изучению которых посвящена начальная часть курса. |
+ | |||
+ | Занятия проходят в формате лекций. В процессе прохождения курса каждый студент должен сделать презентацию основных идей и подходов одной из недавних статей, посвященных стилизации изображений, а также представить свои идеи улучшений традиционных методов стилизации изображений и их обосновать. | ||
+ | |||
+ | ==Экзамен== | ||
+ | [https://disk.yandex.ru/i/sU37mxSPkDMOvw Процедура экзамена и список билетов]. | ||
==Лектор== | ==Лектор== | ||
Строка 9: | Строка 14: | ||
==Время занятий== | ==Время занятий== | ||
- | + | Занятия проходят в удаленном формате по понедельникам 18-00 - 19-30 по [https://us06web.zoom.us/j/81357650774?pwd=RWZNZzl6VmJGNlo1eDJrZy9XN0xPQT09 ссылке]. | |
+ | Первое занятие 14 февраля. | ||
==Лекции== | ==Лекции== | ||
- | [https://disk.yandex.ru/i/ | + | [https://disk.yandex.ru/i/X92ZQYaDmJdMSA Нейросети. Многослойный персептрон.] |
- | [https://disk.yandex.ru/i/ | + | [https://disk.yandex.ru/i/ebaaTEilmOpmuw Оптимизация методами градиентного и стохастического градиентного спуска.] |
- | [https://disk.yandex.ru/i/ | + | [https://disk.yandex.ru/i/UwuewOCgomtK7Q DropOut, Batch-нормализация.] |
- | [https://disk.yandex.ru/i/ | + | [https://disk.yandex.ru/i/1Myn1D-_A-nxRg Сверточные нейросети.] |
- | [https://disk.yandex.ru/i/ | + | [https://disk.yandex.ru/i/x9b8eq_JcWB_KQ Расширение выборки изображений.] |
- | [https://disk.yandex.ru/i/ | + | [https://disk.yandex.ru/i/ki9WMCubvdhdGA Архитектуры сверточных нейросетей для задачи классификации.] |
- | [https://disk.yandex.ru/i/ | + | [https://disk.yandex.ru/i/lZEK0TYOIg2Dhw Оптимизационный метод переноса стиля.] |
- | [https://disk.yandex.ru/i/ | + | [https://disk.yandex.ru/i/lLfe3zOC0IX28Q Трансформационный метод переноса стиля.] |
- | [https://disk.yandex.ru/i/ | + | [https://disk.yandex.ru/i/9jzeENMDEA3-eA Патчевый метод переноса стиля.] |
- | [https://disk.yandex.ru/i/ | + | [https://disk.yandex.ru/i/4RMfxk1Lg5eC9Q Технические улучшения методов стилизации изображений.] |
- | [https://disk.yandex.ru/i/ | + | [https://disk.yandex.ru/i/GJQPwB02CJXoaA Концептуальные улучшения методов стилизации изображений.] |
- | [https://disk.yandex.ru/i/ | + | [https://disk.yandex.ru/i/f7D9e7dX-iOfjA Мульти-стилевые трансформационные модели.] |
- | [https://disk.yandex.ru/i/ | + | [https://disk.yandex.ru/i/ng48clrTsdE_6w Семантическая сегментация.] |
- | [https://disk.yandex.ru/i/ | + | [https://disk.yandex.ru/i/gN5hPPNT8V8EdQ Детекция объектов.] |
- | [https://disk.yandex.ru/i/ | + | [https://disk.yandex.ru/i/ps83_Hr5W_7P-g Генеративно-состязательные сети.] |
- | [https://disk.yandex.ru/i/ | + | [https://disk.yandex.ru/i/PuWnGsJKImCTqg Приложения генеративно-состязательных сетей.] |
=Рекомендуемые ресурсы= | =Рекомендуемые ресурсы= |
Версия 15:10, 28 мая 2022
О курсе
Спецкурс проходит на ф-те ВМиК в весеннем семестре и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо отобразить в стиле, задаваемым другим изображением. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо преобразование фотогрфии в схематичную книжную иллюстрацию. Для решения задачи существуют современные подходы переноса стиля (style transfer) и генеративно-состязательные сети (generative adversarial networks). Эта задача широко используется в индустрии разлечений (например, мобильное приложение Prisma было самым скачиваемым на Android в странах СНГ в течение 10 дней после выхода), при обработке фотографий и дизайне (функции стилизации были добавлены в Adobe Photoshop 2021), может применяться в мультипликации, наложении спецэффектов в фильмах, видеоиграх и средствах дополненной реальности, а также для более точной настройки методов машинного при обучении на одной предметной области, а применении модели к другой (transfer learning). Помимо изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и музыка). Основные методы стилизации были предложены в последние 7 лет и опираются на глубокие нейронные сети, базовому изучению которых посвящена начальная часть курса.
Занятия проходят в формате лекций. В процессе прохождения курса каждый студент должен сделать презентацию основных идей и подходов одной из недавних статей, посвященных стилизации изображений, а также представить свои идеи улучшений традиционных методов стилизации изображений и их обосновать.
Экзамен
Процедура экзамена и список билетов.
Лектор
Виктор Владимирович Китов, к.ф.-м.н., преподаватель кафедры математических методов прогнозирования ВМК МГУ. Почта: v.v.kitov(at)yandex.ru.
Время занятий
Занятия проходят в удаленном формате по понедельникам 18-00 - 19-30 по ссылке. Первое занятие 14 февраля.
Лекции
Нейросети. Многослойный персептрон.
Оптимизация методами градиентного и стохастического градиентного спуска.
Расширение выборки изображений.
Архитектуры сверточных нейросетей для задачи классификации.
Оптимизационный метод переноса стиля.
Трансформационный метод переноса стиля.
Патчевый метод переноса стиля.
Технические улучшения методов стилизации изображений.
Концептуальные улучшения методов стилизации изображений.
Мульти-стилевые трансформационные модели.
Генеративно-состязательные сети.
Приложения генеративно-состязательных сетей.
Рекомендуемые ресурсы
- Примеры переноса стиля для видео: пример 1, пример 2, пример 3.
- Обзорная статья по переносу стиля для изображений.
- Лекции курса в Стэнфорде по сверточным нейронным сетям.
- Топовые конференции по машинному обучению и компьютерному зрению (самые интересные статьи там)
- Поиск google по статьям.
- Образовательные материалы по библиотеке глубинного обучения PyTorch.
- Книга по глубинному обучению.