Нейросетевые методы обработки изображений (В.В.Китов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(→Практикум)
 
(73 промежуточные версии не показаны)
Строка 1: Строка 1:
__NOTOC__
__NOTOC__
[[Категория:Учебные курсы]]
[[Категория:Учебные курсы]]
-
[[Категория:Учебные курсы]]
+
 
-
-
+
-
+
-
-
+
-
+
-
-
+
-
==Телеграм-канал курса==
+
-
+
-
-
+
-
Телеграм-канал курса: НМОИ 2020, присоединяйтесь. Там будет вся актуальная информация о проводимых онлайн занятиях по курсу.
+
-
+
==О курсе==
==О курсе==
-
==О курсе==
+
Спецкурс посвящён основам глубокого обучения, а также задачам классификации, сегментации и генерации изображений, используя нейросетевой перенос стиля (neural style transfer) и генеративно-состязательные сети (generative adversarial networks).
-
Спецкурс проходит на ф-те ВМиК в весеннем семестре и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо преобразовать так, чтобы сохранить изображенные на нем предметы, но стилистику их отображения взять из другого изображения или группы изображений. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо изменение зимней панорамы в летнюю. Эта задача может применяться в мультипликации, наложении спецэффектов в фильмах и видеоиграх, симуляторах и средствах дополненной реальности, а также для более точной настройки методов машинного обучения работе с изображениями за счет расширения обучающей выборки путем вариации стиля и адаптации стиля под целевую предметную область. Помимо отдельных изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и т.д.). Основные методы стилизации были предложены в последние 5 лет и опираются на глубинные нейронные сети, базовому изучению которых посвящена существенная часть курса.
+
 
-
Спецкурс проходит на ф-те ВМиК в весеннем семестре и посвящен задаче автоматической стилизации изображений, в которой входное изображение необходимо преобразовать так, чтобы сохранить изображенные на нем предметы, но стилистику их отображения взять из другого изображения или группы изображений. Например, это может быть стилизация семейной фотографии под стиль известного художника, либо стилизация дневного фото в ночное, либо изменение зимней панорамы в летнюю. Эта задача может применяться в мультипликации, наложении спецэффектов в фильмах и видеоиграх, симуляторах и средствах дополненной реальности, а также для более точной настройки методов машинного обучения работе с изображениями за счет расширения обучающей выборки путем вариации стиля и адаптации стиля под целевую предметную область. Помимо отдельных изображений указанный подход применим для видеопоследовательностей и данных из других предметных областей (текст, речь и т.д.). Основные методы стилизации были предложены в последние 5 лет и опираются на глубинные нейронные сети, базовому изучению которых посвящена существенная часть курса.
+
Курс самодостаточный, основные понятия и задачи вводятся и подробно разбираются, поэтому спецкурс будет полезен слушателям, не имевшим предварительного знакомства с нейросетями.
-
-
+
 
-
+
Спецкурс является практико-ориентированным: помимо теории большое внимание уделяется разбору практической реализации изучаемых архитектур. В этом смысле спецкурс является органичным дополнением обязательного курса “Глубокое машинное обучение”.
-
-
+
 
 +
В частности, разбираются основы работы с библиотекой PyTorch, реализации многослойного персептрона, автокодировщика, симаских сетей, RBF-сетей, свёрточных и генеративно-состязательных сетей.
 +
 
 +
Для прохождения спецкурса необходимо сдать устный экзамен по основным теоретическим темам, а также сдать практикум.
 +
 
 +
Пройденный спецкурс вы можете позже перезачесть в учебной части на 4м курсе (по учебному плану вам тогда нужно проходить спецкурс по выбору).
 +
 
==Лектор==
==Лектор==
-
+
[[Участник:Victor Kitov|Виктор Владимирович Китов]], к.ф.-м.н., преподаватель кафедры [[Mmp|математических методов прогнозирования]] [http://cmc.msu.ru ВМК МГУ].
-
-
+
 
-
[[Участник:Victor Kitov|Виктор Владимирович Китов]], к.ф.-м.н., преподаватель кафедры [[Mmp|математических методов прогнозирования]] [http://cmc.msu.ru ВМК МГУ]. Почта: v.v.kitov(at)yandex.ru.
+
Почта: v.v.kitov(at)yandex.ru.
-
+
 
-
-
+
==Требования к слушателям==
-
+
 
-
-
+
Необходимы базовые знания по математическому анализу, линейной алгебре и теории вероятностей. Предварительных знаний по нейронным сетям и методам обработки изображений не требуется.
-
==Расписание==
+
 
-
+
==Программа курса==
-
-
+
 
-
Занятия проходят по четвергам в 18-00 в ауд. 612. Первое занятие - 20.02.2020.
+
* Введение в глубокое обучение.
-
+
* Многослойный персептрон. Основные функции активации и функции потерь.
-
-
+
* Автокодировщик.
-
+
* Работа в среде Jupyter Lab, Jupyter Notebook. Средства отладки кода.
-
-
+
* Методы оптимизации нейросетей.
-
==Программа==
+
* Основы работы с PyTorch, автоматическое дифференцирование, реализация простейших нейросетей.
-
+
* Операции свёртки и пулинга. Свёрточные нейросети для обработки текстов и изображений.
-
-
+
* Основные свёрточные архитектуры для классификации изображений.
-
* Введение в машинное и глубинное обучение
+
* Реализация свёрточных сетей и использование предобученных сетей в PyTorch.
-
+
* Сегментация изображений.
-
-
+
* Реализация задачи супер-разрешения (super-resolution) и сиамских сетей в PyTorch.
-
* Алгоритмы настройки нейросетей. Регуляризация.
+
* Задача переноса стиля и её практическая реализация.
-
+
* Генеративно-состязательные сети.
-
-
+
* Реализация генеративно-состязательных сетей в PyTorch.
-
* Основные архитектуры сверточных нейросетей.
+
 
-
+
==Практикум==
-
-
+
В рамках практикума необходимо реализовать улучшенния базовых архитектур, разобранных на практических семинарах. От студентов второго курса дополнительно требуется сделать презентацию научной статьи.
-
* Методы стилизации, основанные на сближении распределений.
+
 
-
+
==Прохождение спецкурса==
-
-
+
Для успешной сдачи спецкурса необходимо сдать практикум и устный экзамен.
-
* Методы стилизации, основанные на сопоставлении участков изображений.
+
 
-
+
==Регистрация на курс==
-
-
+
Регистрация на курс происходит на самом спецкурсе по факту посещения, дополнительные действия не требуются.
-
* Генеративно-состязательные сети и их применения для стилизации и повышения качества изображений.
+
 
-
+
==Время занятий==
-
-
+
 
-
+
По понедельникам 16:50 - 18:20, ауд. 510.
-
-
+
 
-
=Задание=
+
Первое занятие - 17.02.2025.
-
+
 
-
-
+
==Рекомендуемые ресурсы==
-
В рамках спецкурса всем участникам выдается задание - подготовить обзорный доклад по статьям по стилизации изображений и рассказать свои идеи улучшений предложенных методов.
+
* [https://deepmachinelearning.ru Авторсий онлайн-учебник по машинному и глубокому обучению]
-
+
* [https://education.yandex.ru/handbook/ml Учебник школы анализа данных Яндекса по машинному и глубокому обучению]
-
-
+
* [https://pytorch.org/tutorials/ Образовательные материалы по библиотеке PyTorch]
-
+
* [https://scholar.google.ru/ Поиск google по научным статьям]
-
-
+
-
=Материалы лекций=
+
-
+
-
-
+
-
+
-
-
+
-
[https://yadi.sk/i/IfR0TdxpHAhmRA Введение в машинное обучение.]
+
-
+
-
-
+
-
+
-
-
+
-
[https://yadi.sk/i/H_Oi0oL1tzqBRw Многослойный персептрон.]
+
-
+
-
-
+
-
+
-
-
+
-
[https://yadi.sk/i/jIbSmgR_2akThg Сверточные нейросети.]
+
-
+
-
-
+
-
+
-
-
+
-
[https://yadi.sk/i/XnAZ-fLKX9Bpmg Основные архитектуры сверточных нейросетей.]
+
-
+
-
-
+
-
+
-
-
+
-
[https://yadi.sk/i/fHZUcrVFWFbODw Оптимизационный метод переноса стиля.]
+
-
+
-
-
+
-
+
-
-
+
-
[https://yadi.sk/i/_6AInrhKcJzl9A Трансформационный метод переноса стиля.]
+
-
+
-
-
+
-
+
-
-
+
-
[https://yadi.sk/i/dzghc0Ufxi7zMw Перенос стиля, основанный на патчах.]
+
-
+
-
-
+
-
+
-
-
+
-
[https://yadi.sk/i/TGA1AOP64G1a_Q Технические улучшения.]
+
-
+
-
-
+
-
+
-
-
+
-
[https://yadi.sk/i/gVypaP4Kmql_rw Концептуальные улучшения.]
+
-
+
-
-
+
-
+
-
-
+
-
[https://yadi.sk/i/uiDNs7aAe2-tUw Мульти-стилевые трансформационные модели.]
+
-
+
-
-
+
-
+
-
-
+
-
[https://yadi.sk/i/QwndMEu3to27dg Расширение обучающей выборки.]
+
-
+
-
-
+
-
+
-
-
+
-
[https://yadi.sk/i/MVFsFttnAV_YMg Генеративно-состязательные сети.]
+
-
+
-
-
+
-
+
-
-
+
-
+
-
-
+
-
==Экзамен==
+
-
+
-
-
+
-
+
-
-
+
-
[https://yadi.sk/i/AdqMYWQ36bh0VA Билеты]
+
-
+
-
-
+
-
+
-
-
+
-
=Рекомендуемые ресурсы=
+
-
+
-
-
+
-
* Примеры переноса стиля для видео: [https://www.youtube.com/watch?v=Khuj4ASldmU пример 1], [https://www.youtube.com/watch?v=vMyMUNvsGfQ пример 2], [https://www.youtube.com/watch?v=BcflKNzO31A пример 3].
+
-
+
-
-
+
-
* [https://arxiv.org/pdf/1705.04058.pdf Обзорная статья по переносу стиля для изображений.]
+
-
+
-
-
+
-
* [https://www.youtube.com/playlist?list=PL3FW7Lu3i5JvHM8ljYj-zLfQRF3EO8sYv Лекции курса в Стэнфорде по сверточным нейронным сетям.]
+
-
+
-
-
+
-
* [http://www.pittnuts.com/2015/07/top-conferences-on-machine-learning-and-computer-vision/ Топовые конференции по машинному обучению и компьютерному зрению] (самые интересные статьи там)
+
-
+
-
-
+
-
* [https://scholar.google.ru/ Поиск google по статьям.]
+
-
+
-
-
+
-
* [https://pytorch.org/tutorials/ Образовательные материалы по библиотеке глубинного обучения PyTorch.]
+
-
+
-
-
+
-
* [http://d2l.ai/index.html Книга по глубинному обучению.]
+

Текущая версия


О курсе

Спецкурс посвящён основам глубокого обучения, а также задачам классификации, сегментации и генерации изображений, используя нейросетевой перенос стиля (neural style transfer) и генеративно-состязательные сети (generative adversarial networks).

Курс самодостаточный, основные понятия и задачи вводятся и подробно разбираются, поэтому спецкурс будет полезен слушателям, не имевшим предварительного знакомства с нейросетями.

Спецкурс является практико-ориентированным: помимо теории большое внимание уделяется разбору практической реализации изучаемых архитектур. В этом смысле спецкурс является органичным дополнением обязательного курса “Глубокое машинное обучение”.

В частности, разбираются основы работы с библиотекой PyTorch, реализации многослойного персептрона, автокодировщика, симаских сетей, RBF-сетей, свёрточных и генеративно-состязательных сетей.

Для прохождения спецкурса необходимо сдать устный экзамен по основным теоретическим темам, а также сдать практикум.

Пройденный спецкурс вы можете позже перезачесть в учебной части на 4м курсе (по учебному плану вам тогда нужно проходить спецкурс по выбору).

Лектор

Виктор Владимирович Китов, к.ф.-м.н., преподаватель кафедры математических методов прогнозирования ВМК МГУ.

Почта: v.v.kitov(at)yandex.ru.

Требования к слушателям

Необходимы базовые знания по математическому анализу, линейной алгебре и теории вероятностей. Предварительных знаний по нейронным сетям и методам обработки изображений не требуется.

Программа курса

  • Введение в глубокое обучение.
  • Многослойный персептрон. Основные функции активации и функции потерь.
  • Автокодировщик.
  • Работа в среде Jupyter Lab, Jupyter Notebook. Средства отладки кода.
  • Методы оптимизации нейросетей.
  • Основы работы с PyTorch, автоматическое дифференцирование, реализация простейших нейросетей.
  • Операции свёртки и пулинга. Свёрточные нейросети для обработки текстов и изображений.
  • Основные свёрточные архитектуры для классификации изображений.
  • Реализация свёрточных сетей и использование предобученных сетей в PyTorch.
  • Сегментация изображений.
  • Реализация задачи супер-разрешения (super-resolution) и сиамских сетей в PyTorch.
  • Задача переноса стиля и её практическая реализация.
  • Генеративно-состязательные сети.
  • Реализация генеративно-состязательных сетей в PyTorch.

Практикум

В рамках практикума необходимо реализовать улучшенния базовых архитектур, разобранных на практических семинарах. От студентов второго курса дополнительно требуется сделать презентацию научной статьи.

Прохождение спецкурса

Для успешной сдачи спецкурса необходимо сдать практикум и устный экзамен.

Регистрация на курс

Регистрация на курс происходит на самом спецкурсе по факту посещения, дополнительные действия не требуются.

Время занятий

По понедельникам 16:50 - 18:20, ауд. 510.

Первое занятие - 17.02.2025.

Рекомендуемые ресурсы

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9D%D0%B5%D0%B9%D1%80%D0%BE%D1%81%D0%B5%D1%82%D0%B5%D0%B2%D1%8B%D0%B5_%D0%BC%D0%B5%D1%82%D0%BE%D0%B4%D1%8B_%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B8_%D0%B8%D0%B7%D0%BE%D0%B1%D1%80%D0%B0%D0%B6%D0%B5%D0%BD%D0%B8%D0%B9_%28%D0%92.%D0%92.%D0%9A%D0%B8%D1%82%D0%BE%D0%B2%29»