Структурные модели и глубинное обучение (регулярный семинар)

Материал из MachineLearning.

Перейти к: навигация, поиск

Содержание

Описание семинара:

Deep Learning – это разновидность машинного обучения, в основе которой лежат нейронные сети. Сегодня на использовании «глубинного обучения» строятся системы распознавания речи, распознавание визуальных объектов (как статических, так и движущихся) и, наконец, взаимодействие компьютерных систем с естественным языком и вычленение смыслов. Многие ученые считают Deep Learning революцией в машинном обучении, см. например, интервью с директором Facebook по искусственному интеллекту Яном Лекуном (Yann LeCun) (перевод)

Цели исследований соответствующей научной группы:

  1. Разработка новых алгоритмов глубинного обучения (Deep Learning),
  2. Решение прикладных задач с использованием методов Deep Learning (автоматическое описание изображений/видео, описание 3D формы, анализ нейро-данных, анализ медицинских изображений, и т.п.),
  3. Теоретические анализ моделей Deep Learning, в т.ч. и с использованием теории структурных моделей

Время заседаний:

Регулярный семинар, проводится в ИППИ РАН по понедельникам в 18-30, ауд. 615.

Научные руководители семинара

Е.В. Бурнаев и В.Г. Спокойный

Организатор семинара

Совместный учебно-научный семинар магистерской программы Математические методы оптимизации и стохастики Факультета Компьютерных наук НИУ ВШЭ, Института проблем передачи информации РАН и Лаборатории ПреМоЛаб МФТИ. Куратор семинара Евгений Бурнаев (профили в НИУ ВШЭ и на MathNet.ru)

Заседания

Заседание 1 (19 октября)

  • Введение в нейронные сети: обзор основных математических моделей нейронных сетей, приложения
  • Программные библиотеки для моделирования нейронных сетей, туториалы к ним

Заседание 2 (26 октября)

  • Автоматические методы выбора структуры нейронных сетей
  • Практические особенности построения нейросетевых моделей в конкретных приложениях

Заседание 3 (2 ноября)

  • Обзор по построению Generative Models с помощью методов глубинного обучения
  • Применение глубинного обучения для копирования стилей художников

Заседание 4 (9 ноября) - заседания не было

Заседание 4 (16 ноября)

  • Обзор моделей и методов Recurrent Neural Networks
  • Обзор возможных тем для студенческих проектов
  • Обзор библиотеки tensor flow
  • Применение глубинного обучения для обработки ЭЭГ (нейро-данные)

Ссылки

Некоторые ссылки:

  1. Библиография работ по Deep Learning
  2. Книга «Deep Learning» авторов Yoshua Bengio, Ian Goodfellow and Aaron Courville
  3. Deep Learning Tutorial by Ruslan Salakhutdinov at the KDD-2014
  4. Course: Convolutional Neural Networks for Visual Recognition
  5. Composing music with recurrent neural networks
  6. A Neural Algorithm of Artistic Style
  7. Using Deep Reinforcement Learning to Play Chess
  8. Просто полезный сайт deeplearning.net

Программные библиотеки:

  1. Theano - питоновский тулбокс для символьных вычислений
  2. упражнения по Theano
  3. https://github.com/Lasagne/Lasagne Lasagne
  4. Tutorial for Lasagne
  5. Nolearn (обертка для упрощения работы с Lasagne)
  6. Хороший туториал, в котором отражены многие аспекты практического использования глубокого обучения
  7. Онлайн книжка, которая по большому счету является одним длинным туториалом. В начале идет достаточно подробное введение в концепцию классических нейронных сетей, а в последней главе обсуждаются некоторые элементы глубокого обучения и дан хороший набор ссылок на другие материалы по глубокому обучению.
  8. Если у вас нет графической карточки, то можно пользоваться амазоновскими кластерами с графическими карточками. При использовании spot instances (google it!) стоимость instance с 1 графической карточкой составляет примерно 10-12 центов в час. Вот небольшой мануал на тему установки необходимого софта на AWS (его же можно использовать и для установки на свои машины)
  9. Starcluster - система для автоматизации работы со spot instances.
  10. как запускать StarCluster на нодах с 14.04, а не 13 (самый свежий коммьюнити-образ на текущий момент)
  11. Продвинутый материал, который описывает выигравшее решение крупного конкурса на kaggle по классификации планктона (больше 1000 участников и призовой фонд в 175k $)
  12. Обещанные материалы по копированию стиля художников выложены в открытом репозитории в гитхабе (будет пополняться):
    1. Выложены два примера, использующие сети VGG-19 и GoogLeNet (второй пока работает некорректно) с помощью связки Lasagne/Theano.
    2. Все сильно оптимизировано под небольшие объемы памяти и протестировано на mac book pro (late 2013) с графической картой Nvidia GeForce GT 750M (2 Gb памяти).
    3. Некоторые дополнительные установки можно найти внутри ноутбуков.
    4. Есть сайт, на котором можно делать такие же картинки за ~150-200 часов бесплатно или за умеренную плату в 2 евро за ~20 мин.
  13. Сравнение программных библиотек для Deep Learning