Структурные модели и глубинное обучение (регулярный семинар)

Материал из MachineLearning.

Содержание 1 Описание семинара: 2 Время заседаний: 3 Научные руководители семинара 4 Организатор семинара 5 Заседания 6 Ссылки

Описание семинара:

Deep Learning – это разновидность машинного обучения, в основе которой лежат нейронные сети. Сегодня на использовании «глубинного обучения» строятся системы распознавания речи, распознавание визуальных объектов (как статических, так и движущихся) и, наконец, взаимодействие компьютерных систем с естественным языком и вычленение смыслов. Многие ученые считают Deep Learning революцией в машинном обучении, см. например, интервью с директором Facebook по искусственному интеллекту Яном Лекуном (Yann LeCun) (перевод)

Цели исследований соответствующей научной группы:

1. Разработка новых алгоритмов глубинного обучения (Deep Learning),
2. Решение прикладных задач с использованием методов Deep Learning (автоматическое описание изображений/видео, описание 3D формы, анализ нейро-данных, анализ медицинских изображений, и т.п.),
3. Теоретические анализ моделей Deep Learning, в т.ч. и с использованием теории структурных моделей

Время заседаний:

Регулярный семинар, проводится в ИППИ РАН по понедельникам в 18-30, ауд. 615.

Научные руководители семинара

Е.В. Бурнаев и В.Г. Спокойный

Организатор семинара

Совместный учебно-научный семинар магистерской программы Математические методы оптимизации и стохастики Факультета Компьютерных наук НИУ ВШЭ, Института проблем передачи информации РАН и Лаборатории ПреМоЛаб МФТИ. Куратор семинара Евгений Бурнаев (профили в НИУ ВШЭ и на MathNet.ru)

Заседания

Шаблон:Заседания семинара в 2015 г.

Заседание 1 (19 октября)

• Введение в нейронные сети: обзор основных математических моделей нейронных сетей, приложения
• Программные библиотеки для моделирования нейронных сетей, туториалы к ним

Заседание 2 (26 октября)

• Автоматические методы выбора структуры нейронных сетей
• Практические особенности построения нейросетевых моделей в конкретных приложениях

Заседание 3 (2 ноября)

• Обзор по построению Generative Models с помощью методов глубинного обучения
• Применение глубинного обучения для копирования стилей художников

Заседание 9 ноября - заседания не было

Заседание 4 (16 ноября)

• Обзор моделей и методов Recurrent Neural Networks
• Обзор возможных тем для студенческих проектов
• Обзор библиотеки tensor flow
• Применение глубинного обучения для обработки ЭЭГ (нейро-данные)

Заседание 5 (23 ноября)

• Первая лекция в рамках обзора методов обучения с подкреплением (reinforcement learning)
• Применение глубинного обучения для анализа изменчивости сердечного ритма
• Спутниковые тросовые системы: может ли машинное обучение помочь в управлении тросом?

Заседание 6 (30 ноября)

• Вторая лекция в рамках обзора методов обучения с подкреплением (reinforcement learning)
• Применение методов обучения с подкреплением для имитации игры человека в компьютерные игры на приставке Atari

Заседание 7 (7 декабря)

• Обучение через имитацию, структурный прогноз и их использование для обучения с подкреплением (reinforcement learning)
• Доклад про Photo Verification, который состоит из двух частей:

- Representation Learning for Photo Verification,

- Joint Bayesian Modeling for Photo Verification

Ссылки

Некоторые ссылки:

1. Библиография работ по Deep Learning
2. Книга «Deep Learning» авторов Yoshua Bengio, Ian Goodfellow and Aaron Courville
3. "The Unreasonable Effectiveness of Deep Learning" Yann LeCun
4. Deep Learning Tutorial by Ruslan Salakhutdinov at the KDD-2014
5. Course: Convolutional Neural Networks for Visual Recognition
6. Composing music with recurrent neural networks
7. A Neural Algorithm of Artistic Style
8. Using Deep Reinforcement Learning to Play Chess
9. Просто полезный сайт deeplearning.net

Программные библиотеки:

1. Theano - питоновский тулбокс для символьных вычислений
2. упражнения по Theano
3. https://github.com/Lasagne/Lasagne Lasagne
4. Tutorial for Lasagne
5. Nolearn (обертка для упрощения работы с Lasagne)
6. Хороший туториал, в котором отражены многие аспекты практического использования глубокого обучения
7. Онлайн книжка, которая по большому счету является одним длинным туториалом. В начале идет достаточно подробное введение в концепцию классических нейронных сетей, а в последней главе обсуждаются некоторые элементы глубокого обучения и дан хороший набор ссылок на другие материалы по глубокому обучению.
8. Если у вас нет графической карточки, то можно пользоваться амазоновскими кластерами с графическими карточками. При использовании spot instances (google it!) стоимость instance с 1 графической карточкой составляет примерно 10-12 центов в час. Вот небольшой мануал на тему установки необходимого софта на AWS (его же можно использовать и для установки на свои машины)
9. Starcluster - система для автоматизации работы со spot instances.
10. как запускать StarCluster на нодах с 14.04, а не 13 (самый свежий коммьюнити-образ на текущий момент)
11. Продвинутый материал, который описывает выигравшее решение крупного конкурса на kaggle по классификации планктона (больше 1000 участников и призовой фонд в 175k $)
12. Обещанные материалы по копированию стиля художников выложены в открытом репозитории в гитхабе (будет пополняться):
    1. Выложены два примера, использующие сети VGG-19 и GoogLeNet (второй пока работает некорректно) с помощью связки Lasagne/Theano.
    2. Все сильно оптимизировано под небольшие объемы памяти и протестировано на mac book pro (late 2013) с графической картой Nvidia GeForce GT 750M (2 Gb памяти).
    3. Некоторые дополнительные установки можно найти внутри ноутбуков.
    4. Есть сайт, на котором можно делать такие же картинки за ~150-200 часов бесплатно или за умеренную плату в 2 евро за ~20 мин.
13. Сравнение программных библиотек для Deep Learning