Структурные модели и глубинное обучение (регулярный семинар)

Материал из MachineLearning.

Текущая версия

Описание семинара:

Deep Learning – это разновидность машинного обучения, в основе которой лежат нейронные сети. Сегодня на использовании «глубинного обучения» строятся системы распознавания речи, распознавание визуальных объектов (как статических, так и движущихся) и, наконец, взаимодействие компьютерных систем с естественным языком и вычленение смыслов. Многие ученые считают Deep Learning революцией в машинном обучении, см. например, интервью с директором Facebook по искусственному интеллекту Яном Лекуном (Yann LeCun) (перевод)

Цели исследований соответствующей научной группы:

1. Разработка новых алгоритмов глубинного обучения (Deep Learning),
2. Решение прикладных задач с использованием методов Deep Learning (автоматическое описание изображений/видео, описание 3D формы, анализ нейро-данных, анализ медицинских изображений, и т.п.),
3. Теоретические анализ моделей Deep Learning, в т.ч. и с использованием теории структурных моделей

Время заседаний:

Регулярный семинар, проводится в ИППИ РАН по понедельникам в 18-30, ауд. 615.

Научные руководители семинара

Е.В. Бурнаев и В.Г. Спокойный

Организатор семинара

Совместный учебно-научный семинар магистерской программы Математические методы оптимизации и стохастики Факультета Компьютерных наук НИУ ВШЭ, Института проблем передачи информации РАН и Лаборатории ПреМоЛаб МФТИ. Куратор семинара Евгений Бурнаев (профили в НИУ ВШЭ и на MathNet.ru)

Заседания

Заседание 1 (12 февраля)

• Обзор моделей и методов для Automatic ML
• Результаты тестирования методов для Automatic ML

Презентация, PDF [1,94Мб]

Заседание 2 (4 марта)

• Обсуждение текущих результатов в решении задачи анализа сигнала изменчивости сердечного ритма (heart rate variability, HRV),
• Обсуждение современных архитектур RNN и проблем их обучения.

Заседание 3 (21 марта)

• Михаил Фигурнов. "Acceleration of Convolutional Neural Networks through Elimination of Redundant Convolutions"

Презентация, PDF [2,7Мб]

Основная статья: Заседания семинара в 2015 г.

Ссылки

Некоторые ссылки:

1. Библиография работ по Deep Learning
2. Книга «Deep Learning» авторов Yoshua Bengio, Ian Goodfellow and Aaron Courville
3. "The Unreasonable Effectiveness of Deep Learning" Yann LeCun
4. Deep Learning Tutorial by Ruslan Salakhutdinov at the KDD-2014
5. Course: Convolutional Neural Networks for Visual Recognition
6. Composing music with recurrent neural networks
7. A Neural Algorithm of Artistic Style
8. Using Deep Reinforcement Learning to Play Chess
9. Просто полезный сайт deeplearning.net

Программные библиотеки:

1. Theano - питоновский тулбокс для символьных вычислений
2. упражнения по Theano
3. https://github.com/Lasagne/Lasagne Lasagne
4. Tutorial for Lasagne
5. Nolearn (обертка для упрощения работы с Lasagne)
6. Хороший туториал, в котором отражены многие аспекты практического использования глубокого обучения
7. Онлайн книжка, которая по большому счету является одним длинным туториалом. В начале идет достаточно подробное введение в концепцию классических нейронных сетей, а в последней главе обсуждаются некоторые элементы глубокого обучения и дан хороший набор ссылок на другие материалы по глубокому обучению.
8. Если у вас нет графической карточки, то можно пользоваться амазоновскими кластерами с графическими карточками. При использовании spot instances (google it!) стоимость instance с 1 графической карточкой составляет примерно 10-12 центов в час. Вот небольшой мануал на тему установки необходимого софта на AWS (его же можно использовать и для установки на свои машины)
9. Starcluster - система для автоматизации работы со spot instances.
10. как запускать StarCluster на нодах с 14.04, а не 13 (самый свежий коммьюнити-образ на текущий момент)
11. Продвинутый материал, который описывает выигравшее решение крупного конкурса на kaggle по классификации планктона (больше 1000 участников и призовой фонд в 175k $)
12. Обещанные материалы по копированию стиля художников выложены в открытом репозитории в гитхабе (будет пополняться):
    1. Выложены два примера, использующие сети VGG-19 и GoogLeNet (второй пока работает некорректно) с помощью связки Lasagne/Theano.
    2. Все сильно оптимизировано под небольшие объемы памяти и протестировано на mac book pro (late 2013) с графической картой Nvidia GeForce GT 750M (2 Gb памяти).
    3. Некоторые дополнительные установки можно найти внутри ноутбуков.
    4. Есть сайт, на котором можно делать такие же картинки за ~150-200 часов бесплатно или за умеренную плату в 2 евро за ~20 мин.
13. Сравнение программных библиотек для Deep Learning