BigARTM

Материал из MachineLearning.

Версия 18:52, 12 декабря 2014

BigARTM — открытая библиотека для тематического моделирования больших коллекций текстовых документов. Параллельная распределённая реализация методов вероятностного тематического моделирования на основе аддитивной регуляризации.

ARTM (англ.) — Additive Regularization for Topic Modeling.

АРТМ (рус.) — Аддитивная Регуляризация Тематических Моделей.

Функциональные возможности

• Регуляризаторы: сглаживание, разреживание, декоррелирование, отбор тем
• Метрики качества: перплексия, разреженность, чистота тем, контрастность тем, размер ядер тем
• Мультимодальные тематические модели
• Возможность добавления новых регуляризаторов и метрик качества

Архитектура

Реализация ядра библиотеки на С++, интерфейсы на C++, Python.

Разработчики

• Александр Фрей — генеральный архитектор, гуру
• Константин Воронцов — идеолог
• Мурат Апишев — разработчик

Публикации

1. Воронцов К. В. Аддитивная регуляризация тематических моделей коллекций текстовых документов // Доклады РАН. 2014. — Т. 455., №3. 268–271
2. Воронцов К. В. Потапенко А. А. Регуляризация вероятностных тематических моделей для повышения интерпретируемости и определения числа тем // Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной Международной конференции «Диалог» (Бекасово, 4–8 июня 2014 г.) Вып.13 (20). М: Изд-во РГГУ, 2014. C.676–687.
3. Vorontsov K. V. Additive Regularization for Topic Models of Text Collections // Doklady Mathematics. 2014, Pleiades Publishing, Ltd. — Vol. 89, No. 3, pp. 301–304.
4. Vorontsov K. V., Potapenko A. A. Tutorial on Probabilistic Topic Modeling: Additive Regularization for Stochastic Matrix Factorization // AIST’2014, Analysis of Images, Social networks and Texts. Springer International Publishing Switzerland, 2014. Communications in Computer and Information Science (CCIS). Vol. 436. pp. 29–46.
5. Vorontsov K. V., Potapenko A. A. Additive Regularization of Topic Models // Machine Learning Journal. Special Issue “Data Analysis and Intelligent Optimization with Applications”.

Ссылки

• Документация: bigartm.org
• Страница на гитхабе: github.com/bigartm
• Видеозапись семинара в Яндексе 3 декабря 2014

См. также

• Тематическое моделирование
• Аддитивная регуляризация тематических моделей
• Вероятностные тематические модели — семестровый спецкурс, кафедра ММП ВМиК МГУ
• Коллекции документов для тематического моделирования
• Воронцов К.В. Лекции по тематическому моделированию. Voron-2013-ptm.pdf.
• Воронцов К.В. Практическое задание по тематическому моделированию. Voron-2014-task-ptm.pdf