Материал из MachineLearning.

Текущая версия

Спецкурс читается студентам 2—4 курсов на кафедре «Математические методы прогнозирования» ВМиК МГУ с 2013 года и студентам 6 курса на кафедре «Интеллектуальные системы» ФУПМ МФТИ с 2019 года.

До 2026 года курс назывался «Вероятностные тематические модели».

Вероятностные языковые модели (Probabilistic Language Model) выявляют закономерности в строении текста, чтобы предсказывать появление каждого следующего слова. Чем лучше модель понимает строение языка, тем точнее предсказания слов, тем более она полезна в задачах анализа текстов, информационного поиска (IR, Information Retrieval), обработки естественного языка (NLP, Natural Language Processing), понимания естественного языка (NLU, Natural Language Understanding).

Наиболее подробно в курсе изучается вероятностное тематическое моделирование (Probabilistic Topic Modeling) коллекций текстовых документов. Тематическая модель определяет, какие темы содержатся в большой текстовой коллекции, и к каким темам относится каждый документ. Тематические модели позволяют искать тексты по смыслу, а не по ключевым словам, создавать системы семантического разведочного поиска (Exploratory Search), инструменты для цифровых гуманитарных исследований (Digital Humanities). Рассматриваются тематические модели для классификации, категоризации, сегментации, суммаризации текстов естественного языка, а также для рекомендательных систем, анализа банковских транзакционных данных, анализа биомедицинских сигналов. Развивается многокритериальный подход к построению моделей с заданными свойствами — аддитивная регуляризация тематических моделей (ARTM). Он основан на регуляризации некорректно поставленных задач стохастического матричного разложения. Особое внимание уделяется методам лингвистической регуляризации для моделирования связности текста. Предполагается проведение студентами численных экспериментов на модельных и реальных данных с помощью библиотеки тематического моделирования BigARTM.

От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Желательно знание курсов математической статистики, методов оптимизации, машинного обучения, языка программирования Python.

Краткая ссылка на эту страницу: bit.ly/2EGWcjA.

Основной материал:

• Воронцов К. В. Вероятностное тематическое моделирование: теория регуляризации ARTM и библиотека с открытым кодом BigARTM. — обновление 29.12.2025.
• Плейлист видеозаписей, 2025 осень (МФТИ).

Программа курса

Оптимизация и регуляризация языковых моделей

Презентация: (PDF, 3,4 МБ) — обновление 02.03.2026.

Задачи языкового моделирования.

• Частотные языковые модели. Гипотеза «мешка слов».
• Принцип максимума правдоподобия.
• Условия Каруша–Куна–Таккера. Вывод частотных оценок.
• Задача тематического моделирования.

Аддитивная регуляризация тематических моделей.

• Лемма о максимизации на единичных симплексах.
• Понятие некорректно поставленной задачи по Адамару. Регуляризация.
• Теорема о необходимом условии максимума регуляризованного правдоподобия для ARTM.
• EM-алгоритм и его элементарная интерпретация. Формула Байеса и частотные оценки условных вероятностей.
• Классические тематические модели PLSA и LDA как частные случаи ARTM.

Практика тематического моделирования.

• Проект с открытым кодом BigARTM.
• Этапы решения практических задач.
• Методы предварительной обработки текста.
• Датасеты и практические задания по курсу.

Языковые модели сочетаемости слов

Презентация: (PDF, 1,4 МБ) — обновление 02.03.2026.

Модели векторных представлений слов.

• Дистрибутивная гипотеза. Модель SGNS в программе word2vec.
• Эквивалентная задача матричного разложения.
• Оценивание качества векторных представлений слов.
• FastText и другие модели векторных представлений текста.

Тематические модели дистрибутивной семантики.

• Модель битермов BTM (Biterm Topic Model) для коллекций коротких текстов.
• Модели WNTM (Word Network Topic Model) и WTM (Word Topic Model).
• Сравнение WN-ARTM с моделью word2vec.
• Когерентность как мера интерпретируемости тем. Регуляризаторы когерентности.

Мультиграммные модели и выделение терминов.

• Контактная близость слов. Критерии выделения коллокаций.
• Алгоритм TopMine для быстрого поиска частых фраз.
• Синтаксический разбор. Нейросетевые синтаксические анализаторы SyntaxNet, UDpipe.
• Критерии тематичности фраз.
• Комбинирование синтаксической, статистической и тематической фильтрации фраз.

Нейросетевые языковые модели

Презентация: (PDF, 6,8 МБ) — обновление 23.03.2026.

Краткое введение в машинное обучение.

• Минимизация эмпирического риска. Метод стохастического градиента.
• Искусственные нейронные сети. Линейная модель нейрона. Многослойный персептрон.
• Глубокие нейронные сети. Свёрточные сети для анализа изображений.
• Обучаемая векторизация данных. Автокодировщики.

Нейросетевые модели языка.

• Модель машинного перевода. Модель внимания QKV. Архитектура трансформера. Кодировщик и декодировщик.
• Критерии обучения в машинном переводе.
• Критерий маскированного языкового моделирования для обучения кодировщика. Модель BERT.

Тематические модели локального контекста.

• Эволюция тематического моделирования.
• Нейросетевая тематическая модель Contextual-Top2Vec.
• Постановка задачи контекстного тематического моделирования.

Тематические модели локального контекста

Презентация: (PDF, 3,4 МБ) — обновление 3.04.2026.

Тематические модели «мешка слов».

• Постановка задачи ARTM.
• Ускорение сходимости EM-алгоритма.
• Идея матричной реализации EM-алгоритма.

Тематическая модель локального контекста.

• Модель быстрой тематизации документа за один линейный проход.
• Контекстная тематическая модель Attentive ARTM (AARTM). Вывод EM-алгоритма.
• Быстрое вычисление двунаправленных тематических векторов контекста.
• Псевдокод EM-алгоритма.

Сравнение тематических моделей с нейросетевыми.

• Сравнение с моделью само-внимания Query-Key-Value. Аналогия с трансформером.
• Сравнение со свёрточной сетью GCNN.
• Сравнение с нейросетевой тематической моделью Contextual-Top2Vec.
• Сравнение с контекстной документной кластеризацией (CDC).

Конструирование регуляризаторов и устойчивость моделей

Презентация: (PDF, 1,2 МБ) — обновление 30.03.2026. видеозапись

Часто используемые регуляризаторы.

• Сглаживание и разреживание.
• Частичное обучение.
• Декоррелирование тем. Выделение фоновых тем.
• Разреживание для отбора тем.
• Расстояния и дивергенции между дискретными распределениями.

Комбинирование регуляризаторов.

• Траектории регуляризации.
• Относительные коэффициенты регуляризации.
• Оценивание качества: перплексия, когерентность, лексическое ядро
• Эксперименты с комбинированием разреживания, сглаживания, декоррелирования.
• Эмпирические рекомендации по комбинированию регуляризаторов.

Эксперименты с тематическими моделями.

• Исследование устойчивости восстановления тем на синтетических данных.
• Исследование устойчивости на реальных данных.
• Эксперименты с отбором тем на синтетических и реальных данных.
• Сравнение с байесовской моделью HDP (Hierarchical Dirichlet Process).
• Эффект отбрасывания малых, дублирующих и линейно зависимых тем.

Тематический информационный поиск

Презентация: (PDF, 9,4 МБ) — обновление 30.03.2026. видеозапись

Мультимодальные тематические модели.

• Примеры модальностей.
• Мультимодальный ARTM и регуляризованный ЕМ-алгоритм.

Иерархические тематические модели.

• Иерархии тем. Послойное построение иерархии.
• Регуляризаторы для разделения тем на подтемы.
• Псевдодокументы родительских тем.
• Модальность родительских тем.

Эксперименты с тематическим поиском.

• Методика измерения качества поиска.
• Тематическая модель для документного поиска.
• Оптимизация гиперпараметров.

Оценивание качества тематических моделей

Презентация: (PDF, 2,2 МБ) — обновление 12.04.2026. видеозапись

Измерение качества тематических моделей.

• Правдоподобие и перплексия.
• Интерпретируемость и когерентность. Внутритекстовая когерентность.
• Разреженность и различность.

Проверка гипотезы условной независимости.

• Проверка гипотезы согласия для языковой модели.
• Статистики на основе KL-дивергенции и их обобщения.
• Применение статистических тестов условной независимости.

Проблема тематической несбалансированности в данных

• Проблема малых тем и тем-дубликатов.
• Тематическая несбалансированность как основная причина плохой интерпретируемости тем.
• Эксперименты с регуляризаторами отбора тем и декоррелирования.
• Регуляризатор семантической однородности.
• Подходы к балансировке тем.

Проект «Тематизатор»

Презентация: (PDF, 8,3 МБ) — обновление 20.04.2026. Видеозапись

Примеры прикладных задач

• Обзор регуляризаторов ARTM.
• Поиск этно-релевантных тем в социальных сетях.
• Анализ программ развития российских вузов.
• Поиск и рубрикация научных статей на 100 языках.
• Тематическое моделирование в исторических и политологических исследованиях.
• Проекты Школы Прикладного Анализа Данных.

Визуализация тематических моделей

• Визуализация матричного разложения.
• Динамика, иерархии, взаимосвязи, сегментация.
• Спектр тем.

Анализ требований к «Тематизатору»

• Функциональные требования.
• Требования к интерпретируемости.
• Основной пользовательский сценарий: загрузка, предобработка, моделирование, визуализация, коррекция.
• Задача перестроения модели по экспертной разметке тем на релевантные, нерелевантные и мусорные
• Этапизация работ и MVP Тематизатора.

Программа курса в разработке. Ниже — остаток от программы 2025 года.

Мультимодальные тематические модели

Презентация: (PDF, 1,8 МБ) — обновление 21.10.2025. видеозапись

Мультиязычные тематические модели.

• Параллельные и сравнимые коллекции.
• Регуляризаторы для учёта двуязычных словарей.
• Кросс-язычный информационный поиск.

Трёхматричные модели.

• Модели трёхматричных разложений. Понятие порождающей модальности.
• Автор-тематическая модель (author-topic model).
• Модель для выделения поведений объектов в видеопотоке.

Тематические модели транзакционных данных.

• Примеры транзакционных данных в рекомендательных системах, социальных и рекламных сетях.
• Гиперграфовая модель ARTM. Теорема о необходимом условии максимума регуляризованного правдоподобия.
• Транзакционные данные в рекомендательных системах. Симметризованная гиперграфовая модель ARTM.
• Гиперграфовые тематические модели языка. Тематическая модель предложений и сегментоидов.
• Анализ транзакционных данных для выявления паттернов экономического поведения клиентов банка. Видео.
• Анализ банковских транзакционных данных для выявления видов деятельности компаний.

Тематические модели сочетаемости слов

Презентация: (PDF, 1,5 МБ) — обновление 8.11.2025. видеозапись

Мультиграммные модели и выделение терминов.

• Алгоритм TopMine для быстрого поиска частых фраз. Критерии выделения коллокаций.
• Синтаксический разбор. Нейросетевые синтаксические анализаторы SyntaxNet, UDpipe.
• Критерии тематичности фраз.
• Комбинирование синтаксической, статистической и тематической фильтрации фраз.

Тематические модели дистрибутивной семантики.

• Дистрибутивная гипотеза. Модели CBOW и SGNS в программе word2vec.
• Модель битермов BTM (Biterm Topic Model) для тематизации коллекций коротких текстов.
• Модели WNTM (Word Network Topic Model) и WTM (Word Topic Model). Связь с моделью word2vec.

Позиционный регуляризатор в ARTM.

• Гипотеза о сегментной структуре текста.
• Регуляризация матрицы тематических векторов термов. Формулы М-шага.
• Теорема о регуляризаторе, эквивалентном произвольной пост-обработке Е-шага.
• Примеры регуляризаторов Е-шага. Разреживание распределения p(t|d,w). Сглаживание тематики слов по контексту.

Дополнительный материал:

• Потапенко А. А. Векторные представления слов и документов. DataFest'4. Видео.

Анализ зависимостей

Презентация: (PDF, 2,6 МБ) — обновление 27.11.2025. видеозапись

Зависимости, корреляции, связи.

• Тематические модели классификации и регрессии.
• Модель коррелированных тем CTM (Correlated Topic Model).
• Регуляризаторы гиперссылок и цитирования. Выявление тематических влияний в научных публикациях.

Время и пространство.

• Регуляризаторы времени.
• Обнаружение и отслеживание тем.
• Гео-пространственные модели.

Социальные сети.

• Сфокусированный поиск в социальных медиа (пример: поиск этно-релевантного контента).
• Выявление тематических сообществ. Регуляризаторы для направленных и ненаправленных связей.
• Регуляризаторы для выявления социальных ролей пользователей.

Именование и суммаризация тем

Презентация: (PDF, 4,6 МБ) — обновление 27.11.2025. видеозапись

Методы суммаризации текстов.

• Задачи автоматической суммаризации текстов. Подходы к суммаризации: extractive и abstractive.
• Оценивание и отбор предложений для суммаризации. Релаксационный метод для многокритериальной дискретной оптимизации.
• Тематическая модель предложений для суммаризации.
• Критерии качества суммаризации. Метрики ROUGE, BLUE.

Автоматическое именование тем (topic labeling).

• Формирование названий-кандидатов.
• Релевантность, покрытие, различность.
• Оценивание качества именования тем.

Задача суммаризации темы

• Задача ранжирования документов
• Задача фильтрации репрезентативных релевантных фраз.
• Задача генерации связного текста

Байесовское обучение модели LDA

Презентация: (PDF, 1,7 МБ) — обновление 7.12.2025. видеозапись

Классические модели PLSA, LDA.

• Модель PLSA.
• Модель LDA. Распределение Дирихле и его свойства.
• Максимизация апостериорной вероятности для модели LDA.

Вариационный байесовский вывод.

• Основная теорема вариационного байесовского вывода.
• Вариационный байесовский вывод для модели LDA.
• VB ЕМ-алгоритм для модели LDA.

Сэмплирование Гиббса.

• Основная теорема о сэмплировании Гиббса.
• Сэмплирование Гиббса для модели LDA.
• GS ЕМ-алгоритм для модели LDA.

Замечания о байесовском подходе.

• Оптимизация гиперпараметров в LDA.
• Графическая нотация (plate notation). Stop using plate notation.
• Сравнение байесовского подхода и ARTM.
• Как читать статьи по байесовским моделям и строить эквивалентные ARTM-модели.

Дополнительные лекции

BigARTM и базовые инструменты

Мурат Апишев. Презентация: (zip, 0,6 МБ) — обновление 17.02.2017. Видеозапись

Предварительная обработка текстов

• Парсинг «сырых» данных.
• Токенизация, стемминг и лемматизация.
• Выделение энграмм.
• Законы Ципфа и Хипса. Фильтрация словаря коллекции. Удаление стоп-слов.

Библиотека BigARTM

• Методологические рекоммендации по проведению экспериментов.
• Установка BigARTM.
• Формат и импорт входных данных.
• Обучение простой модели (без регуляризации): создание, инициализация, настройка и оценивание модели.
• Инструмент визуализации тематических моделей VisARTM. Основные возможности, демонстрация работы.

Дополнительный материал:

• Презентация: (PDF, 1,5 МБ) — обновление 17.03.2017.
• Видео — обновление 22.03.2017.
• Воркшоп по BigARTM на DataFest'4. Видео.

Проект «Мастерская знаний»

Презентация: (PNG, 8,1 МБ) — обновление 3.03.2025.

Проект «Мастерская знаний»

• Цели, задачи, концепция проекта. Тематические подборки научных текстов.
• Модель векторизации текста для поиска и рекомендаций научных статей.
• Основные сервисы «Мастерской знаний».

Место тематического моделирования в «Мастерской знаний»

• Сервис тематизации подборки.
• Сервисы выявления научных трендов и построения хронологических карт.
• Вспомогательные функции в сервисе полуавтоматической суммаризации.

Карты знаний

• Задачи иерархической суммаризации одной статьи, подборки статей.
• Принципы построения интеллект-карт и карт знаний.
• Что такое «тема»? Отличия тематизации и картирования.

Теория ЕМ-алгоритма

Презентация: (PDF, 2,0 МБ) — обновление 25.10.2024. старая видеозапись

Общий EM-алгоритм.

• EM-алгоритм для максимизации неполного правдоподобия.
• Регуляризованный EM-алгоритм. Сходимость в слабом смысле.
• Альтернативный вывод формул ARTM.

Эксперименты с моделями PLSA, LDA.

• Проблема неустойчивости (на синтетических данных).
• Проблема неустойчивости (на реальных данных).
• Проблема переобучения и робастные модели.

Отчетность по курсу

Условием сдачи курса является выполнение индивидуальных практических заданий.

Рекомендуемая структура отчёта об исследовании:

• Постановка задачи: неформальное описание, ДНК (дано–найти–критерий), структура данных
• Описание простого решения baseline
• Описание основного решения и его вариантов
• Описание набора данных и методики экспериментов
• Результаты экспериментов по подбору гиперпараметров основного решения
• Результаты экспериментов по сравнению основного решения с baseline
• Примеры визуализации модели
• Выводы: что работает, что не работает, инсайты
• Ссылка на код

Примеры отчётов:

• Валерия Кибитова, 2016
• Максим Филин, 2018
• Мария Иконникова, 2018

Литература

1. Воронцов К. В. Вероятностное тематическое моделирование: Теория регуляризации ARTM и библиотека с открытым кодом BigARTM. Москва, URSS. 2025. ISBN 978-5-9710-9933-8.
2. Xiaobao Wu, Thong Nguyen, Anh Tuan Luu. A Survey on Neural Topic Models: Methods, Applications, and Challenges. 2023.
3. Rob Churchill, Lisa Singh. The Evolution of Topic Modeling. 2022.
4. He Zhao, Dinh Phung, Viet Huynh, Yuan Jin, Lan Du, Wray Buntine. Topic Modelling Meets Deep Neural Networks: A Survey. 2021.
5. Hamed Jelodar, Yongli Wang, Chi Yuan, Xia Feng. Latent Dirichlet Allocation (LDA) and Topic modeling: models, applications, a survey. 2017.
6. Hofmann T. Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
7. Blei D. M., Ng A. Y., Jordan M. I. Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
8. Asuncion A., Welling M., Smyth P., Teh Y. W. On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.

Ссылки

• Тематическое моделирование
• Аддитивная регуляризация тематических моделей
• Коллекции документов для тематического моделирования
• BigARTM

Материалы для первого ознакомления:

• Тематический анализ больших данных. Краткое популярное введение в BigARTM.
• Разведочный информационный поиск. Видеолекция на ПостНауке.
• Тематическое моделирование. FAQ на ПостНауке, совместно с Корпоративным университетом Сбербанка.

Обзорная лекция:

• 28 января 2026. Тематические и нейросетевые вероятностные языковые модели: курс на сближение. Проблемы искусственного интеллекта — совместный научный семинар Российской ассоциации искусственного интеллекта и ФИЦ «Информатика и управление» РАН. (PDF, 7.3 МБ). Видеозапись.

Старое:

• Байесовская и классическая регуляризация в вероятностном тематическом моделировании. Научно-образовательный семинар «Актуальные проблемы прикладной математики» Новосибирского Государственного Университета, 19 февраля 2021. Презентация.
• Тематическое моделирование на пути к разведочному информационному поиску. Лекция на DataFest3, 10 сентября 2016. Видеозапись.
• Видеозапись лекции на ТМШ, 19 июня 2015
• Воронцов К.В. Практическое задание по тематическому моделированию, 2014.

Подстраницы