Материал из MachineLearning.

Содержание 1 Программа курса 1.1 Введение 1.2 Обзор задач и моделей 1.3 Латентное размещение Дирихле 1.4 Аддитивная регуляризация тематических моделей 1.5 Байесовское обучение тематических моделей 1.6 Регуляризаторы по внутренним текстовым данным 1.7 Регуляризаторы по внешним нетекстовым данным 1.8 Мультимодальные тематические модели 1.9 Короткие тексты и сегментация 1.10 Инициализация, траектория регуляризации, тесты адекватности 1.11 Обзор оценок качества тематических моделей 2 Литература 3 Ссылки 4 Подстраницы

Спецкурс читается студентам 2—5 курсов на кафедре «Математические методы прогнозирования» ВМиК МГУ с 2013 года.

В спецкурсе изучается вероятностное тематическое моделирование (topic modeling) коллекций текстовых документов. Тематическое моделирование рассматривается как ключевая математическая технология перспективных информационно-поисковых систем нового поколения, основанных на парадигме семантического разведочного поиска (exploratory search). Рассматриваются также прикладные задачи классификации, сегментации и суммаризации текстов, задачи анализа данных социальных сетей и рекомендательных систем. Развивается многокритериальный подход к построению композитных тематических моделей с заданными свойствами — аддитивная регуляризация тематических моделей (АРТМ). Он основан на регуляризации некорректно поставленных задач стохастического матричного разложения. Рассматриваются способы измерения и оптимизации важнейших свойств тематических моделей — правдоподобия, интерпретируемости, устойчивости, полноты. Рассматриваются задачи анализа и классификации символьных последовательностей неязыковой природы, в частности, аминокислотных и нуклеотидных последовательностей, дискретизированных биомедицинских сигналов. Предполагается проведение студентами численных экспериментов на модельных и реальных данных с помощью библиотеки тематического моделирования BigARTM.

От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Знание математической статистики, методов оптимизации, машинного обучения, языков программирования Python и С++ желательно, но не обязательно.

Обзорная презентация: (PDF, 4,4 МБ) — обновление 14.03.2016.

Видеолекция на ПостНауке: Разведочный информационный поиск.

Программа курса

Условием сдачи спецкурса является выполнение индивидуальных практических заданий.

• Файл с описанием заданий: voron-2016-task-PTM.pdf

Введение

Презентация: (PDF, 0,6 МБ) — обновление 27.02.2016.

Цели и задачи тематического моделирования.

• Понятие «темы», цели и задачи тематического моделирования (topic modeling).
• Основные предположения. Гипотеза «мешка слов» (bag-of-words). Методы предварительной обработки текстов.
• Вероятностное пространство. Тема как латентная (ненаблюдаемая) переменная. Гипотеза условной независимости.
• Порождающая модель документа как вероятностной смеси тем.
• Постановка обратной задачи восстановления параметров модели по данным.

Математический инструментарий.

• Принцип максимума правдоподобия.
• Условия Каруша–Куна–Таккера.
• Униграммные модели коллекции и документа.

Тематическая модель PLSA.

• Вероятностный латентный семантический анализ (probabilistic latent semantic analysis, PLSA).
• Теорема о необходимых условиях максимума правдоподобия для модели PLSA.
• EM-алгоритм и его элементарная интерпретация. Формула Байеса и частотные оценки условных вероятностей.
• Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).

Обзор задач и моделей

Презентация: (PDF, 8,3 МБ) — обновление 27.02.2016.

Обзор моделей и задачи разведочного информационного поиска.

• Разновидности тематических моделей.
• Средства визуализации тематических моделей.
• Разведочный информационный поиск (exploratory search) и требования к тематическим моделям.

Примеры приложений тематического моделирования.

• Задача поиска релевантных тем в социальных сетях и новостных потоках.
• Динамическая модель коллекции пресс-релизов.
• Информационный анализ электрокардиосигналов для скрининговой диагностики.

BigARTM.

• Проект BigARTM. Функциональные возможности и основные идеи.
• Открытые проблемы и направления исследований.

Латентное размещение Дирихле

Презентация: (PDF, 1,9 МБ) — обновление 04.03.2016.

Модель LDA.

• Задача тематического моделирования как некорректно поставленная задача стохастического матричного разложения.
• Латентное размещение Дирихле (latent Dirichlet allocation, LDA).
• Некоторые свойства распределения Дирихле.
• Теорема о необходимом условии максимума апостериорной вероятности для LDA.
• Сравнение EM-алгоритма для LDA и PLSA.
• Стохастический EM-алгоритм. Алгоритм сэмплирования Гиббса (Gibbs sampling).

Робастная тематическая модель.

• Модель SWB с фоном и шумом. Робастная тематическая модель.
• Модель LDA не снижает переобучение, а лишь толерантнее предсказывает вероятности редких слов.

Эксперименты по неустойчивости PLSA и LDA.

• Способы измерения расстояния между дискретными распределениями. Дивергенция Кульбака-Лейблера (KL-divergence).
• Эксперименты на синтетических данных: демонстрация неустойчивости PLSA и LDA.
• Эксперименты по неустойчивости LDA на текстовых коллекциях социальных сетей.

Аддитивная регуляризация тематических моделей

Презентация: (PDF, 1,7 МБ) — обновление 17.03.2016.

Регуляризаторы и модальности

• Аддитивная регуляризация тематических моделей. Линейные композиции регуляризаторов.
• Теорема о необходимом условии максимума регуляризованного правдоподобия для ARTM.
• Мультимодальная ARTM. Виды модальностей и примеры прикладных задач.
• Теорема о необходимом условии максимума регуляризованного правдоподобия для мультимодальной ARTM.

Регуляризованный EM-алгоритм.

• Оффлайновый регуляризованный EM-алгоритм.
• Онлайновый регуляризованный EM-алгоритм. Разделение коллекции на пакеты документов.

Азы BigARTM.

• Обзор возможностей библиотеки BigARTM.
• Установка, подготовка данных, создание модели, оценивание модели.

Дополнительный материал:

• Потапенко А. А. Отчет по серии экспериментов с онлайновым алгоритмом. 2013.

Байесовское обучение тематических моделей

Презентация: (PDF, 1,3 МБ) — обновление 06.05.2016.

EM-алгоритм.

• Задачи оценивания скрытых параметров вероятностной модели.
• EM-алгоритм для максимизации неполного правдоподобия. Сходимость в слабом смысле.
• EM-алгоритм для модели PLSA.

Методы оценивания параметров в модели LDA.

• Модель LDA. Свойства распределения Дирихле.
• Максимизация апостериорной вероятности для модели LDA.
• Вариационный байесовский вывод для модели LDA.
• Сэмплирование Гиббса для модели LDA. Сопряжённые распределения.
• Оптимизация гиперпараметров распределения Дирихле.

Языки описания вероятностных порождающих моделей.

• Графическая плоская нотация (plate notation). Stop using plate notation.
• Псевдокод порождающего процесса (genarative story).
• Постановки оптимизационных задач.
• Как читать статьи по баейсовским моделям и строить эквивалентные ARTM-модели.

Регуляризаторы по внутренним текстовым данным

Презентация: (PDF, 1,4 МБ) — обновление 17.03.2016.

Базовые регуляризаторы.

• Регуляризаторы сглаживания и разреживания.
• Частичное обучение как разновидность сглаживания.
• Разделение тем на предметные и фоновые. Автоматическое выделение слов общей лексики.
• Регуляризатор декоррелирования тем.

Определение числа тем.

• Регуляризатор отбора тем.
• Эффект отбрасывания малых, дублирующих и линейно зависимых тем.
• Сравнение с байесовской моделью HDP (Hierarchical Dirichlet Process).

Оценивание качества и первые эксперименты с ARTM.

• Критерии качества тематических моделей: перплексия (perplexity), когерентность (coherence), чистота и контрастность тем.
• Эксперименты с композициями разреживания, сглаживания, декоррелирования и отбора тем.

Использование BigARTM.

• Использование регуляризаторов и измерителей в BigARTM.
• Комбинирование регуляризаторов для решения практических задач в BigARTM.

Регуляризаторы по внешним нетекстовым данным

Презентация: (PDF, 1,9 МБ) — обновление 10.04.2016.

Классификация и регрессия.

• Тематическая модель классификации.
• Пример: Технология информационного анализа электрокардиосигналов.
• Регуляризаторы для регрессии на текстах.

Связи и корреляции.

• Регуляризатор CTM (Correlated Topic Model).
• Регуляризатор для учёта гиперссылок и цитирования. Выявление тематических влияний в научных публикациях.

Время и пространство.

• Регуляризаторы времени для темпоральных тематических моделей. Разреживание тем в каждый момент времени. Сглаживание темы как временного ряда. Эксперименты на коллекции пресс-релизов.
• Регуляризаторы геолокации для пространственных тематических моделей.

Социальные сети.

• Выявление тематических сообществ. Регуляризаторы для направленных и ненаправленных связей.
• Регуляризаторы для выявления социальных ролей пользователей.

Мультимодальные тематические модели

Презентация: (PDF, 3,5 МБ) — обновление 10.04.2016.

Примеры мультимодальных моделей.

• Мультиязычные тематические модели. Параллельные и сравнимые коллекции. Регуляризаторы для учёта двуязычных словарей.
• Мультиграммные модели. Модели BigramTM и Topical N-grams (TNG).
• Модели трёхматричных разложений. Понятие порождающей модальности.
• Автор-тематическая модель (author-topic model).

Иерархические модели.

• Иерархические модели. Регуляризаторы для построения иерархий.
• Оценивание качества и визуализация тематических иерархий.

Гиперграфовая модель.

• Примеры транзакционных данных в рекомендательных системах, социальных и рекламных сетях.
• Теорема о необходимом условии максимума регуляризованного правдоподобия для гиперграфовой ARTM.

Короткие тексты и сегментация

Презентация: (PDF, 0,9 МБ) — обновление 24.04.2016.

Модели сегментированного текста.

• Модель коротких сообщений Twitter-LDA. Модель монотематичных предложений.
• Трёхматричные разложения для сегментированного текста. Вывод EM-алгоритма.

Модели совстречамости слов

• Модель битермов BTM (Biterm Topic Model) для тематизации коллекций коротких текстов.
• Модель всплесков BBTM (Bursty Biterm Topic Model).
• Понятие когерентности (согласованности). Экспериментально установленная связь когерентности и интерпретируемости.
• Регуляризатор когерентности.
• Модель сети слов WNTM (Word Network Topic Model). Модель WTM (Word Topic Model).

Позиционный регуляризатор в ARTM.

• Пост-обработка Е-шага. Формулы М-шага. Интерпретация текста как пучка временных рядов.
• Примеры регуляризаторов Е-шага. Разреживание распределения p(t|d,w). Сглаживание тематики слов по контексту.

Инициализация, траектория регуляризации, тесты адекватности

Презентация: (PDF, Х,Х МБ) — обновление ХХ.ХХ.2016.

Инициализация.

• Случайная инициализация. Инициализация по документам.
• Контекстная документная кластеризация.
• Поиск якорных слов. Алгоритм Ароры.

Траектория регуляризации.

• Задача оптимизации трактории в пространстве коэффициентов регуляризации.
• Относительные коэффициенты регуляризации.
• Пространство коэффициентов регуляризации и пространство метрик качества. Регрессионная связь между ними. Инкрементная регрессия.
• Подходы к скаляризации критериев.
• Обучение с подкреплением. Контекстный многорукий бандит. Верхние доверительные границы (UCB).

Тесты адекватности.

• Статистические тесты условной независимости. Методология проверки статистических гипотез. Критерий согласия хи-квадрат Пирсона.
• Проблема разреженности распределения. Эксперименты, показывающие неадекватность асимптотического распределения статистики хи-квадрат.
• Статистики модифицированного хи-квадрат, Кульбака-Лейблера, Хеллингера.
• Обобщённое семейство статистик Кресси-Рида.
• Эмпирическое оценивание квантилей распределения статистики Кресси-Рида.
• Применения теста условной независимости для поиска плохо смоделированных тем, документов, терминов. Поиск тем для расщепления.

Обзор оценок качества тематических моделей

Презентация: (PDF, Х,Х МБ) — обновление ХХ.ХХ.2016.

• Внутренние и внешние критерии качества.
• Перплексия и правдоподобие. Интерпретация перплекcии. Перплексия контрольной коллекции. Проблема новых слов в контрольной коллекции. Проблема сравнения моделей с разными словарями. Относительная перплексия.

Оценивание качества темы.

• Лексическое ядро темы: множество типичных терминов темы.
• Чистота и контрастность темы
• Документное ядро темы: множество типичных документов темы.
• Однородность темы: распределение расстояний между p(w|t) и p(w|t,d).
• Конфликтность темы: близость темы к другим темам.
• Интерпретируемость темы: экспертные оценки, метод интрузий, когерентность. Взрыв интерпретируемости в n-граммных моделях.

Устойчивость и полнота.

• Эксперименты по оцениванию устойчивости, интерпретируемости и полноты.
• Построение выпуклых оболочек тем и фильтрация зависимых тем в сериях тематических моделей.

Критерии качества классификации и ранжирования.

• Полнота, точность и F-мера в задачах классификации и ранжирования.
• Критерии качества ранжирования: MAP, DCG, NDCG.
• Оценка качества тематического поиска документов по их длинным фрагментам.

Литература

Основная литература

1. Воронцов К.В. Тематическое моделирование в BigARTM: теория, алгоритмы, приложения. Voron-2015-BigARTM.pdf.
2. Воронцов К.В. Лекции по тематическому моделированию. Voron-2013-ptm.pdf.
3. Vorontsov K. V., Potapenko A. A. Additive Regularization of Topic Models // Machine Learning. Special Issue “Data Analysis and Intelligent Optimization with Applications”: Volume 101, Issue 1 (2015), Pp. 303-323. Русский перевод

Дополнительная литература

1. Воронцов К. В., Потапенко А. А. Модификации EM-алгоритма для вероятностного тематического моделирования // Машинное обучение и анализ данных. — 2013. — T. 1, № 6. — С. 657–686.
2. Воронцов К. В., Фрей А. И., Ромов П. А., Янина А. О., Суворова М. А., Апишев М. А. BigARTM: библиотека с открытым кодом для тематического моделирования больших текстовых коллекций // Аналитика и управление данными в областях с интенсивным использованием данных. XVII Международная конференция DAMDID/RCDL’2015, Обнинск, 13-16 октября 2015.
3. Маннинг К., Рагхаван П., Шютце Х. Введение в информационный поиск. — Вильямс, 2011.
4. Asuncion A., Welling M., Smyth P., Teh Y. W. On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.
5. Blei D. M., Ng A. Y., Jordan M. I. Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
6. Chemudugunta C., Smyth P., Steyvers M. Modeling general and specific aspects of documents with a probabilistic topic model // Advances in Neural Information Processing Systems. — MIT Press, 2006. — Vol. 19. — Pp. 241–248.
7. Daud A., Li J., Zhou L., Muhammad F. Knowledge discovery through directed probabilistic topic models: a survey // Frontiers of Computer Science in China.— 2010.— Vol. 4, no. 2. — Pp. 280–301.
8. Dempster A. P., Laird N. M., Rubin D. B. Maximum likelihood from incomplete data via the EM algorithm // J. of the Royal Statistical Society, Series B. — 1977. — no. 34. — Pp. 1–38.
9. Hofmann T. Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
10. Hoffman M. D., Blei D. M., Bach F. R. Online Learning for Latent Dirichlet Allocation // NIPS, 2010. Pp. 856–864.
11. Lu Y., Mei Q., Zhai C. Investigating task performance of probabilistic topic models: an empirical study of PLSA and LDA // Information Retrieval. — 2011. — Vol.14, no.2. — Pp. 178–203.
12. Vorontsov K. V., Frei O. I., Apishev M. A., Romov P. A., Suvorova M. A., Yanina A. O. Non-Bayesian Additive Regularization for Multimodal Topic Modeling of Large Collections // Proceedings of the 2015 Workshop on Topic Models: Post-Processing and Applications, October 19, 2015, Melbourne, Australia. ACM, New York, NY, USA. pp. 29–37.
13. Wallach H., Mimno D., McCallum A. Rethinking LDA: Why priors matter // Advances in Neural Information Processing Systems 22 / Ed. by Y. Bengio, D. Schuurmans, J. Lafferty, C. K. I. Williams, A. Culotta. — 2009. — Pp. 1973–1981.

Ссылки

• Тематическое моделирование
• Аддитивная регуляризация тематических моделей
• Коллекции документов для тематического моделирования
• BigARTM
• Видеозапись лекции на ТМШ, 19 июня 2015

Подстраницы

Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2015	Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2016	Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2017
Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2018	Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2019, ВМК	Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2020
Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2021