Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2017

Материал из MachineLearning.

Перейти к: навигация, поиск

Содержание

Программа спецкурса, прочитанного весной 2017 года студентам 2—5 курсов на кафедре «Математические методы прогнозирования (кафедра ВМиК МГУ)» ВМК МГУ.

Программа курса

Условием сдачи спецкурса является выполнение индивидуальных практических заданий.

Введение

Презентация: (PDF, 1,2 МБ) — обновление 15.02.2018.

Цели и задачи тематического моделирования.

  • Понятие «темы», цели и задачи тематического моделирования.
  • Основные предположения. Гипотеза «мешка слов» (bag-of-words). Методы предварительной обработки текстов.
  • Вероятностное пространство. Тема как латентная (ненаблюдаемая) переменная. Гипотеза условной независимости.
  • Порождающая модель документа как вероятностной смеси тем.
  • Упрощённая вероятностная модель текста и элементарное решение обратной задачи
  • Постановка обратной задачи восстановления параметров модели по данным.

Математический инструментарий.

Аддитивная регуляризация тематических моделей.

  • Теорема о необходимом условии максимума регуляризованного правдоподобия для ARTM.
  • EM-алгоритм и его элементарная интерпретация. Формула Байеса и частотные оценки условных вероятностей.
  • Вероятностный латентный семантический анализ (probabilistic latent semantic analysis, PLSA).
  • Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага). Оффлайновый регуляризованный EM-алгоритм.
  • Онлайновый регуляризованный EM-алгоритм. Распараллеливание.
  • Библиотека BigARTM.

Обзор базовых инструментов

Александр Романенко. Презентация: (zip, 0,6 МБ) — обновление 17.02.2017.

Предварительная обработка текстов

  • Парсинг "сырых" данных.
  • Токенизация, стемминг и лемматизация.
  • Выделение энграмм.
  • Законы Ципфа и Хипса. Фильтрация словаря коллекции. Удаление стоп-слов.

Библиотека BigARTM

  • Методологические рекоммендации по проведению экспериментов.
  • Установка BigARTM.
  • Формат и импорт входных данных.
  • Обучение простой модели (без регуляризации): создание, инициализация, настройка и оценивание модели.
  • Инструмент визуализации тематических моделей VisARTM. Основные возможности, демонстрация работы.

Аддитивная регуляризация тематических моделей

Презентация: (PDF, 2,5 МБ) — обновление 10.03.2017.

Регуляризаторы и модальности.

  • Мультимодальная ARTM. Виды модальностей и примеры прикладных задач.

Модель LDA.

Проекты, задания, открытые проблемы

  • Прикладные проекты по тематическому моделированию
  • Примеры заданий по спецкурсу
  • Исследовательские задачи и открытые проблемы

Дополнительный материал:

Сглаживание, разреживание и декоррелирование тем

Презентация: (PDF, 1,3 МБ) — обновление 10.03.2017.

Эксперименты по устойчивости.

  • Эксперименты на синтетических данных: демонстрация неустойчивости PLSA и LDA.
  • Эксперименты по неустойчивости LDA на текстовых коллекциях социальных сетей.

Регуляризаторы разреживания, сглаживания, декоррелирования и отбора тем.

  • Регуляризаторы сглаживания и разреживания.
  • Частичное обучение как разновидность сглаживания.
  • Разделение тем на предметные и фоновые. Автоматическое выделение слов общей лексики.
  • Регуляризатор декоррелирования тем.
  • Разреживающий регуляризатор отбора тем.
  • Эксперименты с композициями разреживания, сглаживания, декоррелирования и отбора тем.
  • Критерии качества тематических моделей: перплексия, когерентность, чистота и контрастность тем.

Исследование регуляризатора отбора тем.

  • Эксперименты с полусинтетическими данными.
  • Эффект отбрасывания малых, дублирующих и линейно зависимых тем.
  • Сравнение с байесовской моделью HDP (Hierarchical Dirichlet Process).

Регуляризация тематических моделей в BigARTM

Мурат Апишев. Презентация: (PDF, 1,5 МБ) — обновление 17.03.2017. Видео — обновление 22.03.2017.

Напоминания.

  • Задача ТМ, аддитивная регуляризация, мультимодальные модели.
  • Библиотека BigARTM.

Эксперименты в BigARTM.

  • Стратегии регуляризации.
  • Возможности и стратегии использования регуляризаторов сглаживания/разреживания и декорреляции тем.
  • Рекомендации по подбору параметров при построении моделей.
  • Практические советы и оценивание моделей.

Применение АРТМ для решения реальной прикладной задачи.

  • Работа с реальными данными социальных сетей.
  • Настройка моделей с несколькими регуляризаторами и модальностями.

Дополнительный материал:

  • Александр Романенко. Воркшоп по BigARTM на DataFest'4. Видео.

Байесовское обучение тематических моделей

Презентация: (PDF, 1,3 МБ) — обновление 24.03.2017.

EM-алгоритм.

  • Задачи оценивания скрытых параметров вероятностной модели.
  • EM-алгоритм для максимизации неполного правдоподобия. Сходимость в слабом смысле.
  • EM-алгоритм для модели PLSA.
  • EM-алгоритм с регуляризацией.

Методы оценивания параметров в модели LDA.

Языки описания вероятностных порождающих моделей.

  • Графическая плоская нотация (plate notation). Stop using plate notation.
  • Псевдокод порождающего процесса (genarative story).
  • Постановки оптимизационных задач.
  • Как читать статьи по баейсовским моделям и строить эквивалентные ARTM-модели.

Дополнительный материал:

Тематические модели для анализа зависимостей

Презентация: (PDF, 1,9 МБ) — обновление 31.03.2017.

Классификация и регрессия.

Связи и корреляции.

  • Модель коррелированных тем CTM (Correlated Topic Model).
  • Регуляризаторы гиперссылок и цитирования. Выявление тематических влияний в научных публикациях.

Время и пространство.

  • Регуляризаторы времени для темпоральных тематических моделей. Разреживание тем в каждый момент времени. Сглаживание темы как временного ряда. Пример: анализ коллекции пресс-релизов.
  • Регуляризаторы геолокации для пространственных тематических моделей.

Социальные сети.

  • Выявление тематических сообществ. Регуляризаторы для направленных и ненаправленных связей.
  • Регуляризаторы для выявления социальных ролей пользователей.

Мультимодальные тематические модели

Презентация: (PDF, 1,9 МБ) — обновление 07.04.2017.

Мультиязычные тематические модели.

  • Параллельные и сравнимые коллекции.
  • Регуляризаторы для учёта двуязычных словарей.
  • Кросс-язычный информационный поиск.

Иерархические модели.

  • Иерархические модели. Регуляризаторы для построения иерархий.
  • Оценивание качества и визуализация тематических иерархий.

Трёхматричные и гиперграфовые модели.

  • Модели трёхматричных разложений. Понятие порождающей модальности.
  • Автор-тематическая модель (author-topic model).
  • Примеры транзакционных данных в рекомендательных системах, социальных и рекламных сетях.
  • Теорема о необходимом условии максимума регуляризованного правдоподобия для гиперграфовой ARTM.

Тематические модели совстречаемости слов

Презентация: (PDF, 1,6 МБ) — обновление 15.04.2017.

Мультиграммные модели.

  • Модель BigramTM.
  • Модель Topical N-grams (TNG).
  • Мультимодальная мультиграммная модель.

Автоматическое выделение терминов.

  • Алгоритм TopMine для быстрого поиска частых фраз. Критерии выделения коллокаций.
  • Синтаксический разбор. Нейросетевой синтаксический анализатор SyntaxNet.
  • Критерии тематичности фраз.

Тематические модели дистрибутивной семантики.

  • Дистрибутивная гипотеза.
  • Модель битермов BTM (Biterm Topic Model) для тематизации коллекций коротких текстов.
  • Модели WNTM (Word Network Topic Model) и WTM (Word Topic Model). Связь с моделью word2vec.
  • Понятие когерентности (согласованности). Экспериментально установленная связь когерентности и интерпретируемости.
  • Регуляризаторы когерентности.

Дополнительный материал:

  • Потапенко А. А. Векторные представления слов и документов. DataFest'4. Видео.

Тематическая сегментация и суммаризация

Презентация: (PDF, 2,0 МБ) — обновление 05.05.2017.

Модели связного текста.

  • Тематическая модель предложений и модель коротких сообщений Twitter-LDA.
  • Контекстная документная кластеризация (CDC).
  • Метод лексических цепочек.

Тематическая сегментация.

  • Метод TopicTiling. Критерии определения границ сегментов.
  • Критерии качества сегментации. Оптимизация параметров модели TopicTiling.

Методы суммаризации текстов.

  • Автоматическая суммаризация текстов: задачи и подходы.
  • Релаксационный метод для многокритериальной дискретной оптимизации.
  • Тематическая модель предложений для суммаризации.
  • Семейство критериев качества суммаризации ROUGE.

Примеры приложений тематического моделирования

Презентация: (PDF, 3,3 МБ) — обновление 16.05.2017.


Литература

  1. Воронцов К. В. Обзор вероятностных тематических моделей. 2018.
  2. Blei D. M., Ng A. Y., Jordan M. I. Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
  3. Asuncion A., Welling M., Smyth P., Teh Y. W. On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.
  4. Lu Y., Mei Q., Zhai C. Investigating task performance of probabilistic topic models: an empirical study of PLSA and LDA // Information Retrieval. — 2011. — Vol.14, no.2. — Pp. 178–203.
  5. Янина А. О., Воронцов К. В. Мультимодальные тематические модели для разведочного поиска в коллективном блоге // Машинное обучение и анализ данных. 2016. T.2. №2. С.173-186.

Ссылки

Ретроспектива

Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2015Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2016Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2017
Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2018Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2019, ВМКВероятностные тематические модели (курс лекций, К.В.Воронцов)/2020
Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2021
Личные инструменты