Материал из MachineLearning.

Текущая версия

Программа спецкурса, прочитанного весной 2017 года студентам 2—5 курсов на кафедре «Математические методы прогнозирования (кафедра ВМиК МГУ)» ВМК МГУ.

Программа курса

Условием сдачи спецкурса является выполнение индивидуальных практических заданий.

Введение

Презентация: (PDF, 1,2 МБ) — обновление 15.02.2018.

Цели и задачи тематического моделирования.

• Понятие «темы», цели и задачи тематического моделирования.
• Основные предположения. Гипотеза «мешка слов» (bag-of-words). Методы предварительной обработки текстов.
• Вероятностное пространство. Тема как латентная (ненаблюдаемая) переменная. Гипотеза условной независимости.
• Порождающая модель документа как вероятностной смеси тем.
• Упрощённая вероятностная модель текста и элементарное решение обратной задачи
• Постановка обратной задачи восстановления параметров модели по данным.

Математический инструментарий.

• Принцип максимума правдоподобия.
• Условия Каруша–Куна–Таккера.
• Униграммные модели коллекции и документа.

Аддитивная регуляризация тематических моделей.

• Теорема о необходимом условии максимума регуляризованного правдоподобия для ARTM.
• EM-алгоритм и его элементарная интерпретация. Формула Байеса и частотные оценки условных вероятностей.
• Вероятностный латентный семантический анализ (probabilistic latent semantic analysis, PLSA).
• Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага). Оффлайновый регуляризованный EM-алгоритм.
• Онлайновый регуляризованный EM-алгоритм. Распараллеливание.
• Библиотека BigARTM.

Обзор базовых инструментов

Александр Романенко. Презентация: (zip, 0,6 МБ) — обновление 17.02.2017.

Предварительная обработка текстов

• Парсинг "сырых" данных.
• Токенизация, стемминг и лемматизация.
• Выделение энграмм.
• Законы Ципфа и Хипса. Фильтрация словаря коллекции. Удаление стоп-слов.

Библиотека BigARTM

• Методологические рекоммендации по проведению экспериментов.
• Установка BigARTM.
• Формат и импорт входных данных.
• Обучение простой модели (без регуляризации): создание, инициализация, настройка и оценивание модели.
• Инструмент визуализации тематических моделей VisARTM. Основные возможности, демонстрация работы.

Аддитивная регуляризация тематических моделей

Презентация: (PDF, 2,5 МБ) — обновление 10.03.2017.

Регуляризаторы и модальности.

• Мультимодальная ARTM. Виды модальностей и примеры прикладных задач.

Модель LDA.

• Латентное размещение Дирихле (latent Dirichlet allocation, LDA).
• Некоторые свойства распределения Дирихле.
• Теорема о необходимом условии максимума апостериорной вероятности для LDA.
• Оптимизация гиперпараметров, метод Минка.

Проекты, задания, открытые проблемы

• Прикладные проекты по тематическому моделированию
• Примеры заданий по спецкурсу
• Исследовательские задачи и открытые проблемы

Дополнительный материал:

• Потапенко А. А. Отчет по серии экспериментов с онлайновым алгоритмом. 2013.

Сглаживание, разреживание и декоррелирование тем

Презентация: (PDF, 1,3 МБ) — обновление 10.03.2017.

Эксперименты по устойчивости.

• Эксперименты на синтетических данных: демонстрация неустойчивости PLSA и LDA.
• Эксперименты по неустойчивости LDA на текстовых коллекциях социальных сетей.

Регуляризаторы разреживания, сглаживания, декоррелирования и отбора тем.

• Регуляризаторы сглаживания и разреживания.
• Частичное обучение как разновидность сглаживания.
• Разделение тем на предметные и фоновые. Автоматическое выделение слов общей лексики.
• Регуляризатор декоррелирования тем.
• Разреживающий регуляризатор отбора тем.
• Эксперименты с композициями разреживания, сглаживания, декоррелирования и отбора тем.
• Критерии качества тематических моделей: перплексия, когерентность, чистота и контрастность тем.

Исследование регуляризатора отбора тем.

• Эксперименты с полусинтетическими данными.
• Эффект отбрасывания малых, дублирующих и линейно зависимых тем.
• Сравнение с байесовской моделью HDP (Hierarchical Dirichlet Process).

Регуляризация тематических моделей в BigARTM

Мурат Апишев. Презентация: (PDF, 1,5 МБ) — обновление 17.03.2017. Видео — обновление 22.03.2017.

Напоминания.

• Задача ТМ, аддитивная регуляризация, мультимодальные модели.
• Библиотека BigARTM.

Эксперименты в BigARTM.

• Стратегии регуляризации.
• Возможности и стратегии использования регуляризаторов сглаживания/разреживания и декорреляции тем.
• Рекомендации по подбору параметров при построении моделей.
• Практические советы и оценивание моделей.

Применение АРТМ для решения реальной прикладной задачи.

• Работа с реальными данными социальных сетей.
• Настройка моделей с несколькими регуляризаторами и модальностями.

Дополнительный материал:

• Александр Романенко. Воркшоп по BigARTM на DataFest'4. Видео.

Байесовское обучение тематических моделей

Презентация: (PDF, 1,3 МБ) — обновление 24.03.2017.

EM-алгоритм.

• Задачи оценивания скрытых параметров вероятностной модели.
• EM-алгоритм для максимизации неполного правдоподобия. Сходимость в слабом смысле.
• EM-алгоритм для модели PLSA.
• EM-алгоритм с регуляризацией.

Методы оценивания параметров в модели LDA.

• Модель LDA. Свойства распределения Дирихле.
• Максимизация апостериорной вероятности для модели LDA.
• Вариационный байесовский вывод для модели LDA.
• Сэмплирование Гиббса для модели LDA. Сопряжённые распределения.
• Оптимизация гиперпараметров распределения Дирихле.

Языки описания вероятностных порождающих моделей.

• Графическая плоская нотация (plate notation). Stop using plate notation.
• Псевдокод порождающего процесса (genarative story).
• Постановки оптимизационных задач.
• Как читать статьи по баейсовским моделям и строить эквивалентные ARTM-модели.

Дополнительный материал:

• Потапенко А. А. Байесовское обучение тематических моделей. 2016.

Тематические модели для анализа зависимостей

Презентация: (PDF, 1,9 МБ) — обновление 31.03.2017.

Классификация и регрессия.

• Тематическая модель классификации.
• Пример: Технология информационного анализа электрокардиосигналов.
• Тематическая модель регрессии.

Связи и корреляции.

• Модель коррелированных тем CTM (Correlated Topic Model).
• Регуляризаторы гиперссылок и цитирования. Выявление тематических влияний в научных публикациях.

Время и пространство.

• Регуляризаторы времени для темпоральных тематических моделей. Разреживание тем в каждый момент времени. Сглаживание темы как временного ряда. Пример: анализ коллекции пресс-релизов.
• Регуляризаторы геолокации для пространственных тематических моделей.

Социальные сети.

• Выявление тематических сообществ. Регуляризаторы для направленных и ненаправленных связей.
• Регуляризаторы для выявления социальных ролей пользователей.

Мультимодальные тематические модели

Презентация: (PDF, 1,9 МБ) — обновление 07.04.2017.

Мультиязычные тематические модели.

• Параллельные и сравнимые коллекции.
• Регуляризаторы для учёта двуязычных словарей.
• Кросс-язычный информационный поиск.

Иерархические модели.

• Иерархические модели. Регуляризаторы для построения иерархий.
• Оценивание качества и визуализация тематических иерархий.

Трёхматричные и гиперграфовые модели.

• Модели трёхматричных разложений. Понятие порождающей модальности.
• Автор-тематическая модель (author-topic model).
• Примеры транзакционных данных в рекомендательных системах, социальных и рекламных сетях.
• Теорема о необходимом условии максимума регуляризованного правдоподобия для гиперграфовой ARTM.

Тематические модели совстречаемости слов

Презентация: (PDF, 1,6 МБ) — обновление 15.04.2017.

Мультиграммные модели.

• Модель BigramTM.
• Модель Topical N-grams (TNG).
• Мультимодальная мультиграммная модель.

Автоматическое выделение терминов.

• Алгоритм TopMine для быстрого поиска частых фраз. Критерии выделения коллокаций.
• Синтаксический разбор. Нейросетевой синтаксический анализатор SyntaxNet.
• Критерии тематичности фраз.

Тематические модели дистрибутивной семантики.

• Дистрибутивная гипотеза.
• Модель битермов BTM (Biterm Topic Model) для тематизации коллекций коротких текстов.
• Модели WNTM (Word Network Topic Model) и WTM (Word Topic Model). Связь с моделью word2vec.
• Понятие когерентности (согласованности). Экспериментально установленная связь когерентности и интерпретируемости.
• Регуляризаторы когерентности.

Дополнительный материал:

• Потапенко А. А. Векторные представления слов и документов. DataFest'4. Видео.

Тематическая сегментация и суммаризация

Презентация: (PDF, 2,0 МБ) — обновление 05.05.2017.

Модели связного текста.

• Тематическая модель предложений и модель коротких сообщений Twitter-LDA.
• Контекстная документная кластеризация (CDC).
• Метод лексических цепочек.

Тематическая сегментация.

• Метод TopicTiling. Критерии определения границ сегментов.
• Критерии качества сегментации. Оптимизация параметров модели TopicTiling.

Методы суммаризации текстов.

• Автоматическая суммаризация текстов: задачи и подходы.
• Релаксационный метод для многокритериальной дискретной оптимизации.
• Тематическая модель предложений для суммаризации.
• Семейство критериев качества суммаризации ROUGE.

Примеры приложений тематического моделирования

Презентация: (PDF, 3,3 МБ) — обновление 16.05.2017.

• Разведочный информационный поиск (exploratory search). Видео.
• Информационный анализ электрокардиосигналов для скрининговой диагностики.
• Анализ транзакционных данных для выявления паттернов экономического поведения клиентов банка. Видео.

Литература

1. Воронцов К. В. Обзор вероятностных тематических моделей. 2018.
2. Blei D. M., Ng A. Y., Jordan M. I. Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
3. Asuncion A., Welling M., Smyth P., Teh Y. W. On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.
4. Lu Y., Mei Q., Zhai C. Investigating task performance of probabilistic topic models: an empirical study of PLSA and LDA // Information Retrieval. — 2011. — Vol.14, no.2. — Pp. 178–203.
5. Янина А. О., Воронцов К. В. Мультимодальные тематические модели для разведочного поиска в коллективном блоге // Машинное обучение и анализ данных. 2016. T.2. №2. С.173-186.

Ссылки

• Тематическое моделирование
• Аддитивная регуляризация тематических моделей
• Коллекции документов для тематического моделирования
• BigARTM
• Видеозапись лекции на ТМШ, 19 июня 2015
• Воронцов К.В. Практическое задание по тематическому моделированию, 2014.

Ретроспектива