Вероятностные тематические модели (курс лекций, К.В.Воронцов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(ещё немного проработаны Лекции 4 и 5)
м (Разбил на две лекции Модели локальных контекстов и Модели сегментированного текста)
 
(295 промежуточных версий не показаны.)
Строка 1: Строка 1:
{{TOCright}}
{{TOCright}}
-
Спецкурс читается студентам 2—5 курсов на кафедре «[[Математические методы прогнозирования (кафедра ВМиК МГУ)|Математические методы прогнозирования]]» [[ВМиК]] [[МГУ]] с 2013 года.
+
Спецкурс читается студентам 2—5 курсов на кафедре «[[Математические методы прогнозирования (кафедра ВМиК МГУ)|Математические методы прогнозирования]]» [[ВМиК]] [[МГУ]] с 2013 года и студентам 6 курса на кафедре «[[Интеллектуальные системы (кафедра МФТИ)|Интеллектуальные системы]]» [[ФУПМ]] [[МФТИ]] с 2019 года.
-
От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Знание математической статистики, методов оптимизации и какого-либо языка программирования желательно, но не обязательно.
+
В спецкурсе изучается вероятностное [[тематическое моделирование]] (topic modeling) коллекций текстовых документов. Тематическая модель определяет, какие темы содержатся в большой текстовой коллекции, и к каким темам относится каждый документ. Тематические модели позволяют искать тексты по смыслу, а не по ключевым словам, и создавать информационно-поисковые системы нового поколения, основанные на парадигме семантического разведочного поиска (exploratory search). Рассматриваются тематические модели для классификации, категоризации, сегментации, суммаризации текстов естественного языка, а также для рекомендательных систем, анализа банковских транзакционных данных, анализа биомедицинских сигналов. В спецкурсе развивается многокритериальный подход к построению моделей с заданными свойствами — [[аддитивная регуляризация тематических моделей]] (АРТМ). Он основан на регуляризации некорректно поставленных задач стохастического матричного разложения. Особое внимание уделяется методам лингвистической регуляризации для моделирования связности текста. Предполагается проведение студентами численных экспериментов на модельных и реальных данных с помощью библиотеки тематического моделирования [[BigARTM]].
-
=== Задачи анализа текстов. Вероятностные модели коллекций текстов ===
+
От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Знание математической статистики, методов оптимизации, машинного обучения, языков программирования Python и С++ желательно, но не обязательно.
-
'''Задачи классификации текстов.'''
+
Краткая ссылка на эту страницу: [http://bit.ly/2EGWcjA bit.ly/2EGWcjA].
-
* Коллекция текстовых документов. Векторное представление документа.
+
-
* Постановка задачи классификации текстов. Объекты, признаки, классы, обучающая выборка. Распознавание текстов заданной тематики. Анализ тональности. Частоты слов (терминов) как признаки. Линейный классификатор.
+
-
* Задача распознавание жанра текстов. Распознавание научных текстов. Примеры признаков.
+
-
* Задача категоризации текстов, сведение к последовательности задач классификации.
+
-
'''Задачи информационного поиска.'''
+
'''Основной материал:'''
-
* Задача поиска документов по запросу. Инвертированный индекс. Косинусная мера сходства.
+
* ''Воронцов К. В.'' [[Media:voron17survey-artm.pdf|Вероятностное тематическое моделирование: теория регуляризации ARTM и библиотека с открытым кодом BigARTM]]. {{важно|— обновление 26.06.2023}}.
-
* Критерий текстовой релевантности TF-IDF. Вероятностная модель и вывод формулы TF-IDF.
+
* [https://www.youtube.com/playlist?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозаписи, 2023 осень (МФТИ)].
-
* Задача ранжирования. Примеры признаков. Формирование асессорских обучающих выборок.
+
-
'''Униграммная модель документов и коллекции.'''
+
= Программа курса =
-
* Вероятностное пространство. Гипотезы «мешка слов» и «мешка документов». Текст как простая выборка, порождаемая вероятностным распределением. Векторное представление документа как эмпирическое распределение.
+
-
* Понятие параметрической порождающей модели. Принцип максимума правдоподобия.
+
-
* Униграммная модель документов и коллекции. Аналитическое решение задачи о стационарной точке функции Лагранжа. Частотные оценки условных вероятностей.
+
-
'''Литература:''' [Маннинг, 2011].
+
== Задача тематического моделирования ==
 +
Презентация: [[Media:Voron24ptm-intro.pdf|(PDF, 1,4 МБ)]] {{важно|— обновление 19.09.2024}}.
 +
[https://youtu.be/DU0AQUNW3YI?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt Видеозапись]
-
=== Вероятностный латентный семантический анализ ===
+
'''Цели и задачи тематического моделирования.'''
-
* ''Напоминания.'' Коллекция текстовых документов. Векторное представление документа. Задачи информационного поиска и классификации текстов.
+
* Понятие «темы», цели и задачи [[тематическое моделирование|тематического моделирования]].
 +
* Вероятностная модель порождения текста.
 +
* [[EM-алгоритм]] и его элементарная интерпретация. Формула Байеса и частотные оценки условных вероятностей.
 +
* [[Метод наибольшего правдоподобия|Принцип максимума правдоподобия]].
-
'''Мотивации вероятностного тематического моделирования
+
'''Аддитивная регуляризация тематических моделей.'''
-
* Идея перехода от вектора (терминов) к вектору тем.
+
* Понятие некорректно поставленной задачи по Адамару. Регуляризация.
-
* Цели тематического моделирования: поиск научной информации, агрегирование и анализ новостных потоков, формирование сжатых признаковых описаний документов для классификации и категоризации текстовых документов, обход проблем синонимии и омонимии.
+
* Лемма о максимизации на единичных симплексах. [[Условия Каруша–Куна–Таккера]].
 +
* Теорема о необходимом условии максимума регуляризованного правдоподобия для ARTM.
 +
* Классические тематические модели [[Вероятностный латентный семантический анализ|PLSA]] и [[Латентное размещение Дирихле|LDA]] как частные случаи ARTM.
-
'''Задача тематического моделирования.'''
+
'''Практика тематического моделирования.'''
-
* Вероятностное пространство. Тема как латентная (скрытая) переменная. Представление темы дискретным распределением на множестве слов.
+
* Проект с открытым кодом BigARTM.
-
* Модель смеси униграмм. Недостаток: каждый документ принадлежит только одной теме.
+
* Этапы решения практических задач.
-
* Представление документа дискретным распределением на множестве тем. Гипотеза условной независимости. Порождающая модель документа как вероятностной смеси тем.
+
* Методы предварительной обработки текста.
-
* Постановка обратной задачи восстановления параметров модели по данным.
+
* Датасеты и практические задания по курсу.
-
'''Вероятностный латентный семантический анализ (PLSA).'''
+
== Онлайновый ЕМ-алгоритм и аддитивная регуляризация ==
-
* Частотные оценки условных вероятностей терминов тем и тем документов. Формула Байеса для апостериорной вероятности темы. Элементарное обоснование ЕМ-алгоритма.
+
Презентация: [[Media:Voron24ptm-regular.pdf|(PDF, 1,3 МБ)]] {{важно|— обновление 03.10.2024}}.
-
* Принцип максимума правдоподобия, аналитическое решение задачи о стационарной точке функции Лагранжа, формулы M-шага.
+
[https://youtu.be/mUMfoBlslQE?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt Видеозапись]
-
* Рациональный ЕМ-алгоритм.
+
-
'''Проведение экспериментов на модельных данных.'''
+
'''Часто используемые регуляризаторы.'''
-
* Процесс порождения терминов в документе. Генератор модельных (синтетических) данных. Генерация случайной величины из заданного дискретного распределения.
+
* Сглаживание и разреживание.
-
* Оценивание точности восстановления модельных данных. Расстояние между дискретными распределениями. Проблема перестановки тем, венгерский алгоритм.
+
* Частичное обучение.
-
* Проблема неединственности и неустойчивости матричного разложения. Оценивание устойчивости решения.
+
* Декоррелирование тем.
 +
* Разреживание для отбора тем.
-
'''Задание 1.1'''
+
'''Онлайновый ЕМ-алгоритм.'''
-
# Реализовать генератор модельных данных. Реализовать вычисление эмпирических распределений терминов тем и тем документов.
+
* Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
-
# Реализовать оценку точности восстановления с учётом перестановки тем. Вычислить оценку точности для исходных модельных распределений.
+
* Оффлайновый регуляризованный EM-алгоритм.
-
# Реализовать рациональный ЕМ-алгоритм.
+
* Улучшение сходимости несмещёнными оценками.
-
# Исследовать зависимости точности модели и точности восстановления от числа итераций и от числа тем в модели (при фиксированном числе тем в исходных данных). Что происходит, когда тем больше, чем нужно? Меньше, чем нужно?
+
* Подбор коэффициентов регуляризации.
-
# Реализовать вычисление эмпирического распределения и доверительного интервала точности модели и точности восстановления при заданном числе случайных инициализаций. Всегда ли EM-алгоритм сходится к одному и тому же решению?
+
* Относительные коэффициенты регуляризации.
-
# Исследовать, когда проблема неустойчивости возникает, когда не возникает.
+
* Библиотеки BigARTM и TopicNet.
-
'''Литература:''' [Hofmann, 1999].
+
'''Эксперименты с регуляризацией.'''
 +
* Производительность BigARTM
 +
* Оценивание качества: перплексия, когерентность, лексическое ядро
 +
* Регуляризаторы сглаживания, разреживания, декоррелирования и отбора тем.
 +
* Комбинирование регуляризаторов, эмпирические рекомендации.
-
===Модификации алгоритма обучения модели PLSA===
+
== Тематический информационный поиск ==
 +
Презентация: [[Media:Voron24ptm-exp.pdf|(PDF, 4,8 МБ)]] {{важно|— обновление 10.10.2024}}.
 +
[https://youtu.be/2SkbbDYcBUQ?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt Видеозапись]
-
* ''Напоминания.'' Задача тематического моделирования коллекции текстовых документов. PLSA, формулы Е-шага и М-шага.
+
'''Мультимодальные тематические модели.'''
 +
* Примеры модальностей.
 +
* Мультимодальный ARTM и регуляризованный ЕМ-алгоритм.
-
'''Обобщённый ЕМ-алгоритм (GEM).'''
+
'''Иерархические тематические модели.'''
-
* Эвристика частых обновлений параметров.
+
* Иерархии тем. Послойное построение иерархии.
-
* Проблема хранения трёхмерных матриц.
+
* Регуляризаторы для разделения тем на подтемы.
-
* Эвристика замены средних экспоненциальным сглаживанием.
+
* Псевдодокументы родительских тем.
 +
* Модальность родительских тем.
-
'''Стохастический ЕМ-алгоритм (SEM).'''
+
'''Эксперименты с тематическим поиском.'''
-
* Гипотеза разреженности апоcтериорного распределения тем p(t|d,w).
+
* Методика измерения качества поиска.
-
* Эвристика замены апостериорного распределения несмещённым эмпирическим.
+
* Тематическая модель для документного поиска.
-
* Алгоритм сэмплирования Гиббса.
+
* Оптимизация гиперпараметров.
-
* Эксперименты по подбору оптимального числа сэмплирований.
+
-
'''Онлайновый ЕМ-алгоритм (OEM).'''
+
'''Проект «Мастерская знаний»'''
-
* Проблема больших данных.
+
* Поисково-рекомендательная система SciSearch.ru
-
* Эвристика разделения М-шага.
+
* Векторный поиск для формирования тематических подборок
-
* Эвристика разделения коллекции на пачки документов.
+
* Требования к тематическим моделям для научного информационного поиска
-
* Добавление новых документов (folding-in).
+
-
'''Способы формирования начальных приближений.'''
+
== Оценивание качества тематических моделей ==
-
* Случайная инициализация.
+
Презентация: [[Media:Voron24ptm-quality.pdf|(PDF, 1,6 МБ)]] {{важно|— обновление 17.10.2024}}.
-
* Инициализация по документам.
+
[https://youtu.be/OoIetK1pTUA?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt Видеозапись]
-
'''Частичное обучение (Semi-supervised EM).'''
+
'''Измерение качества тематических моделей.'''
-
* Виды обучающих данных: привязка документа к темам, привязка термина к темам, нерелевантность, переранжирование списков терминов темах и тем документов, виртуальные документы.
+
* Правдоподобие и перплексия.
-
* Использование дополнительной информации для инициализации.
+
* Интерпретируемость и когерентность. Внутритекстовая когерентность.
-
* Использование дополнительной информации в качестве поправок в ЕМ-алгоритме.
+
* Разреженность и различность.
-
'''Задание 1.2'''
+
'''Проверка гипотезы условной независимости.'''
-
# Реализовать онлайновый алгоритм OEM.
+
* Статистики на основе KL-дивергенции и их обобщения.
-
# Придумать и сравнить несколько стратегий разбиения коллекции на пачки и выбора числа итераций на внутреннем и внешнем циклах алгоритма OEM.
+
* Регуляризатор семантической однородности.
-
# Проверить, насколько второй проход по коллекции (без инициализации p(w|t)) способен улучшить качество модели.
+
* Применение статистических тестов условной независимости.
-
# Исследовать влияние частичного обучения на точность модели и точность восстановления. Проверить гипотезу, что небольшой доли правильно размеченных документов уже достаточно для существенного улучшения точности и устойчивости модели.
+
-
# Сравнить скорость работы OEM с обычным (рациональным) EM.
+
-
'''Литература:''' [Hoffman, 2010].
+
'''Проблема определения числа тем.'''
 +
* Разреживающий регуляризатор для отбора тем.
 +
* Эксперименты на синтетических и реальных данных.
 +
* Сравнение с байесовской моделью HDP (Hierarchical Dirichlet Process).
 +
* Эффект отбрасывания малых, дублирующих и линейно зависимых тем.
-
===Разреживание и сглаживание===
+
'''Проблема тематической несбалансированности в данных'''
 +
* Проблема малых тем и тем-дубликатов
 +
* Тематическая несбалансированность как основная причина неинтерпретируемости тем
 +
* Эксперименты с регуляризаторами отбора тем и декоррелирования
 +
* Регуляризатор семантической однородности
-
'''Разреживание'''
+
== BigARTM и базовые инструменты ==
-
* Эмпирические законы Ципфа, Ципфа-Мандельброта, Хипса.
+
''Мурат Апишев''.
-
* Гипотеза разреженности распределений терминов тем и тем документов.
+
Презентация: [[Media:Base_instruments.zip‎|(zip, 0,6 МБ)]] {{важно|— обновление 17.02.2017}}.
-
* Генерация реалистичных модельных данных.
+
[https://youtu.be/AIN00vWOJGw Видеозапись]
-
* Эвристика принудительного разреживания в ЕМ-алгоритме. Варианты реализации.
+
-
* Связь разреженности и единственности матричного разложения.
+
-
'''Сглаживание'''
+
'''Предварительная обработка текстов'''
-
* Модель латентного размещения Дирихле LDA.
+
* Парсинг «сырых» данных.
-
* Свойства распределения Дирихле, сопряжённость с мультиномиальным распределением.
+
* Токенизация, стемминг и лемматизация.
-
* Байесовский вывод. Сглаженные частотные оценки условных вероятностей.
+
* Выделение энграмм.
-
* Численные методы оптимизации гиперпараметров.
+
* Законы Ципфа и Хипса. Фильтрация словаря коллекции. Удаление стоп-слов.
-
* Сравнение LDA и PLSA. Экспериментальные факты: LDA скорее улучшает оценки редких слов, чем снижает переобучение.
+
-
'''Робастные тематические модели'''
+
'''Библиотека BigARTM'''
-
* Тематическая модель с фоном и шумом.
+
* Методологические рекоммендации по проведению экспериментов.
-
* Принцип максимума правдоподобия, аналитическое решение задачи о стационарной точке функции Лагранжа, формулы M-шага.
+
* Установка [[BigARTM]].
-
* Аддитивный и мультипликативный М-шаг.
+
* Формат и импорт входных данных.
-
* Эксперименты: робастная модель не нуждается в регуляризации и более устойчива к разреживанию.
+
* Обучение простой модели (без регуляризации): создание, инициализация, настройка и оценивание модели.
 +
* Инструмент визуализации тематических моделей VisARTM. Основные возможности, демонстрация работы.
-
'''Задание 1.3'''
+
'''Дополнительный материал:'''
-
# Реализовать разреживание в онлайновом алгоритме OEM.
+
* Презентация: [[Media:VoronApishev17ptm5.pdf|(PDF, 1,5 МБ)]] {{важно|— обновление 17.03.2017}}.
-
# Исследовать зависимость точности модели и точности восстановления от степени разреженности исходных модельных данных.
+
* [https://www.youtube.com/watch?v=2LEQuLRxaIY&t=1s '''Видео'''] {{важно|— обновление 22.03.2017}}.
-
# Исследовать влияние разреживания на точность модели и точность восстановления. Проверить гипотезу, что если исходные данные разрежены, то разреживание существенно улучшает точность восстановления и слабо влияет на точность модели.
+
* Воркшоп по BigARTM на DataFest'4. [https://www.youtube.com/watch?v=oQcHEm2-7PM '''Видео'''].
-
# Реализовать метод разреживания на основе вычисления значимостей (salience) параметров (аналогично методу [[OBD]] —- Optimal Brain Damage)
+
-
'''Литература:''' [Blei, 2003], [Chemudugunta, 2006].
+
== Теория ЕМ-алгоритма ==
 +
Презентация: [[Media:Voron24ptm-emlda.pdf|(PDF, 2,0 МБ)]] {{важно|— обновление 25.10.2024}}.
 +
[https://youtu.be/DBF5QAFC1V0?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt Видеозапись]
-
===Методы оценивания качества вероятностных тематических моделей===
+
'''Классические модели PLSA, LDA.'''
-
'''Реальные данные.'''
+
* Модель PLSA.
-
* Текстовые коллекции, библиотеки алгоритмов, источники информации.
+
* Модель LDA. Распределение Дирихле и его свойства.
-
* Внутренние и внешние критерии качества.
+
* Максимизация апостериорной вероятности для модели LDA.
-
* Дополнительные данные для построения внешних критериев качества.
+
-
'''Перплексия.'''
+
'''Общий EM-алгоритм.'''
-
* Определение и интерпретация перплекcии.
+
* EM-алгоритм для максимизации неполного правдоподобия.
-
* Перплексия контрольной коллекции. Проблема новых слов в контрольной коллекции.
+
* Регуляризованный EM-алгоритм. Сходимость в слабом смысле.
 +
* Альтернативный вывод формул ARTM.
-
'''Статистические тесты условной независимости.'''
+
'''Эксперименты с моделями PLSA, LDA.'''
-
* Методология проверки статистических гипотез. Критерий согласия хи-квадрат Пирсона. Матрица кросс-табуляции «термины–документы» для заданной темы.
+
* Проблема неустойчивости (на синтетических данных).
-
* Проблема разреженности распределения. Эксперименты, показывающие неадекватность асимптотического распределения статистики хи-квадрат.
+
* Проблема неустойчивости (на реальных данных).
-
* Статистики модифицированного хи-квадрат, Кульбака-Лейблера, Хеллингера.
+
* Проблема переобучения и робастные модели.
-
* Обобщённое семейство статистик Кресси-Рида.
+
-
* Алгоритм вычисления квантилей распределения статистики Кресси-Рида.
+
-
* Рекуррентное вычисление статистики Кресси-Рида.
+
-
'''Оценивание интерпретируемости тематических моделей.'''
+
== Байесовское обучение модели LDA ==
-
* Корректность определения асессорами лишних терминов в темах и лишних тем в документах.
+
Презентация: [[Media:Voron24ptm-bayes.pdf|(PDF, 1,7 МБ)]] {{важно|— обновление 25.10.2024}}.
-
* Визуализация тематических моделей.
+
[https://youtu.be/ZAtfN0ApQh0?list=PLk4h7dmY2eYEnsGW3GIMvIhxPeifcQvQt&t=20 Видеозапись]
-
''' Оценивание качества темы.'''
+
'''Вариационный байесовский вывод.'''
-
* Чёткость темы: число типичных документов темы, число типичных терминов темы.
+
* Основная теорема вариационного байесовского вывода.
-
* Однородность (радиус) темы.
+
* [[Вариационный байесовский вывод]] для модели LDA.
-
* Конфликтность темы (близость темы к другим темам).
+
* VB ЕМ-алгоритм для модели LDA.
-
'''Критерии качества классификации и ранжирования.'''
+
'''Сэмплирование Гиббса.'''
-
* Полнота, точность и F-мера в задачах классификации и ранжирования.
+
* Основная теорема о сэмплировании Гиббса.
-
* Критерии качества ранжирования: MAP, DCG, NDCG.
+
* [[Сэмплирование Гиббса]] для модели LDA.
-
* Оценка качества тематического поиска документов по их длинным фрагментам.
+
* GS ЕМ-алгоритм для модели LDA.
-
'''Усечённые распределения'''
+
'''Замечания о байесовском подходе.'''
-
* Гипотеза об усечённых распределениях терминов тем в документах как ослабление гипотезы условной независимости.
+
* Оптимизация гиперпараметров в LDA.
-
* Явление burstiness.
+
* Графическая нотация (plate notation). [http://zinkov.com/posts/2013-07-28-stop-using-plates Stop using plate notation].
 +
* Сравнение байесовского подхода и ARTM.
 +
* Как читать статьи по баейсовским моделям и строить эквивалентные ARTM-модели.
-
'''Задание 1.4.'''
+
== Тематические модели сочетаемости слов ==
-
# Применить OEM к реальным коллекциям.
+
Презентация: [[Media:Voron24ptm-cooc.pdf|(PDF, 1,7 МБ)]] {{важно|— обновление 07.11.2024}}.
-
# Исследовать на реальных данных зависимость внутренних и внешних критериев качества от эвристических параметров алгоритма обучения OEM.
+
[https://youtu.be/khDdc6OvEHc?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозапись]
-
# В экспериментах на реальных данных построить зависимости перплексии обучающей и контрольной коллекции от числа итераций и числа тем.
+
-
'''Литература:''' [Blei, 2003].
+
'''Мультиграммные модели.'''
 +
* Модель BigramTM.
 +
* Модель Topical N-grams (TNG).
 +
* Мультимодальная мультиграммная модель.
 +
'''Автоматическое выделение терминов.'''
 +
* Алгоритм TopMine для быстрого поиска частых фраз. Критерии выделения коллокаций.
 +
* Синтаксический разбор. Нейросетевые синтаксические анализаторы SyntaxNet, UDpipe.
 +
* Критерии тематичности фраз.
 +
* Комбинирование синтаксической, статистической и тематической фильтрации фраз.
-
===Иерархические тематические модели===
+
'''Тематические модели дистрибутивной семантики.'''
-
* Задачи категоризации текстов. Стандартный метод решения — сведение к последовательности задач классификации.
+
* Дистрибутивная гипотеза. Модели CBOW и SGNS в программе word2vec.
 +
* Модель битермов BTM (Biterm Topic Model) для тематизации коллекций коротких текстов.
 +
<!--* Модель всплесков BBTM (Bursty Biterm Topic Model). -->
 +
* Модели WNTM (Word Network Topic Model) и WTM (Word Topic Model). Связь с моделью word2vec.
 +
* Регуляризаторы когерентности.
-
'''Тематическая модель с фиксированной иерархией.'''
+
'''Дополнительный материал:'''
-
* Вероятностная формализация отношения «тема–подтема». Принцип максимума правдоподобия, аналитическое решение задачи о стационарной точке функции Лагранжа, формулы M-шага.
+
* ''Потапенко А. А.'' Векторные представления слов и документов. DataFest'4. [https://www.youtube.com/watch?v=KEXWC-ICH_Y '''Видео'''].
-
* Дивергенция Кульбака–Лейблера.
+
-
* Несимметричность KL-дивергенции. Интерпретация KL-дивергенции как степени вложенности распределений. Оценивание силы связей «тема-подтема» KL-дивергенцией.
+
-
'''Иерархические процессы Дирихле.'''
+
-
* Оптимизация числа тем в плоской модели. Создание новых тем в иерархических моделях.
+
-
'''Сетевые иерархические модели.'''
+
-
* Возможность для темы иметь несколько родительских тем.
+
-
* Нисходящие и восходящие иерархические модели.
+
-
===Тематические модели с выделением ключевых фраз===
+
== Моделирование локального контекста ==
-
* Задачи предварительной обработки текстов. Очистка (номера страниц, переносы, опечатки, числовая информация, оглавление, таблицы и рисунки), лемматизация, удаление стоп-слов, удаление редких слов.
+
Презентация: [[Media:Voron24ptm-local.pdf|(PDF,&nbsp;1,8&nbsp;МБ)]] {{важно|— обновление 11.11.2024}}.
-
* Задача выделения терминов. Основные идеи: словари терминов, морфологический анализ предложений, поиск коллокаций, машинное обучение.
+
[https://youtu.be/KHamaJ6Zf6o?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозапись]
-
* Статистические оценки неслучайности. Вывод критерия C-Value.
+
-
* Морфологический анализатор.
+
-
* Тематические модели с учётом синонимии (эффект burstiness).
+
-
===Многоязычные тематические модели===
+
'''Линейная тематизация текста.'''
 +
* Линейная тематизация текста за один проход без матрицы <tex>\Theta</tex>.
 +
* Локализация E-шага.
 +
* Двунаправленная тематическая модель контекста.
 +
* Онлайновый EM-алгоритм с однопроходным локализованным E-шагом.
-
===Распараллеливание алгоритмов обучения тематических моделей===
+
'''Аналогия с моделью само-внимания (self-attention) и трансформером.'''
 +
* Модель внимания Query-Key-Value.
 +
* Трансформер: кодировщик и декодировщик.
 +
* Онлайновый EM-алгоритм с многопроходным локализованным E-шагом.
 +
== Моделирование сегментированного текста ==
 +
Презентация: [[Media:Voron24ptm-segm.pdf|(PDF,&nbsp;2,1&nbsp;МБ)]] {{важно|— обновление 11.11.2024}}.
 +
[https://youtu.be/KHamaJ6Zf6o?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозапись]
-
'''Основная литература'''
+
'''Позиционный регуляризатор в ARTM.'''
 +
* Гипотеза о сегментной структуре текста.
 +
* Регуляризация и пост-обработка Е-шага. Формулы М-шага.
 +
* Примеры регуляризаторов Е-шага. Разреживание распределения p(t|d,w). Сглаживание тематики слов по контексту.
-
# Маннинг К., Рагхаван П., Шютце Х. Введение в информационный поиск. — Вильямс, 2011.
+
'''Тематические модели предложений.'''
-
# Daud A., Li J., Zhou L., Muhammad F. Knowledge discovery through directed probabilistic topic models: a survey // Frontiers of Computer Science in China.— 2010.— Vol. 4, no. 2. — Pp. 280–301.
+
* Тематическая модель предложений senLDA.
-
# Asuncion A., Welling M., Smyth P., Teh Y. W. On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. � 2009.
+
* Модель коротких сообщений Twitter-LDA.
 +
* Сегментоиды. Лексические цепочки.
 +
 
 +
'''Тематическая сегментация текста.'''
 +
* Метод TopicTiling. Критерии определения границ сегментов.
 +
* Критерии качества сегментации.
 +
* Оптимизация параметров модели TopicTiling.
 +
 
 +
== Анализ зависимостей ==
 +
Презентация: [[Media:Voron23ptm-rel.pdf|(PDF,&nbsp;1,7&nbsp;МБ)]] {{важно|— обновление 06.12.2023}}.
 +
[https://youtu.be/uKCMr9yK3gw?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозапись]
 +
 
 +
'''Зависимости, корреляции, связи.'''
 +
* Тематические модели классификации и регрессии.
 +
* Модель коррелированных тем CTM (Correlated Topic Model).
 +
* Регуляризаторы гиперссылок и цитирования. Выявление тематических влияний в научных публикациях.
 +
 
 +
'''Время и пространство.'''
 +
* Регуляризаторы времени.
 +
* Обнаружение и отслеживание тем.
 +
* Гео-пространственные модели.
 +
 
 +
'''Социальные сети.'''
 +
* Сфокусированный поиск в социальных медиа (пример: поиск этно-релевантного контента).
 +
* Выявление тематических сообществ. Регуляризаторы для направленных и ненаправленных связей.
 +
* Регуляризаторы для выявления социальных ролей пользователей.
 +
 
 +
== Мультимодальные тематические модели ==
 +
Презентация: [[Media:Voron23ptm-modal.pdf|(PDF,&nbsp;2,7&nbsp;МБ)]] {{важно|— обновление 06.12.2023}}.
 +
[https://youtu.be/AfwH0A3NJCQ?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозапись]
 +
 
 +
'''Мультиязычные тематические модели.'''
 +
* Параллельные и сравнимые коллекции.
 +
* Регуляризаторы для учёта двуязычных словарей.
 +
* Кросс-язычный информационный поиск.
 +
 
 +
'''Трёхматричные модели.'''
 +
* Модели трёхматричных разложений. Понятие порождающей модальности.
 +
* Автор-тематическая модель (author-topic model).
 +
* Модель для выделения поведений объектов в видеопотоке.
 +
 
 +
'''Тематические модели транзакционных данных.'''
 +
* Примеры транзакционных данных в рекомендательных системах, социальных и рекламных сетях.
 +
* Гиперграфовая модель ARTM. Теорема о необходимом условии максимума регуляризованного правдоподобия.
 +
* Транзакционные данные в рекомендательных системах. Симметризованная гиперграфовая модель ARTM.
 +
* Анализ транзакционных данных для выявления паттернов экономического поведения клиентов банка. '''[https://youtu.be/0q5p7xP4cdA?t=15168 Видео]'''.
 +
* Анализ банковских транзакционных данных для выявления видов деятельности компаний.
 +
 
 +
== Именование и суммаризация тем ==
 +
Презентация: [[Media:Voron23ptm-sum.pdf|(PDF,&nbsp;4,3&nbsp;МБ)]] {{важно|— обновление 04.05.2024}}.
 +
[https://youtu.be/nShxhkPbGWY Видеозапись]
 +
 
 +
'''Методы суммаризации текстов.'''
 +
* Задачи автоматической суммаризации текстов. Подходы к суммаризации: extractive и abstractive.
 +
* Оценивание и отбор предложений для суммаризации. Релаксационный метод для многокритериальной дискретной оптимизации.
 +
* Тематическая модель предложений для суммаризации.
 +
* Критерии качества суммаризации. Метрики ROUGE, BLUE.
 +
 
 +
'''Автоматическое именование тем (topic labeling).'''
 +
* Формирование названий-кандидатов.
 +
* Релевантность, покрытие, различность.
 +
* Оценивание качества именования тем.
 +
 
 +
'''Задача суммаризации темы'''
 +
* Задача ранжирования документов
 +
* Задача фильтрации репрезентативных релевантных фраз.
 +
* Задача генерации связного текста
 +
 
 +
== Проект «Тематизатор» ==
 +
Презентация: [[Media:Voron23ptm-project.pdf|(PDF,&nbsp;6,2&nbsp;МБ)]] {{важно|— обновление 21.09.2023}}.
 +
[https://youtu.be/LctW1J93lmw?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозапись]
 +
 
 +
'''Визуализация тематических моделей'''
 +
* Концепция distant reading.
 +
* Карты знаний, иерархии, взаимосвязи, динамика, сегментация.
 +
* Спектр тем.
 +
* Визуализация матричного разложения.
 +
 
 +
'''Примеры прикладных задач'''
 +
* Поиск этно-релевантных тем в социальных сетях.
 +
* Анализ программ развития российских вузов.
 +
* Поиск и рубрикация научных статей на 100 языках.
 +
* Проекты Школы Прикладного Анализа Данных.
 +
 
 +
'''Анализ требований к «Тематизатору»'''
 +
* Функциональные требования.
 +
* Требования к интерпретируемости.
 +
* Основной пользовательский сценарий: Загрузка, Предобработка, Моделирование, Визуализация, Коррекция.
 +
* Этапизация работ.
 +
 
 +
=Отчетность по курсу=
 +
Условием сдачи курса является выполнение индивидуальных практических заданий.
 +
 
 +
'''Рекомендуемая структура отчёта об исследовании:'''
 +
* Постановка задачи: неформальное описание, ДНК (дано–найти–критерий), структура данных
 +
* Описание простого решения baseline
 +
* Описание основного решения и его вариантов
 +
* Описание набора данных и методики экспериментов
 +
* Результаты экспериментов по подбору гиперпараметров основного решения
 +
* Результаты экспериментов по сравнению основного решения с baseline
 +
* Примеры визуализации модели
 +
* Выводы: что работает, что не работает, инсайты
 +
* Ссылка на код
 +
 
 +
'''Примеры отчётов:'''
 +
* [[Media:kibitova16ptm.pdf|Валерия Кибитова, 2016]]
 +
* [[Media:filin18ptm.pdf|Максим Филин, 2018]]
 +
* [[Media:ikonnikova18ptm.pdf|Мария Иконникова, 2018]]
 +
 
 +
=Литература=
 +
 
 +
# ''Воронцов К. В.'' [[Media:voron17survey-artm.pdf|Вероятностное тематическое моделирование: теория регуляризации ARTM и библиотека с открытым кодом BigARTM]]. 2023.
 +
# ''Hamed Jelodar, Yongli Wang, Chi Yuan, Xia Feng.'' [https://arxiv.org/ftp/arxiv/papers/1711/1711.04305.pdf Latent Dirichlet Allocation (LDA) and Topic modeling: models, applications, a survey]. 2017.
 +
# ''Hofmann T.'' Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
 +
# ''Blei D. M., Ng A. Y., Jordan M. I.'' Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
 +
# ''Asuncion A., Welling M., Smyth P., Teh Y. W.'' On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.
 +
<!--
 +
# ''Янина А. О., Воронцов К. В.'' [http://jmlda.org/papers/doc/2016/no2/Ianina2016Multimodal.pdf Мультимодальные тематические модели для разведочного поиска в коллективном блоге] // Машинное обучение и анализ данных. 2016. T.2. №2. С.173-186.
 +
# ''Воронцов К.В.'' Тематическое моделирование в BigARTM: теория, алгоритмы, приложения. [[Media:Voron-2015-BigARTM.pdf|Voron-2015-BigARTM.pdf]].
 +
# ''Воронцов К.В.'' Лекции по тематическому моделированию. [[Media:Voron-2013-ptm.pdf|Voron-2013-ptm.pdf]].
'''Дополнительная литература'''
'''Дополнительная литература'''
-
# Воронцов К. В., Потапенко А. А. Регуляризация, робастность и разреженность вероятностных тематических моделей // Компьютерные исследования и моделирование 2012 Т. 4, №12. С 693–706.
+
 
-
# Blei D. M., Ng A. Y., Jordan M. I. Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
+
# Воронцов К. В., Потапенко А. А. [http://jmlda.org/papers/doc/2013/no6/Vorontsov2013TopicModeling.pdf Модификации EM-алгоритма для вероятностного тематического моделирования] // Машинное обучение и анализ данных. — 2013. — T. 1, № 6. — С. 657–686.
-
# Chemudugunta C., Smyth P., Steyvers M. Modeling general and specific aspects of documents with a probabilistic topic model // Advances in Neural Information Processing Systems. � MIT Press, 2006.� Vol. 19. � Pp. 241–248.
+
# Воронцов К. В., Фрей А. И., Ромов П. А., Янина А. О., Суворова М. А., Апишев М. А. [[Media:Voron15damdid.pdf|BigARTM: библиотека с открытым кодом для тематического моделирования больших текстовых коллекций]] // Аналитика и управление данными в областях с интенсивным использованием данных. XVII Международная конференция DAMDID/RCDL’2015, Обнинск, 13-16 октября 2015.
-
# Dempster A. P., Laird N. M., Rubin D. B. Maximum likelihood from incomplete data via the EM algorithm // J. of the Royal Statistical Society, Series B.� 1977.� no. 34.� Pp. 1–38.
+
# Маннинг К., Рагхаван П., Шютце Х. Введение в информационный поиск. — Вильямс, 2011.
-
# Hofmann T. Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
+
# Chemudugunta C., Smyth P., Steyvers M. Modeling general and specific aspects of documents with a probabilistic topic model // Advances in Neural Information Processing Systems. — MIT Press, 2006. — Vol. 19. — Pp. 241–248.
 +
# Daud A., Li J., Zhou L., Muhammad F. Knowledge discovery through directed probabilistic topic models: a survey // Frontiers of Computer Science in China.— 2010.— Vol. 4, no. 2. — Pp. 280–301.
 +
# Dempster A. P., Laird N. M., Rubin D. B. Maximum likelihood from incomplete data via the EM algorithm // J. of the Royal Statistical Society, Series B. — 1977. — no. 34. — Pp. 1–38.
# Hoffman M. D., Blei D. M., Bach F. R. Online Learning for Latent Dirichlet Allocation // NIPS, 2010. Pp. 856–864.
# Hoffman M. D., Blei D. M., Bach F. R. Online Learning for Latent Dirichlet Allocation // NIPS, 2010. Pp. 856–864.
-
# Lu Y., Mei Q., Zhai C. Investigating task performance of probabilistic topic models: an empirical study of PLSA and LDA // Information Retrieval.� 2011.� Vol. 14, no. 2.� Pp. 178–203.
+
# Lu Y., Mei Q., Zhai C. Investigating task performance of probabilistic topic models: an empirical study of PLSA and LDA // Information Retrieval. — 2011. — Vol.14, no.2. — Pp. 178–203.
-
# Wallach H., Mimno D., McCallum A. Rethinking LDA: Why priors matter // Advances in Neural Information Processing Systems 22 / Ed. by Y. Bengio, D. Schuurmans, J. Lafferty, C. K. I. Williams, A. Culotta. � 2009.� Pp. 1973–1981.
+
# Vorontsov K. V., Potapenko A. A. [[Media:Voron14mlj.pdf|Additive Regularization of Topic Models]] // Machine Learning. Special Issue “Data Analysis and Intelligent Optimization with Applications”: Volume 101, Issue 1 (2015), Pp. 303-323. [[Media:Voron14mlj-rus.pdf|Русский перевод]]
-
# Zavitsanos E., Paliouras G., Vouros G. A. Non-parametric estimation of topic hierarchies from texts with hierarchical Dirichlet processes // Journal of Machine Learning Research. — 2011. — Vol. 12.— Pp. 2749–2775.
+
# Vorontsov K. V., Frei O. I., Apishev M. A., Romov P. A., Suvorova M. A., Yanina A. O. [[Media:Voron15cikm-tm.pdf|Non-Bayesian Additive Regularization for Multimodal Topic Modeling of Large Collections]] // Proceedings of the 2015 Workshop on Topic Models: Post-Processing and Applications, October 19, 2015, Melbourne, Australia. ACM, New York, NY, USA. pp. 29–37.
 +
# Wallach H., Mimno D., McCallum A. Rethinking LDA: Why priors matter // Advances in Neural Information Processing Systems 22 / Ed. by Y. Bengio, D. Schuurmans, J. Lafferty, C. K. I. Williams, A. Culotta. — 2009. — Pp. 1973–1981.
 +
-->
-
{{well|
+
= Ссылки =
-
Конспект лекций: [[Media:Voron-2013-ptm.pdf|Voron-2013-ptm.pdf, 500 КБ]] {{важно|(обновление 22 марта 2013)}}.
+
* [[Тематическое моделирование]]
-
}}
+
* [[Аддитивная регуляризация тематических моделей]]
 +
* [[Коллекции документов для тематического моделирования]]
 +
* [[BigARTM]]
 +
* [http://www.youtube.com/watch?v=vSzsuq7uHPE Видеозапись лекции на ТМШ, 19 июня 2015]
 +
* ''Воронцов К.В.'' [[Media:voron-2014-task-PTM.pdf|Практическое задание по тематическому моделированию, 2014.]]
-
{{Stub}}
+
'''Материалы для первого ознакомления:'''
 +
* ''[[Media:BigARTM-short-intro.pdf|Тематический анализ больших данных]]''. Краткое популярное введение в BigARTM.
 +
* ''[http://postnauka.ru/video/61910 Разведочный информационный поиск]''. Видеолекция на ПостНауке.
 +
* ''[https://postnauka.ru/faq/86373 Тематическое моделирование]''. FAQ на ПостНауке, совместно с Корпоративным университетом Сбербанка.
 +
* ''[https://www.youtube.com/watch?v=MhNbccnVk5Y Байесовская и классическая регуляризация в вероятностном тематическом моделировании]''. Научно-образовательный семинар «Актуальные проблемы прикладной математики» Новосибирского Государственного Университета, 19 февраля 2021. [[Media:Voron-2021-02-19.pdf|Презентация]].
 +
* ''[https://habrahabr.ru/company/yandex/blog/313340 Тематическое моделирование на пути к разведочному информационному поиску]''. Лекция на DataFest3, 10 сентября 2016. [https://www.youtube.com/watch?v=frLW8UVp_Ik&index=5&list=PLJOzdkh8T5kqfhWXhtYevTUHIvrylDLYu Видеозапись].
 +
 
 +
= Подстраницы =
 +
{{Служебная:Prefixindex/Вероятностные тематические модели (курс лекций, К.В.Воронцов)/}}
[[Категория:Учебные курсы]]
[[Категория:Учебные курсы]]
 +
 +
 +
<!---------------------------------------------------
 +
 +
'''Модели связного текста.'''
 +
* Контекстная документная кластеризация (CDC).
 +
* Метод лексических цепочек.
 +
 +
'''Инициализация.'''
 +
* Случайная инициализация. Инициализация по документам.
 +
* Контекстная документная кластеризация.
 +
* Поиск якорных слов. Алгоритм Ароры.
 +
 +
'''Расширяемые тематические модели.'''
 +
* Пакетный ЕМ-алгоритм.
 +
* Обнаружение новых тем в потоке документов. Инициализация новых тем.
 +
* Проблемы агрегирования коллекций. Жанровая и тематическая фильтрация документов.
 +
 +
== Анализ разнородных данных ==
 +
Презентация: [[Media:Voron18ptm-misc.pdf|(PDF,&nbsp;1,6&nbsp;МБ)]] {{важно|— обновление 03.05.2018}}.
 +
 +
== Примеры приложений тематического моделирования ==
 +
Презентация: [[Media:Voron17ptm11.pdf|(PDF,&nbsp;3,3&nbsp;МБ)]] {{важно|— обновление 16.05.2017}}.
 +
 +
'''Примеры приложений тематического моделирования.'''
 +
* Задача поиска релевантных тем в социальных сетях и новостных потоках.
 +
* Динамическая модель коллекции пресс-релизов.
 +
* Разведочный поиск в коллективном блоге.
 +
* Сценарный анализ записей разговоров контактного центра.
 +
* [[Технология информационного анализа электрокардиосигналов|Информационный анализ электрокардиосигналов]] для скрининговой диагностики.
 +
 +
== Инициализация, траектория регуляризации, тесты адекватности ==
 +
Презентация: [[Media:Voron-PTM-10.pdf|(PDF,&nbsp;Х,Х&nbsp;МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
 +
 +
'''Траектория регуляризации.'''
 +
* Задача оптимизации трактории в пространстве коэффициентов регуляризации.
 +
* Относительные коэффициенты регуляризации.
 +
* Пространство коэффициентов регуляризации и пространство метрик качества. Регрессионная связь между ними. Инкрементная регрессия.
 +
* Подходы к скаляризации критериев.
 +
* Обучение с подкреплением. Контекстный многорукий бандит. Верхние доверительные границы (UCB).
 +
 +
'''Тесты адекватности.'''
 +
* Статистические тесты условной независимости. Методология проверки статистических гипотез. Критерий согласия хи-квадрат Пирсона.
 +
* Проблема разреженности распределения. Эксперименты, показывающие неадекватность асимптотического распределения статистики хи-квадрат.
 +
* Статистики модифицированного хи-квадрат, Кульбака-Лейблера, Хеллингера.
 +
* Обобщённое семейство статистик Кресси-Рида.
 +
* Эмпирическое оценивание квантилей распределения статистики Кресси-Рида.
 +
* Применения теста условной независимости для поиска плохо смоделированных тем, документов, терминов. Поиск тем для расщепления.
 +
 +
== Обзор оценок качества тематических моделей ==
 +
Презентация: [[Media:Voron-PTM-11.pdf|(PDF,&nbsp;Х,Х&nbsp;МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
 +
 +
* Внутренние и внешние критерии качества.
 +
* Перплексия и правдоподобие. Интерпретация перплекcии. Перплексия контрольной коллекции. Проблема новых слов в контрольной коллекции. Проблема сравнения моделей с разными словарями. Относительная перплексия.
 +
 +
''' Оценивание качества темы.'''
 +
* Лексическое ядро темы: множество типичных терминов темы.
 +
* Чистота и контрастность темы
 +
* Документное ядро темы: множество типичных документов темы.
 +
* Однородность темы: распределение расстояний между p(w|t) и p(w|t,d).
 +
* Конфликтность темы: близость темы к другим темам.
 +
* Интерпретируемость темы: экспертные оценки, метод интрузий, когерентность. Взрыв интерпретируемости в n-граммных моделях.
 +
 +
'''Устойчивость и полнота.'''
 +
* Эксперименты по оцениванию устойчивости, интерпретируемости и полноты.
 +
* Построение выпуклых оболочек тем и фильтрация зависимых тем в сериях тематических моделей.
 +
 +
'''Критерии качества классификации и ранжирования.'''
 +
* Полнота, точность и F-мера в задачах классификации и ранжирования.
 +
* Критерии качества ранжирования: MAP, DCG, NDCG.
 +
* Оценка качества тематического поиска документов по их длинным фрагментам.
 +
 +
* Вывод M-шага для негладкого регуляризатора.
 +
* Тематическая модель текста и изображений. Задача аннотирования изображений.
 +
-->

Текущая версия

Содержание

Спецкурс читается студентам 2—5 курсов на кафедре «Математические методы прогнозирования» ВМиК МГУ с 2013 года и студентам 6 курса на кафедре «Интеллектуальные системы» ФУПМ МФТИ с 2019 года.

В спецкурсе изучается вероятностное тематическое моделирование (topic modeling) коллекций текстовых документов. Тематическая модель определяет, какие темы содержатся в большой текстовой коллекции, и к каким темам относится каждый документ. Тематические модели позволяют искать тексты по смыслу, а не по ключевым словам, и создавать информационно-поисковые системы нового поколения, основанные на парадигме семантического разведочного поиска (exploratory search). Рассматриваются тематические модели для классификации, категоризации, сегментации, суммаризации текстов естественного языка, а также для рекомендательных систем, анализа банковских транзакционных данных, анализа биомедицинских сигналов. В спецкурсе развивается многокритериальный подход к построению моделей с заданными свойствами — аддитивная регуляризация тематических моделей (АРТМ). Он основан на регуляризации некорректно поставленных задач стохастического матричного разложения. Особое внимание уделяется методам лингвистической регуляризации для моделирования связности текста. Предполагается проведение студентами численных экспериментов на модельных и реальных данных с помощью библиотеки тематического моделирования BigARTM.

От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Знание математической статистики, методов оптимизации, машинного обучения, языков программирования Python и С++ желательно, но не обязательно.

Краткая ссылка на эту страницу: bit.ly/2EGWcjA.

Основной материал:

Программа курса

Задача тематического моделирования

Презентация: (PDF, 1,4 МБ) — обновление 19.09.2024. Видеозапись

Цели и задачи тематического моделирования.

Аддитивная регуляризация тематических моделей.

  • Понятие некорректно поставленной задачи по Адамару. Регуляризация.
  • Лемма о максимизации на единичных симплексах. Условия Каруша–Куна–Таккера.
  • Теорема о необходимом условии максимума регуляризованного правдоподобия для ARTM.
  • Классические тематические модели PLSA и LDA как частные случаи ARTM.

Практика тематического моделирования.

  • Проект с открытым кодом BigARTM.
  • Этапы решения практических задач.
  • Методы предварительной обработки текста.
  • Датасеты и практические задания по курсу.

Онлайновый ЕМ-алгоритм и аддитивная регуляризация

Презентация: (PDF, 1,3 МБ) — обновление 03.10.2024. Видеозапись

Часто используемые регуляризаторы.

  • Сглаживание и разреживание.
  • Частичное обучение.
  • Декоррелирование тем.
  • Разреживание для отбора тем.

Онлайновый ЕМ-алгоритм.

  • Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
  • Оффлайновый регуляризованный EM-алгоритм.
  • Улучшение сходимости несмещёнными оценками.
  • Подбор коэффициентов регуляризации.
  • Относительные коэффициенты регуляризации.
  • Библиотеки BigARTM и TopicNet.

Эксперименты с регуляризацией.

  • Производительность BigARTM
  • Оценивание качества: перплексия, когерентность, лексическое ядро
  • Регуляризаторы сглаживания, разреживания, декоррелирования и отбора тем.
  • Комбинирование регуляризаторов, эмпирические рекомендации.

Тематический информационный поиск

Презентация: (PDF, 4,8 МБ) — обновление 10.10.2024. Видеозапись

Мультимодальные тематические модели.

  • Примеры модальностей.
  • Мультимодальный ARTM и регуляризованный ЕМ-алгоритм.

Иерархические тематические модели.

  • Иерархии тем. Послойное построение иерархии.
  • Регуляризаторы для разделения тем на подтемы.
  • Псевдодокументы родительских тем.
  • Модальность родительских тем.

Эксперименты с тематическим поиском.

  • Методика измерения качества поиска.
  • Тематическая модель для документного поиска.
  • Оптимизация гиперпараметров.

Проект «Мастерская знаний»

  • Поисково-рекомендательная система SciSearch.ru
  • Векторный поиск для формирования тематических подборок
  • Требования к тематическим моделям для научного информационного поиска

Оценивание качества тематических моделей

Презентация: (PDF, 1,6 МБ) — обновление 17.10.2024. Видеозапись

Измерение качества тематических моделей.

  • Правдоподобие и перплексия.
  • Интерпретируемость и когерентность. Внутритекстовая когерентность.
  • Разреженность и различность.

Проверка гипотезы условной независимости.

  • Статистики на основе KL-дивергенции и их обобщения.
  • Регуляризатор семантической однородности.
  • Применение статистических тестов условной независимости.

Проблема определения числа тем.

  • Разреживающий регуляризатор для отбора тем.
  • Эксперименты на синтетических и реальных данных.
  • Сравнение с байесовской моделью HDP (Hierarchical Dirichlet Process).
  • Эффект отбрасывания малых, дублирующих и линейно зависимых тем.

Проблема тематической несбалансированности в данных

  • Проблема малых тем и тем-дубликатов
  • Тематическая несбалансированность как основная причина неинтерпретируемости тем
  • Эксперименты с регуляризаторами отбора тем и декоррелирования
  • Регуляризатор семантической однородности

BigARTM и базовые инструменты

Мурат Апишев. Презентация: (zip, 0,6 МБ) — обновление 17.02.2017. Видеозапись

Предварительная обработка текстов

  • Парсинг «сырых» данных.
  • Токенизация, стемминг и лемматизация.
  • Выделение энграмм.
  • Законы Ципфа и Хипса. Фильтрация словаря коллекции. Удаление стоп-слов.

Библиотека BigARTM

  • Методологические рекоммендации по проведению экспериментов.
  • Установка BigARTM.
  • Формат и импорт входных данных.
  • Обучение простой модели (без регуляризации): создание, инициализация, настройка и оценивание модели.
  • Инструмент визуализации тематических моделей VisARTM. Основные возможности, демонстрация работы.

Дополнительный материал:

  • Презентация: (PDF, 1,5 МБ) — обновление 17.03.2017.
  • Видео — обновление 22.03.2017.
  • Воркшоп по BigARTM на DataFest'4. Видео.

Теория ЕМ-алгоритма

Презентация: (PDF, 2,0 МБ) — обновление 25.10.2024. Видеозапись

Классические модели PLSA, LDA.

  • Модель PLSA.
  • Модель LDA. Распределение Дирихле и его свойства.
  • Максимизация апостериорной вероятности для модели LDA.

Общий EM-алгоритм.

  • EM-алгоритм для максимизации неполного правдоподобия.
  • Регуляризованный EM-алгоритм. Сходимость в слабом смысле.
  • Альтернативный вывод формул ARTM.

Эксперименты с моделями PLSA, LDA.

  • Проблема неустойчивости (на синтетических данных).
  • Проблема неустойчивости (на реальных данных).
  • Проблема переобучения и робастные модели.

Байесовское обучение модели LDA

Презентация: (PDF, 1,7 МБ) — обновление 25.10.2024. Видеозапись

Вариационный байесовский вывод.

Сэмплирование Гиббса.

Замечания о байесовском подходе.

  • Оптимизация гиперпараметров в LDA.
  • Графическая нотация (plate notation). Stop using plate notation.
  • Сравнение байесовского подхода и ARTM.
  • Как читать статьи по баейсовским моделям и строить эквивалентные ARTM-модели.

Тематические модели сочетаемости слов

Презентация: (PDF, 1,7 МБ) — обновление 07.11.2024. Видеозапись

Мультиграммные модели.

  • Модель BigramTM.
  • Модель Topical N-grams (TNG).
  • Мультимодальная мультиграммная модель.

Автоматическое выделение терминов.

  • Алгоритм TopMine для быстрого поиска частых фраз. Критерии выделения коллокаций.
  • Синтаксический разбор. Нейросетевые синтаксические анализаторы SyntaxNet, UDpipe.
  • Критерии тематичности фраз.
  • Комбинирование синтаксической, статистической и тематической фильтрации фраз.

Тематические модели дистрибутивной семантики.

  • Дистрибутивная гипотеза. Модели CBOW и SGNS в программе word2vec.
  • Модель битермов BTM (Biterm Topic Model) для тематизации коллекций коротких текстов.
  • Модели WNTM (Word Network Topic Model) и WTM (Word Topic Model). Связь с моделью word2vec.
  • Регуляризаторы когерентности.

Дополнительный материал:

  • Потапенко А. А. Векторные представления слов и документов. DataFest'4. Видео.

Моделирование локального контекста

Презентация: (PDF, 1,8 МБ) — обновление 11.11.2024. Видеозапись

Линейная тематизация текста.

  • Линейная тематизация текста за один проход без матрицы \Theta.
  • Локализация E-шага.
  • Двунаправленная тематическая модель контекста.
  • Онлайновый EM-алгоритм с однопроходным локализованным E-шагом.

Аналогия с моделью само-внимания (self-attention) и трансформером.

  • Модель внимания Query-Key-Value.
  • Трансформер: кодировщик и декодировщик.
  • Онлайновый EM-алгоритм с многопроходным локализованным E-шагом.

Моделирование сегментированного текста

Презентация: (PDF, 2,1 МБ) — обновление 11.11.2024. Видеозапись

Позиционный регуляризатор в ARTM.

  • Гипотеза о сегментной структуре текста.
  • Регуляризация и пост-обработка Е-шага. Формулы М-шага.
  • Примеры регуляризаторов Е-шага. Разреживание распределения p(t|d,w). Сглаживание тематики слов по контексту.

Тематические модели предложений.

  • Тематическая модель предложений senLDA.
  • Модель коротких сообщений Twitter-LDA.
  • Сегментоиды. Лексические цепочки.

Тематическая сегментация текста.

  • Метод TopicTiling. Критерии определения границ сегментов.
  • Критерии качества сегментации.
  • Оптимизация параметров модели TopicTiling.

Анализ зависимостей

Презентация: (PDF, 1,7 МБ) — обновление 06.12.2023. Видеозапись

Зависимости, корреляции, связи.

  • Тематические модели классификации и регрессии.
  • Модель коррелированных тем CTM (Correlated Topic Model).
  • Регуляризаторы гиперссылок и цитирования. Выявление тематических влияний в научных публикациях.

Время и пространство.

  • Регуляризаторы времени.
  • Обнаружение и отслеживание тем.
  • Гео-пространственные модели.

Социальные сети.

  • Сфокусированный поиск в социальных медиа (пример: поиск этно-релевантного контента).
  • Выявление тематических сообществ. Регуляризаторы для направленных и ненаправленных связей.
  • Регуляризаторы для выявления социальных ролей пользователей.

Мультимодальные тематические модели

Презентация: (PDF, 2,7 МБ) — обновление 06.12.2023. Видеозапись

Мультиязычные тематические модели.

  • Параллельные и сравнимые коллекции.
  • Регуляризаторы для учёта двуязычных словарей.
  • Кросс-язычный информационный поиск.

Трёхматричные модели.

  • Модели трёхматричных разложений. Понятие порождающей модальности.
  • Автор-тематическая модель (author-topic model).
  • Модель для выделения поведений объектов в видеопотоке.

Тематические модели транзакционных данных.

  • Примеры транзакционных данных в рекомендательных системах, социальных и рекламных сетях.
  • Гиперграфовая модель ARTM. Теорема о необходимом условии максимума регуляризованного правдоподобия.
  • Транзакционные данные в рекомендательных системах. Симметризованная гиперграфовая модель ARTM.
  • Анализ транзакционных данных для выявления паттернов экономического поведения клиентов банка. Видео.
  • Анализ банковских транзакционных данных для выявления видов деятельности компаний.

Именование и суммаризация тем

Презентация: (PDF, 4,3 МБ) — обновление 04.05.2024. Видеозапись

Методы суммаризации текстов.

  • Задачи автоматической суммаризации текстов. Подходы к суммаризации: extractive и abstractive.
  • Оценивание и отбор предложений для суммаризации. Релаксационный метод для многокритериальной дискретной оптимизации.
  • Тематическая модель предложений для суммаризации.
  • Критерии качества суммаризации. Метрики ROUGE, BLUE.

Автоматическое именование тем (topic labeling).

  • Формирование названий-кандидатов.
  • Релевантность, покрытие, различность.
  • Оценивание качества именования тем.

Задача суммаризации темы

  • Задача ранжирования документов
  • Задача фильтрации репрезентативных релевантных фраз.
  • Задача генерации связного текста

Проект «Тематизатор»

Презентация: (PDF, 6,2 МБ) — обновление 21.09.2023. Видеозапись

Визуализация тематических моделей

  • Концепция distant reading.
  • Карты знаний, иерархии, взаимосвязи, динамика, сегментация.
  • Спектр тем.
  • Визуализация матричного разложения.

Примеры прикладных задач

  • Поиск этно-релевантных тем в социальных сетях.
  • Анализ программ развития российских вузов.
  • Поиск и рубрикация научных статей на 100 языках.
  • Проекты Школы Прикладного Анализа Данных.

Анализ требований к «Тематизатору»

  • Функциональные требования.
  • Требования к интерпретируемости.
  • Основной пользовательский сценарий: Загрузка, Предобработка, Моделирование, Визуализация, Коррекция.
  • Этапизация работ.

Отчетность по курсу

Условием сдачи курса является выполнение индивидуальных практических заданий.

Рекомендуемая структура отчёта об исследовании:

  • Постановка задачи: неформальное описание, ДНК (дано–найти–критерий), структура данных
  • Описание простого решения baseline
  • Описание основного решения и его вариантов
  • Описание набора данных и методики экспериментов
  • Результаты экспериментов по подбору гиперпараметров основного решения
  • Результаты экспериментов по сравнению основного решения с baseline
  • Примеры визуализации модели
  • Выводы: что работает, что не работает, инсайты
  • Ссылка на код

Примеры отчётов:

Литература

  1. Воронцов К. В. Вероятностное тематическое моделирование: теория регуляризации ARTM и библиотека с открытым кодом BigARTM. 2023.
  2. Hamed Jelodar, Yongli Wang, Chi Yuan, Xia Feng. Latent Dirichlet Allocation (LDA) and Topic modeling: models, applications, a survey. 2017.
  3. Hofmann T. Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
  4. Blei D. M., Ng A. Y., Jordan M. I. Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
  5. Asuncion A., Welling M., Smyth P., Teh Y. W. On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.

Ссылки

Материалы для первого ознакомления:

Подстраницы

Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2015Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2016Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2017
Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2018Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2019, ВМКВероятностные тематические модели (курс лекций, К.В.Воронцов)/2020
Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2021
Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%92%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%BD%D1%8B%D0%B5_%D1%82%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%2C_%D0%9A.%D0%92.%D0%92%D0%BE%D1%80%D0%BE%D0%BD%D1%86%D0%BE%D0%B2%29»
Личные инструменты