Вероятностные тематические модели (курс лекций, К.В.Воронцов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
Текущая версия (12:10, 15 декабря 2023) (править) (отменить)
(→Именование и суммаризация тем)
 
(268 промежуточных версий не показаны.)
Строка 1: Строка 1:
{{TOCright}}
{{TOCright}}
-
Спецкурс читается студентам 2—5 курсов на кафедре «[[Математические методы прогнозирования (кафедра ВМиК МГУ)|Математические методы прогнозирования]]» [[ВМиК]] [[МГУ]] с 2013 года.
+
Спецкурс читается студентам 2—5 курсов на кафедре «[[Математические методы прогнозирования (кафедра ВМиК МГУ)|Математические методы прогнозирования]]» [[ВМиК]] [[МГУ]] с 2013 года и студентам 6 курса на кафедре «[[Интеллектуальные системы (кафедра МФТИ)|Интеллектуальные системы]]» [[ФУПМ]] [[МФТИ]] с 2019 года.
-
В спецкурсе изучаются методы построения вероятностных тематических моделей (topic modeling) коллекций текстовых документов. Развивается многокритериальный подход к решению некорректно поставленной задачи стохастического матричного разложения — аддитивная регуляризации тематических моделей. Особое внимание будет уделяется комбинированию статистических и лингвистических методов анализа текстов. Рассматриваются прикладные задачи классификации и категоризации текстов, информационного поиска, персонализации и рекомендательных систем, а также задачи анализа и классификации дискретизированных биомедицинских сигналов. Предполагается проведение студентами численных экспериментов на модельных и реальных данных.
+
В спецкурсе изучается вероятностное [[тематическое моделирование]] (topic modeling) коллекций текстовых документов. Тематическая модель определяет, какие темы содержатся в большой текстовой коллекции, и к каким темам относится каждый документ. Тематические модели позволяют искать тексты по смыслу, а не по ключевым словам, и создавать информационно-поисковые системы нового поколения, основанные на парадигме семантического разведочного поиска (exploratory search). Рассматриваются тематические модели для классификации, категоризации, сегментации, суммаризации текстов естественного языка, а также для рекомендательных систем, анализа банковских транзакционных данных, анализа биомедицинских сигналов. В спецкурсе развивается многокритериальный подход к построению моделей с заданными свойствами — [[аддитивная регуляризация тематических моделей]] (АРТМ). Он основан на регуляризации некорректно поставленных задач стохастического матричного разложения. Особое внимание уделяется методам лингвистической регуляризации для моделирования связности текста. Предполагается проведение студентами численных экспериментов на модельных и реальных данных с помощью библиотеки тематического моделирования [[BigARTM]].
-
От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Знание математической статистики, методов оптимизации и какого-либо языка программирования желательно, но не обязательно.
+
От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Знание математической статистики, методов оптимизации, машинного обучения, языков программирования Python и С++ желательно, но не обязательно.
-
Условием сдачи спецкурса является выполнение обязательных практических заданий.
+
Краткая ссылка на эту страницу: [http://bit.ly/2EGWcjA bit.ly/2EGWcjA].
 +
 
 +
'''Основной материал:'''
 +
* ''Воронцов К. В.'' [[Media:voron17survey-artm.pdf|Вероятностное тематическое моделирование: теория регуляризации ARTM и библиотека с открытым кодом BigARTM]]. {{важно|— обновление 26.06.2023}}.
 +
* [https://www.youtube.com/playlist?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозаписи, 2023 осень (МФТИ)].
= Программа курса =
= Программа курса =
-
=== Задачи анализа текстов. Вероятностные модели коллекций текстов ===
+
== Задача тематического моделирования ==
 +
Презентация: [[Media:Voron23ptm-intro.pdf|(PDF, 2,8 МБ)]] {{важно|— обновление 21.09.2023}}.
 +
[https://www.youtube.com/watch?v=k0XHeu4MeBo&list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозапись]
-
'''Задачи классификации текстов.'''
+
'''Цели и задачи тематического моделирования.'''
-
* Коллекция текстовых документов. Векторное представление документа.
+
* Понятие «темы», цели и задачи [[тематическое моделирование|тематического моделирования]].
-
* Эмпирические законы Ципфа, Ципфа-Мандельброта, Хипса.
+
* Вероятностная модель порождения текста.
-
* Постановка задачи классификации текстов. Объекты, признаки, классы, обучающая выборка.
+
* [[EM-алгоритм]] и его элементарная интерпретация. Формула Байеса и частотные оценки условных вероятностей.
-
* Частоты слов (терминов) как признаки. Распознавание текстов заданной тематики. Анализ тональности.
+
* [[Метод наибольшего правдоподобия|Принцип максимума правдоподобия]].
-
* Линейный классификатор. Наивный байесовский классификатор.
+
-
* Задача распознавание жанра текстов. Распознавание научных текстов. Примеры признаков.
+
-
* Задача категоризации текстов, сведение к последовательности задач классификации.
+
-
'''Задачи предварительной обработки текстов.'''
+
'''Аддитивная регуляризация тематических моделей.'''
-
* Очистка, удаление номеров страниц (колонтитулов), переносов, опечаток, оглавлений, таблиц, рисунков, нетекстовой информации.
+
* Понятие некорректно поставленной задачи по Адамару. Регуляризация.
-
* Лемматизация и стемминг. Сравнение готовых инструментальных средств.
+
* Лемма о максимизации на единичных симплексах. [[Условия Каруша–Куна–Таккера]].
-
* Выделение и удаление стоп-слов и редких слов.
+
* Теорема о необходимом условии максимума регуляризованного правдоподобия для ARTM.
 +
* Классические тематические модели [[Вероятностный латентный семантический анализ|PLSA]] и [[Латентное размещение Дирихле|LDA]] как частные случаи ARTM.
 +
* Мультимодальные тематические модели.
-
'''Задачи информационного поиска.'''
+
'''Практика тематического моделирования.'''
-
* Задача поиска документов по запросу. Инвертированный индекс.
+
* Проект с открытым кодом BigARTM.
-
* Меры сходства векторов частот. Косинусная мера сходства. Расстояние Хеллингера.
+
* Этапы решения практических задач.
-
* Критерий текстовой релевантности TF-IDF. Вероятностная модель и вывод формулы TF-IDF.
+
* Методы предварительной обработки текста.
-
* Задача ранжирования. Примеры признаков. Формирование асессорских обучающих выборок.
+
* Датасеты и практические задания по курсу.
-
'''Униграммная модель документов и коллекции.'''
+
== Проект «Тематизатор» ==
-
* Вероятностное пространство. Гипотезы «мешка слов» и «мешка документов». Текст как простая выборка, порождаемая вероятностным распределением. Векторное представление документа как эмпирическое распределение.
+
Презентация: [[Media:Voron23ptm-project.pdf|(PDF, 6,2 МБ)]] {{важно|— обновление 21.09.2023}}.
-
* Понятие параметрической порождающей модели. Принцип максимума правдоподобия.
+
[https://youtu.be/LctW1J93lmw?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозапись]
-
* Униграммная модель документов и коллекции.
+
-
* ''Ликбез.'' Теорема Куна-Таккера.
+
-
* Аналитическое решение задачи о стационарной точке функции Лагранжа. Частотные оценки условных вероятностей.
+
-
'''Литература:''' [Маннинг 2011].
+
'''Визуализация тематических моделей'''
 +
* Концепция distant reading.
 +
* Карты знаний, иерархии, взаимосвязи, динамика, сегментация.
 +
* Спектр тем.
 +
* Визуализация матричного разложения.
-
=== Вероятностный латентный семантический анализ ===
+
'''Примеры прикладных задач'''
-
* ''Напоминания.'' Коллекция текстовых документов. Векторное представление документа. Задачи информационного поиска и классификации текстов.
+
* Поиск этно-релевантных тем в социальных сетях.
 +
* Анализ программ развития российских вузов.
 +
* Поиск и рубрикация научных статей на 100 языках.
 +
* Проекты Школы Прикладного Анализа Данных.
-
'''Мотивации вероятностного тематического моделирования
+
'''Анализ требований к «Тематизатору»'''
-
* Идея перехода от вектора (терминов) к вектору тем.
+
* Функциональные требования.
-
* Цели тематического моделирования: поиск научной информации, агрегирование и анализ новостных потоков, формирование сжатых признаковых описаний документов для классификации и категоризации текстовых документов, обход проблем синонимии и омонимии.
+
* Требования к интерпретируемости.
 +
* Основной пользовательский сценарий: Загрузка, Предобработка, Моделирование, Визуализация, Коррекция.
 +
* Этапизация работ.
-
'''Задача тематического моделирования.'''
+
== Онлайновый ЕМ-алгоритм и регуляризаторы ==
-
* Вероятностное пространство. Тема как латентная (ненаблюдаемая) переменная. Гипотеза условной независимости. Порождающая модель документа как вероятностной смеси тем.
+
Презентация: [[Media:Voron23ptm-regular.pdf|(PDF, 1,3 МБ)]] {{важно|— обновление 21.09.2023}}.
-
* Постановка обратной задачи восстановления параметров модели по данным.
+
[https://www.youtube.com/live/wq7MlvWph3s?si=38czCY8IbWNYSUVw Видеозапись 2022 г.] Дополнение:
 +
[https://youtu.be/LctW1J93lmw?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозапись 2023 г.]
-
'''Вероятностный латентный семантический анализ (PLSA).'''
+
'''Онлайновый ЕМ-алгоритм.'''
-
* Частотные оценки условных вероятностей терминов тем и тем документов. Формула Байеса для апостериорной вероятности темы. Элементарное обоснование ЕМ-алгоритма.
+
-
* Принцип максимума правдоподобия, аналитическое решение задачи о стационарной точке функции Лагранжа, формулы M-шага.
+
* Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
* Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
 +
* Оффлайновый регуляризованный EM-алгоритм.
 +
* Онлайновый пакетный мультимодальный регуляризованный EM-алгоритм. Распараллеливание.
 +
* Как подбирать коэффициенты регуляризации.
 +
* Относительные коэффициенты регуляризации.
 +
* Библиотеки BigARTM и TopicNet.
-
'''Проведение экспериментов на модельных данных.'''
+
'''Часто используемые регуляризаторы.'''
-
* Процесс порождения терминов в документе. Генератор модельных (синтетических) данных. Генерация случайной величины из заданного дискретного распределения.
+
* Сглаживание и разреживание.
-
* Распределение Дирихле. Генерация разреженных и сглаженных векторов дискретных распределений из распределения Дирихле.
+
* Частичное обучение.
-
* Оценивание точности восстановления модельных данных. Расстояние между дискретными распределениями. Проблема перестановки тем, венгерский алгоритм.
+
* Декоррелирование тем.
-
* Проблема неединственности и неустойчивости матричного разложения. Экспериментальное оценивание устойчивости решения.
+
-
'''Задание 1.1'''
+
'''Проблема определения числа тем.'''
-
Обязательные пункты: 1–3 и любой из последующих.
+
* Разреживающий регуляризатор для отбора тем.
-
# Реализовать генератор модельных данных. Реализовать вычисление эмпирических распределений терминов тем и тем документов.
+
* Эксперименты на синтетических и реальных данных.
-
# Реализовать оценку точности восстановления с учётом перестановки тем. Вычислить оценку точности для исходных модельных распределений.
+
* Сравнение с байесовской моделью HDP (Hierarchical Dirichlet Process).
-
# Реализовать рациональный ЕМ-алгоритм.
+
* Эффект отбрасывания малых, дублирующих и линейно зависимых тем.
-
# Исследовать зависимости точности модели и точности восстановления от числа итераций и от числа тем в модели (при фиксированном числе тем в исходных данных). Что происходит, когда тем больше, чем нужно? Меньше, чем нужно?
+
-
# Исследовать влияние случайного начального приближения на устойчивость решения. Построить эмпирические распределения и доверительные интервалы для расстояний Хеллингера между истинными матрицами и восстановленными.
+
-
# Исследовать влияние разреженности матриц Фи и Тета на устойчивость решения.
+
-
'''Задание для 4 курса ФУПМ:''' [[Media:voron-2014-task-PTM.pdf|voron-2014-task-PTM.pdf]]
+
== Разведочный информационный поиск ==
 +
Презентация: [[Media:Voron23ptm-exp.pdf|(PDF, 2,5 МБ)]] {{важно|— обновление 06.12.2023}}.
 +
[https://youtu.be/GzjQHdWYYBI?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозапись]
-
'''Литература:''' [Hofmann 1999].
+
'''Разведочный информационный поиск.'''
 +
* Концепция разведочного поиска.
 +
* Особенности разведочного поиска.
 +
* Поисково-рекомендательная система SciSarch.AI
-
===Модификации алгоритма обучения модели PLSA===
+
'''Иерархические тематические модели.'''
 +
* Иерархии тем. Послойное построение иерархии.
 +
* Регуляризаторы для разделения тем на подтемы.
 +
* Псевдодокументы родительских тем.
 +
* Модальность родительских тем.
-
* ''Напоминания.'' Задача тематического моделирования коллекции текстовых документов. Модель PLSA, формулы Е-шага и М-шага.
+
'''Эксперименты с тематическим поиском.'''
 +
* Методика измерения качества поиска.
 +
* Тематическая модель для документного поиска.
 +
* Оптимизация гиперпараметров.
-
'''Латентное размещение Дирихле (LDA)'''
+
== Оценивание качества тематических моделей ==
-
* Сглаженные байесовские оценки условных вероятностей.
+
Презентация: [[Media:Voron23ptm-quality.pdf|(PDF, 1,3 МБ)]] {{важно|— обновление 06.12.2023}}.
 +
[https://youtu.be/udJ3qsMkwJc?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозапись]
-
'''Робастный ЕМ-алгоритм (REM).'''
+
'''Измерение качества тематических моделей.'''
-
* Робастная модель с шумом и фоном.
+
* Правдоподобие и перплексия.
-
* Упрощённая робастная модель.
+
* Интерпретируемость и когерентность. Внутритекстовая когерентность.
 +
* Разреженность и различность.
-
'''Стохастический ЕМ-алгоритм (SEM).'''
+
'''Эксперименты с регуляризацией.'''
-
* Гипотеза разреженности апоcтериорного распределения тем p(t|d,w).
+
* Регуляризаторы сглаживания, разреживания, декоррелирования и отбора тем.
-
* Алгоритм сэмплирования Гиббса.
+
* Комбинирование регуляризаторов, эмпирические рекомендации.
 +
* Задача планирования экспериментов для подбора гиперпараметров.
-
'''Онлайновый ЕМ-алгоритм (OEM).'''
+
'''Проверка гипотезы условной независимости.'''
-
* Проблема больших данных.
+
* Статистики на основе KL-дивергенции и их обобщения.
-
* Эвристика разделения М-шага.
+
* Регуляризатор семантической однородности.
-
* Эвристика разделения коллекции на пачки документов.
+
* Применение статистических тестов условной независимости.
-
* Добавление новых документов (folding-in).
+
-
'''Способы формирования начальных приближений.'''
+
== BigARTM и базовые инструменты ==
-
* Случайная инициализация.
+
''Мурат Апишев''.
-
* Инициализация по документам.
+
Презентация: [[Media:Base_instruments.zip‎|(zip, 0,6 МБ)]] {{важно|— обновление 17.02.2017}}.
-
* Поиск якорных слов. Алгоритм Ароры.
+
[https://youtu.be/AIN00vWOJGw Видеозапись]
-
'''Задание 1.2'''
+
'''Предварительная обработка текстов'''
-
Обязательные пункты: 1 и любой из последующих.
+
* Парсинг «сырых» данных.
-
# Реализовать онлайновый алгоритм OEM.
+
* Токенизация, стемминг и лемматизация.
-
# Исследовать влияние размера первой пачки и последующих пачек на качество модели.
+
* Выделение энграмм.
-
# Исследовать влияние выбора числа итераций на внутреннем и внешнем циклах алгоритма OEM на качество и скорость построения модели.
+
* Законы Ципфа и Хипса. Фильтрация словаря коллекции. Удаление стоп-слов.
-
# Исследовать возможность улучшения качество модели с помощью второго прохода по коллекции (без инициализации p(w|t)).
+
-
# Исследовать влияние частичной разметки на точность модели и точность восстановления. Проверить гипотезу, что небольшой доли правильно размеченных документов уже достаточно для существенного улучшения точности и устойчивости модели.
+
-
'''Литература:''' [Hoffman 2010, Asuncion 2009].
+
'''Библиотека BigARTM'''
 +
* Методологические рекоммендации по проведению экспериментов.
 +
* Установка [[BigARTM]].
 +
* Формат и импорт входных данных.
 +
* Обучение простой модели (без регуляризации): создание, инициализация, настройка и оценивание модели.
 +
* Инструмент визуализации тематических моделей VisARTM. Основные возможности, демонстрация работы.
-
===Аддитивная регуляризация тематических моделей===
+
'''Дополнительный материал:'''
-
* ''Напоминания''. Вероятностная тематическая модель. Принцип максимума правдоподобия. PLSA. EM-алгоритм.
+
* Презентация: [[Media:VoronApishev17ptm5.pdf|(PDF, 1,5 МБ)]] {{важно|— обновление 17.03.2017}}.
-
* ''Ликбез''. KL-дивергенция.
+
* [https://www.youtube.com/watch?v=2LEQuLRxaIY&t=1s '''Видео'''] {{важно|— обновление 22.03.2017}}.
 +
* Воркшоп по BigARTM на DataFest'4. [https://www.youtube.com/watch?v=oQcHEm2-7PM '''Видео'''].
-
'''Многокритериальная регуляризация.'''
+
== Теория ЕМ-алгоритма ==
-
* Некорректность постановки задачи тематического моделирования.
+
Презентация: [[Media:Voron23ptm-emlda.pdf|(PDF, 1,3 МБ)]] {{важно|— обновление 06.12.2023}}.
-
* Аддитивная регуляризация.
+
[https://youtu.be/svQTYv0X2cs?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозапись]
-
* Общая формула M-шага для регуляризованного ЕМ-алгоритма.
+
-
'''Регуляризатор разреживания.'''
+
'''Классические модели PLSA, LDA.'''
-
* Гипотеза разреженности распределений терминов тем и тем документов.
+
* Модель PLSA.
-
* Энтропийный регуляризатор и максимизация KL-дивергенции.
+
* Модель LDA. Распределение Дирихле и его свойства.
-
* Связь разреживания с L0-регуляризацией и методом разреживания нейронных сетей [[OBD|Optimal Brain Damage]].
+
* Максимизация апостериорной вероятности для модели LDA.
-
* Связь разреженности и единственности неотрицательного матричного разложения.
+
-
'''Регуляризатор сглаживания.'''
+
'''Общий EM-алгоритм.'''
-
* Модель латентного размещения Дирихле LDA.
+
* EM-алгоритм для максимизации неполного правдоподобия.
-
* Обоснование LDA через минимизацию KL–дивергенции. Виды сглаживающих распределений.
+
* Регуляризованный EM-алгоритм. Сходимость в слабом смысле.
-
* Свойства распределения Дирихле, сопряжённость с мультиномиальным распределением.
+
* Альтернативный вывод формул ARTM.
-
* Байесовский вывод. Сглаженные частотные оценки условных вероятностей.
+
-
* Оценки максимума апостериорной вероятности.
+
-
* Численные методы оптимизации гиперпараметров.
+
-
'''Комбинирование разреживания и сглаживания.'''
+
'''Эксперименты с моделями PLSA, LDA.'''
-
* Разреживание предметных тем и сглаживание фоновых тем. Автоматическое выделение стоп-слов.
+
* Проблема неустойчивости (на синтетических данных).
-
* Частичное обучение как выборочное сглаживание.
+
* Проблема неустойчивости (на реальных данных).
 +
* Проблема переобучения и робастные модели.
-
'''Ковариационные регуляризаторы.'''
+
== Байесовское обучение модели LDA ==
-
* Антиковариация тем.
+
Презентация: [[Media:Voron23ptm-bayes.pdf|(PDF, 1,5 МБ)]] {{важно|— обновление 06.12.2023}}.
-
* Выявление корреляций между темами, модель CTM. Оценивание параметров модели (матрицы ковариаций).
+
[https://youtu.be/bPUHRCGJMow?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозапись]
-
* Корреляция документов.
+
-
* Тематические модели цитирования.
+
-
===Разреживание и сглаживание===
+
'''Вариационный байесовский вывод.'''
 +
* Основная теорема вариационного байесовского вывода.
 +
* [[Вариационный байесовский вывод]] для модели LDA.
 +
* VB ЕМ-алгоритм для модели LDA.
-
'''Сглаживание'''
+
'''Сэмплирование Гиббса.'''
-
* Сравнение LDA и PLSA. Экспериментальные факты: LDA скорее улучшает оценки редких слов, чем снижает переобучение.
+
* Основная теорема о сэмплировании Гиббса.
-
* Дилемма разреживания и сглаживания.
+
* [[Сэмплирование Гиббса]] для модели LDA.
 +
* GS ЕМ-алгоритм для модели LDA.
-
'''Частичное обучение (Semi-supervised EM).'''
+
'''Замечания о байесовском подходе.'''
-
* Виды частично размеченных данных: привязка документа к темам, привязка термина к темам, нерелевантность, переранжирование списков терминов тем и тем документов, виртуальные документы.
+
* Оптимизация гиперпараметров в LDA.
-
* Использование частично размеченных данных для инициализации.
+
* Графическая нотация (plate notation). [http://zinkov.com/posts/2013-07-28-stop-using-plates Stop using plate notation].
-
* Использование частично размеченных данных в качестве поправок на М-шаге ЕМ-алгоритма.
+
* Сравнение байесовского подхода и ARTM.
 +
* Как читать статьи по баейсовским моделям и строить эквивалентные ARTM-модели.
-
'''Задание 1.3'''
+
== Тематические модели сочетаемости слов ==
-
Обязательные пункты: 1 и любой из остальных.
+
Презентация: [[Media:Voron23ptm-cooc.pdf|(PDF, 1,7 МБ)]] {{важно|— обновление 06.12.2023}}.
-
# Реализовать разреживание в онлайновом алгоритме OEM.
+
[https://youtu.be/khDdc6OvEHc?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозапись]
-
# Исследовать зависимость точности модели и точности восстановления от степени разреженности исходных модельных данных.
+
-
# Исследовать влияние разреживания на точность модели и точность восстановления. Проверить гипотезу, что если исходные данные разрежены, то разреживание существенно улучшает точность восстановления и слабо влияет на точность модели.
+
-
# Исследовать влияние сглаживания на точность модели и точность восстановления.
+
-
'''Литература:''' [Blei, 2003].
+
'''Мультиграммные модели.'''
 +
* Модель BigramTM.
 +
* Модель Topical N-grams (TNG).
 +
* Мультимодальная мультиграммная модель.
-
===Внутренние методы оценивания качества===
+
'''Автоматическое выделение терминов.'''
 +
* Алгоритм TopMine для быстрого поиска частых фраз. Критерии выделения коллокаций.
 +
* Синтаксический разбор. Нейросетевые синтаксические анализаторы SyntaxNet, UDpipe.
 +
* Критерии тематичности фраз.
 +
* Комбинирование синтаксической, статистической и тематической фильтрации фраз.
-
'''Реальные данные.'''
+
'''Тематические модели дистрибутивной семантики.'''
-
* Текстовые коллекции, библиотеки алгоритмов, источники информации.
+
* Дистрибутивная гипотеза. Модели CBOW и SGNS в программе word2vec.
-
* Внутренние и внешние критерии качества.
+
* Модель битермов BTM (Biterm Topic Model) для тематизации коллекций коротких текстов.
-
* Дополнительные данные для построения внешних критериев качества.
+
<!--* Модель всплесков BBTM (Bursty Biterm Topic Model). -->
 +
* Модели WNTM (Word Network Topic Model) и WTM (Word Topic Model). Связь с моделью word2vec.
 +
* Регуляризаторы когерентности.
-
'''Перплексия и правдоподобие.'''
+
'''Дополнительный материал:'''
-
* Определение и интерпретация перплекcии.
+
* ''Потапенко А. А.'' Векторные представления слов и документов. DataFest'4. [https://www.youtube.com/watch?v=KEXWC-ICH_Y '''Видео'''].
-
* Перплексия контрольной коллекции. Проблема новых слов в контрольной коллекции.
+
-
'''Когерентность.'''
+
== Анализ зависимостей ==
-
* Определение когерентности.
+
Презентация: [[Media:Voron23ptm-rel.pdf|(PDF,&nbsp;1,7&nbsp;МБ)]] {{важно|— обновление 06.12.2023}}.
-
* Эксперименты, показывающие связь когерентности и интерпретируемости.
+
[https://youtu.be/uKCMr9yK3gw?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозапись]
-
* Способы оценивания совместной встречаемости слов.
+
-
''' Оценивание качества темы.'''
+
'''Зависимости, корреляции, связи.'''
-
* Контрастность темы (число типичных документов темы, число типичных терминов темы).
+
* Тематические модели классификации и регрессии.
-
* Пиковость темы.
+
* Модель коррелированных тем CTM (Correlated Topic Model).
-
* Однородность (радиус) темы.
+
* Регуляризаторы гиперссылок и цитирования. Выявление тематических влияний в научных публикациях.
-
* Конфликтность темы (близость темы к другим темам).
+
-
'''Статистические тесты условной независимости.'''
+
'''Время и пространство.'''
-
* Методология проверки статистических гипотез. Критерий согласия хи-квадрат Пирсона. Матрица кросс-табуляции «термины–документы» для заданной темы.
+
* Регуляризаторы времени.
-
* Проблема разреженности распределения. Эксперименты, показывающие неадекватность асимптотического распределения статистики хи-квадрат.
+
* Обнаружение и отслеживание тем.
-
* Статистики модифицированного хи-квадрат, Кульбака-Лейблера, Хеллингера.
+
* Гео-пространственные модели.
-
* Обобщённое семейство статистик Кресси-Рида.
+
-
* Алгоритм вычисления квантилей распределения статистики Кресси-Рида.
+
-
* Рекуррентное вычисление статистики Кресси-Рида.
+
-
'''Литература:''' [Newman, 2009–2011].
+
'''Социальные сети.'''
 +
* Сфокусированный поиск в социальных медиа (пример: поиск этно-релевантного контента).
 +
* Выявление тематических сообществ. Регуляризаторы для направленных и ненаправленных связей.
 +
* Регуляризаторы для выявления социальных ролей пользователей.
-
===Внешние методы оценивания качества===
+
== Мультимодальные тематические модели ==
 +
Презентация: [[Media:Voron23ptm-modal.pdf|(PDF,&nbsp;2,7&nbsp;МБ)]] {{важно|— обновление 06.12.2023}}.
 +
[https://youtu.be/AfwH0A3NJCQ?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозапись]
-
'''Оценивание интерпретируемости тематических моделей.'''
+
'''Мультиязычные тематические модели.'''
-
* Корректность определения асессорами лишних терминов в темах и лишних тем в документах.
+
* Параллельные и сравнимые коллекции.
-
* Визуализация тематических моделей.
+
* Регуляризаторы для учёта двуязычных словарей.
 +
* Кросс-язычный информационный поиск.
-
'''Критерии качества классификации и ранжирования.'''
+
'''Трёхматричные модели.'''
-
* Полнота, точность и F-мера в задачах классификации и ранжирования.
+
* Модели трёхматричных разложений. Понятие порождающей модальности.
-
* Критерии качества ранжирования: MAP, DCG, NDCG.
+
* Автор-тематическая модель (author-topic model).
-
* Оценка качества тематического поиска документов по их длинным фрагментам.
+
* Модель для выделения поведений объектов в видеопотоке.
-
'''Задание 1.4.'''
+
'''Тематические модели транзакционных данных.'''
-
# Применить OEM к реальным коллекциям.
+
* Примеры транзакционных данных в рекомендательных системах, социальных и рекламных сетях.
-
# Исследовать на реальных данных зависимость внутренних и внешних критериев качества от эвристических параметров алгоритма обучения OEM.
+
* Гиперграфовая модель ARTM. Теорема о необходимом условии максимума регуляризованного правдоподобия.
-
# В экспериментах на реальных данных построить зависимости перплексии обучающей и контрольной коллекции от числа итераций и числа тем.
+
* Транзакционные данные в рекомендательных системах. Симметризованная гиперграфовая модель ARTM.
 +
* Тематическая модель предложений и модель коротких сообщений Twitter-LDA.
 +
* Анализ транзакционных данных для выявления паттернов экономического поведения клиентов банка. '''[https://youtu.be/0q5p7xP4cdA?t=15168 Видео]'''.
 +
* Анализ банковских транзакционных данных для выявления видов деятельности компаний.
-
'''Литература:''' [Blei, 2003].
+
== Моделирование локального контекста ==
 +
Презентация: [[Media:Voron23ptm-segm.pdf|(PDF,&nbsp;2,2&nbsp;МБ)]] {{важно|— обновление 06.12.2023}}.
 +
[https://youtu.be/KHamaJ6Zf6o?list=PLk4h7dmY2eYE_JjvexGUS5MSozoxDFovp Видеозапись]
-
===Робастные тематические модели===
+
'''Тематическая сегментация.'''
-
''Робастность'' — устойчивость модели к нарушениям исходных предпосылок, заложенных в основу модели.
+
* Метод TopicTiling. Критерии определения границ сегментов.
 +
* Критерии качества сегментации.
 +
* Оптимизация параметров модели TopicTiling.
-
'''Робастная тематическая модель с фоном и шумом'''
+
'''Тематическое моделирование связного текста'''
-
* Аналитическое решение задачи о стационарной точке функции Лагранжа, формулы M-шага.
+
* Линейная тематизация текста за один проход без матрицы <tex>\Theta</tex>.
-
* Аддитивный и мультипликативный М-шаг.
+
* Локализация E-шага. Сравнение с моделью внимания self-attention.
-
* Оценки тематичности слов.
+
* Двунаправленная тематическая модель контекста.
-
* Эксперименты: робастная модель не нуждается в регуляризации и более устойчива к разреживанию.
+
-
'''Разреженная робастная тематическая модель с шумом'''
+
'''Позиционный регуляризатор в ARTM.'''
-
* Максимизация правдоподобия для упрощённой робастной модели.
+
* Гипотеза о сегментной структуре текста.
-
* Вычисление перплексии для упрощённой робастной модели.
+
* Регуляризация и пост-обработка Е-шага. Формулы М-шага.
 +
* Примеры регуляризаторов Е-шага. Разреживание распределения p(t|d,w). Сглаживание тематики слов по контексту.
-
'''Робастная тематическая модель с усечёнными распределениями'''
+
== Именование и суммаризация тем ==
-
* Явления синонимии, взаимной заменяемости терминов, эффект burstiness.
+
Презентация: [[Media:Voron23ptm-sum.pdf|(PDF,&nbsp;3,0&nbsp;МБ)]] {{важно|— обновление 06.12.2023}}.
-
* Гипотеза об усечённых распределениях терминов тем в документах как ослабление гипотезы условной независимости.
+
[https://youtu.be/nShxhkPbGWY Видеозапись]
-
* Аналитическое решение задачи о стационарной точке функции Лагранжа. Модификация ЕМ-алгоритма.
+
-
'''Задание 1.5'''
+
'''Методы суммаризации текстов.'''
-
Обязательные пункты: 1,2 и любой из остальных.
+
* Задачи автоматической суммаризации текстов. Подходы к суммаризации: extractive и abstractive.
-
# Реализовать генерацию модельных данных с фоном и шумом.
+
* Оценивание и отбор предложений для суммаризации. Релаксационный метод для многокритериальной дискретной оптимизации.
-
# Реализовать робастный алгоритм OEM.
+
* Тематическая модель предложений для суммаризации.
-
# Исследовать зависимость точности робастной модели и точности восстановления от параметров априорной вероятности фона и шума. Что происходит с точностью модели, когда эти параметры «плохо угаданы»?
+
* Критерии качества суммаризации. Метрики ROUGE, BLUE.
-
# Исследовать возможность оптимизации параметров априорной вероятности шума и фона.
+
-
# Исследовать зависимость перплексии и качества поиска от априорной вероятности шума.
+
-
# Исследовать влияние разреживания тематической компоненты робастной модели на перплексию и качество поиска.
+
-
'''Литература:''' [Chemudugunta, 2006].
+
'''Автоматическое именование тем (topic labeling).'''
 +
* Формирование названий-кандидатов.
 +
* Релевантность, покрытие, различность.
 +
* Оценивание качества именования тем.
 +
'''Задача суммаризации темы'''
 +
* Задача ранжирования документов
 +
* Задача фильтрации репрезентативных релевантных фраз.
 +
* Задача генерации связного текста
-
===Синтаксические тематические модели===
+
=Отчетность по курсу=
 +
Условием сдачи курса является выполнение индивидуальных практических заданий.
-
'''Энграммные модели.'''
+
'''Рекомендуемая структура отчёта об исследовании:'''
-
* Задача выделения терминов как ключевых фраз (словосочетаний). Словари терминов.
+
* Постановка задачи: неформальное описание, ДНК (дано–найти–критерий), структура данных
-
* Морфологический анализ текста.
+
* Описание простого решения baseline
-
* Синтаксический анализ текста. Выявление подчинительных связей.
+
* Описание основного решения и его вариантов
-
* Статистические методы поиска коллокаций. Критерий C-Value.
+
* Описание набора данных и методики экспериментов
-
* Совмещённый статистический критерий TF-IDF & CValue.
+
* Результаты экспериментов по подбору гиперпараметров основного решения
-
* Энграммный онлайновый алгоритм на основе синтаксического анализа и фильтрации терминов путём разреживания.
+
* Результаты экспериментов по сравнению основного решения с baseline
-
* Влияние выделения ключевых фраз на качество модели и интерпретируемость тем.
+
* Примеры визуализации модели
 +
* Выводы: что работает, что не работает, инсайты
 +
* Ссылка на код
-
'''Марковские модели синтаксиса.'''
+
'''Примеры отчётов:'''
-
* Коллокации
+
* [[Media:kibitova16ptm.pdf|Валерия Кибитова, 2016]]
-
* Оценивание матрицы переходных вероятностей.
+
* [[Media:filin18ptm.pdf|Максим Филин, 2018]]
 +
* [[Media:ikonnikova18ptm.pdf|Мария Иконникова, 2018]]
-
===Регуляризация для задач классификации===
+
=Литература=
-
* ''Напоминания''. Аддитивная регуляризация тематических моделей.
+
-
'''Простейшие модели.'''
+
# ''Воронцов К. В.'' [[Media:voron17survey-artm.pdf|Вероятностное тематическое моделирование: теория регуляризации ARTM и библиотека с открытым кодом BigARTM]]. 2023.
-
* Примеры классов: годы, авторы, категории, и т.д.
+
# ''Hamed Jelodar, Yongli Wang, Chi Yuan, Xia Feng.'' [https://arxiv.org/ftp/arxiv/papers/1711/1711.04305.pdf Latent Dirichlet Allocation (LDA) and Topic modeling: models, applications, a survey]. 2017.
-
* Моделирование классов темами.
+
# ''Hofmann T.'' Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
-
* Моделирование классов распределениями тем.
+
# ''Blei D. M., Ng A. Y., Jordan M. I.'' Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
-
* Автор-тематическая модель.
+
# ''Asuncion A., Welling M., Smyth P., Teh Y. W.'' On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.
-
* Многоклассовые задачи. Частотный регуляризатор.
+
<!--
 +
# ''Янина А. О., Воронцов К. В.'' [http://jmlda.org/papers/doc/2016/no2/Ianina2016Multimodal.pdf Мультимодальные тематические модели для разведочного поиска в коллективном блоге] // Машинное обучение и анализ данных. 2016. T.2. №2. С.173-186.
 +
# ''Воронцов К.В.'' Тематическое моделирование в BigARTM: теория, алгоритмы, приложения. [[Media:Voron-2015-BigARTM.pdf|Voron-2015-BigARTM.pdf]].
 +
# ''Воронцов К.В.'' Лекции по тематическому моделированию. [[Media:Voron-2013-ptm.pdf|Voron-2013-ptm.pdf]].
-
'''Тематическая модель классификации.'''
+
'''Дополнительная литература'''
-
* Тематическая модель распределения классов документа. Вероятностная интерпретация.
+
-
* Тематическая модель цитирования документов.
+
-
* Тематическая модель цитирования авторов.
+
-
* Тематическая модель категоризации. Ковариационный регуляризатор.
+
-
===Динамические тематические модели===
+
# Воронцов К. В., Потапенко А. А. [http://jmlda.org/papers/doc/2013/no6/Vorontsov2013TopicModeling.pdf Модификации EM-алгоритма для вероятностного тематического моделирования] // Машинное обучение и анализ данных. — 2013. — T. 1, № 6. — С. 657–686.
 +
# Воронцов К. В., Фрей А. И., Ромов П. А., Янина А. О., Суворова М. А., Апишев М. А. [[Media:Voron15damdid.pdf|BigARTM: библиотека с открытым кодом для тематического моделирования больших текстовых коллекций]] // Аналитика и управление данными в областях с интенсивным использованием данных. XVII Международная конференция DAMDID/RCDL’2015, Обнинск, 13-16 октября 2015.
 +
# Маннинг К., Рагхаван П., Шютце Х. Введение в информационный поиск. — Вильямс, 2011.
 +
# Chemudugunta C., Smyth P., Steyvers M. Modeling general and specific aspects of documents with a probabilistic topic model // Advances in Neural Information Processing Systems. — MIT Press, 2006. — Vol. 19. — Pp. 241–248.
 +
# Daud A., Li J., Zhou L., Muhammad F. Knowledge discovery through directed probabilistic topic models: a survey // Frontiers of Computer Science in China.— 2010.— Vol. 4, no. 2. — Pp. 280–301.
 +
# Dempster A. P., Laird N. M., Rubin D. B. Maximum likelihood from incomplete data via the EM algorithm // J. of the Royal Statistical Society, Series B. — 1977. — no. 34. — Pp. 1–38.
 +
# Hoffman M. D., Blei D. M., Bach F. R. Online Learning for Latent Dirichlet Allocation // NIPS, 2010. Pp. 856–864.
 +
# Lu Y., Mei Q., Zhai C. Investigating task performance of probabilistic topic models: an empirical study of PLSA and LDA // Information Retrieval. — 2011. — Vol.14, no.2. — Pp. 178–203.
 +
# Vorontsov K. V., Potapenko A. A. [[Media:Voron14mlj.pdf|Additive Regularization of Topic Models]] // Machine Learning. Special Issue “Data Analysis and Intelligent Optimization with Applications”: Volume 101, Issue 1 (2015), Pp. 303-323. [[Media:Voron14mlj-rus.pdf|Русский перевод]]
 +
# Vorontsov K. V., Frei O. I., Apishev M. A., Romov P. A., Suvorova M. A., Yanina A. O. [[Media:Voron15cikm-tm.pdf|Non-Bayesian Additive Regularization for Multimodal Topic Modeling of Large Collections]] // Proceedings of the 2015 Workshop on Topic Models: Post-Processing and Applications, October 19, 2015, Melbourne, Australia. ACM, New York, NY, USA. pp. 29–37.
 +
# Wallach H., Mimno D., McCallum A. Rethinking LDA: Why priors matter // Advances in Neural Information Processing Systems 22 / Ed. by Y. Bengio, D. Schuurmans, J. Lafferty, C. K. I. Williams, A. Culotta. — 2009. — Pp. 1973–1981.
 +
-->
-
'''Модели с дискретным временем.'''
+
= Ссылки =
-
* Модель с фиксированной тематикой.
+
* [[Тематическое моделирование]]
-
* Модель с медленно меняющейся тематикой.
+
* [[Аддитивная регуляризация тематических моделей]]
 +
* [[Коллекции документов для тематического моделирования]]
 +
* [[BigARTM]]
 +
* [http://www.youtube.com/watch?v=vSzsuq7uHPE Видеозапись лекции на ТМШ, 19 июня 2015]
 +
* ''Воронцов К.В.'' [[Media:voron-2014-task-PTM.pdf|Практическое задание по тематическому моделированию, 2014.]]
-
'''Модели с непрерывным временем.'''
+
'''Материалы для первого ознакомления:'''
 +
* ''[[Media:BigARTM-short-intro.pdf|Тематический анализ больших данных]]''. Краткое популярное введение в BigARTM.
 +
* ''[http://postnauka.ru/video/61910 Разведочный информационный поиск]''. Видеолекция на ПостНауке.
 +
* ''[https://postnauka.ru/faq/86373 Тематическое моделирование]''. FAQ на ПостНауке, совместно с Корпоративным университетом Сбербанка.
 +
* ''[https://www.youtube.com/watch?v=MhNbccnVk5Y Байесовская и классическая регуляризация в вероятностном тематическом моделировании]''. Научно-образовательный семинар «Актуальные проблемы прикладной математики» Новосибирского Государственного Университета, 19 февраля 2021. [[Media:Voron-2021-02-19.pdf|Презентация]].
 +
* ''[https://habrahabr.ru/company/yandex/blog/313340 Тематическое моделирование на пути к разведочному информационному поиску]''. Лекция на DataFest3, 10 сентября 2016. [https://www.youtube.com/watch?v=frLW8UVp_Ik&index=5&list=PLJOzdkh8T5kqfhWXhtYevTUHIvrylDLYu Видеозапись].
-
===Иерархические тематические модели===
+
= Подстраницы =
-
* Задачи категоризации текстов. Стандартный метод решения — сведение к последовательности задач классификации.
+
{{Служебная:Prefixindex/Вероятностные тематические модели (курс лекций, К.В.Воронцов)/}}
-
'''Тематическая модель с фиксированной иерархией.'''
+
[[Категория:Учебные курсы]]
-
* Вероятностная формализация отношения «тема–подтема». Тождества, связывающие распределения тем и подтем
+
-
* Задача построения иерархического тематического профиля документа.
+
-
* Задача построения одного уровня иерархии. Аналитическое решение задачи максимизации правдоподобия, формулы M-шага.
+
-
* Онлайновый иерархический EM-алгоритм.
+
-
* Необходимость частичного обучения для задачи категоризации.
+
-
* Необходимость разреживания для построения иерархического тематического профиля документа.
+
-
'''Сетевые иерархические модели.'''
 
-
* Возможность для темы иметь несколько родительских тем.
 
-
* Дивергенция Кульбака–Лейблера. Свойства KL-дивергенции.
 
-
* Интерпретация KL-дивергенции как степени вложенности распределений. Оценивание силы связей «тема-подтема» KL-дивергенцией.
 
-
* Дополнение тематического дерева до тематической сети.
 
-
'''Иерархические процессы Дирихле.'''
+
<!---------------------------------------------------
-
* Оптимизация числа тем в плоской модели.
+
-
* Создание новых тем в иерархических моделях.
+
-
* Нисходящие и восходящие иерархические модели.
+
-
===Многоязычные тематические модели===
+
'''Модели связного текста.'''
-
* Параллельные тексты.
+
* Контекстная документная кластеризация (CDC).
-
* Сопоставимые тексты.
+
* Метод лексических цепочек.
-
* Регуляризация матрицы переводов слов.
+
-
===Многомодальные тематические модели===
+
'''Инициализация.'''
-
* Коллаборативная фильтрация.
+
* Случайная инициализация. Инициализация по документам.
-
* Модель научной социальной сети.
+
* Контекстная документная кластеризация.
-
* Персонализация рекламы в Интернете.
+
* Поиск якорных слов. Алгоритм Ароры.
-
===Распараллеливание алгоритмов обучения тематических моделей===
+
'''Расширяемые тематические модели.'''
-
* Основы Map-Reduce
+
* Пакетный ЕМ-алгоритм.
-
* Распределённое хранение коллекции.
+
* Обнаружение новых тем в потоке документов. Инициализация новых тем.
 +
* Проблемы агрегирования коллекций. Жанровая и тематическая фильтрация документов.
-
==Литература==
+
== Анализ разнородных данных ==
-
'''Основная литература'''
+
Презентация: [[Media:Voron18ptm-misc.pdf|(PDF,&nbsp;1,6&nbsp;МБ)]] {{важно|— обновление 03.05.2018}}.
-
# Маннинг К., Рагхаван П., Шютце Х. Введение в информационный поиск. — Вильямс, 2011.
+
== Примеры приложений тематического моделирования ==
-
# Daud A., Li J., Zhou L., Muhammad F. Knowledge discovery through directed probabilistic topic models: a survey // Frontiers of Computer Science in China.— 2010.— Vol. 4, no. 2. — Pp. 280–301.
+
Презентация: [[Media:Voron17ptm11.pdf|(PDF,&nbsp;3,3&nbsp;МБ)]] {{важно|— обновление 16.05.2017}}.
-
# Asuncion A., Welling M., Smyth P., Teh Y. W. On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.
+
-
'''Дополнительная литература'''
+
'''Примеры приложений тематического моделирования.'''
-
# Воронцов К. В., Потапенко А. А. Регуляризация, робастность и разреженность вероятностных тематических моделей // Компьютерные исследования и моделирование 2012 Т. 4, №12. С 693–706.
+
* Задача поиска релевантных тем в социальных сетях и новостных потоках.
-
# Vorontsov K. V., Potapenko A. A. Tutorial on Probabilistic Topic Modeling: Additive Regularization for Stochastic Matrix Factorization // AIST'2014, Analysis of Images, Social networks and Texts. — Lecture Notes in Computer Science (LNCS), Springer Verlag-Germany, 2014, Vol. CCIS 439. Pp. 28–45.
+
* Динамическая модель коллекции пресс-релизов.
-
# Vorontsov K. V., Potapenko A. A. Additive Regularization of Topic Models // Machine Learning Journal, Special Issue «Data Analysis and Intelligent Optimization», Springer, 2014.
+
* Разведочный поиск в коллективном блоге.
-
# Blei D. M., Ng A. Y., Jordan M. I. Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
+
* Сценарный анализ записей разговоров контактного центра.
-
# Chemudugunta C., Smyth P., Steyvers M. Modeling general and specific aspects of documents with a probabilistic topic model // Advances in Neural Information Processing Systems. — MIT Press, 2006. — Vol. 19. — Pp. 241–248.
+
* [[Технология информационного анализа электрокардиосигналов|Информационный анализ электрокардиосигналов]] для скрининговой диагностики.
-
# Dempster A. P., Laird N. M., Rubin D. B. Maximum likelihood from incomplete data via the EM algorithm // J. of the Royal Statistical Society, Series B. — 1977. — no. 34. — Pp. 1–38.
+
-
# Hofmann T. Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
+
-
# Hoffman M. D., Blei D. M., Bach F. R. Online Learning for Latent Dirichlet Allocation // NIPS, 2010. Pp. 856–864.
+
-
# Lu Y., Mei Q., Zhai C. Investigating task performance of probabilistic topic models: an empirical study of PLSA and LDA // Information Retrieval. — 2011. — Vol.14, no.2. — Pp. 178–203.
+
-
# Wallach H., Mimno D., McCallum A. Rethinking LDA: Why priors matter // Advances in Neural Information Processing Systems 22 / Ed. by Y. Bengio, D. Schuurmans, J. Lafferty, C. K. I. Williams, A. Culotta. — 2009. — Pp. 1973–1981.
+
-
# Zavitsanos E., Paliouras G., Vouros G. A. Non-parametric estimation of topic hierarchies from texts with hierarchical Dirichlet processes // Journal of Machine Learning Research. — 2011. — Vol. 12. — Pp. 2749–2775.
+
-
== Ссылки ==
+
== Инициализация, траектория регуляризации, тесты адекватности ==
-
* [[Тематическое моделирование]]
+
Презентация: [[Media:Voron-PTM-10.pdf|(PDF,&nbsp;Х,Х&nbsp;МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
-
* Конспект лекций: [[Media:Voron-2013-ptm.pdf|Voron-2013-ptm.pdf, 2.6 МБ]] {{важно|(обновление 16 октября 2013)}}.
+
-
* Презентация доклада на семинаре в [http://www2.viniti.ru ВИНИТИ РАН], 23 апреля 2013. '''[[Media:voron-viniti-23apr2013.pdf|(PDF,&nbsp;2.0&nbsp;МБ)]]'''.
+
-
== См. также ==
+
'''Траектория регуляризации.'''
-
* [[Коллекции документов для тематического моделирования]]
+
* Задача оптимизации трактории в пространстве коэффициентов регуляризации.
 +
* Относительные коэффициенты регуляризации.
 +
* Пространство коэффициентов регуляризации и пространство метрик качества. Регрессионная связь между ними. Инкрементная регрессия.
 +
* Подходы к скаляризации критериев.
 +
* Обучение с подкреплением. Контекстный многорукий бандит. Верхние доверительные границы (UCB).
-
{{Stub}}
+
'''Тесты адекватности.'''
 +
* Статистические тесты условной независимости. Методология проверки статистических гипотез. Критерий согласия хи-квадрат Пирсона.
 +
* Проблема разреженности распределения. Эксперименты, показывающие неадекватность асимптотического распределения статистики хи-квадрат.
 +
* Статистики модифицированного хи-квадрат, Кульбака-Лейблера, Хеллингера.
 +
* Обобщённое семейство статистик Кресси-Рида.
 +
* Эмпирическое оценивание квантилей распределения статистики Кресси-Рида.
 +
* Применения теста условной независимости для поиска плохо смоделированных тем, документов, терминов. Поиск тем для расщепления.
-
[[Категория:Учебные курсы]]
+
== Обзор оценок качества тематических моделей ==
 +
Презентация: [[Media:Voron-PTM-11.pdf|(PDF,&nbsp;Х,Х&nbsp;МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
 +
 
 +
* Внутренние и внешние критерии качества.
 +
* Перплексия и правдоподобие. Интерпретация перплекcии. Перплексия контрольной коллекции. Проблема новых слов в контрольной коллекции. Проблема сравнения моделей с разными словарями. Относительная перплексия.
 +
 
 +
''' Оценивание качества темы.'''
 +
* Лексическое ядро темы: множество типичных терминов темы.
 +
* Чистота и контрастность темы
 +
* Документное ядро темы: множество типичных документов темы.
 +
* Однородность темы: распределение расстояний между p(w|t) и p(w|t,d).
 +
* Конфликтность темы: близость темы к другим темам.
 +
* Интерпретируемость темы: экспертные оценки, метод интрузий, когерентность. Взрыв интерпретируемости в n-граммных моделях.
 +
 
 +
'''Устойчивость и полнота.'''
 +
* Эксперименты по оцениванию устойчивости, интерпретируемости и полноты.
 +
* Построение выпуклых оболочек тем и фильтрация зависимых тем в сериях тематических моделей.
 +
 
 +
'''Критерии качества классификации и ранжирования.'''
 +
* Полнота, точность и F-мера в задачах классификации и ранжирования.
 +
* Критерии качества ранжирования: MAP, DCG, NDCG.
 +
* Оценка качества тематического поиска документов по их длинным фрагментам.
 +
 
 +
* Вывод M-шага для негладкого регуляризатора.
 +
* Тематическая модель текста и изображений. Задача аннотирования изображений.
 +
-->

Текущая версия

Содержание

Спецкурс читается студентам 2—5 курсов на кафедре «Математические методы прогнозирования» ВМиК МГУ с 2013 года и студентам 6 курса на кафедре «Интеллектуальные системы» ФУПМ МФТИ с 2019 года.

В спецкурсе изучается вероятностное тематическое моделирование (topic modeling) коллекций текстовых документов. Тематическая модель определяет, какие темы содержатся в большой текстовой коллекции, и к каким темам относится каждый документ. Тематические модели позволяют искать тексты по смыслу, а не по ключевым словам, и создавать информационно-поисковые системы нового поколения, основанные на парадигме семантического разведочного поиска (exploratory search). Рассматриваются тематические модели для классификации, категоризации, сегментации, суммаризации текстов естественного языка, а также для рекомендательных систем, анализа банковских транзакционных данных, анализа биомедицинских сигналов. В спецкурсе развивается многокритериальный подход к построению моделей с заданными свойствами — аддитивная регуляризация тематических моделей (АРТМ). Он основан на регуляризации некорректно поставленных задач стохастического матричного разложения. Особое внимание уделяется методам лингвистической регуляризации для моделирования связности текста. Предполагается проведение студентами численных экспериментов на модельных и реальных данных с помощью библиотеки тематического моделирования BigARTM.

От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Знание математической статистики, методов оптимизации, машинного обучения, языков программирования Python и С++ желательно, но не обязательно.

Краткая ссылка на эту страницу: bit.ly/2EGWcjA.

Основной материал:

Программа курса

Задача тематического моделирования

Презентация: (PDF, 2,8 МБ) — обновление 21.09.2023. Видеозапись

Цели и задачи тематического моделирования.

Аддитивная регуляризация тематических моделей.

  • Понятие некорректно поставленной задачи по Адамару. Регуляризация.
  • Лемма о максимизации на единичных симплексах. Условия Каруша–Куна–Таккера.
  • Теорема о необходимом условии максимума регуляризованного правдоподобия для ARTM.
  • Классические тематические модели PLSA и LDA как частные случаи ARTM.
  • Мультимодальные тематические модели.

Практика тематического моделирования.

  • Проект с открытым кодом BigARTM.
  • Этапы решения практических задач.
  • Методы предварительной обработки текста.
  • Датасеты и практические задания по курсу.

Проект «Тематизатор»

Презентация: (PDF, 6,2 МБ) — обновление 21.09.2023. Видеозапись

Визуализация тематических моделей

  • Концепция distant reading.
  • Карты знаний, иерархии, взаимосвязи, динамика, сегментация.
  • Спектр тем.
  • Визуализация матричного разложения.

Примеры прикладных задач

  • Поиск этно-релевантных тем в социальных сетях.
  • Анализ программ развития российских вузов.
  • Поиск и рубрикация научных статей на 100 языках.
  • Проекты Школы Прикладного Анализа Данных.

Анализ требований к «Тематизатору»

  • Функциональные требования.
  • Требования к интерпретируемости.
  • Основной пользовательский сценарий: Загрузка, Предобработка, Моделирование, Визуализация, Коррекция.
  • Этапизация работ.

Онлайновый ЕМ-алгоритм и регуляризаторы

Презентация: (PDF, 1,3 МБ) — обновление 21.09.2023. Видеозапись 2022 г. Дополнение: Видеозапись 2023 г.

Онлайновый ЕМ-алгоритм.

  • Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
  • Оффлайновый регуляризованный EM-алгоритм.
  • Онлайновый пакетный мультимодальный регуляризованный EM-алгоритм. Распараллеливание.
  • Как подбирать коэффициенты регуляризации.
  • Относительные коэффициенты регуляризации.
  • Библиотеки BigARTM и TopicNet.

Часто используемые регуляризаторы.

  • Сглаживание и разреживание.
  • Частичное обучение.
  • Декоррелирование тем.

Проблема определения числа тем.

  • Разреживающий регуляризатор для отбора тем.
  • Эксперименты на синтетических и реальных данных.
  • Сравнение с байесовской моделью HDP (Hierarchical Dirichlet Process).
  • Эффект отбрасывания малых, дублирующих и линейно зависимых тем.

Разведочный информационный поиск

Презентация: (PDF, 2,5 МБ) — обновление 06.12.2023. Видеозапись

Разведочный информационный поиск.

  • Концепция разведочного поиска.
  • Особенности разведочного поиска.
  • Поисково-рекомендательная система SciSarch.AI

Иерархические тематические модели.

  • Иерархии тем. Послойное построение иерархии.
  • Регуляризаторы для разделения тем на подтемы.
  • Псевдодокументы родительских тем.
  • Модальность родительских тем.

Эксперименты с тематическим поиском.

  • Методика измерения качества поиска.
  • Тематическая модель для документного поиска.
  • Оптимизация гиперпараметров.

Оценивание качества тематических моделей

Презентация: (PDF, 1,3 МБ) — обновление 06.12.2023. Видеозапись

Измерение качества тематических моделей.

  • Правдоподобие и перплексия.
  • Интерпретируемость и когерентность. Внутритекстовая когерентность.
  • Разреженность и различность.

Эксперименты с регуляризацией.

  • Регуляризаторы сглаживания, разреживания, декоррелирования и отбора тем.
  • Комбинирование регуляризаторов, эмпирические рекомендации.
  • Задача планирования экспериментов для подбора гиперпараметров.

Проверка гипотезы условной независимости.

  • Статистики на основе KL-дивергенции и их обобщения.
  • Регуляризатор семантической однородности.
  • Применение статистических тестов условной независимости.

BigARTM и базовые инструменты

Мурат Апишев. Презентация: (zip, 0,6 МБ) — обновление 17.02.2017. Видеозапись

Предварительная обработка текстов

  • Парсинг «сырых» данных.
  • Токенизация, стемминг и лемматизация.
  • Выделение энграмм.
  • Законы Ципфа и Хипса. Фильтрация словаря коллекции. Удаление стоп-слов.

Библиотека BigARTM

  • Методологические рекоммендации по проведению экспериментов.
  • Установка BigARTM.
  • Формат и импорт входных данных.
  • Обучение простой модели (без регуляризации): создание, инициализация, настройка и оценивание модели.
  • Инструмент визуализации тематических моделей VisARTM. Основные возможности, демонстрация работы.

Дополнительный материал:

  • Презентация: (PDF, 1,5 МБ) — обновление 17.03.2017.
  • Видео — обновление 22.03.2017.
  • Воркшоп по BigARTM на DataFest'4. Видео.

Теория ЕМ-алгоритма

Презентация: (PDF, 1,3 МБ) — обновление 06.12.2023. Видеозапись

Классические модели PLSA, LDA.

  • Модель PLSA.
  • Модель LDA. Распределение Дирихле и его свойства.
  • Максимизация апостериорной вероятности для модели LDA.

Общий EM-алгоритм.

  • EM-алгоритм для максимизации неполного правдоподобия.
  • Регуляризованный EM-алгоритм. Сходимость в слабом смысле.
  • Альтернативный вывод формул ARTM.

Эксперименты с моделями PLSA, LDA.

  • Проблема неустойчивости (на синтетических данных).
  • Проблема неустойчивости (на реальных данных).
  • Проблема переобучения и робастные модели.

Байесовское обучение модели LDA

Презентация: (PDF, 1,5 МБ) — обновление 06.12.2023. Видеозапись

Вариационный байесовский вывод.

Сэмплирование Гиббса.

Замечания о байесовском подходе.

  • Оптимизация гиперпараметров в LDA.
  • Графическая нотация (plate notation). Stop using plate notation.
  • Сравнение байесовского подхода и ARTM.
  • Как читать статьи по баейсовским моделям и строить эквивалентные ARTM-модели.

Тематические модели сочетаемости слов

Презентация: (PDF, 1,7 МБ) — обновление 06.12.2023. Видеозапись

Мультиграммные модели.

  • Модель BigramTM.
  • Модель Topical N-grams (TNG).
  • Мультимодальная мультиграммная модель.

Автоматическое выделение терминов.

  • Алгоритм TopMine для быстрого поиска частых фраз. Критерии выделения коллокаций.
  • Синтаксический разбор. Нейросетевые синтаксические анализаторы SyntaxNet, UDpipe.
  • Критерии тематичности фраз.
  • Комбинирование синтаксической, статистической и тематической фильтрации фраз.

Тематические модели дистрибутивной семантики.

  • Дистрибутивная гипотеза. Модели CBOW и SGNS в программе word2vec.
  • Модель битермов BTM (Biterm Topic Model) для тематизации коллекций коротких текстов.
  • Модели WNTM (Word Network Topic Model) и WTM (Word Topic Model). Связь с моделью word2vec.
  • Регуляризаторы когерентности.

Дополнительный материал:

  • Потапенко А. А. Векторные представления слов и документов. DataFest'4. Видео.

Анализ зависимостей

Презентация: (PDF, 1,7 МБ) — обновление 06.12.2023. Видеозапись

Зависимости, корреляции, связи.

  • Тематические модели классификации и регрессии.
  • Модель коррелированных тем CTM (Correlated Topic Model).
  • Регуляризаторы гиперссылок и цитирования. Выявление тематических влияний в научных публикациях.

Время и пространство.

  • Регуляризаторы времени.
  • Обнаружение и отслеживание тем.
  • Гео-пространственные модели.

Социальные сети.

  • Сфокусированный поиск в социальных медиа (пример: поиск этно-релевантного контента).
  • Выявление тематических сообществ. Регуляризаторы для направленных и ненаправленных связей.
  • Регуляризаторы для выявления социальных ролей пользователей.

Мультимодальные тематические модели

Презентация: (PDF, 2,7 МБ) — обновление 06.12.2023. Видеозапись

Мультиязычные тематические модели.

  • Параллельные и сравнимые коллекции.
  • Регуляризаторы для учёта двуязычных словарей.
  • Кросс-язычный информационный поиск.

Трёхматричные модели.

  • Модели трёхматричных разложений. Понятие порождающей модальности.
  • Автор-тематическая модель (author-topic model).
  • Модель для выделения поведений объектов в видеопотоке.

Тематические модели транзакционных данных.

  • Примеры транзакционных данных в рекомендательных системах, социальных и рекламных сетях.
  • Гиперграфовая модель ARTM. Теорема о необходимом условии максимума регуляризованного правдоподобия.
  • Транзакционные данные в рекомендательных системах. Симметризованная гиперграфовая модель ARTM.
  • Тематическая модель предложений и модель коротких сообщений Twitter-LDA.
  • Анализ транзакционных данных для выявления паттернов экономического поведения клиентов банка. Видео.
  • Анализ банковских транзакционных данных для выявления видов деятельности компаний.

Моделирование локального контекста

Презентация: (PDF, 2,2 МБ) — обновление 06.12.2023. Видеозапись

Тематическая сегментация.

  • Метод TopicTiling. Критерии определения границ сегментов.
  • Критерии качества сегментации.
  • Оптимизация параметров модели TopicTiling.

Тематическое моделирование связного текста

  • Линейная тематизация текста за один проход без матрицы \Theta.
  • Локализация E-шага. Сравнение с моделью внимания self-attention.
  • Двунаправленная тематическая модель контекста.

Позиционный регуляризатор в ARTM.

  • Гипотеза о сегментной структуре текста.
  • Регуляризация и пост-обработка Е-шага. Формулы М-шага.
  • Примеры регуляризаторов Е-шага. Разреживание распределения p(t|d,w). Сглаживание тематики слов по контексту.

Именование и суммаризация тем

Презентация: (PDF, 3,0 МБ) — обновление 06.12.2023. Видеозапись

Методы суммаризации текстов.

  • Задачи автоматической суммаризации текстов. Подходы к суммаризации: extractive и abstractive.
  • Оценивание и отбор предложений для суммаризации. Релаксационный метод для многокритериальной дискретной оптимизации.
  • Тематическая модель предложений для суммаризации.
  • Критерии качества суммаризации. Метрики ROUGE, BLUE.

Автоматическое именование тем (topic labeling).

  • Формирование названий-кандидатов.
  • Релевантность, покрытие, различность.
  • Оценивание качества именования тем.

Задача суммаризации темы

  • Задача ранжирования документов
  • Задача фильтрации репрезентативных релевантных фраз.
  • Задача генерации связного текста

Отчетность по курсу

Условием сдачи курса является выполнение индивидуальных практических заданий.

Рекомендуемая структура отчёта об исследовании:

  • Постановка задачи: неформальное описание, ДНК (дано–найти–критерий), структура данных
  • Описание простого решения baseline
  • Описание основного решения и его вариантов
  • Описание набора данных и методики экспериментов
  • Результаты экспериментов по подбору гиперпараметров основного решения
  • Результаты экспериментов по сравнению основного решения с baseline
  • Примеры визуализации модели
  • Выводы: что работает, что не работает, инсайты
  • Ссылка на код

Примеры отчётов:

Литература

  1. Воронцов К. В. Вероятностное тематическое моделирование: теория регуляризации ARTM и библиотека с открытым кодом BigARTM. 2023.
  2. Hamed Jelodar, Yongli Wang, Chi Yuan, Xia Feng. Latent Dirichlet Allocation (LDA) and Topic modeling: models, applications, a survey. 2017.
  3. Hofmann T. Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
  4. Blei D. M., Ng A. Y., Jordan M. I. Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
  5. Asuncion A., Welling M., Smyth P., Teh Y. W. On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.

Ссылки

Материалы для первого ознакомления:

Подстраницы

Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2015Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2016Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2017
Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2018Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2019, ВМКВероятностные тематические модели (курс лекций, К.В.Воронцов)/2020
Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2021
Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%92%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%BD%D1%8B%D0%B5_%D1%82%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%2C_%D0%9A.%D0%92.%D0%92%D0%BE%D1%80%D0%BE%D0%BD%D1%86%D0%BE%D0%B2%29»
Личные инструменты