Вероятностные тематические модели (курс лекций, К.В.Воронцов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
м
м (оформление)
Строка 11: Строка 11:
* Файл с описанием заданий: [[Media:voron-2016-task-PTM.pdf|voron-2016-task-PTM.pdf]]
* Файл с описанием заданий: [[Media:voron-2016-task-PTM.pdf|voron-2016-task-PTM.pdf]]
-
=== Введение ===
+
== Введение ==
Презентация: [[Media:Voron-PTM-1.pdf|(PDF, 0,6 МБ)]] {{важно|— обновление 27.02.2016}}.
Презентация: [[Media:Voron-PTM-1.pdf|(PDF, 0,6 МБ)]] {{важно|— обновление 27.02.2016}}.
* Понятие «темы», цели и задачи тематического моделирования. Основные предположения. Гипотеза «мешка слов». Методы предварительной обработки текстов.
* Понятие «темы», цели и задачи тематического моделирования. Основные предположения. Гипотеза «мешка слов». Методы предварительной обработки текстов.
Строка 22: Строка 22:
* Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
* Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).
-
=== Обзор задач и моделей ===
+
== Обзор задач и моделей ==
Презентация: [[Media:Voron-PTM-2.pdf|(PDF, 8,3 МБ)]] {{важно|— обновление 27.02.2016}}.
Презентация: [[Media:Voron-PTM-2.pdf|(PDF, 8,3 МБ)]] {{важно|— обновление 27.02.2016}}.
* Разновидности тематических моделей.
* Разновидности тематических моделей.
Строка 33: Строка 33:
* Открытые проблемы и направления исследований.
* Открытые проблемы и направления исследований.
-
=== Латентное размещение Дирихле ===
+
== Латентное размещение Дирихле ==
Презентация: [[Media:Voron-PTM-3.pdf|(PDF, 1,9 МБ)]] {{важно|— обновление 04.03.2016}}.
Презентация: [[Media:Voron-PTM-3.pdf|(PDF, 1,9 МБ)]] {{важно|— обновление 04.03.2016}}.
* Задача тематического моделирования как некорректно поставленная задача стохастического матричного разложения.
* Задача тематического моделирования как некорректно поставленная задача стохастического матричного разложения.
Строка 46: Строка 46:
* Эксперименты по неустойчивости LDA на текстовых коллекциях социальных сетей.
* Эксперименты по неустойчивости LDA на текстовых коллекциях социальных сетей.
-
=== Аддитивная регуляризация тематических моделей ===
+
== Аддитивная регуляризация тематических моделей ==
Презентация: [[Media:Voron-PTM-4.pdf|(PDF, 1,7 МБ)]] {{важно|— обновление 11.03.2016}}.
Презентация: [[Media:Voron-PTM-4.pdf|(PDF, 1,7 МБ)]] {{важно|— обновление 11.03.2016}}.
* [[Аддитивная регуляризация тематических моделей]]. Линейные композиции регуляризаторов.
* [[Аддитивная регуляризация тематических моделей]]. Линейные композиции регуляризаторов.
Строка 59: Строка 59:
* ''Потапенко А. А.'' [[Media:potapenko13online.pdf|Отчет по серии экспериментов с онлайновым алгоритмом]]. 2013.
* ''Потапенко А. А.'' [[Media:potapenko13online.pdf|Отчет по серии экспериментов с онлайновым алгоритмом]]. 2013.
-
=== Регуляризаторы I ===
+
== Регуляризаторы I ==
Презентация: [[Media:Voron-PTM-5.pdf|(PDF, Х,Х МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
Презентация: [[Media:Voron-PTM-5.pdf|(PDF, Х,Х МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
* Регуляризаторы сглаживания и разреживания. Частичное обучение как разновидность сглаживания.
* Регуляризаторы сглаживания и разреживания. Частичное обучение как разновидность сглаживания.
Строка 69: Строка 69:
* Комбинирование регуляризаторов для решения практических задач в BigARTM.
* Комбинирование регуляризаторов для решения практических задач в BigARTM.
-
=== Байесовские тематические модели ===
+
== Байесовские тематические модели ==
* EM-алгоритм.
* EM-алгоритм.
* Вариационный байесовский вывод.
* Вариационный байесовский вывод.
Строка 75: Строка 75:
* Как читать статьи по баейсовским моделям и строить эквивалентные ARTM-модели.
* Как читать статьи по баейсовским моделям и строить эквивалентные ARTM-модели.
-
=== Регуляризаторы II ===
+
== Регуляризаторы II ==
Презентация: [[Media:Voron-PTM-6.pdf|(PDF, Х,Х МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
Презентация: [[Media:Voron-PTM-6.pdf|(PDF, Х,Х МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
* Регуляризаторы для регрессии и классификации на текстах.
* Регуляризаторы для регрессии и классификации на текстах.
Строка 85: Строка 85:
* Регуляризаторы для анализа социальных сетей и выделения тематических сообществ.
* Регуляризаторы для анализа социальных сетей и выделения тематических сообществ.
-
=== Мультимодальные тематические модели ===
+
== Мультимодальные тематические модели ==
Презентация: [[Media:Voron-PTM-7.pdf|(PDF, Х,Х МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
Презентация: [[Media:Voron-PTM-7.pdf|(PDF, Х,Х МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
* Тематическая модель классификации. Пример: [[Технология информационного анализа электрокардиосигналов]].
* Тематическая модель классификации. Пример: [[Технология информационного анализа электрокардиосигналов]].
Строка 98: Строка 98:
* Теорема о необходимом условии максимума регуляризованного правдоподобия для гиперграфовой ARTM.
* Теорема о необходимом условии максимума регуляризованного правдоподобия для гиперграфовой ARTM.
-
=== Лингвистические тематические модели ===
+
== Лингвистические тематические модели ==
Презентация: [[Media:Voron-PTM-8.pdf|(PDF, Х,Х МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
Презентация: [[Media:Voron-PTM-8.pdf|(PDF, Х,Х МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
* Мультиграммные модели. Биграммная тематическая модель.
* Мультиграммные модели. Биграммная тематическая модель.
Строка 113: Строка 113:
* Эксперименты с гибридной моделью W2V-TM.
* Эксперименты с гибридной моделью W2V-TM.
-
=== Сегментация, аннотирование, суммаризация, именование тем ===
+
== Сегментация, аннотирование, суммаризация, именование тем ==
Презентация: [[Media:Voron-PTM-9.pdf|(PDF, Х,Х МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
Презентация: [[Media:Voron-PTM-9.pdf|(PDF, Х,Х МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
* Позиционный регуляризатор в ARTM, вывод формул М-шага. Пост-обработка Е-шага. Разреживание распределения p(t|d,w).
* Позиционный регуляризатор в ARTM, вывод формул М-шага. Пост-обработка Е-шага. Разреживание распределения p(t|d,w).
Строка 123: Строка 123:
* Автоматическое именование темы (topic labeling).
* Автоматическое именование темы (topic labeling).
-
=== Инициализация, траектории регуляризации, адекватность модели ===
+
== Инициализация, траектории регуляризации, адекватность модели ==
Презентация: [[Media:Voron-PTM-10.pdf|(PDF, Х,Х МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
Презентация: [[Media:Voron-PTM-10.pdf|(PDF, Х,Х МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
Строка 144: Строка 144:
* Применения теста условной независимости для поиска плохо смоделированных тем, документов, терминов. Поиск тем для расщепления.
* Применения теста условной независимости для поиска плохо смоделированных тем, документов, терминов. Поиск тем для расщепления.
-
=== Обзор оценок качества тематических моделей ===
+
== Обзор оценок качества тематических моделей ==
Презентация: [[Media:Voron-PTM-11.pdf|(PDF, Х,Х МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
Презентация: [[Media:Voron-PTM-11.pdf|(PDF, Х,Х МБ)]] {{важно|— обновление ХХ.ХХ.2016}}.
* Внутренние и внешние критерии качества.
* Внутренние и внешние критерии качества.
Строка 171: Строка 171:
-
===Литература===
+
==Литература==
'''Основная литература'''
'''Основная литература'''
Строка 195: Строка 195:
# Wallach H., Mimno D., McCallum A. Rethinking LDA: Why priors matter // Advances in Neural Information Processing Systems 22 / Ed. by Y. Bengio, D. Schuurmans, J. Lafferty, C. K. I. Williams, A. Culotta. — 2009. — Pp. 1973–1981.
# Wallach H., Mimno D., McCallum A. Rethinking LDA: Why priors matter // Advances in Neural Information Processing Systems 22 / Ed. by Y. Bengio, D. Schuurmans, J. Lafferty, C. K. I. Williams, A. Culotta. — 2009. — Pp. 1973–1981.
-
=== Ссылки ===
+
== Ссылки ==
* [[Тематическое моделирование]]
* [[Тематическое моделирование]]
* [[Аддитивная регуляризация тематических моделей]]
* [[Аддитивная регуляризация тематических моделей]]
Строка 202: Строка 202:
* [http://www.youtube.com/watch?v=vSzsuq7uHPE Видеозапись лекции на ТМШ, 19 июня 2015]
* [http://www.youtube.com/watch?v=vSzsuq7uHPE Видеозапись лекции на ТМШ, 19 июня 2015]
-
=== Подстраницы ===
+
== Подстраницы ==
{{Служебная:Prefixindex/Вероятностные тематические модели (курс лекций, К.В.Воронцов)/}}
{{Служебная:Prefixindex/Вероятностные тематические модели (курс лекций, К.В.Воронцов)/}}
[[Категория:Учебные курсы]]
[[Категория:Учебные курсы]]

Версия 12:55, 12 марта 2016

Содержание

Спецкурс читается студентам 2—5 курсов на кафедре «Математические методы прогнозирования» ВМиК МГУ с 2013 года.

В спецкурсе изучается вероятностное тематическое моделирование (topic modeling) коллекций текстовых документов. Развивается многокритериальный подход к решению некорректно поставленной задачи стохастического матричного разложения — аддитивная регуляризация тематических моделей. Рассматриваются свойства интерпретируемости, устойчивости и полноты тематических моделей, а также способы их измерения. Рассматриваются прикладные задачи классификации и категоризации текстов, информационного поиска, персонализации и рекомендательных систем. Рассматриваются задачи анализа и классификации символьных последовательностей неязыковой природы, в частности, аминокислотных и нуклеотидных последовательностей, дискретизированных биомедицинских сигналов. Предполагается проведение студентами численных экспериментов на модельных и реальных данных.

От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей. Знание математической статистики, методов оптимизации, машинного обучения, языков программирования Python и С++ желательно, но не обязательно.

Условием сдачи спецкурса является выполнение индивидуальных практических заданий.

Введение

Презентация: (PDF, 0,6 МБ) — обновление 27.02.2016.

  • Понятие «темы», цели и задачи тематического моделирования. Основные предположения. Гипотеза «мешка слов». Методы предварительной обработки текстов.
  • Вероятностное пространство. Тема как латентная (ненаблюдаемая) переменная. Гипотеза условной независимости. Порождающая модель документа как вероятностной смеси тем.
  • Постановка обратной задачи восстановления параметров модели по данным.
  • Вероятностный латентный семантический анализ (PLSA).
  • Принцип максимума правдоподобия, Условия Каруша–Куна–Таккера. Униграммные модели коллекции и документа.
  • Теорема о необходимых условиях максимума правдоподобия для модели PLSA.
  • ЕМ-алгоритм и его элементарная интерпретация. Формула Байеса и частотные оценки условных вероятностей.
  • Рациональный ЕМ-алгоритм (встраивание Е-шага внутрь М-шага).

Обзор задач и моделей

Презентация: (PDF, 8,3 МБ) — обновление 27.02.2016.

  • Разновидности тематических моделей.
  • Средства визуализации тематических моделей.
  • Разведочный информационный поиск и требования к тематическим моделям.
  • Задача поиска релевантных тем в социальных сетях.
  • Применение тематического моделирования для информационного анализа электрокардиосигналов.
  • Динамическая модель коллекции пресс-релизов.
  • Проект BigARTM.
  • Открытые проблемы и направления исследований.

Латентное размещение Дирихле

Презентация: (PDF, 1,9 МБ) — обновление 04.03.2016.

  • Задача тематического моделирования как некорректно поставленная задача стохастического матричного разложения.
  • Латентное размещение Дирихле (LDA). Некоторые свойства распределения Дирихле.
  • Теорема о необходимом условии максимума апостериорной вероятности для LDA.
  • Сравнение EM-алгоритма для LDA и PLSA.
  • Алгоритм сэмплирования Гиббса.
  • Модель SWB с фоном и шумом. Робастная тематическая модель.
  • Модель LDA не снижает переобучение, а лишь точнее описывает вероятности редких слов.
  • Способы измерения расстояния между дискретными распределениями. Дивергенция Кульбака-Лейблера.
  • Эксперименты на синтетических данных: демонстрация неустойчивости PLSA и LDA.
  • Эксперименты по неустойчивости LDA на текстовых коллекциях социальных сетей.

Аддитивная регуляризация тематических моделей

Презентация: (PDF, 1,7 МБ) — обновление 11.03.2016.

  • Аддитивная регуляризация тематических моделей. Линейные композиции регуляризаторов.
  • Теорема о необходимом условии максимума регуляризованного правдоподобия для ARTM.
  • Мультимодальная ARTM. Виды модальностей и примеры прикладных задач.
  • Теорема о необходимом условии максимума регуляризованного правдоподобия для мультимодальной ARTM.
  • Оффлайновый регуляризованный EM-алгоритм.
  • Онлайновый регуляризованный EM-алгоритм. Разделение коллекции на пакеты документов.
  • Обзор возможностей библиотеки BigARTM. Установка, подготовка данных, создание модели, оценивание модели.

Литература:

Регуляризаторы I

Презентация: (PDF, Х,Х МБ) — обновление ХХ.ХХ.2016.

  • Регуляризаторы сглаживания и разреживания. Частичное обучение как разновидность сглаживания.
  • Разделение тем на предметные и фоновые. Автоматическое выделение стоп-слов.
  • Регуляризатор декоррелирования тем.
  • Регуляризатор отбора тем. Эффект отбрасывания малых, дублирующих и линейно зависимых тем. Сравнение с байесовской моделью HDP (Hierarchical Dirichlet Process).
  • Критерии качества тематических моделей: перплексия, когерентность, чистота и контрастность тем. Эксперименты с композициями разреживания, сглаживания, декоррелирования и отбора тем.
  • Использование регуляризаторов и измерителей в BigARTM.
  • Комбинирование регуляризаторов для решения практических задач в BigARTM.

Байесовские тематические модели

  • EM-алгоритм.
  • Вариационный байесовский вывод.
  • Семплирование Гиббса.
  • Как читать статьи по баейсовским моделям и строить эквивалентные ARTM-модели.

Регуляризаторы II

Презентация: (PDF, Х,Х МБ) — обновление ХХ.ХХ.2016.

  • Регуляризаторы для регрессии и классификации на текстах.
  • Регуляризатор CTM (Correlated Topic Model).
  • Регуляризатор для учёта гиперссылок и цитирования. Выявление тематических влияний в научных публикациях.
  • Регуляризаторы времени для темпоральных тематических моделей. Разреживание тем в каждый момент времени. Сглаживание темы как временного ряда. Эксперименты на коллекции пресс-релизов.
  • Вывод M-шага для негладкого регуляризатора.
  • Регуляризаторы геолокации для пространственных тематических моделей.
  • Регуляризаторы для анализа социальных сетей и выделения тематических сообществ.

Мультимодальные тематические модели

Презентация: (PDF, Х,Х МБ) — обновление ХХ.ХХ.2016.

  • Тематическая модель классификации. Пример: Технология информационного анализа электрокардиосигналов.
  • Мультиязычные тематические модели. Параллельные и сравнимые коллекции. Регуляризаторы для учёта двуязычных словарей.
  • Мультиграммные модели. Биграммы и битермы.
  • Модели трёхматричных разложений. Понятие порождающей модальности.
  • Автор-тематическая модель (author-topic model).
  • Иерархические модели. Оценивание качества тематических иерархий.
  • Тематическая модель текста и изображений. Задача аннотирования изображений.
  • Модель для выделения поведений объектов в видеопотоке.
  • Гиперграфовая модель. Примеры транзакционных данных в рекомендательных системах, социальных и рекламных сетях.
  • Теорема о необходимом условии максимума регуляризованного правдоподобия для гиперграфовой ARTM.

Лингвистические тематические модели

Презентация: (PDF, Х,Х МБ) — обновление ХХ.ХХ.2016.

  • Мультиграммные модели. Биграммная тематическая модель.
  • Автоматическое извлечение терминов. Задача редукции словаря (vocabulary reduction). Словарные лингвистические ресурсы.
  • Синтаксическая, статистическая и тематическая фильтрация фраз.
  • Морфологический и микро-синтаксический анализ текста для первичной фильтрации фраз.
  • Статистическая фильтрация фраз. Критерий коллокации CValue. Совмещение критериев TF-IDF и CValue.
  • Тематическая фильтрация фраз.
  • Методы оценивания качества фильтрации.
  • Когерентность как мера интерпретируемости униграммных моделей. Регуляризатор когерентности.
  • Векторная модель word2vec и её интерпретация как латентной модели с матричным разложением.
  • Гибрид тематической модели и векторной модели word2vec.
  • Связь word2vec с регуляризатором когерентности.
  • Эксперименты с гибридной моделью W2V-TM.

Сегментация, аннотирование, суммаризация, именование тем

Презентация: (PDF, Х,Х МБ) — обновление ХХ.ХХ.2016.

  • Позиционный регуляризатор в ARTM, вывод формул М-шага. Пост-обработка Е-шага. Разреживание распределения p(t|d,w).
  • Интерпретация текста как пучка временных рядов. Задача разладки. Алгоритмы K-сегментации.
  • Тематические модели сегментации (segmentation topic model).
  • Тематические модели предложений (sentence topic model).
  • Аннотирование документа. Выделение тематичных слов и фраз (предложений). Оценка ценности фразы.
  • Суммаризация темы. Кластеризация и ранжирование тематичных фраз.
  • Автоматическое именование темы (topic labeling).

Инициализация, траектории регуляризации, адекватность модели

Презентация: (PDF, Х,Х МБ) — обновление ХХ.ХХ.2016.

Инициализация.

  • Случайная инициализация. Инициализация по документам.
  • Контекстная документная кластеризация.
  • Поиск якорных слов. Алгоритм Ароры.

Траектория регуляризации.

  • Задача оптимизации трактории в пространстве коэффициентов регуляризации.
  • Относительные коэффициенты регуляризации.
  • Пространство коэффициентов регуляризации и пространство метрик качества. Регрессионная связь между ними. Инкрементная регрессия.
  • Подходы к скаляризации критериев.
  • Обучение с подкреплением. Контекстный многорукий бандит. Верхние доверительные границы (UCB).

Тесты адекватности.

  • Статистические тесты условной независимости. Методология проверки статистических гипотез. Критерий согласия хи-квадрат Пирсона.
  • Проблема разреженности распределения. Эксперименты, показывающие неадекватность асимптотического распределения статистики хи-квадрат.
  • Статистики модифицированного хи-квадрат, Кульбака-Лейблера, Хеллингера.
  • Обобщённое семейство статистик Кресси-Рида.
  • Эмпирическое оценивание квантилей распределения статистики Кресси-Рида.
  • Применения теста условной независимости для поиска плохо смоделированных тем, документов, терминов. Поиск тем для расщепления.

Обзор оценок качества тематических моделей

Презентация: (PDF, Х,Х МБ) — обновление ХХ.ХХ.2016.

  • Внутренние и внешние критерии качества.
  • Перплексия и правдоподобие. Интерпретация перплекcии. Перплексия контрольной коллекции. Проблема новых слов в контрольной коллекции. Проблема сравнения моделей с разными словарями. Относительная перплексия.

Оценивание качества темы.

  • Лексическое ядро темы: множество типичных терминов темы.
  • Чистота и контрастность темы
  • Документное ядро темы: множество типичных документов темы.
  • Однородность темы: распределение расстояний между p(w|t) и p(w|t,d).
  • Конфликтность темы: близость темы к другим темам.

Оценивание интерпретируемости тем.

  • Экспертное оценивание интерпретируемости. Асессорская разметка терминов и документов, релевантных теме.
  • Метод интрузий.
  • Радикальное улучшение интерпретируемости в n-граммных тематических моделях.

Устойчивость и полнота.

  • Эксперименты по оцениванию устойчивости, интерпретируемости и полноты.
  • Построение выпуклых оболочек тем и фильтрация зависимых тем в сериях тематических моделей.

Когерентность.

  • Определение когерентности.
  • Эксперименты, показывающие связь когерентности и интерпретируемости.
  • Способы оценивания совместной встречаемости слов.

Критерии качества классификации и ранжирования.

  • Полнота, точность и F-мера в задачах классификации и ранжирования.
  • Критерии качества ранжирования: MAP, DCG, NDCG.
  • Оценка качества тематического поиска документов по их длинным фрагментам.


Литература

Основная литература

  1. Воронцов К.В. Тематическое моделирование в BigARTM: теория, алгоритмы, приложения. Voron-2015-BigARTM.pdf.
  2. Воронцов К.В. Лекции по тематическому моделированию. Voron-2013-ptm.pdf.
  3. Vorontsov K. V., Potapenko A. A. Additive Regularization of Topic Models // Machine Learning. Special Issue “Data Analysis and Intelligent Optimization with Applications”: Volume 101, Issue 1 (2015), Pp. 303-323. Русский перевод

Дополнительная литература

  1. Воронцов К. В., Потапенко А. А. Модификации EM-алгоритма для вероятностного тематического моделирования // Машинное обучение и анализ данных. — 2013. — T. 1, № 6. — С. 657–686.
  2. Воронцов К. В., Фрей А. И., Ромов П. А., Янина А. О., Суворова М. А., Апишев М. А. BigARTM: библиотека с открытым кодом для тематического моделирования больших текстовых коллекций // Аналитика и управление данными в областях с интенсивным использованием данных. XVII Международная конференция DAMDID/RCDL’2015, Обнинск, 13-16 октября 2015.
  3. Маннинг К., Рагхаван П., Шютце Х. Введение в информационный поиск. — Вильямс, 2011.
  4. Asuncion A., Welling M., Smyth P., Teh Y. W. On smoothing and inference for topic models // Proceedings of the International Conference on Uncertainty in Artificial Intelligence. — 2009.
  5. Blei D. M., Ng A. Y., Jordan M. I. Latent Dirichlet allocation // Journal of Machine Learning Research. — 2003. — Vol. 3. — Pp. 993–1022.
  6. Chemudugunta C., Smyth P., Steyvers M. Modeling general and specific aspects of documents with a probabilistic topic model // Advances in Neural Information Processing Systems. — MIT Press, 2006. — Vol. 19. — Pp. 241–248.
  7. Daud A., Li J., Zhou L., Muhammad F. Knowledge discovery through directed probabilistic topic models: a survey // Frontiers of Computer Science in China.— 2010.— Vol. 4, no. 2. — Pp. 280–301.
  8. Dempster A. P., Laird N. M., Rubin D. B. Maximum likelihood from incomplete data via the EM algorithm // J. of the Royal Statistical Society, Series B. — 1977. — no. 34. — Pp. 1–38.
  9. Hofmann T. Probabilistic latent semantic indexing // Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. — New York, NY, USA: ACM, 1999. — Pp. 50–57.
  10. Hoffman M. D., Blei D. M., Bach F. R. Online Learning for Latent Dirichlet Allocation // NIPS, 2010. Pp. 856–864.
  11. Lu Y., Mei Q., Zhai C. Investigating task performance of probabilistic topic models: an empirical study of PLSA and LDA // Information Retrieval. — 2011. — Vol.14, no.2. — Pp. 178–203.
  12. Vorontsov K. V., Frei O. I., Apishev M. A., Romov P. A., Suvorova M. A., Yanina A. O. Non-Bayesian Additive Regularization for Multimodal Topic Modeling of Large Collections // Proceedings of the 2015 Workshop on Topic Models: Post-Processing and Applications, October 19, 2015, Melbourne, Australia. ACM, New York, NY, USA. pp. 29–37.
  13. Wallach H., Mimno D., McCallum A. Rethinking LDA: Why priors matter // Advances in Neural Information Processing Systems 22 / Ed. by Y. Bengio, D. Schuurmans, J. Lafferty, C. K. I. Williams, A. Culotta. — 2009. — Pp. 1973–1981.

Ссылки

Подстраницы

Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2015Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2016Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2017
Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2018Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2019, ВМКВероятностные тематические модели (курс лекций, К.В.Воронцов)/2020
Вероятностные тематические модели (курс лекций, К.В.Воронцов)/2021
Личные инструменты