Материал из MachineLearning.
Вероятностный латентный семантический анализ (англ. Probabilistic Latent Semantic Analysis, PLSA) - вероятностная тематическая модель представления текста на естественном языке. Модель называется латентной, так как предполагает введение скрытого (латентного) параметра - темы. Модель предложена Томасом Хофманном в 1999 году[1].
Применяется в задаче тематического моделирования.
Формальная постановка задачи
-
Пусть 
— множество (коллекция) текстовых документов, 
— множество (словарь) всех употребляемых в них терминов (слов или словосочетаний). Каждый документ 
представляет собой последовательность 
терминов (
) из словаря W. Термин может повторяться в документе много раз.
Пусть существует конечное множество тем 
, и каждое употребление термина 
в каждом документе 
связано с некоторой темой 
, которая не известна. Формально тема определяется как дискретное (мультиномиальное) вероятностное распределение в пространстве слов заданного словаря [1].
Введем дискретное вероятностное пространство 
. Тогда коллекция документов может быть рассмотрена как множество троек )
, выбранных случайно и независимо из дискретного распределения )
.
При этом документы и термины 
являются наблюдаемыми переменными, тема является латентной (скрытой) переменной.
Требуется найти распределения терминов в темах  \equiv \varphi_{wt})
для всех тем и распределения тем в документах  \equiv \theta_{td})
для всех документов . При этом делается ряд допущений.
С учетом гипотезы условной независимости  = p(w|t))
по формуле полной вероятности получаем вероятностную модель порождения документа :
(1)
-
 = \sum_{t \in T} p(w|d,t)p(t|d) = \sum_{t \in T}p(w|t)p(t|d)=\sum_{t \in T}\varphi_{wt}\theta_{td})
Введем следующие обозначения:
- число троек )
во всей коллекции. Другими словами, это число поялвений термина в связи с темой 
в документе ;
- число вхождений термина в документ ;
- число вохждений всех терминов, связанных с темой в документ ;
- число поялвений термина в связи с темой во всех документах коллеккции ;
- число вхожений терина в коллекцию;
- длина документа ;
- «длина темы» , то есть число появления терминов в коллекции, связанных с темой ;
- длина коллекции.
Максимизация правдоподобия
Правдоподобие — это плотность распределения выборки :
=\prod^n_{i=1}p_i(d,w)=\prod_{d \in D}\prod_{w \in d}p(d,w)^{n_{dw}})
Рассмотрим вероятностную тематическую модель )
, где
_{W \times T})
- искомая матрица терминов тем, )
_{T \times D})
- искомая матрица тем документов, )
.
Запишем задачу максимизации правдоподобия
=C\prod_{d \in D}\prod_{w \in d}p(d,w)^{n_{dw}}=\prod_{d \in D}\prod_{w \in d}p(d|w)^{n_{dw}}Cp(d)^{n_{dw}} \to \max_{\Phi,\Theta})
, где
-
— нормировочный множитель, зависящий только от чисел 
С учетом (1) и того факта, что ^{n_{dw})
не зависит от параметров 
прологарифмируем правдоподобие, получив задачу максимизации:
(2)
=\sum_{d \in D}\sum_{w \in d}n_{dw}\ln\sum_{t \in T}\varphi_{wt}\theta_{td} \to \max_{\Phi,\Theta})
при ограничениях неотрицательности и нормировки
-
.
Задача (2) может быть интерпретирована двумя способами:
Интерпретация 1
Выражение (2) есть минимизация суммарной (по ) дивергенции Кульбака–Лейблера между тематическими )
и униграммными  = \frac{n_{dw}}{n_d})
моделями:
 =\sum_{d \in D} n_d \sum_{w \in d}\hat{p}(w|d)\ln\frac{\hat{p}(w|d)}{p(w|d)} \to \min)
Интерпретация 2
Выражение (2) стохастическое матричное разложение:
, где
)_{W \times D})
— известная матрица исходных данных;
- норма Кульбака–Лейблера.
Аналитическое решение
Для нахождения аналитического решения задачи максимизации (2) запишем лагранжиан задачи. При этом учтем ограничения нормировки, но проигнорируем ограничения неотрицательности. Позже убедимся, что решение действительно всегда является неотрицательным.
 = \sum_{d \in D}\sum_{w \in d}n_{dw}\ln\sum_{t \in T}\varphi_{wt}\theta_{td} - \sum_{t \in T}\lambda_t(\sum_{w \in d}\varphi_{wt}-1) - \sum_{d \in D}\mu_d(\sum_{t \in T}\theta_{td} -1) )
Алгоритм
Недостатки
Примечания
