Можно ли найти последующую вероятность того, что темы, созданные с помощью LDA, встречаются в данном документе? Как, если так?

Question

Как может или не может быть очевидно из вопроса, я довольно новичок в R, и я мог бы помочь с этим.

При создании тематических моделей я экспериментировал с LDA и LDAvis - код в (A) и (B) ниже. LDA в (A) позволяет мне найти апостериорную вероятность тем, встречающихся в каждом документе в моем корпусе, который я использовал для запуска регрессий с переменными из других наборов данных. (B), подход к генерации тем с использованием LDAvis, генерирует "лучшие", более согласованные темы, чем через (A), но я не смог выяснить, как найти последующие вероятности тем, встречающихся в данном документе, с помощью подход LDAvis, или стоит ли сбрасывать со счетов это как невыполнимую задачу.

Все советы очень ценятся.

Спасибо!

(А)

set.seed(1)
require(topicmodels)
set.seed(1)
P5LDA4 <- LDA(P592dfm, control=list(seed=1), k = 23)
set.seed(1)
terms(P5LDA4, k =30)

#find posterior probability
postTopics <- data.frame(posterior(P5LDA4)$topics)
postTopics

(В)

# MCMC and model tuning parameters:
K <- 23
G <- 5000
alpha <- 0.02
eta <- 0.02
# convert to lda format
dfmlda <- convert(newdfm, to = "lda")
# fit the model
library(lda)
set.seed(1)
t1 <- Sys.time()
fit <- lda.collapsed.gibbs.sampler(documents = dfmlda$documents, K = K, 
                               vocab = dfmlda$vocab, 
                               num.iterations = G, alpha = alpha, 
                               eta = eta, initial = NULL, burnin = 0,
                               compute.log.likelihood = TRUE)
t2 <- Sys.time()
t2 - t1
#Time difference of 3.13337 mins
save(fit, file = "./fit.RData")
load("./fit.RData")
library(LDAvis)
set.seed(1)
json <- createJSON(phi = t(apply(t(fit$topics) + eta, 2, function(x) x/sum(x))), 
               theta = t(apply(fit$document_sums + alpha, 2, function(x) x/sum(x))), 
               doc.length = ntoken(newdfm), 
               vocab = features(newdfm), 
               term.frequency = colSums(newdfm))
serVis(json, out.dir = "./visColl", open.browser = TRUE)

Answer 1

В вашем коде B вы уже вычисляете апостериор при создании json.

1. тета: матрица D×K является апостериором распределения по теме документа.
2. phi: матрица K×W является апостериком распределения тематических терминов.

Надеюсь, это поможет!