get_document_topics возвращает пустой список.

Question

Я использую Gensim для моделирования темы. После обучения модели lda я вызываю get_document_topics для нового документа, чтобы получить распространение темы. Однако для некоторых документов возвращаемое значение представляет собой пустой список. Вот мой код Есть идеи, что могло пойти не так?

 topic_vector = [ x[1] for x in self.ldamodel.get_document_topics(new_doc_bow , minimum_probability=
0.0, per_word_topics=False)]

Answer 1

Вот как я решил эту проблему:

Во-первых, убедитесь, что ваша версия gensim - gensim-3.6.0, вы можете проверить это, выполнив эту команду в своем терминале:

pip freeze | grep gensim

Если нет, вы можете удалить свой gensim и установить более новую версию. Затем в файле gensim/models/ldamodel.py вам нужно отредактировать значение epsilon до большего значения.

DTYPE_TO_EPS = {
    np.float16: 1e-5,
    np.float32: 1e-35, # modify the value and set it to 1e-5 
    np.float64: 1e-100,
}