Gensim LdaMulticore не запускается из командной строки
Я использую Gensim LdaMulticore для извлечения тем. Он отлично работает из записной книжки Jupyter/Ipython, но когда я запускаю из командной строки, цикл запускается бесконечно. Как только выполнение прибывает в функцию LdaMulticore, выполнение начинается сначала. Пожалуйста, помогите мне, так как я новичок
if __name__ == '__main__':
model = models.LdaMulticore(corpus=corpus_train, id2word=dictionary, num_topics=20, chunksize=4000, passes=30, alpha=0.5, eta=0.05, decay=0.5, eval_every=10, workers=3, minimum_probability=0)
**RESULTS:-**
Moving to Topics Extraction Script---------------------------------
2017-08-18 18:59:36,448 : INFO : using serial LDA version on this node
2017-08-18 18:59:37,183 : INFO : running online LDA training, 20 topics, 1 passes over the supplied corpus of 400 documents, updating every 12000 documents, evaluating every ~400 documents, iterating 50x with a convergence threshold of 0.001000
2017-08-18 18:59:37,183 : WARNING : too few updates, training might not converge; consider increasing the number of passes or iterations to improve accuracy
2017-08-18 18:59:37,183 : INFO : training LDA model using 3 processes
2017-08-18 18:59:37,214 : INFO : PROGRESS: pass 0, dispatched chunk #0 = documents up to #400/400, outstanding queue size 1
Importing required Packages
1 ответ
LdaMulticore использует все ядра ЦП для распараллеливания и ускорения обработки. Распараллеливание использует многопроцессорную концепцию; Поэтому вам придется написать свою программу, чтобы она поддерживала концепцию многозадачности.
У меня была та же проблема, поэтому я заменил LdaMulticore на LdaModel, и он работал нормально.
`gensim.models.LdaModel(corpus, num_topics=4, id2word=dictionary)`