Есть ли альтернатива для теперь удаленного модуля 'nltk.model.NGramModel'?

Question

Я пытался найти альтернативу в течение двух дней подряд, и не смог найти ничего подходящего. Я в основном пытаюсь получить вероятностную оценку синтезированного предложения (синтезированного путем замены некоторых слов из исходного предложения, выбранного из корпуса).

Я пробовал Collocations, но результаты, которые я получаю, не очень помогают. Поэтому я попытался использовать концепцию языковой модели, но обнаружил, что на первый взгляд полезный модуль "модель" был удален из NLTK из-за некоторых ошибок.

Было бы здорово, если бы кто-нибудь мог сообщить мне о каком-то альтернативном способе реализации ngram-модели в python или, что еще лучше, предложить мне другой способ решения проблемы "озвучивания" предложения.

Answer 1

Согласно этому открытому вопросу о репозитории NLTK, NGramModel в настоящее время не в мастере из-за некоторых ошибок. Их текущее решение - установить код из ветви модели. Тем не менее, это около 8 месяцев позади мастера, так что вы можете пропустить другие функции и исправления ошибок.

pip install https://github.com/nltk/nltk/tarball/model

Соответствующий код находится здесь в ветви модели. Вы можете скопировать это в свой локальный код, если не хотите использовать устаревшую ветку. Если вы действительно хотите использовать это, вы можете попытаться исправить ошибки и отправить запрос на удаление.