Как я могу использовать kenlm для проверки выравнивания слов в предложении?

Question

Я видел много блогов, в которых говорилось, что языковые модели можно использовать для множества задач, но я не могу найти никаких хороших реализаций, кроме генерации текста.

Мой вопрос: как я могу использовать языковую модель, такую ​​как kenlm, для исправления моих предложений на совпадения и орфографические ошибки. Я знаю, что kenlm уже делает это для Deeppeech, но я хочу понять, как это происходит на самом деле и как я могу реализовать то же самое.

Answer 1

Интересный вариант использования KenLM. По сути, это древовидная структура того, какие слова чаще всего встречаются с другими. DeepSpeech использует его, чтобы найти наиболее вероятное слово для букв, найденных в предоставленном аудио. Если вы хотите сделать что-то подобное, начните с чтения о поиске пучка CTC, а затем изучите код.