Ошибка при обучении модели ARPA с помощью SRILM

Question

Я следовал этому уроку.

После того, как я запускаю этот код:

ngram-count -kndiscount -interpolate -text train-text.txt -lm your.lm

Это дает мне эту ошибку:

"Одна из модифицированных скидок KneserNey - отрицательная ошибка в оценщике скидок для заказа 2".

Как я могу решить эту проблему?

Answer 1

Есть 2 возможности, которые -kndiscount дает вам ошибку:

1. Ваш dataset маленький.
2. Ваши фразы в dataset маленькие, что является препятствием для правильного ngram обучение с использованием kndiscount,

Решение может быть:

1. Создать больше dataset,
2. Используйте другие методы скидок.

Для ознакомления взгляните на эту тему: https://sourceforge.net/p/cmusphinx/discussion/help/thread/97ae0e5c/