Как я могу оценить WER (коэффициент ошибок слов) в ASR (автоматическое распознавание речи)?

Question

Как я могу оценить WER (коэффициент ошибок слов) в ASR (автоматическое распознавание речи)?

Например, если у меня есть (Human Ref. Translation) для предложений и вывода ASR.

Я знаю уравнение, но не знаю, как его вычислить. Могу ли я вводить знаки препинания, такие как запятая, точка и т. Д., При расчете WER?

А также для слов sub, ins и del. Есть ли конкретный вес? Каждый из них при расчете в уравнении?

Кто-нибудь, кто знает, как мы можем рассчитать WER для ASR... дайте мне пример, чтобы я мог рассчитать WER для ASR в нескольких предложениях, которые у меня есть в моем приложении

Answer 1

Могу ли я вводить знаки препинания, такие как запятая, точка и т. Д., При расчете WER?

Вы удаляете знаки препинания перед вычислением и переводите все в нижний регистр.

Кто-нибудь, кто знает, как мы можем рассчитать WER для ASR... дайте мне пример, чтобы я мог рассчитать WER для ASR в нескольких предложениях, которые у меня есть в моем приложении

Вы можете использовать этот пакет Python:

https://pypi.org/project/jiwer/

если вам нужны другие языки, сообщите нам, какие из них.

Answer 2

Простая реализация на C++. На основе расстояния Левенштейна, всего один файл без какой-либо библиотеки.

https://github.com/alokprasad/asr-wer

Answer 3

Обратитесь к этому , чтобы рассчитать коэффициент ошибок в слове (WER) для двух строк с помощью Colab.

Вы также можете убрать пунктуацию при вычислении WER, поставив галочку в поле remote_punctuation.

Визуализация частоты ошибок Word с помощью Colab: репозиториюhttps://github.com/duckyngo/Word-Error-Rate-Visualization-with-Colab