Как использовать базовый балл BLEU в инструментарии оценки машинного перевода Asiya?
Asiya - это инструмент для оценки машинного перевода для оценки результатов машинного перевода ( http://asiya.lsi.upc.edu/). Это в основном написано на Perl.
Как я могу использовать Asiya для выполнения метрик BLEU?
Я следил за вводным видео на YouTube: https://www.youtube.com/watch?v=rA5De9Z4uWI
И создал файл конфигурации (Asiya.config):
input=raw
srclang=en
srccase=en
trglang=ja
trgcase=ja
src=corpus.tok/test.tok.en
ref=corpus.tok/hyp.tok.ja
sys=corpus.tok/test.tok.ja
some_metrics= BLEU NIST METEOR-ex Ol
Мой выходной файл машинного перевода находится в corpus.tok/hyp.tok.ja исходный файл находится в corpus.tok/test.tok.en и справочный файл (правильный перевод) находится в corpus.tok/test.tok.ja, Это простые текстовые файлы, каждая строка которых является предложением.
И когда я побежал:
/home/expert/asiya/bin/Asiya.pl -eval single -g all -metric_set some_metrics Asiya.config
Я получил эту ошибку:
Smartmatch is experimental at /home/expert/asiya/bin/../lib/IQ/Common.pm line 784.
Smartmatch is experimental at /home/expert/asiya/bin/../lib/IQ/Common.pm line 791.
Smartmatch is experimental at /home/expert/asiya/bin/../lib/IQ/Scoring/ESA.pm line 339.
Use of uninitialized value in concatenation (.) or string at /home/expert/asiya/bin/../lib/IQ/Config.pm line 251.
[ASIYA] directory </tools> does not exist!
Каталог tools существует как подкаталог в текущем каталоге, в котором я выполнил команду. Что пошло не так? Есть ли параметр, который я мог бы добавить для каталога инструментов Asiya?
Как я могу использовать Asiya для оценки BLEU?
Если я не использую Asiya, как еще я могу получить баллы BLEU за предложение и системные баллы BLEU для результатов машинного перевода?
(подробнее на http://nlp.lsi.upc.edu/redmine/boards/11/topics/138)