Как я могу сделать шаг Train And Test в Giza++?

Question

В методах искусственного интеллекта у нас есть два этапа обучения. Эти этапы являются данными и тестированием.

На этапе обучения мы передаем в систему огромное количество данных и обычно тестируем их с меньшим объемом данных. Затем мы оцениваем результат.

Теперь вопрос в том, можно ли провести это обучение с помощью встроенной функциональности, встроенной в GIZA++, или мы должны написать для этого отдельное приложение?

Если мы должны написать отдельное заявление, может ли кто-нибудь помочь мне, предложив уже написанное заявление? Или руководство? Примечание: я хочу иметь программу выравнивания, а не статистический машинный перевод

Я бы предпочел тренироваться в Giza++, чтобы я мог тестировать с ненаблюдаемыми данными.

Заранее спасибо.

Answer 1

Это должно быть хорошей отправной точкой для обучения базовой системе MT с использованием Моисея.
Обычно GIZA++ используется для выравнивания слов в вашем параллельном корпусе.
Для оценки языковой модели вам понадобятся некоторые другие инструменты, такие как IRSTLM, SRILM или KenLM.