GIZA++ - Как рассчитывается оценка выравнивания?
Это может быть больше математической проблемой, но я не мог найти соответствующий документ в другом месте.
Я просто хочу выяснить, какое уравнение используется для вычисления оценки выравнивания в GIZA++.
У кого-нибудь может быть идея?
Спасибо за вашу помощь заранее.
2 ответа
Если это поможет, я нашел этот документ, который включает следующее описание:
Реализует полную модель выравнивания IBM-4 с зависимостью классов слов, как описано в (Brown et al. 1993)
Вслед за этой ссылкой приведу статью "Математика статистического машинного перевода: оценка параметров", которую вы можете найти в формате PDF здесь.
В статье приведены подробные сведения о математике, лежащей в основе 5 моделей выравнивания, и она слишком многословна, чтобы вставить ее здесь. Возможно, вы можете увидеть, достаточно ли это подробно описано в описании модели 4, которая, как я полагаю, используется GIZA++.
Существует также этот PDF-файл, в котором обобщены модели и процесс обучения.
Короче говоря, выравнивание слов и вероятности перевода изучаются в нескольких итерациях алгоритма Expectation Maximum.
В "Статистическом машинном переводе" Филипа Кёна есть глава для выравнивания слов. Проверьте http://statmt.org/ для получения дополнительной информации.