Получение повторяющихся прогнозов при тестировании модели NMT
Я экспериментировал с OpenNMT-tf ( https://github.com/OpenNMT/OpenNMT-tf) со своими собственными данными, которые представляют собой последовательность чисел в качестве исходных данных и текстовых предложений в качестве цели. Корпус имеет длину около 20 000 линий, как правило, неравномерной длины.
Когда я бегу onmt-main infer --config config/opennmt-defaults.yml config/data/toy-ende.yml --features_file data/toy-ende/src-test.txtиспользуя файл src-test.txt новых входных данных, он повторяет одно и то же предложение снова и снова, что и результаты, что является, по-видимому, случайным предложением (и тем, которое присутствует в целевых обучающих данных). То, на что я надеялся в процессе прогнозирования, - это генерировать предложения, которые отличались от обучающих данных, будучи путаницей новых предложений (вероятно, с разным уровнем смысла).
Я управляю их моделью NMTBig с 200000 шагов. Размер луча 12, обучение 1,0, скорость затухания 0,7, размер партии 64, размер партии вывода 30.
Я делаю что-то не так, что приводит к этим повторным результатам? И кто-нибудь может подсказать, что я могу сделать, чтобы получить желаемые результаты?