Когда для предоставления обслуживания модели используется тензор flow_model_server, как я могу доставить в него decode_hparams?
Я обучил трансформаторную модель тензорного тензора переводить английский на китайский.
Когда я использую t2t-decoder Команда для оценки перевода, я могу поставить "--decode_hparams=beam_size=4,alpha=0.6" для t2t-decoder, чтобы контролировать его поведение декодирования.
Пока пользуюсь tensorflow_model_server (tenorflow_serving), чтобы обеспечить службу запросов с моей обученной моделью (запустить tensor2tensor/tensor2tensor/serving/query.py), как я мог бы передать такие параметры, как "--decode_hparams = beam_size = 4, alpha = 0,6" для управления поведением службы декодирования?
Благодарю.
Кажется, я решил этот вопрос. я добавил decode_hparams когда я экспортировал модель. Затем, когда я предоставляю сервис запросов с этой моделью, его результаты декодирования отличаются от старой модели. Затем я проверил результаты декодирования с t2t-decoder --decode_hparams=xxx,yyyони одинаковы. Это доказало, что мой метод вступил в силу.