Запуск модели трансформатора с Tensor2Tensor с использованием Mesh-Tensorflow(реализация на GPU)

Question

Я пытаюсь запустить модель трансформатора с Tensor2tensor, используя mesh-tenorflow (GPU-реализация), но сталкиваюсь с несколькими ошибками.

Я пытался запустить приведенный ниже код, но столкнулся с несколькими проблемами. Я также приложил журнал ошибок.

Код:

PROBLEM=translate_enfr_wmt32k 
MODEL=mtf_transformer 
HPARAMS=mtf_transformer_paper_tr_0_mesh_8
DATA_DIR=$HOME/t2t_data
TMP_DIR=/tmp/t2t_datagen
TRAIN_DIR=$HOME/t2t_train/$PROBLEM/$MODEL-$HPARAMS
mkdir -p $DATA_DIR $TMP_DIR $TRAIN_DIR

datagen:

t2t-datagen \
 --data_dir=$DATA_DIR \ 
 --tmp_dir=$TMP_DIR \
 --problem=$PROBLEM

поезд:

t2t-trainer \
 --data_dir=$DATA_DIR \  
 --problem=$PROBLEM \ 
 --model=$MODEL \
 --hparams_set=$HPARAMS \ 
 --output_dir=$TRAIN_DIR  \
 --train_steps=10

Ошибка:

tf_session.ExtendSession (self._session) tenorflow.python.framework.errors_impl.InvalidArgumentError: Несколько регистраций OpKernel соответствуют NodeDef '{{преобразователь / выпадение узла /binary_op/parallel_0_1/Less}}': 'op: "Less" device_type: "CPU" constraint { name: "T" allow_values ​​{ list { type: DT_BFLOAT16 } } }'и' op:" Less "device_type:" CPU "ограничение {name:" T "allow_values ​​{список {тип: DT_BFLOAT16 } } }' [[трансформатор / отсев / binary_op / parallel_0_1 / Меньше]]