Как запустить TensorFlow 2 в распределенной среде с Horovod?

Я успешно настроил распределенную среду и запустил пример с Horovod. И я также знаю, что если я хочу запустить тест на TensorFlow 1 в распределенной настройке, например, на 4 узлах, следуя руководству, отправка должна быть:

$ horovodrun -np 16 -H server1:4,server2:4,server3:4,server4:4 \
    python scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py \
        --model resnet101 \
        --batch_size 64 \
        --variable_update horovod \
        --data_dir /path/to/imagenet/tfrecords \
        --data_name imagenet \
        --num_batches=2000

Но теперь я хочу запустить официальные модели TensorFlow 2, например модель BERT. Какую команду мне использовать?

0 ответов

Другие вопросы по тегам