Как TensorFlow ParameterServerStrategy мог работать без проблем с задержкой?

В TensorFlow есть распределенная стратегия обучения под названием ParameterServerStrategy: https://www.tensorflow.org/guide/distributed_training.

Как он мог работать без проблем с задержкой? Потому что он должен синхронизировать переменные между рабочими серверами и серверами параметров через сетевой кабель, и это проблема, а не на одной материнской плате.

0 ответов