Эффективен ли GPU на сервере параметров для параллельного обучения данных?

Question

При параллельном обучении данных, я думаю, что экземпляр GPU не обязательно эффективен для серверов параметров, потому что серверы параметров только сохраняют значения и не выполняют никаких вычислений, таких как матричное умножение.

Поэтому, я думаю, что пример конфигурации для Cloud ML Engine (использующий ЦП для серверов параметров и ГП для других) ниже имеет хорошую производительность по затратам:

trainingInput:
  scaleTier: CUSTOM
  masterType: standard_gpu
  workerType: standard_gpu
  parameterServerType: standard_cpu
  workerCount: 3
  parameterServerCount: 4

Это правильно?

Answer 1

Ваше предположение является разумным эмпирическим правилом. Тем не менее, Parag указывает на документ, в котором описывается модель, которая может использовать графические процессоры на сервере параметров, поэтому не всегда так, чтобы серверы параметров не могли использовать графические процессоры.

В общем, вы можете попробовать оба варианта на короткое время и посмотреть, улучшится ли пропускная способность.

Если у вас есть какие-либо вопросы относительно того, какие операции фактически назначаются вашему серверу параметров, вы можете зарегистрировать размещение устройства. Если кажется, что операции выполняются на сервере параметров, который может получить выгоду от графического процессора (и предположим, что они действительно должны быть там), тогда вы можете попробовать GPU на сервере параметров.