Влияет ли tf.distribute.MirroredStrategy на результат обучения?

Question

Я не понимаю, если MirroredStrategy оказывает какое-либо влияние на результат обучения.

Под этим я имею в виду: модель, обученная на одном устройстве, такая же, как модель, обученная на нескольких устройствах?

Я думаю, это должна быть та же модель, потому что это просто распределенный расчет градиентов, не так ли?

Answer 1

Да, модель, обученная на одном графическом процессоре и нескольких GPUS (на одной машине), одинакова. То есть переменные в модели реплицируются и синхронизируются на всех графических процессорах в соответствии с документацией.