scaling и batch_size для обучения нейронной сети в распределенном обучении с подкреплением
Я новичок в глубоком обучении с подкреплением и использую пакет Ray RLlib для своего обучения. Я хочу оценить масштабируемость моего обучения с 32,64,128 ядрами / процессорами. Насколько я понимаю, в распределенном обучении с подкреплением среда запускается параллельно в распределенном режиме, а затем собираются пакеты обучающих выборок. Затем нейронная сеть обучается с использованием этих данных.
У меня вопрос: влияет ли размер партии на обучение существенно или нет? Например, если размер моего пакета составляет 20 и я использую 32 воркера, то для обучения нейронной сети будет собрано 640 (32*20) образцов. При том же размере партии и 128 воркерах получится 2560 (128*20) образцов. Должен ли я использовать один и тот же размер партии независимо от количества рабочих, или мне нужно изменить размер пакета по мере увеличения количества рабочих?
Спасибо.