Распределенные распределения тензорного потока
У меня есть два смежных вопроса об управлении распределенным обучением для эксперимента с двумя машинами, на каждой из которых установлено несколько графических процессоров.
Следуя рекомендациям по распределенному началу тензорного потока, я вижу, что каждый процесс реализует очереди предварительной обработки данных и средства чтения; Теперь, чтобы достичь параллелизма данных с синхронным или асинхронным реплицированным обучением, как TF обеспечивает, чтобы каждый рабочий обрабатывал мини-пакет, который ни один другой работник не имеет или не будет обрабатывать в определенную эпоху? Поскольку все обработчики очередей указывают на один и тот же набор данных, существует ли некоторая встроенная координация между работниками, чтобы не обрабатывать одни и те же примеры более одного раза в одну эпоху (например, при синхронизации SGD)?
Можно ли указать устройство GPU для каждого рабочего процесса; как часть спецификации кластера? Или это должно быть упомянуто в коде во время работы обучающей операции или что-то еще? Или это не рекомендуется?