Как Niftynet справляется с обучением с использованием нескольких графических процессоров?

Question

Я использую Niftynet для обучения CNN с использованием 2 графических процессоров. Как я понимаю, каждый GPU обучается независимо, так как я получаю два значения потерь за итерацию. Объединяются ли результаты обоих графических процессоров во время вывода? Раньше я считал, что использование нескольких gpus сокращает время обучения, но в Niftynet это не так.

Answer 1

Да исправить. Это уменьшает время обучения в моем случае. Обратите внимание, что размер пакета удваивается при использовании нескольких графических процессоров.

Например, если ваш batch size = 2после использования нескольких GPU это означает, что каждый GPU будет иметь batch size = 2, Таким образом, ваш окончательный размер партии будет 4.