Tensorflow не распределяет тензор / опцию для всех доступных графических процессоров

Question

У меня есть два графических процессора, 6 ГБ GTX Titan и 11 ГБ GTX 1080Ti.

Ожидание: Tensorflow должен автоматически использовать память всех графических процессоров.

Реальность: Tensorflow отображает два устройства как gpu:0 и gpu:1, но использует только gpu:0 и никогда не использует gpu:1, когда я увеличиваю потребность в памяти, он запускается в исключение OutOfMemory без использования памяти gpu:1.

Я хочу использовать 11+6=17 ГБ памяти двух устройств. Я думаю, что возможно, tenorflow поддерживает только те же типы графических процессоров, и он будет использовать только один из них, если они разных типов?

Answer 1

Я думаю, что использование двух разных типов графических процессоров для ускорения является плохой практикой, так как тензор потока не будет размещать операции на разных устройствах. Я должен был синхронизировать параметры на процессоре и распределять разные данные для асинхронного обучения на нескольких графических процессорах.