Как создать сеанс Tensorflow с графическим процессором nvlink

Question

Я пытаюсь сделать вывод с Tensorflow. У меня есть 2 Quadro GV100, подключенных через nvlink и другой графический процессор для отображения на моем рабочем столе.

Когда я создаю объект SessionOptions, мне нужно вызвать следующее, чтобы установить, какой графический процессор использовать:

auto options = SessionOptions();
options.config.mutable_gpu_options()->set_visible_device_list(gpuToUse);

Не похоже, чтобы Tensorflow рассматривал GPU с nvlink как единое целое, если бы я создал сеанс, указав только 1 GPU, что, по-видимому, сводит на нет преимущества nvlink и второго GPU.

У меня такой вопрос, может ли Tensorflow воспользоваться преимуществами установки nvlink dual GPU?

Я использую Tensorflow v1.7. Большое спасибо за Вашу помощь!

Answer 1

Краткий ответ - да, Tensorflow может использовать преимущества технологии NVLINK. Но, как упомянуто здесь, большинство алгоритмов получают небольшую выгоду от этой технологии.

Существуют варианты использования, при которых мост NVLINK может оказать существенное влияние. Например, в некоторых приложениях машинного обучения параллелизм может быть достигнут посредством распределения данных по устройствам, при условии, что код графического процессора оптимизирован для минимизации обмена данными.