Как указать тип Nvlink при использовании NCCL

Question

В системе DGX-1 (8xV100) есть два типа NVlinks: NVlink-V1 и NVlink-V2,

есть ли способ явно указать, какие типы NVlink мы используем для p2p и коллективного общения?

Answer 1

Не существует двух типов NVLINK.

Обозначение NV1 указывает на то, что эти графические процессоры (на этом пути подключения) имеют возможность одноканального подключения.

Обозначение NV2 указывает на то, что GPUS имеют двухканальное соединение (т. Е. С удвоенной пропускной способностью).

Вы не можете выбрать один или другой, это не управляемо, это функция дизайна HW.

Если NCCL решит передавать данные между двумя графическими процессорами, имеющими возможность подключения к NV2, он будет делать это с удвоенной скоростью.

Здесь вам нечего настраивать или контролировать.