Как скомпилировать поддержку PMI для работы Chapel/GASNet в сетях Omni-Path?

Question

Я пытаюсь запустить Chapel/GASNet в кластере, оборудованном сетью Omni-path.

Официальная документация GASNet для Omni-Path рекомендует использовать служебный канал, передавая --enable-ofi --disable-psm --disable-ibv, Однако, поскольку я не знаю, где проходить эту конфигурацию, я решил использовать канал PSM для Omni-Path.

1) я могу запустить Chapel/GASNet используя GASNET_PSM_SPAWNER='ssh', Однако, это порождает довольно медленный PGAS.

2) Я могу использовать MPI в качестве источника, только если я установил -mca mtl ^psm,psm2, что тоже медленно. В противном случае я получаю несколько ошибок.

3) Я пытался использовать PMI в качестве источника. Однако я получаю следующее сообщение об ошибке: Spawner is set to PMI, but PMI support was not compiled in usage: gasnetrun...

Как я могу скомпилировать поддержку PMI и для использования GASNET_PSM_SPAWNER='pmi'?

Вот мои другие переменные среды выполнения Chapel/GASNet:

CHPL_COMM='gasnet'

CHPL_LAUNCHER='gasnetrun_psm'

CHPL_COMM_SUBSTRATE='psm'

CHPL_GASNET_SEGMENT='everything'

CHPL_TARGET_ARCH='native'

HFI_NO_CPUAFFINITY=1

Всего наилучшего,

Тьяго Карнейро.

Answer 1

У меня нет свободного доступа к системе Omni-path, чтобы проверить что-либо из этого, но в интересах попытаться получить ответ:

Мне кажется, что Часовня должна построить и использовать оф-канал, если вы делаете следующее:

• задавать CHPL_COMM_SUBSTRATE=ofi в вашей среде (например, export CHPL_COMM_SUBSTRATE=ofi)
• восстановить часовню (например, make или же gmake от $CHPL_HOME)
• пересоберите и перезапустите вашу программу

Выбор spawner/launcher, который вы используете, не должен влиять на производительность вашей программы, о которой я знаю... Это просто механизм для запуска и запуска исполняемых файлов на вычислительных узлах системы. То есть, если у вас есть метод, который работает, я бы рекомендовал придерживаться его, а не пытаться использовать другие устройства для запуска / запуска (В любом случае, я лично не знаком с тем, как использовать средство создания PMI, и я вполне уверен, что часовня в настоящее время не имеет пусковой установки, которая оборачивает это).

В отличие от этого, выбор канала может очень сильно повлиять на производительность программы, так как он определяет, как происходит обмен данными во время выполнения программы.

Напоминаем, что, как и в случае с любой программой Chapel, после того, как она работает правильно и вы изучаете производительность, обязательно используйте --fast флаг.