Указание параллельной среды в Google Compute Engine с использованием Elasticluster

Question

Недавно я создал кластер Grid Engine на Compute Engine, используя Elasticluster ( http://googlegenomics.readthedocs.org/en/latest/use_cases/setup_gridengine_cluster_on_compute_engine/index.html).

Мне было интересно, что является подходящей командой для запуска многопоточных пакетных заданий с общей памятью на кластере виртуальной машины Compute Engine с Grid Engine.

Другими словами, каково имя (то есть pe_name) параллельной среды Grid Engine.

Допустим, я хочу запустить задание, запрашивающее 4 процессора на 1 узле, что будет правильной командой qsub.

Пока что я попробовал следующую команду:

qsub -cwd -l h_vmem = 800G -pe smp 6 run.sh Невозможно запустить задание: задание отклонено: запрошенная параллельная среда "smp" не существует.

qsub -cwd -l h_vmem = 800G -pe omp 6 run.sh Невозможно выполнить задание: задание отклонено: запрошенная параллельная среда "omp" не существует.

Спасибо за помощь!

Answer 1

Я не верю, что сборник игр Elasticluster Ansible включает параллельную среду. Вы можете увидеть основную конфигурацию, запущенную на мастере здесь:

https://github.com/gc3-uzh-ch/elasticluster/blob/master/elasticluster/providers/ansible-playbooks/roles/gridengine/tasks/master.yml

Я полагаю, что вы можете просто подключиться к мастеру и выполнить команду "Добавить Parallele Environment":

$ qconf -ap smp

и напишите файл конфигурации как:

pe_name         smp
slots           9999
user_lists      NONE
xuser_lists     NONE
start_proc_args /bin/true
stop_proc_args  /bin/true
allocation_rule $fill_up
control_slaves  FALSE
job_is_first_task  FALSE
urgency_slots   min
accounting_summary FALSE

а затем измените конфигурацию очереди для all.q:

$ qconf -mq all.q

...
pe_list             make smp
...

Я также предложил бы подать проблему с Elasticluster здесь:

https://github.com/gc3-uzh-ch/elasticluster/issues

Я ожидал бы, что кто-то уже сделал это в форке Elasticluster и, возможно, сможет предоставить запрос на извлечение для главного форка.

Надеюсь, это поможет.

Матф