Запуск задания на нескольких узлах кластера GridEngine

Question

У меня есть доступ к 128-ядерному кластеру, на котором я хотел бы запустить параллельное задание. Кластер использует Sun GridEngine, и моя программа написана для запуска с использованием Parallel Python, numpy, scipy на Python 2.5.8. Выполнение задания на одном узле (4 ядра) дает улучшение в 3,5 раза по сравнению с одним ядром. Теперь я хотел бы перейти на следующий уровень и распределить работу по ~4 узлам. мой qsub скрипт выглядит примерно так:

#!/bin/bash
# The name of the job, can be whatever makes sense to you
#$ -N jobname

# The job should be placed into the queue 'all.q'.
#$ -q all.q

# Redirect output stream to this file.
#$ -o jobname_output.dat

# Redirect error stream to this file.

#$ -e jobname_error.dat

# The batchsystem should use the current directory as working directory.
# Both files will be placed in the current
# directory. The batchsystem assumes to find the executable in this directory.
#$ -cwd

# request Bourne shell as shell for job.
#$ -S /bin/sh

# print date and time
date

# spython is the server's version of Python 2.5. Using python instead of spython causes the program to run in python 2.3
spython programname.py

# print date and time again
date

У кого-нибудь есть идеи, как это сделать?

Answer 1

Да, вам нужно включить опцию Grid Engine -np 16 либо в вашем скрипте, как это:

# Use 16 processors
#$ -np 16

или в командной строке при отправке сценария. Или, для более постоянных договоренностей, используйте .sge_request файл.

На всех установках GE, которые я когда-либо использовал, это даст вам 16 процессоров (или процессорных ядер в наши дни) на стольких узлах, сколько необходимо, поэтому, если у ваших узлов будет 4 ядра, вы получите 4 узла, если у них 8 2 и скоро. Скажем, чтобы разместить работу, скажем, 2 ядра на 8 узлах (что может потребоваться, если вам нужно много памяти для каждого процесса), это немного сложнее, и вам следует проконсультироваться со своей службой поддержки.