Google genomics с помощью dsub (bismark & bowtie2)
Я пытался использовать dsub для отправки работы в API Google Genomics. Однако в облаке Google фактически запущена только одна работа (из 8). Моя команда dsub:
dsub \
--project "${MY_PROJECT}" \
--zones "us-central1-a" \
--logging "${LOGGING}" \
--vars-include-wildcards \
--disk-size 800 \
--min-ram 60 \
--image "us.gcr.io/xxx-yyy-zzz/bismark" \
--tasks "${SCRIPT_DIR}"/tBOWTIE2.tsv \
--command 'bismark --bowtie2 --bam --parallel 2 "${GENOME_REFERENCE}" -1 "${INPUT_FORWARD}" -2 "${INPUT_REVERSE}" -o "${OUTPUT_DIR}"' \
--wait
Похоже, что задание запускается нормально ("8 заданий"):
> ./bismark_job.sh
Job: bismark--aaaa--111-222-333
Launched job-id: bismark--aaaa--111-222-333
8 task(s)
To check the status, run:
dstat --project aaa-bbb-ccc --jobs bismark--aaaa--111-222-333 --status '*'
To cancel the job, run:
ddel --project aaa-bbb-ccc --jobs bismark--aaaa--111-222-333
Waiting for job to complete...
Тем не менее, когда я использую команду dstat для проверки прогресса моих заданий, вот что я вижу:
> dstat --project xxx-yyy-zzz --jobs bismark--aaa--1111-222-33 --status '*'
Job Name Task Status Last Update
---------- ------ ------------------------------ -------------------
bismark task-8 Warning: Creating VM and di... 2017-11-18 10:18:49
bismark task-7 Warning: Creating VM and di... 2017-11-18 10:18:50
bismark task-6 Warning: Creating VM and di... 2017-11-18 10:19:51
bismark task-5 Warning: Creating VM and di... 2017-11-18 10:20:12
bismark task-4 Warning: Creating VM and di... 2017-11-18 10:20:52
bismark task-3 Warning: Quota 'CPUS' excee... 2017-11-18 10:18:51
bismark task-2 Warning: Quota 'CPUS' excee... 2017-11-18 10:18:49
bismark task-1 localizing-files 2017-11-18 10:21:24
Даже после многочасового ожидания запускается только одно задание (и выполняется правильно). Я понимаю, что bismark и bowtie сильно нагружают процессор, но почему запускается только одна работа? Каждая работа должна быть независимой, верно?
Какую конкретную вещь мне нужно изменить в моих квотах? Или другие предложения?
Спасибо за любые идеи!