Вопросы змеиного мейкера LSF
У меня есть конвейер, который прекрасно работает в командной строке
snakemake -l --snakefile snakemake_example/sankefile_test9.txt
Я хотел бы иметь возможность использовать его на кластере. Конвейер берет образцы (указанные в файле конфигурации) и выполняет несколько шагов обработки - это конвейер RNA-Seq. Я пытался представить в кластер, используя эти два разных способа
Первая попытка
snakemake --snakefile sankefile_test9_config.txt --jobs 999 --cluster 'bsub -q bio -R "rusage[mem=4000]"'
Вторая попытка
snakemake --snakefile sankefile_test9_config.txt --cluster 'bsub -q bio' -j
который дал следующий вывод
Предоставлено узлов кластера: 48
Количество работ:
считать работу
1 все
2 collate_barcodes
2 correct_counts
2 count_reads
2 dedup_counts
2 extract_gz_samples
2 mark_duplicaticates
2 move_bc
2 run_cutadapt
2 star_mapping
19
правило extract_gz_samples:
вход: cluster_fastq/Zelzer_M_Spindle_M_1.R1.fastq.gz, cluster_fastq/Zelzer_M_Spindle_M_1.R2.fastq.gz
вывод: cluster_fastq/Zelzer_M_Spindle_M_1.R1.fastq, cluster_fastq/Zelzer_M_Spindle_M_1.R2.fastq
подстановочные знаки: sample=cluster_fastq/Zelzer_M_Spindle_M_1
Резервирование памяти (МБ): 2048
Предел памяти (МБ): 2048
правило extract_gz_samples:
вход: cluster_fastq/WT_M_DT_T_393.R1.fastq.gz, cluster_fastq/WT_M_DT_T_393.R2.fastq.gz
вывод: cluster_fastq/WT_M_DT_T_393.R1.fastq, cluster_fastq/WT_M_DT_T_393.R2.fastq
подстановочные знаки: sample=cluster_fastq/WT_M_DT_T_393
Резервирование памяти (МБ): 2048
Предел памяти (МБ): 2048
Ожидание не более 5 секунд для отсутствующих файлов.
Исключение в потоке Thread-1:
Traceback (последний вызов был последним):
Файл "/apps/RH6U4/python/3.5.2/lib/python3.5/site-packages/snakemake/dag.py", строка 257, в check_and_touch_output
wait_for_files (extended_output, latency_wait=wait)
Файл "/apps/RH6U4/python/3.5.2/lib/python3.5/site-packages/snakemake/io.py", строка 341, в wait_for_files
latency_wait, "\ n".join (get_missing ())))
OSError: пропущенные файлы через 5 секунд:
cluster_fastq / Zelzer_M_Spindle_M_1.R1.fastq
cluster_fastq / Zelzer_M_Spindle_M_1.R2.fastq
Во время обработки вышеупомянутого исключения произошло другое исключение:
Traceback (последний вызов был последним):
Файл "/apps/RH6U4/python/3.5.2/lib/python3.5/threading.py", строка 914, в _bootstrap_inner
self.run ()
Файл "/apps/RH6U4/python/3.5.2/lib/python3.5/threading.py", строка 862, в прогоне self._target(*self._args, **self._kwargs)
Файл "/apps/RH6U4/python/3.5.2/lib/python3.5/site-packages/snakemake/executors.py", строка 517, в _wait_for_jobs self.finish_job(active_job.job)
Файл "/apps/RH6U4/python/3.5.2/lib/python3.5/site-packages/snakemake/executors.py", строка 426, в finish_job
Файл super().finish_job(job, upload_remote=False) "/apps/RH6U4/python/3.5.2/lib/python3.5/site-packages/snakemake/executors.py", строка 153, в finish_job
Файл super().finish_job(job, upload_remote=upload_remote) "/apps/RH6U4/python/3.5.2/lib/python3.5/site-packages/snakemake/executors.py", строка 111, в finish_job
self.dag.check_and_touch_output (job, wait = self.latency_wait)
Файл "/apps/RH6U4/python/3.5.2/lib/python3.5/site-packages/snakemake/dag.py", строка 259, в check_and_touch_output
поднять MissingOutputException (str (e), rule = job.rule)
snakemake.exceptions.MissingOutputException: пропущенные файлы через 5 секунд:
cluster_fastq / Zelzer_M_Spindle_M_1.R1.fastq
cluster_fastq / Zelzer_M_Spindle_M_1.R2.fastq^ C ^ H ^ CTerminating процессы по запросу пользователя.
Завершится после завершения текущих работ.
Удаление выходных файлов невыполненного задания extract_gz_samples, поскольку они могут быть повреждены:
cluster_fastq / Zelzer_M_Spindle_M_1.R1.fastq, cluster_fastq / Zelzer_M_Spindle_M_1.R2.fastq
Удаление выходных файлов невыполненного задания extract_gz_samples, поскольку они могут быть повреждены:
cluster_fastq / WT_M_DT_T_393.R1.fastq, cluster_fastq / WT_M_DT_T_393.R2.fastq
На данный момент программа, кажется, застряла (см. ^C^H^C, мой перерыв) - и если я проверю работу (в другой сессии), используя bjobs, в очереди нет работ.
Любая идея, почему это происходит и как его отладить?