SLURM / Sbatch создает много небольших выходных файлов

Question

Я запускаю конвейер на SLURM-кластере, и по какой-то причине много небольших файлов (размером от 500 до 2000 байт) названы так: slurm-XXXXXX.out (где XXXXXX это номер). Я пытался выяснить, что это за файлы, на сайте SLURM, но я не могу найти упоминания о них. Я предполагаю, что это какие-то незавершенные файлы, которые система использует при анализе моего конвейера?

Если это имеет значение, конвейер, который я использую, использует snakemake, Я знаю, что видел эти типы файлов раньше, хотя, без snakemakeНо тогда они не были большой проблемой. Я боюсь, что очистка рабочего каталога от этих файлов после каждого шага рабочего процесса будет прерывать выполняемые шаги, поэтому в данный момент я ничего с ними не делаю.

Что это за файлы, и как я могу подавить их вывод или, альтернативно, удалить их после завершения соответствующей работы? Я как-то испортил свой рабочий процесс, и поэтому они созданы?

Answer 1

Возможно, вы захотите взглянуть на документацию по sbatch. Файлы, на которые вы ссылаетесь, по сути являются журналами SLURM, как объяснено там:

По умолчанию и стандартный вывод, и стандартная ошибка направляются в файл с именем "slurm-%j.out", где "%j" заменяется номером назначения задания.

Вы можете изменить имя файла с помощью --error=<filename pattern> а также --output=<filename pattern> параметры командной строки. Файл filename_pattern может иметь один или несколько символов, которые будут заменены, как описано в документации. В соответствии с часто задаваемыми вопросами вы сможете подавить стандартный вывод и стандартную ошибку, используя следующие параметры командной строки:

sbatch --output=/dev/null --error=/dev/null [...]