Описание тега slurm
Slurm (ранее назывался SLURM) - это менеджер ресурсов с открытым исходным кодом, разработанный для Linux-кластеров HPC любого размера.
1
ответ
Почему python не импортирует мою библиотеку, даже если при ее использовании sbatch с SLURM он сообщает о существующей файловой системе?
Я пытался использовать простой сценарий, который импортировал пространства имен библиотеки при использовании SLURM и sbatch, однако я не могу это сделать, потому что он не находит библиотеку (даже несмотря на то, что список пипсов показывает, что он…
28 авг '16 в 04:06
0
ответов
Использовать SSH в моем скрипте
Я запускаю исполняемый файл в моем скрипте slurm на моем кластере, который требует ssh'ing для нескольких узлов, однако, когда я запускаю скрипт, я получаю сообщение об ошибке "Не удалось найти программу удаленной оболочки: ssh". ssh находится в мое…
09 фев '18 в 16:27
1
ответ
Несколько задач в одном узле с SLURM
Я изо всех сил пытаюсь понять, как запустить несколько процессов в одном узле, используя SLURM. Предположим, я хочу запустить программу с 100 различными входными аргументами. Вот что я бы сделал на своем ноутбуке, например: for i in `seq 100`; do ./…
01 июн '18 в 00:10
1
ответ
Как я могу получить аргументы командной строки, передаваемые заданию SLURM из его идентификатора задания?
Предположим, я запускаю задание SLURM с аргументами командной строки, скажем, srun sleep 1000, squeue а также scontrol show job ID показать выполненную команду sleep, но не его аргумент 1000, Мой вопрос, как я могу получить аргументы, передаваемые к…
30 авг '17 в 00:00
1
ответ
Как долго работы остаются в журнале учета работы Slurm?
Доступ к журналу учета заданий Slurm можно получить с помощью sacct, но через некоторое время задания из этого удаляются. Как узнать, по истечении какого периода времени или как часто этот журнал очищается?
10 окт '17 в 11:48
0
ответов
ipyparallel logging собирается в стандартный вывод
У меня проблема с параллельными движками, игнорирующими мои настройки ведения журнала при использовании средства запуска SLURM. В моем коде я использую следующее для настройки ведения журнала: def setup_logger(logger_name, stdout = False, log_file =…
24 фев '18 в 19:58
0
ответов
Как я могу загрузить свой файл данных в R, используя командные строки?
Я хотел бы запустить работу, используя R. Я написал сценарий r следующим образом #!/bin/sh #SBATCH --time=168:00:00 #SBATCH --mem=50gb #SBATCH --ntasks=1 #SBATCH --job-name=StrAuto #SBATCH --error=R.%J.err #SBATCH --output=R.%J.out #SBATCH --mail-ty…
12 мар '17 в 04:25
1
ответ
Можно ли изменить или добавить слой к планированию SLURM
Я неоплачиваемый пользователь в вычислительном кластере, который использует SLURM. Время от времени у меня было много продолжительных и многократных заданий, которые засоряли платформу для платных пользователей. Из-за этого у меня были отменены рабо…
21 окт '14 в 02:20
2
ответа
Запуск нескольких рабочих демонов SLURM
Я хочу запустить несколько рабочих демонов на одной машине. В соответствии damienfrancois ответом damienfrancois о том, какое минимальное количество компьютеров для кластера грязи, это можно сделать. Проблема в настоящее время я могу выполнить тольк…
19 ноя '16 в 16:40
0
ответов
centos 7 mariadb - доступ запрещен для пользователя 'root'@'localhost'
У меня есть эта проблема в моем Centos 7 и моей базе данных mariadb: Доступ запрещен для пользователя 'root'@'localhost' (с использованием пароля: Нет) когда я пытаюсь запустить эту программу: systemctl start slurmdbd Я уже пытался использовать это …
22 янв '17 в 20:22
1
ответ
Отображение использованных часов процессора со слёрмом
У меня есть учетная запись пользователя на суперкомпьютере, где задания обрабатываются с грязью. Я хотел бы знать общее количество процессорных часов, которые я провел на этом суперкомпьютере. Я думаю, что это понятный вопрос, потому что для каждого…
02 фев '19 в 10:30
0
ответов
Есть ли у ipyparallel способ убить движки после завершения?
Я выполняю работу в кластере SLURM с около 1000 задач с использованием балансировки нагрузки. Некоторые задачи занимают значительно больше времени, чем другие. В идеале я бы выделил 1000 процессоров с помощью ипенгинов и использовал бы async_map рас…
22 май '18 в 01:45
1
ответ
Как Snakemake анализирует slurm jobid с использованием --cluster-status и sacct used
Я бегу большой snakemake (v5.3.0) конвейер с использованием slurm планировщик (v14.11.4). К сожалению, ~1/1000 заданий аварийно завершают работу с NODE_FAILED (ExitCode 0), который snakemake не распознает, что приводит к половине готовых выходных фа…
23 дек '18 в 20:34
1
ответ
Как мне использовать sbatch с SLURM и make-файлом?
Я пытаюсь отправить пакетные задания в SLURM, но продолжаю получать JobState=FAILED Reason=NonZeroExitCode, Я могу скомпилировать и выполнить код нормально на обычном g++, но я должен использовать SLURM для задания для школы. Мне показалось, что я и…
30 сен '14 в 09:35
1
ответ
Как объявить переменную в командном файле Slurm и использовать ее в мультипрограммном файле conf?
В моем текущем проекте у меня есть проблема слишком длинных команд в slurm multiprog conf (ограничение в 256 символов). Чтобы обойти это, я хотел бы определить переменные (пути, пользовательские данные, имена файлов) в пакетном файле и использовать …
26 янв '17 в 09:51
1
ответ
Slurm: Как я могу вернуть все выполненные задания, отправленные каким-либо пользователем?
Следующая команда squeue -U < user_name > возвращает все задания, которые только запущены, ожидают или поставлены в очередь и отправлены пользователем. [Q] Как я могу вернуть все выполненные задания, представленные пользователем? также можно п…
28 апр '17 в 10:07
1
ответ
Запустить два скрипта на одном узле
У меня есть узел с 20 ядрами, и я хотел бы знать, как сделать так, чтобы две работы занимали каждые 10 ядер этого узла. (Оба jobs.sh одинаковы, после запуска job.sh я изменяю параметры main.R, затем снова запускаю job.sh.) #!/bin/bash #SBATCH --job-…
18 май '18 в 17:06
1
ответ
Каков наилучший вариант для Amazon AWS для параллельного запуска кода R, который был разработан для менеджера Slurm?
В настоящее время у меня есть R-код, который можно запустить через менеджер Slurm с помощью shell и batch-скрипта. По сути, мой сценарий оболочки создает 1000 массивов заданий, которые затем вызывают пакетный сценарий 1000 раз. Мне интересно, как я …
22 май '18 в 06:17
1
ответ
slurmctld: fatal: ОШИБКА ИМЕНИ КЛАСТЕРА
То, как я начинаю грязь: mkdir -p /tmp/slurmstate/clustername sudo slurmd sudo munged -f /etc/init.d/munge start sudo slurmdbd sudo slurmctld -c - sacctmgr list cluster Cluster ControlHost ControlPort RPC Share GrpJobs GrpTRES GrpSubmit MaxJobs MaxT…
09 июн '17 в 11:36
1
ответ
Можете ли вы изменить вывод по умолчанию из команды squeue SLURM?
Вывод по умолчанию из SLURM: JOBID PARTITION NAME US ST STE NODES NODELIST(REASON) Мне бы тоже хотелось, чтобы у меня была QOS: JOBID PARTITION NAME US ST STE NODES NODELIST(REASON) QOS Есть ли способ изменить значение по умолчанию, чтобы мне не при…
15 сен '16 в 23:18