Описание тега lsf
LSF, aka Load Sharing Facility is software that executes batch jobs on networked Unix and Windows systems on many different architectures. It is commonly used in HPC Clusters in many universities and research centers around the world.
1
ответ
Python перенаправляет вывод из команды LSF
Я пытаюсь запустить команду LSF, 'bjobs' внутри кода Python, используя подпроцесс, и я не могу получить вывод в переменную Способы, которые я уже попробовал и потерпел неудачу, следующие: proc = subprocess.Popen(['bjobs'],stdout=subprocess.PIPE) pri…
17 апр '15 в 08:38
0
ответов
Связь между dask.distributed и LSF кластером
Я использую платформу IBM LSF для параллельного запуска своего кода. На данный момент это влечет за собой "ручное" разбиение кода на массив заданий; вместо: for i in range(100): x[i] = f(i) Я раздаю f более 100 работников, а затем "вручную" собрать …
12 янв '18 в 12:49
1
ответ
Применить в одной команде bsub фоновый амперсанд оболочки Bourne
Я хотел бы использовать фоновый амперсанд оболочки Bourne как часть ОДНОЙ команды выполнения bsub. Обратите внимание, что я не хочу использовать файл.bash, а одну командную строку bsub для выполнения всей процедуры. Обратите внимание, что я также не…
23 фев '16 в 07:07
0
ответов
HPC: оценка вычислительного времени
Я использую многопользовательский кластер с LSF_platform. Меня попросили оценить время вычислений за год. Я анализирую результаты, полученные другими, и в своей работе я использую множество приложений. Я думал, что смогу просто посмотреть статистику…
20 авг '18 в 10:05
0
ответов
python и lsf терпят неудачу
Поэтому у меня есть небольшой скрипт на Python: from pythonlsf import lsf print("LSF Clustername is :", lsf.ls_getclustername()) и я сделал установку pip: export LSF_INCLUDEDIR=/opt/lsf/curr/common/include export LSF_LIBDIR=/opt/lsf/curr/lib export …
28 сен '17 в 20:47
0
ответов
Получение запущенных заданий в кластере LSF с использованием python и PlatformLSF
Я пытаюсь написать простой диспетчер задач на python, который будет использоваться для запуска большого количества заданий в кластере LSF. Я застрял, пытаясь определить (в скрипте Python) количество запущенных заданий для данного пользователя. В ком…
22 янв '16 в 02:05
0
ответов
Что в действительности происходит, если LSF запускает одно задание Python на нескольких узлах?
Используя LSF, я отправил работу на Python, используя -n N где N>1. Это означает, что он будет использовать несколько ядер, которые могут находиться или не находиться на одном узле. Я не написал никакого явного кода для межпроцессного взаимодействия…
18 авг '16 в 17:04
2
ответа
Пакетный скрипт для LSF, когда только один процесс MPI среди других имеет 2 или более потоков
Моя программа использует MPI+pthreads, где n-1 процессы MPI являются чистым кодом MPI, тогда как единственный процесс MPI использует pthreads. Последний процесс содержит только 2 потока (основной поток и pthread). Предположим, что кластер HPC, на ко…
28 окт '14 в 15:12
1
ответ
LSF bsub ждет с переменной
У меня есть проблема, чтобы сказать, что job1 должен динамически ждать job2 с именем переменной в LSF, вот мой код #!/bin/bash JOB1=first JOB2=second bsub -I -q reg -J $JOB1 "ls /bin*" & bsub -I -q reg -w 'done("$JOB1")' -J $JOB2 ls /usr/ &"
06 мар '15 в 15:34
0
ответов
Не удалось получить ферму с помощью команды bsub
Я не могу получить ферму машины, которая ниже команды. Command:- "/temp/kfi/farm/bin/bsub -q rnd -R "(OSNAME==Linux) && (OSREL==EE70) && (SFIPLATFORM >= c0100)" -P VIP:11.3:RD:sim -W 4000:00 /usr/bin/xterm" Я пытаюсь получить маши…
03 мар '18 в 05:50
1
ответ
Запуск R в Emacs на LSF
Я хотел бы запустить R в Emacs, используя ESS. Мой сеанс R выполняется в интерактивном режиме, но отправляется на другой хост с использованием LSF. Есть ли способ сделать эту работу? То есть R не запускается локально. Однако ESS, похоже, запускает л…
16 май '13 в 17:46
1
ответ
Восстановить неполный файл PDF
Учитывая приведенный ниже код, который выполняется в кластере с настенным временем ( #BSUB -W 10:00): pdf("myPlots.pdf") for(i in 1:300){ # a lot of data processing, unfortunately no data is being saved... # ... # then plot output plot(1) } dev.off(…
02 авг '16 в 08:23
1
ответ
Поместите только одну из моих работ на хост, но хорошо, чтобы поделиться с другими
Чтобы смягчить проблему с файлом блокировки до тех пор, пока я не найду правильное решение, я бы хотел поручить LSF размещать не более одной моей работы на хост. Флаг -x гарантирует, что моя работа использует исключительно хост, но мне это не нужно;…
09 янв '17 в 17:02
3
ответа
Иметь работу только после завершения всех моих предыдущих работ
Я нашел сообщение, показывающее, как я мог бы сказать bsub ждать завершения заданного набора заданий, прежде чем запускать здесь, однако это работает, только если известно количество заданий перед этим. Я хотел бы выполнить произвольное количество з…
30 авг '16 в 14:29
1
ответ
Заставьте скрипт cshell ждать завершения работы LSF
У меня есть сценарий оболочки, который отправляет задачу на сервер LSF, и до тех пор, пока работа не будет завершена, определенные наборы команд будут выполняться над выходными файлами. Но поскольку я помещаю задачу в bsub, задача выполняется на дру…
23 янв '18 в 09:43
1
ответ
Доступность хоста для пользователя с учетом ограничений
Скажем, у меня есть хост с 10-ю слотами. Я применил к этому хосту ограничение пользователя следующим образом: SLOT = 5 JOB = 3 Есть ли команда, чтобы узнать, может ли этот хост запустить больше заданий от этого пользователя? ИЛИ, есть ли команда, чт…
24 июн '15 в 15:50
1
ответ
Должен ли я использовать LSF или внедрить свои собственные планировщики работы?
Мы проводим некоторые вычисления / вычисления в нашей компании. Проще говоря, у нас есть задание или задача, включающая чтение огромного файла с более чем миллиардом записей, анализ файлов и некоторую очистку и запись очищенных данных в другой файл.…
01 сен '15 в 16:09
1
ответ
Запустите командную строку matlab и автоматизируйте запуск bjobs на сервере Unix.
Таким образом, я запускаю кусок кода Matlab под названием fit.m, clear all; load('/pathtomatfile/alldata.mat') count = rxw1; count = double(count); x_cov = ltgbd; alldata.mat имеет несколько данных, представляющих интерес, т.е. rxw1 rbg2 rfd1 wop3, …
04 дек '12 в 18:29
1
ответ
Вопросы змеиного мейкера LSF
У меня есть конвейер, который прекрасно работает в командной строке snakemake -l --snakefile snakemake_example/sankefile_test9.txt Я хотел бы иметь возможность использовать его на кластере. Конвейер берет образцы (указанные в файле конфигурации) и в…
13 дек '16 в 12:38
1
ответ
Лучший способ отправки длинных команд в LSF
Я отправляю задания в кластер, используя bsub в LSF. Моя команда вызывает стороннее программное обеспечение и содержит длинный список файлов вместе с другими аргументами (около 8000 символов). Безопасно ли отправлять такие длинные команды напрямую и…
06 июн '15 в 08:53