Запуск Dask в контейнере Singularity
Я пытался просмотреть руководство по Dask для среды HPC, как указано на https://www.youtube.com/watch?v=FXsgmwpRExM.
Мне удалось установить все нужные мне пакеты в образе Singularity, и затем я запускаю образ в кластере LSF, используя: bsub -ISs -q "par-multi" -J "ipy_test" -n 16 singularity shell container.img
После того, как я запускаю ipython, используя простой ipython команда, а затем импортировать LSFCluster из dask_jobqueue, используя from dask_jobqueue import LSFCluster
Затем я настроил свой тестовый кластер, вызвав cluster = LSFCluster(cores=2, memory="1 GB") и отправил 2 рабочих по телефону cluster.scale(2) в этот момент я получаю следующую трассировку стека:
tornado.application - ОШИБКА - Исключение при обратном вызове (последний последний вызов): файл "/usr/lib64/python2.7/site-packages/tornado/ioloop.py", строка 758, в файле _run_callback ret = callback() "/usr/lib64/python2.7/site-packages/tornado/stack_context.py", строка 300, в null_wrapper возвращает файл fn(*args, **kwargs) "/usr/lib/python2.7/site-packages/dask_jobqueue/core.py", строка 416, в scale_up self.start_workers(n - self._count_active_and_pending_workers()) Файл" /usr/lib/python2.7/site-packages/dask_jobqueue/core.py ", строка 330, in start_workers out = self._submit_job(fn) Файл "/usr/lib/python2.7/site-packages/dask_jobqueue/lsf.py", строка 114, в _submit_job возвращает файл self._call(piped_cmd, shell=True) " /usr/lib/python2.7/site-packages/dask_jobqueue/core.py ", строка 383, в _call cmd_str, out, err)) RuntimeError: Команда завершена с ненулевым кодом выхода. Код выхода: 127 Команда: bsub /dev/null stdout: stderr:
Кто-нибудь знает, куда я могу пойти наперекосяк?
Благодарю.