Dask Exception: Ошибка чтения баннера протокола SSH

Question

Когда я запускаю Dask на HPC в SLURM, я получаю следующую ошибку.

Исключение: Ошибка чтения заголовка протокола SSH Traceback (последний вызов был последним): файл "/conda-envs/my_root/lib/python3.7/site-packages/paramiko/transport.py", строка 2138, в _check_banner buf = self. Файл packetizer.readline(timeout) "/conda-envs/my_root/lib/python3.7/site-packages/paramiko/packet.py", строка 367, в файле readline buf += self._read_timeout(timeout) "/ conda -envs / my_root / lib / python3.7 / site-packages / paramiko / packet.py ", строка 563, в _read_timeout повысить EOFError() EOFError

Во время обработки вышеупомянутого исключения произошло другое исключение:

Traceback (most recent call last):
  File "/conda-envs/my_root/lib/python3.7/site-packages/paramiko/transport.py", line 1966, in run
    self._check_banner()
  File "/conda-envs/my_root/lib/python3.7/site-packages/paramiko/transport.py", line 2143, in _check_banner
    "Error reading SSH protocol banner" + str(e)
paramiko.ssh_exception.SSHException: Error reading SSH protocol banner

Не так, как большинство других вопросов, в которых упоминалось, что это произошло случайно, это случалось со мной каждый раз.

Моя работа с sbatch написана следующим образом.

#!/bin/bash 
#SBATCH -J myjobname
#SBATCH --nodes=6
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=20
#SBATCH --mem=64000
#SBATCH --qos=normal
#SBATCH --time=24:00:00


##### conda environment
module load anaconda3/2018.12

export CONDA_ENVS_PATH=/conda-envs

source activate my_root

### Get host name file.
srun hostname | sort -u > hostfile.txt

srun dask-ssh --hostfile hostfile.txt

### run program
python demo.py

echo 'Program ended at time:'
date

Answer 1

Для запуска Dask в кластере SLURM мы рекомендуем один из следующих проектов:

• Dask Jobqueue
• Даск MPI

Для получения дополнительной информации см. Документацию Dask по развертыванию на ресурсах HPC.

• Даск на HPC