Ошибка Dask SSH-Cluster «Нет модуля с именем xxxx»

Я использую Dask SSH-Cluster для настройки кластера. Когда я пытаюсь отправить задачу на локальном компьютере и получаю ответ, я получаю следующую ошибку:

      .....
  File "/home/rohan/Desktop/BA/DistributedSetup/routers/main_router.py", line 36, in start_dask
    x = res.result()
  File "/home/rohan/.pyenv/versions/3.7.3/lib/python3.7/site-packages/distributed/client.py", line 220, in result
    raise exc.with_traceback(tb)
  File "/home/rohan/.pyenv/versions/3.7.3/lib/python3.7/site-packages/distributed/protocol/pickle.py", line 75, in loads
    return pickle.loads(x)
ModuleNotFoundError: No module named 'utils'

Кажется, что dask не находит модули (другие файлы), которые я использую в своем проекте. Я предполагаю, что это как-то связано с pythonpath, но я не совсем уверен, как это исправить. в следующем коде - другой файл (модуль) в моем проекте. Код, который я использую для воспроизведения ошибки:

      from utils import helper

def run_algo_dask():
    return "abc"


SSHCluster(hosts=['localhost', 'localhost'],
           connect_options=[{'username': 'rohan'}, {'username': 'rohan'}],
           worker_options={
               "nprocs": 1,
               "nthreads": 1
           }, 
           remote_python=["/home/rohan/.pyenv/shims/python3", "/home/rohan/.pyenv/shims/python3"])

client = Client(cluster)
helper()
res = client.submit(run_algo_dask)
x = res.result()

0 ответов

Другие вопросы по тегам