Ошибка Dask SSH-Cluster «Нет модуля с именем xxxx»
Я использую Dask SSH-Cluster для настройки кластера. Когда я пытаюсь отправить задачу на локальном компьютере и получаю ответ, я получаю следующую ошибку:
.....
File "/home/rohan/Desktop/BA/DistributedSetup/routers/main_router.py", line 36, in start_dask
x = res.result()
File "/home/rohan/.pyenv/versions/3.7.3/lib/python3.7/site-packages/distributed/client.py", line 220, in result
raise exc.with_traceback(tb)
File "/home/rohan/.pyenv/versions/3.7.3/lib/python3.7/site-packages/distributed/protocol/pickle.py", line 75, in loads
return pickle.loads(x)
ModuleNotFoundError: No module named 'utils'
Кажется, что dask не находит модули (другие файлы), которые я использую в своем проекте. Я предполагаю, что это как-то связано с pythonpath, но я не совсем уверен, как это исправить.
from utils import helper
def run_algo_dask():
return "abc"
SSHCluster(hosts=['localhost', 'localhost'],
connect_options=[{'username': 'rohan'}, {'username': 'rohan'}],
worker_options={
"nprocs": 1,
"nthreads": 1
},
remote_python=["/home/rohan/.pyenv/shims/python3", "/home/rohan/.pyenv/shims/python3"])
client = Client(cluster)
helper()
res = client.submit(run_algo_dask)
x = res.result()