Связь между dask.distributed и LSF кластером
Я использую платформу IBM LSF для параллельного запуска своего кода. На данный момент это влечет за собой "ручное" разбиение кода на массив заданий; вместо:
for i in range(100):
x[i] = f(i)
Я раздаю f более 100 работников, а затем "вручную" собрать все свои 100 различных результатов, чтобы x,
Я пытаюсь понять, если dask.distributed может использоваться в качестве "моста" между моим ядром моделирования (в данном случае ядром IPython) и планировщиком LSF таким образом, чтобы автоматически распределять и собирать вычисления.
Я не смог найти никакой документации по этому вопросу... любая помощь будет высоко ценится!