Разработка расчетного графа в сумерках

Question

До сих пор я использовал напиток с get и словарь для определения графика зависимостей моих задач. Но это означает, что я должен определить весь свой график с самого начала, и теперь я хочу время от времени добавлять новые задачи (с зависимостями от старых задач).

Я читал о distributed пакет, и выглядит уместно. Я видел два возможных варианта определения моего графика:

1. С помощью delayedи определите зависимости между каждой задачей:

   t1 = delayed(f)()
   t2 = delayed(g1)(t1)
   t3 = delayed(g2)(t1)
   dask.compute([t2, t3])
   

2. С помощью map/submitи сделать что-то вроде:

   t1 = client.submit(f)
   t2 = client.map(g1, [t1])[0]
   t3 = client.map(g2, [t1])[0]
   

Что вы считаете более подходящим? Спасибо!

Answer 1

Если ваша цель состоит в том, чтобы со временем изменить вычисления, вам следует использовать API Durk concurrent.futures, описанный здесь:

http://dask.pydata.org/en/latest/futures.html