Используйте уже проделанные вычисления с умом

Question

Если у меня есть dask dataframe df. Теперь я применяю некоторые вычисления на нем.

Математически,

df1 = f1 (df)

df2 = f2 (df1)

df3 = f3 (df1)

Теперь, если я бегу, df2.compute()теперь, после этого, если я бегу df1.compute(), Как я могу остановить dask от пересчета результата df1?

Принимая другой случай, если я бегу df3.compute(), затем df2.compute(), Как я могу сказать dask использовать уже вычисленное значение df1 (который вычисляется в df3.compute()) в беге df2.compute()?

Answer 1

Ты можешь использовать dask.persist создать dask-фрейм данных с вычисленным подграфом или вычислением.

Если вы используете локальный планировщик, вы должны взглянуть на dask.cache.Cache

from dask.cache import Cache
cache = Cache(4e9).register()