Распределение и вычисление dask.delayed объекта
Делать dask.delayed объекты распределены по кластеру?
Кроме того, выполнение графа задач также распределено по кластеру?
1 ответ
Короткий ответ: да.
Пользователи взаимодействуют, подключая локальный сеанс Python к планировщику и отправляя работу, либо с помощью отдельных вызовов простого интерфейса client.submit(function, *args, **kwargs), либо с помощью больших сборов данных и параллельных алгоритмов родительского dask. библиотека. Коллекции в библиотеке dask, такие как dask.array и dask.dataframe, обеспечивают легкий доступ к сложным алгоритмам и знакомым API, таким как NumPy и Pandas, в то время как простой интерфейс client.submit предоставляет пользователям настраиваемый контроль, когда они хотят выйти из консервированного "большого" данных "и представить полностью настраиваемые рабочие нагрузки.
Объекты с задержкой Dask включены в "параллельные алгоритмы родительской библиотеки Dask".
Смотрите документацию для получения дополнительной информации. http://distributed.dask.org/en/latest/