Описание тега dask

Dask имеет открытый исходный код и находится в свободном доступе. Он разработан в сотрудничестве с другими проектами сообщества, такими как Numpy, Pandas и Scikit-Learn. Он поддерживает динамическое планирование задач, оптимизированное для вычислений, а также для сбора больших данных.

Dask состоит из двух компонентов:

• Динамическое планирование задач, оптимизированное для вычислений. Это похоже на Airflow, Luigi, Celery или Make, но оптимизировано для интерактивных вычислительных рабочих нагрузок.
• Коллекции "больших данных", такие как параллельные массивы, фреймы данных и списки, которые расширяют общие интерфейсы, такие как итераторы NumPy, Pandas или Python, на большие, чем память, или распределенные среды. Эти параллельные коллекции работают поверх динамических планировщиков задач.

Установить: https://docs.dask.org/en/latest/install.html

Документы: https://docs.dask.org/

GitHub: https://github.com/dask/dask-tutorial

Заглавная страница: https://dask.org/