Dask - 多任务并行编程与任务调度


BSD
跨平台
Python

软件简介

Dask 是一个用于分析计算的灵活的并行计算库。

Dask 由两个组件组成:

  • 动态任务调度优化计算。 这类似于 Airflow、Luigi、Celery 或 Make,但是针对交互式计算工作负载进行了优化。

  • “大数据”集合,如并行数组,数据框架和列表,将常见接口(如 NumPy、Pandas 或 Python 迭代器)扩展到 larger-than-memory 或分布式环境。 这些并行集合在动态任务调度程序之上运行。