Hazelcast Jet 是一个分布式计算平台,专为高性能流处理和快速批处理而构建。它在内存数据网格(IMDG)中嵌入Hazelcast,以提供轻量级的处理器包和可扩展的内存存储。
特性:
低延迟和分布式的通用数据处理框架,具有高吞吐量
高并行和分布式的数据流和批处理
分布式 java.util.stream API 支持 Hazelcast 数据结构,如 IMap 和 IList
连接器允许从 Apache Kafka, HDFS, Hazelcast IMDG, sockets 和本地数据文件(如日志或 CSV)高速获取数据
自定义连接器的 API
针对内部部署和云部署的动态节点发现
通过 Docker, Apache jclouds, Amazon Web Services, Microsoft Azure, Consul, Heroku, Kubernetes, Pivotal Cloud Foundry 和 Apache ZooKeeper 进行虚拟化支持和资源管理
架构