DTLE - 分布式数据传输中间件


MPL
跨平台
Google Go

软件简介

DTLE是什么?

DTLE是一个开源的数据传输中间件 ,其针对的核心场景如下:

  • 跨数据中心的数据传输 :DTLE能在数据中心间进行可靠数据传输,并提供链路压缩以降低传输成本

  • 云间数据同步/迁移 :DTLE能提供在公有云间架设数据同步通道,以支持数据容灾等需求

  • 数据汇聚 :DTLE能将多个数据源汇聚到同一个数据源,以提供数据分析/数据转储的功能

  • 数据订阅 :DTLE能将数据源的变更消息发往Kafka等消息中间件,以支持数据订阅通知/缓存失效通知等需求

  • 跨数据中心的双向复制 :DTLE能在数据中心间提供双向复制通道,以配合业务实现数据双写

DTLE的设计特点

  • 分布式架构 :DTLE在数据传输这个基本场景上,使用了成熟的分布式任务调度架构,可以便捷地在集群中配置大量的数据传输任务,提供断点续传/故障转移等分布式系统的重要特性

  • 灵活的网络适配能力 :DTLE可适配复杂的网络架构,提供跨数据中心的数据通道功能和公有云间的数据通道功能

  • 多场景适配 :DTLE通过组合多个原子任务,可适配复杂的数据传输场景