cdr技术基于数据流数据中心实时同步

1、基于数据流的数据中心实时同步技术 引领数据革命，让大数据更简单CDRContinuous Data Replication刘栋目的提供数据在多个数据中心Sponge集群间的数据异步实时复制提供容灾和高可用性提供多种弹性的复制拓扑架构和方案提供数据的负载分离减少操作工作量和成本案例满足数据中心建设“单中心-主中心+备份中心-两地三中心-多地多中心”的发展趋势让数据更接近用户，减少访问延迟时间，最大程度上提升性能和用户体验。加速开发，数据在产品集群和开发测试集群间实时同步。引领数据革命，让大数据更简单多地多中心市级省级总部Sponge集群Sponge集群Sponge集群Sponge集群Sponge

2、集群Sponge集群Sponge集群引领数据革命，让大数据更简单让数据更接近用户引领数据革命，让大数据更简单加速开发Sponge集群Sponge集群Sponge集群Sponge集群产品集群Staging集群开发测试集群引领数据革命，让大数据更简单拓扑结构单向复制热备用容灾和故障恢复与第三方集成测试和开发产生报表双向复制多个主集群容灾和故障恢复数据的本地化更多样的拓扑结构和更好的数据保护引领数据革命，让大数据更简单技术特色支持断点重连。当由于各种原因如网络，人为等造成CDR中断，当服务恢复，CDR可以自动在断点处重新开始复制。支持单向和双向复制。数据逐渐一致性。支持数据复制的暂停和重新开始。支持

3、集群间数据传输的数据加密。支持文件过滤，可以指定文件夹，文件名或正则表达式，用户名，文件大小，时间等引领数据革命，让大数据更简单文件管理层缓存层NFS数据块集群内节点目的地集群持久层数据最终一致引领数据革命，让大数据更简单1234CDR队列3持久队列复制队列数据流程当数据存入到Sponge文件系统，这些数据被分成一个个数据块，每个数据块通过NFS先存入到缓存层。数据块在缓存层被加入到集群间复制队列同时数据块在缓存层被加入到持久队列等待存入到持久层。当数据块存入到持久层后，CDR会把数据块复制到目标集群。在目标集群，数据块也会先存到缓存层以提高性能。数据流复制引领数据革命，让大数据更简单容器1容

4、器2容器1容器2集群1集群2DCPDCP节点间内存复制引领数据革命，让大数据更简单持久层CDR队列workerReplicatorReaderCDR workerworkerworkerCDR workerCDR workerCDR server持久层缓存层双向复制的冲突解决方案当同一个文件被修改，决定文件的赢家：根据改变的变化顺序: SeqnoCAS值TTL引领数据革命，让大数据更简单Seqno=1Seqno=2集群1集群2Bingo14CDR VS distcpdistcp是一个批处理的过程。数据传输不是实时。在数据传输过程中，如果数据有了变化，新的数据不会被监测到并传输。不能检测到传输过程中的出错。由于是批处理，每次传输很耗费带宽。需要用户触发使用建议双向复制时，尽量避免对在不同集群对同一文件修改。不同集群的节点数量可以不同。对于产品集群要合理的si