傅翠云-异地多活数据流基础设施DRC V31

异地多活数据流基础设施DRC-­‐-­‐

双11支持571亿交易额背后的武器自我介绍专注于DRC（datareplication

center）目前负责产品规划和架构设计•

在数据库，高可用，分布式经验比较丰富AgendaDRC介绍•

DRC在异地多活•

DRC在更多数据架构DRC在云端如果你是阿里云用户？场景1：跨域同步RDS美国RDS杭州RDSreplication场景2：接入异构数据迭代、迭代、迭代…场景3：订阅增量数据APP可扩展性一致性稳定性实时性……备份、通知…数据流基础设施DRCDRC是什么原生复制卡夫卡标准消息同步异构高可用 实时分发DataReplication

Center数据管道层Master

DBSlave

DBMaster

DBSlave

DBDRCStore（抓取） DRC

Congo（同步）DRC

SDK（订阅）data高可用层DRC架构DRCdistributed

data集群管理层DRCcluster

manager统一接入层DRCregion

managerDRCslave

storeDRC

Store数据流基础设施DRC•

覆盖阿里所有核心业务•

服务于淘宝新一代架构的核心组件异地多活的武器DRC淘宝新一代架构机房1城市1机房2【同城多机房】只能堆机器【跨城多机房】冷备贵且不靠谱，多写跨城调用延迟大，流量无法切换【阿里异地多活】•热拔插应对业务峰值•流量实时切换•数据实时恢复机房3城市2机房4读/写读只/读写城市3读/写城市4读/写淘宝异地双活支付买家卖家商品创建订单中心商品管理库存优惠物流订单会员单元物流商品管理库存优惠创建订单订单会员一致性实时性单元 100%中心 100%同步架构1–

读写分离保证实时性保证一致性StoreCongo中心读写单元只读单元100%中心100%同步架构2–

单元封闭避免循环复制避免峰值压力StoreCongoStoreCongo中心流量1-­‐N%单元流量N%DRC核心能力低延迟高可用一致性一致性•

数据有序•

数据不丢•

数据不错•

事务一致BinlogcommitStoreCongo跨城秒级延迟挑战5~100ms1~5ms0.2ms150ms低延迟•

跨城延迟大•

事务相关、DDL影响并发•

读历史会影响写实时•

热点数据阻塞非热点数据BinlogcommitStoreCongo高可用•

源和目的主备切换•

任务高可用•

数据高可用•

下游隔离•

核心隔离•

监控StoreCongoZookeeperClusterManagerDistributeddataSlave

StoreDRC

reloaderDRC

monitorStore Congo014年双十一处理规模2000+个实例实时增量抓取了约100TB的数据量峰值每秒处理了30+GB的数据量数据同步：除了交易限流，核心库均无超过秒级延时增量订阅：17000+个实时下游2014年双十一实时性DRCDRC经历2次双11成功支撑571亿交易最大延迟不超过1秒同步距离最长10000公里申请10项专利DRC支持更多数据架构Region2Region1Zone1高可用分布式数据库Zone2Paxos/DRCZone3DRCStore StoreCongo CongoCongo CongoRegion2Region1数据分发中心StoreStoreStore离线分析搜索实时计算增量中心消息队列StoreSlavestoreStoreSlavestoreStoreSlavestoreDRC在云端迁移上云•覆盖2014年50%RDS新增实例•

全量+增量，无缝迁移升级版 -­‐-­‐

DTSMySQLmysqldumpmysqlimportOracle25-­‐page

document导入/导出SQL

LoaderSQL

Server7-­‐pagedocumentImport/Export向导BulkCopy

ProgramPostgreSQL10-­‐pagedocumentpg_dump3-­‐page

document某全球知名云计算服务商阿里云DataTransformation

Service• 一键入云• 无缝迁移• 兼容异构• 一致校验跨域同步杭州RDS美国RDS10%RDS

replication不支持跨域•

DRC支持跨域RDS同步或者容灾，对RDS无入侵•

限量公测•

杭美RDS实例之间实现7*24小时实时同步DRCRDSDRDS增量订阅支持RDS和DRDS•

通过SDK订阅• 单机版• 集群版•

内部客户：Open

searchCDP• DRDS同步，小表广播• 网聚宝等数据搜索•

限量公测DRC