企业数据中台技术实践

1、企业数据中台技术实践从孤岛模式到中台模式的开发效率提升目录键盘的速度追不上业务需求岁月年华下的束手无策从孤岛到中台的解决方案 诗和远方键盘的速度追不上业务需求周而复始，生生不息限期先设再给要求推前限期再改要求卖肾交付键盘的速度追不上业务需求业务跟着潮流走来源：/zh/blog/social-media-in-china-cn/键盘的速度追不上业务需求线上线下上万的活动键盘的速度追不上业务需求时限、资源、什么都給的到位，这是人情然后甲方要什么没什么，多一秒也别想，这是道理岁月年华下的束手无策十年前后十年之前我不认识你 你不属于我我们还是一样 陪在一个陌生人左右走过渐渐熟悉的街头十年之后我们是朋友

2、 还可以问候只是那种温柔 再也找不到拥抱的理由情人最后难免沦为朋友岁月年华下的束手无策01从零到一的把数据模型、规范、架构建立出来一点点的累积经验数据模型线性增长，关系型数据结构越来越复杂 修改字段时，就像在电源插座上找唯一能用的插位可远观而不可亵玩焉岁月年华下的束手无策011111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111120岁的ER图20年前的關係結 構像甲骨文一样 难懂大量的存储过程学习周期慢改动困难重复的系统和重复的维护十年前为了更好的服务 客户，

3、为每个地区架设 单独的系统今天这些重复的系统意味着维护上的重复数据复制的成本数据使用的体验中国香港中国中国台湾中国澳门DatabaseCNPOSDatabaseHKPOSDatabaseHKWHDatabaseCNWHDatabaseTWPOSDatabaseTWWHDatabaseMCPOSDatabaseMCWH从孤岛到中台的解决方案什么是数据中台？以打通部门或数据孤岛的统一数据平台为基础，构 建统一数据资产体系，并以API服务方式为全渠道业 务(分析+应用)提供即时交付能力的企业级数据架构T + 0数据中台技术架构掌上商城 手机银行 保单管理客户360 统一订单 销售大屏数据即服务 |

4、Data as a Service数据资产体系数据统一平台CRMCMSBPMCIMSCM数据发现数据大屏数据共享可视化分析HR全渠道业务（后台分析 + 前端应用）CRMWMSOMSPIMINVNT数据中台的关键特点汇聚打通零散、孤立的业务系统通过数据治理，建模，形成一个统一的数据资产平台为全渠道业务通过Data API和新的数据模型提供数据赋能数据中台的两个启发1.汇聚已有系统 并不是替换已有系统 CQRS Pattern1.中台新的模型 意味着我们可以摆脱老数据模型的包袱CQRS模式来源：/en-us/azure/architecture/patterns/cqrs中台模式CQRS模式O2O

5、商城订单处理下单写操作读操作订单微服务产品微服务查询数据中台会员微服务PRODUCTproduct_id:xxcatalogItem: xx,productStatus: xx, inventoryClass: string, model: modelNbr:xx, modelSeqNbr:xx, productType:xxstyle:xx,usage:xx, productName:xxx, productDesc:xxxchannelClusterCode:xx中台使用新的JSON数据模型INVENTORYlastModifiedDate: xx,masterCatalogItem: x

6、x,modelSequenceNumber: xx, productType: xx,sku: xx,inventoryId: xx, itemNumber: xx, originalPrice: xx, physicalWeight: , regionCode: , departmentCode: , pendingIndicator: boolean, onBookIndicator: boolean, inventoryStatus: xxJSON模型的优势直观易懂降低工程 师大量学 习成本模型灵活可以灵活修改结构响应需求及时构建API容易适合微服务架构我们的中台之路项目范围 / 中台架

7、构成熟度业务价值智慧阶段全链路运营中台成熟阶段中台First中台实践阶段数个项目关键技术验证阶段单一项目生产, 物流，仓储，市场，销售，售后 全链路数据驱动运营及营销 智能分析建立完整的中台主数据体系 直接提供读写能力 新型业务中台上构建搭建中台架构，提供读为主的中台数据服务能力 全渠道商品中心跨地区网上商店库存盘点系统尝试CQRS模式验证Oracle到CDC同步Step IStep IIStep III数据中台之路 盘点项目技术尝试Oracle ConnectorConnectorRule ProcessorScript ProcessorField ProcessorProcessorMo

8、ngo TransformerJDBCTransformerTransformerTapdata ReplicatorHK POSHK RFID stocktakeLog Minerredo logHK ALPHALog Minerredo log实践阶段：全渠道商品中心OCPC中国中国香港中国澳门中国台湾中港台澳后勤中港台澳门店云端微服务数据中心微服务云端前端数据中心前端数据同步及建模数据中台之路 - 成熟阶段數據目錄 數據同步 數據開發 系統監控商品服務會員服務支付服務營銷服務訂單服務认证服務履約服務資料分析及展现實時報表銷售報表財務報表數據大屏人工智能推薦系統個性化CRMOC-POSDa

9、taPortalOC-EshopOC-PCReal Time ReplicationHK POSHK WHCN POSCN WHTW POSTW WHMC POSMC WHODSCCIPDUCSIBOMINVPRICESTYLEMODEL库存中心会员中心商品中心参考数据日志数据汇总模型应 用业 务 中 台数 据 中 台资 料 采 集诗和远方数据中台构建的技术栈多中心数据中台部署把数据靠近用户Microservice LayerApplicationsMongoDBzone:HKTapdataAPI ServerTapdata ReplicatorTapdata ReplicatorHK POS

10、HK WHTapdataReplicatorTapdata ReplicatorCN POSCN WHMongoDBTapdataAPI ServerMicroservice LayerApplicationsMongoDB zone:CNTapdata API ServerMongoDB zone:CNTapdataAPI ServerMicroservice LayerApplicationsMongoDB zone:CNTapdataAPI ServerMongoDBzone:CNTapdata API ServerCloud CNCloud HKCloud USzMoonneg:HoKDBAnalysis为何采用MongoDB作为中台存储横线扩展能力TB PB数据量支持跨中心跨云部署能力支持多种数据模型结构化和非结构化模型变动灵活高性能高并发毫秒级响应高并发促销场景多工况支持OLTPOLAPShard 1Primary Secondary SecondaryShard 2Primary Secondary SecondaryShard NPrimary Secondary SecondaryRouterRouter目录节点目录节点 目录节点数据中台的价值能力沉淀与覆用Shared KnowledgeReusable Data CapabilityFa