阿里云数据中台架构介绍

1、阿里云数据中台方案介绍The Introduction of Alicloud Data Mid-Office数据中台在阿里巴巴的历程和演进2013年开始，阿里巴巴开始在内部建设可复用的数据平台，支撑内部电商和阿里系其他业务发展，经过7年发展，逐步演进成拥有 海量智能数据处理能力的数据中台，从半自动化、自动化数据中台向智能化发展。32数据来源：阿里巴巴；整理数据中台在阿里巴巴的演进2012-2014手淘数据服务2014-2015电商系数据公共层2015-2017阿里巴巴数据公共层方法论提出和尝试落地建设数据地图规范化数据建模建设指标小库基于全电商体系的方法论升级与实施方法论升级、局部工具化、领

2、域建设衍生查询服务、搭建超市门户数据公共层的品牌塑造更多样业务的工具化升级与实施2017-至今企业数据中台数据服务 统一查询 用户识别 标签管理数据采集数据 计算离线 计算数据 分层定义建模&研发数据 管理实时 计算数据开发平台半自动化自动化智能 化数据服务 统一查询 用户数据管理 人群洞察数据采集数据 计算离线 计算数据 分层智能计算与存储数据 管理实时 计算一站式数据IDE阿里云数据中台定义：集方法论、组织和工具于一体的， “快”、“准”、“全”、“统”、“通”智能大数据体系33数据来源：阿里云数据中台；整理以数据带动人才通、 技术通、业务通OneData 数据资产化 最佳实践和工具体系O

3、neData方法论基于Dataphin的自动化实现OneModel指标标准化和自动化OneID实体标准化和自动化OneService服务标准化和自动化智能化消除歧义指标数仓开发和管理效率 提升1倍以上智能化消除重复实体ID标签开发和管理效率提 升1倍以上智能化构建数据服务API开发各管理效率提 升1倍以上组织升级提效业务增长降本让企业像阿里巴巴一 样构建数据中台产品矩阵智能数据构 建与管理DataphinQuick BIQuick Audience高效数据分 析与展现智能用户增长持续云化产 品输送技术 能力阿里云数据中台是集方法论、组织和工具于一体：其中方法论基于OneData理念，实现标准化

4、和自动化模型、ID和服务，消除二义 性，提高数据可用度；组织基于数据带动效率、业务增长，降低成本；同时形成以Dataphin、Quick BI、 Quick Audience等为核 心的产品矩阵。阿里云数据中台定义方法论组织工具通组织联商业阿里云数据中台定义下的建设标准34数据来源：阿里云数据中台；整理阿里云数据中台定义下的建设标准，是通过Dataphin、Quick BI、Quick Audience及品牌全域数据中台解决方案等产品服务， 智能化地践行了好数据、联商业和通组织。阿里云数据中台定义的建设标准好数据好数据：企业数据中台能切实有效地帮 助企业构建了既“准”又“快” 的“全”、“统”

5、、“通”的 “智能”大数据资产体系，实现用统一的标准，构建统一的 数据，深度挖掘数据资产价值。联商业：企业数据中台将企业数据资产 与商业进行联接，利用数据联 接到更多的消费者，利用数据 联接到更多的商业场景，产生数据驱动业务增长的真正价值。通组织：企业数据中台能确保企业70% 以上的BI决策是通过数据实现 的，实现数据在组织中的快速 分享，站在数据思维或视角，驱动组织决策管理。阿里云数据中台解决方案35数据来源：阿里云数据中台；整理阿里生态加持触点能力、分析能力品牌全域分析 增强分析洞察全域业务监控全链路分析全渠道运营分析自定义分析品牌数据银行 增强消费者运营全域AIPL增强人群洞察人群放大阿

6、里全域营销运营数字化业务导向、方便易用品牌消费者运营 Quick Audience消费者洞察自动化营销投放自动化私域运营智能BI服务 Quick BI实时业务监控综合运营分析业务链路分析自定义分析数据资产化Dataphin标准统一、可连接萃取Powered by OneData FrameworkOneID 数据萃取自动化OneModel 数仓自动化OneLog埋点采集 + 数据集成Pipeline自动化OneService 数据服务自动化OneMeta 数据资产管理自动化数据源业务系统外部数据向上层应用提供安全、易用的接口服务向下迅速构建与各种异构数据源的连接阿里云数据中台解决方案主要分为数

7、据资产化和数据价值化。由Dataphin主要实现数据资产化，由Quick Audience主要实现消费 者运营，由Quick BI主要实现决策智能，叠加定制的业务解决方案实现更大的业务智能。阿里云品牌全域数据中台框架Dataphin：智能数据构建与管理36数据来源：阿里云数据中台；整理Dataphin一站式提供从数据接入到数据消费全链路的智能数据构建与管理的大数据能力：OneData保障数据资产的标准化，实现 100%好数据，利用智能数据技术实现关键数据研发过程自动化，同时数据集成自动化、数仓研发自动化、消费者ID和标签体系自 动化、数据资产管理自动化、数据服务自动化等特点可实现数据研发和数据

8、资产管理效率提升50%以上。OneModel统一数据构建及管理OneID统一数据萃取2.数据引入低代码、Pipeline模式 采集、清洗、结构化3.规范定义口径一致、算法一致、命名唯一4.数据建模构建业务视角的数据架构， 物理模型与代码自动生成7.数据资产管理自动元数据分析、数据地 图、资产应用与治理1.数据采集APP、小程序、IoT可视化埋点采集6.运维调度作业运维、任务调度与监 控报警数据连接萃取 低代码、ID识别与标签画像生产5.智能在线代码开发ETL代码开发 无代码自动研发8.数据主题式服务 业务主题导向的无代 码API生成和管理Dataphin体系示意图OneService统一数据服

9、务OneModel100%消除指标二义性分钟级代码自动生成OneService智能化构建数据服务 效率提升1倍以上API开发和管理效率 提升OneID智能化消除重复实体ID效率提升1倍以上标签开发和管理效率 提升Quick Audience：智能用户增长37数据来源：阿里云数据中台；整理6.营销投放 私有化营销 广告营销7.效果分析 渠道效果分析 对比分析2.用户模型构建 用户画像模型 AIPL模型RFM16模型3.模型分析 透视分析 RFM分析 AIPL流转分析4.受众圈选 标签圈选 RFM模型筛选1.数据源接入分析型数据库2.05.受众分析 标签分析 显著性分析效果数据回流Quick Au

10、dience 以消费者运营为核心，通过丰富的用户洞察模型和便捷的策略配置，帮助企业实现商业智能，助力用户增长：集成 成熟的用户洞察模型(AIPL15)、便捷的规划策略配置、快速的人群圈选能力、多渠道营销投放、一键贯穿线上线下的一体化运营平台。Quick Audience基于阿里积累的AIPL用户洞察模型，精细化运营过程，同时提供多种策略分析、圈选、投放和效果分析一体化服务Awareness认知Interest兴趣Purchase购买Loyalty忠诚可视化可优化可量化AIPL是将品牌在阿里系的人群资产定量化运营的模型：其中， Aware代表对品牌有认知的消费者，Interest代表对品牌产生兴

11、 趣或有过互动行为的消费者，Purchase代表对品牌商品产生购 买行为的消费者，Loyalty代表一定时间内对某品牌商品购买多 次或有过正面的评论的消费者。阿里巴巴提出的全域营销是在新零售体系下以数据为能源，实 现全链路、全媒体、全数据、全渠道的营销方法论：该方法论 重新定义了经典的AIPL概念，将消费者链路变成可视化、可运 营的消费者资产管理过程。Quick Audience体系示意图Quick BI：高效分析与展现38数据来源：阿里云数据中台；整理Quick BI是专为云上用户量身打造的新一代智能BI服务平台：它是迄今为止第一个入围Gartner魔力象限ABI领域的国产BI产品，其 价值

12、不仅在于提供了全品牌、全品类、全渠道视角，联动线上线下，高效运营商品、供应链，更在于能站在数据中台的视角，和钉 钉无缝集成，实现让数据驱动组织协同。Quick BI体系示意图角色：决策层角色：管理层角色：运营层应用：钉钉Quick BI 分析框架全局监控分析以趋势、对比及协同分析为主日常运营分析以透视、对比及趋势分析为主竞品分析产品与价格矩阵，潜力单品/套件分析流量分析流量规模与构成，来源去向分析店铺分析店铺经营对比分析，店铺转化分 析订单分析订单发货分析，退换货分析经营概况分析经营总况分析，目标达成情况，渠道、品类、客户洞察 等方面支持管理决策营销分析从活动前 活动中 活动后，全链路以及营销

13、单品/工具角度进行监控和分析竞品分析竞品新品及价格趋势分析业务模式：直营业务模式：采购业务模式：分销全渠道客户洞察跨店铺跨品牌经营透视全链路全场景商品洞察Quick BI 业务分 析框架1.获取数据云数据库、关系型数据库、 Hadoop、MPP等数据源 接入2.创建数据集内置高速查询引擎，亿 级数据实现秒级计算与 查询3.仪表板零SQL拖拽式的仪表板， 支持多组件查询联动和下 钻联动4.电子表格类Excel操作的电子表格， 并且支持300多类似Excel 的函数5.数据门户安全的多端访问、多 端同步和控制6.组织协同基于钉钉，让数据无 处不在驱动组织协同，提升业务响应效率阿里云数据中台行业案例

14、Case of AliCloud Data Mid-Office Solutions39飞鹤多品牌、多渠道、多触点的布局，使其产生对客户、订单、 销售等数据全局、统一、在线管理和资产化的需求40数据来源：公司招股书、兴业证券；整理新客数据沉淀，未形成新客到复 购的分析，链条存在断点订单数据未与供应计划资源有效结合； 全局数据优化待提升外部数据的分析不能结合销售 数据，曝光转化缺失销售数据断档，生产的产 品结构并非良性多环节数据存在断点，未 全部在线管理现状源全局、唯一、共享数据体系飞鹤成立于1962年，是中国最早的婴幼儿配方加奶粉研发和生产制造企业之一。随着旗下品牌的扩张，渠道和触点的增强，营

15、销 模式的多样化，飞鹤在企业内部数据管理和运用方面产生了很多新的需求，如新老客数据分析、订单数据接入供应计划、营销的精 细化管理等等，数据中台能较好匹配其需求。飞鹤部署数据中台之前的主要痛点分类子品牌超高端婴配奶粉星飞帆（2010年）、臻稚有机（2017年）高端婴配奶粉臻爱倍护（2012年）、臻爱飞帆（2012 年）、精粹益加（2012年）普通婴配奶粉星阶优护（2014年）、飞帆（2007年）、 贝迪奇（2011年）营业补充品Vitamin world5785454725726581,1591,1391,1671,1311,16658,00067,00090,0004,0003,0002,00

16、01,00002016年2015年2017年2018年2019年H11,7371,6841,6391,7031,824终端销售点数目经销商数目零售商数目109,000传统媒体委任章子怡为品牌代言人线上互动微信虚拟社区、公众号等互动区面对面研讨会妈妈的爱、嘉年华、秀、一年举办30万场线下活动营销渠道飞鹤不断扩张的品牌序列飞鹤分布广泛的渠道和触点（单位：家/个）飞鹤多样化营销模式飞鹤数据中台第一阶段聚焦新零售，针对九大业务场景、四大 核心诉求改造，获得敏捷、双向、预知等业务运营能力41数据来源：飞鹤专家访谈；整理1第二阶段：数据中台支持智慧供应链（计划中）供应链洞察分析、智能制造（生产）业务分析；

17、库存分析、采购分析、物流分析、计划分析、原材 分析、全局库存分析；质量分析、制造分析、设备分析、半成品分析、工艺分析等。全面推进数据智能应用（计划中）持续基于业务的数据中台建设；全面推进数据智能应用与数据业务化，不断优化、 拓展场景应用。23飞鹤数据中台分三阶段进行，目前已完成第一阶段的建设：第一阶段以消费者服务及终端门店销售为核心，规划了九大业务场景， 主要满足四大核心诉求，实现全渠道、产品和服务的转化率增加。目前飞鹤数据中台体现了五大价值点，使其获得同源、敏捷、预知、倒推、双向等数据能力。飞鹤数据中台战略规划第一阶段：数据中台支持新零售（已部署）飞鹤集团数据中台建设，基于智能大数据解决方案

18、， 通过Dataphin、Quick BI、Quick Audience产品， 搭建数据中台。在会员、渠道、服务、产品、营销 等方面进行全面洞察分析，实现全渠道、产品和服 务的转化增加。营销域交易域公共域商品域会员域渠道域财务域日志域物流域有效将客户留存运营深入存量用户运营全力赋能线下业务，助力导购实现客户跨业务引流、转化、留存以消费者服务及终端门店销售为核心，初期规划九个业务场景、四大核心诉求五大价值点构成飞鹤新零售运营能力统一数据源，让 企业各个层级对 同一个问题 / 业 务情况达成统一 认知源同同源算力的提升，可 以连续的、动态 的掌握业务情况， 提升精细化数据 管理和运营能力；源敏同捷

19、预知风险，发现 问题和机遇，如 不同地区不同渠 道增长现象异常源预同知数据贯通，打破 了业务板块间的 壁垒，意识到业 务流程上的问题 倒逼业务平台层 精进和优化源倒同推通过数据价值赋 能业务前端，同 时业务数据也会 回流，形成双向 闭环源双同向雅士利多品牌、多业务、多系统带来集团数据困境，使其产生 统一数据管理的需求雅士利成立于1983年，目前已发展成为一家以婴幼儿奶粉为核心产品的现代化大型企业，在过去30余年发展过程中经过多次业务 整合、品牌整合，这使得雅士利面临多品牌、多业务、多系统带来的数据管理和数据使用困难，数据中台能够实现数据资产统一， 支持集团在优质的数据平台上进行新的组织变革和模

20、式创新。雅士利部署数据中台之前的主要痛点多品牌无法统一管理， 数据不统一业务整合带来不同业务线数据独立，销售、渠道、营销无法整合运营现状源全体系统一、双向、 可复用的数据资产雅士利多业务并购整合之路1983年2013年2014年2015年雅士利成立蒙牛成为第一大股东，推动了雅士利 在组织、品牌、渠道、产品等领域的 变革和剖析，加速雅士利国际化进程.蒙牛、达能、雅士利联合签署股份认 购协议、达能成为雅士利第二大股东， 实现资本与研发国际化2017年2016年朵拉小羊上市，澳洲原罐进口雅士利收购多美滋中国，将多美滋中 国的研发中心、奶粉生产基地以及多 美滋生产工厂和技术收入囊中42雅士利收购欧世蒙

21、牛，正式成为蒙牛 旗下统一奶粉业务平台新西兰自建工厂开工数据来源：雅士利官网、雅士利专家访谈；整理雅士利数据中台五大业务场景，使得消费者资产化、精细化运 营落到实处43数据来源：雅士利专家访谈；整理营销域会员域积分域导购域门店域雅士利围绕消费者资产运营建设数据中台，规划了五大业务场景，分别是营销域、会员域、积分域、导购域和门店域。目前雅士利数据中台效果显著，实现了多系统数据统一整合、营销效果更加可控、精细化运营及数字化考核成为可能，从0-1走向 集团数字化管理阶段。围绕消费者资产运营，规划五个业务场景雅士利数据中台带来了四大显著成果多系统数据统一整合数据中台解决了雅士利集团内 多品牌、多业务系

22、统的数据同 源统一问题，形成较好的数据 资产精细化运营成为可能数据中台使得线上、线下渠道可 以统一管理，消费者数据会回流、 印证，真正形成围绕消费者做资 产运营雅士利旗下朵拉小羊在2019双 11期间，实现了消费者总量增幅 达74倍，主推单品销售提升 1000%+数字化考核成为可能数据中台促进公司内部各部门 的数字化进程，对外加速经销 商端，门店端数字化，使数字 化考核成为可能营销效果更加可控数据中台使营销与销售统一结合， 营销ROI精度更高、反馈更快， 整体效果更加可控2019双十一期间雅士利品牌活 跃消费者实现了959%的增长， 能够精准吸引更有潜力的人群， 如新锐白领、Z世代、精致妈妈

23、等Appendix附录44附录附录一：关键名词解释45数据来源：公开资料；整理ERP：企业资源计划（Enterprise Resource Planning）的简称，是集信息技术与先进管理思想于一身，以系统化的管理思想，为企业员工及决策层提供决策手段的管理平台。CRM：客户关系管理（Customer Relationship Management）的简称，是一种企业与现有客户及潜在客户之间关系互动的管理系统。APS：高级计划与排程（Advanced Planning and Scheduling）的简称，是解决生产排程和生产调度问题，常被称为排序问题或资源分配问题。MES：制造执行系统（Man

24、ufacturing Execution System）的简称，旨在加强MRP计划的执行功能，把MRP计划同车间作业现场控制，通过执行系统联系起来。LIMS：实验室信息管理系统 (Laboratory Information Management System）的简称，是一套用来管理实验室样品、人员、仪器、标准品和其他实验室活动的系统。WMS：仓库管理系统（Warehouse Management System）的简称，是对物料存放空间进行管理的软件，一方面通过在系统中设定一定的仓库仓位结构对物料具体空间位置的定位， 另一方面通过在系统中设定一些策略对物料入库、出库、库内等作业流程进行指导。DMP：数据管理平台（Data Management Platform）的简称，是把分散的多方数据进行整合纳入统一的技术平台，并对这些数据进行标准化和细分，让用户可以把这些细分结果推 向现有的互动营销环境里的平台。DSP：互联网广告需求方平台（Demand-Side Platform）的简称，主要服务于广告主，帮助广告主在互联网或者移动互联网上进行广告投放。DSS：决策支持系统（Decision Support System）的简称，最早由Scott Morton和Gorry在20世纪70年代提出，是指具有一定智能行为的计算机应用系统，可以通过人机交互的方式