企业数据中台整体介绍及建设方案

企业数据中台整体介绍什么是数据中台数据中台怎么建设数据中台产品怎么选数据中台案例介绍企业大数据面临什么样的问题零散的、孤立的、分散的•

大数据平台01020304•

开发套件••业务越向前越不准确数据被业务模块割裂•规划可视化•

分析引擎混乱的、困惑的技术产品••数据口径不统一数据视角不一致••数据定义不清晰数据对不上Design

and

planningOrganization

system设计规划组织体系渴望的、不满足的Product

and

technology••每个岗位都希望得到数据的支撑很多种智能的应用都需要数据的支撑•

数据资源•

数据治理•

数据建模•

数据指标••••业务职责数据策略规范运维数据运维基础不牢、价值不高的•••底层建设严重匮乏高价值数据难以产生当前的数据业务价值低下企业选择什么样的大数据起点规范小数据中心无序小数据中心规范有序的全域数据中心（数据中台）无序大数据中心数据中台解决什么问题用一切数据业务化企业完整数据解决方案解决数据“存”、“通”、“用”难题数据中台，是基于分布式数据平台之上，根据行业客户的业务场景量身定制的一整套数据智能解决方案，基于“互联网+”时代的数据价值思考，赋能企业，提升竞争力存一切业务数据化连接数据孤岛通数据中台有什么本事V多来源：RDBMS，Hadoop，文本、接口..V多结构：结构化、半结构化、非结构化V多方式：批量、实时采集整合V

企业数据资产可视化V

企业IT资源可视化V整合打通：IDMapping，整合统一V

智能报表开发与共享V

大屏可视化展现与监控数据资产管理数据可视化V数据规范：数据标准化，指标体系V数据建模：数据域，逻辑模型，物理模型V数据管理：主数据，元数据、数据质量，数据安全V数据共享：数据地图，数据接口数

据

中

台V标签体系管理：静态标签、动态标签（算法标签），标签生命理V全景洞察：用户画像，商品画像，商圈画像…分析挖掘数据业务化V精准营销：人群筛选，智能推荐，广告投放……V自助交互式分析：智能报表，整合分析V规则管理：业务规则配置，预警监控…V丰富的算法库：数据预处理，分类、聚类，关联，预测…数据中台与传统数仓有什么区别分布式数据平台数据开发一站式传统数仓以单机关系型数据库离线分析为主；数据中台以分布式引擎架构，同时支持离线计算/实时计算/即时计算/智能计算传统数仓往往将ODS、EDW和ETL开发切割到不同厂商工具实现；数据中台则主式可视化数据开发，借助分布式技术的力量简化数据加工处理的过程数据源丰富性数据资产在线化传统数仓以业务数据库的结构化数据为主；数据中台涵盖业务数据、日志数据、行为埋点数据、IoT数据、爬虫数据、外部数据等传统数仓的数据管理和治理，往往花费大量精力，最终形成的是离线的规范和文档；数据中台则强调元数据管理统一入口的自动化和数据资产管理的在线化建设模式方法论数据应用创新传统数仓往往采用自顶向下的建设模式，以明确的业务分析驱动，延续性低；数据中台采用自底向上的方式，结合业务需求变化不断迭代升级传统数仓以某个业务主题的BI报表和决策支持为主，目的性单一，烟囱式建设；数据中台则主数据打通数据孤岛，释放业务方数据应用创新的能量数据中台长什么样数据中台体现什么样的企业核心价值全面梳理数据资产构建全域数据中心落地战略和组织保障培养业务创新的土壤数据资产管理在线化通过业务的不断滋养形成数据人才成长的摇篮打造业务和数据的闭环用户中心产品中心其他中心日志数据采集外部数据爬取行为数据采集大数据数据质量治理业务数据质量治理基础数据质量治理数据治理离企业信息化数据化展望上帝

=

全知

+

全能

全知

=

数据

+

算法••••BI分析••••数据治理大数据数据中台数据应用•••AI数据智能……数据•••财务报表管理驾驶舱数据中心数据挖掘业务报表企业编码规范半结构、非结构数据外部数据数据结构化交基础数据数据化step1step2step3step4更快的指标更多的指标

隐藏在背后的指标应用决策者业务产生数据信息化Soa应用中台分布式•••会计电算化办公自动化••ERP••••••管理者系统的大量集中Esb业务人员机器/应用大量应用与部署

•

集团管控portal自研发角色step1step2step3step4信息化与数据化互动数据化的成果是数据、是价值什么是数据中台数据中台怎么建设数据中台产品怎么选数据中台案例介绍数据中台建设思路数据中台体系涵盖整个数据中台解决方案框架图，既包含数据技术平台，也包含数据开发、数据模型、数据资产和数据产品应用。通过建设数据中台建立数据资产体系，规模化服务业务，保证数据质量，更大限度的发挥数据价值。方法论产品+工具实施流程整体规划，分布实施，数据中台是一个经过不断循环、反馈而使系统不断增长与完善的过程，这是区别于系统生命的主要特点。大数据分布式计算平台、数据开发套件、数据质量管理工具、数据地图管理工具数据模型管理工具、API管理工具等。一整套体系化的数据中台建设实施流程，包括需求调研、需求分析、架构设计、数据与应用开发、部署和测试运维等。数据中台实施路径分析部署集成明确业务需求，业务建模，与现有系统匹配。基础设施安装或升级。整体环境测试联调上线1234567调研设计开发管理包含机会评估和企业评估两项服务数据仓库ETL的设计、模型开发和单元测试，数据产品开发元数据、数据质量、容量规划、优化性能问题、设计数据仓库和数据应用技术体系架构，完成详细设计数据中台实施路径——①调研‹

客户行业的了解准备工作业务调研‹

行业成功案例和经验总结‹

培训资料、交流问题以及调查问卷的准备‹

客户的组织结构和工作流程‹

客户当前的业务系统和主要功能‹

客户各系统之间的关系、数据内容及状况‹

客户主要的应用报表的解释系统调研成果输出‹

细致分析整理客户报表及业务系统数据电话沟通‹

构建数据产品或分析模型的原型图会议沟通‹

通过原型收集需求后，完成分析模型描述问卷调查‹

数据产品需求说明书数据中台实施路径——②分析：以业务为驱动形成需求文档以业务为导向结构化分析，逐步细化现状分析确定、分解分析主题确定指标体系确定分析角度确定维度层次‹

目前的业务发展情况？‹

经营管理现状？‹

系统的数据源和数据质量怎么样？主题是否还需要分解？每个主题的分解目标是什么？每个分析主题包括哪些关键分析指标？包括哪些衍生物指标？这些指标从哪些维度进行分析？这些维度包含哪些层次？维度的聚合方式是什么？‹‹‹‹‹‹‹数据中台实施路径——③设计：方法论全流程一体化向上多样化赋能场景

向下屏蔽多计算引擎双向联动从数据采集到数据服务全链路通

通用产品+行业产品+专享产品公共云+专有云+私有云业务与产品&技术协同互助OneDataOneIDOneService数据标准化技术驱动数据连接主题式数据服务数据规范定义从业务源头标准化基于超强ID识别技术连接数据主题逻辑表屏蔽复杂物理表统一但多样化数据服务技术内核工具化技术内核工具化一般查询+OLAP分析+在线服务规范定义、建模研发、调度运维、···超强ID识别、高效标签生产、···元数据驱动智能化业务驱动技术价值化跨源数据服务半自动化->智能化规划计算和存储孤岛->高质量->高价值屏蔽多种异构数据源数据中台实施路径——③设计：数据仓库模型设计概念模型设计•

确定主题•

确定主题域的边界•

粒度层次划分逻辑模型设计物理模型设计•

事实量度确定•

数据分割策略（数据量、分析的实际情况、简单）•

结构模型确认•

确定存储结构（存储时间、存储空间利用率和维护代价）•

确定索引结构（专用的、复杂的、文档的）•

确定存放位置（归并、冗余、建立数据序列）•

优化存储分配（块大小、缓冲区大小、个数等）数据中台实施路径——③设计：基于OneData的数据模型分层设计ADS数据应用层个性化指标加工：不公用性；复杂性（指数型、比值型、排名型指标）基于应用的数据组装：大某省市、横表转纵表、趋势指标串CDM公共维度模型层CDM层又细分为DWD层和DWS层，分别是明细宽表层和公共汇总数据层DWD：以维度模型方法基础，采用维度退化手法，减少事实表和维度表的关联DWS：加强指标的维度退化，采取更多宽表化构建公共指标层，提升公共指标的复用性ODS操作数据层同步：结构化数据增量或全量同步结构化：非结构化(日志)结构化处理累积历史、清洗：根据数据业务需求及稽核和审计要求保存历史数据、数据清洗数据中台实施路径——④部署数据中台环境搭建开发环境和生产环境严格一致开发环境生产环境数据采集平台数据计算平台数据中台工具产品数据应用平台•

实时数据源采集方式•

阿里云数加大数据平台•

数据质量模块•

应用微服务和数据库环境部署•

定时数据源采集方式•

袋鼠云RDOS分布式大数•

数据模型模块•

API平台模块•

标签工厂•

…据计算平台•

产品监控工具部署数据中台实施路径——⑤开发：数据仓库开发数据模型性能优化数据模型测试数据模型性能调整和优化针对开发后的ETL脚本进行自测和交叉测试数据备份和恢复开发数据备份与恢复程序增量数据加载开发日常增量加载的程序和处理流程历史数据加载开发历史数据加载的程序和处理流程ETL开发数据定时/实时同步，建立DW/OLAP分析模型数据中台实施路径——⑥集成数据测试应用测试集成测试•

测试历史数据加载程序和流程•

测试日常数据加载程序和流程•

数据正确性测试•

单元测试•

接口测试•

功能测试•

性能测试•

接口测试•

功能测试•

用户体验测试•

数据模型性能测试数据中台实施路径——⑦管理：数据管理体系组织流程数据与信息标准化委员会组织建立/维护数据管理人数据所有人数据生产人数据使用人IT支持团队流程考核指标责任评价标准执行评价政策执行评价标准建立/维护流程数据标准数据质量元数据数据安全数据全生命数据创建数据存储数据某著名企业数据共享数据停用评价与数据类型数据格式业务分类业务含义……真实性定义及时性定义完整性定义一致性定义……技术元数据业务元数据管理元数据安全等级权限定义审计定义保留策略……考核指标建立/维护流程评价标准考核评价与考核流程……数据认责平台数据标准管理数据质量管理元数据管理数据安全管理工作流管理什么是数据中台数据中台怎么建设数据中台产品怎么选数据中台案例介绍数据中台实施路径——⑥集成拥抱开源自有研发能满足客户离线和实时等计算需求，通过不同产品组合能满足多数大数据用户的需求。但是是闭源体系。基于Spark

Flin

Tensorflow兼容CDH/HDP/TDH/EMR贡献Flink

jLogstas

StreamSQL私有化&公有云部署公有云服务为主按需购买大数据服务，初期价格不高，但是年成本比较高。要绑定产品体系化自主开发的产品化体系，产品之间的耦合度很多高，功能强大但是要配套使用模块组合计算引擎

应用引擎开发套件

治理套件报表引擎

数据应用引擎支持P

级大数据不依赖特定IAAS求数据上云，对企业数据安全制度是挑战袋鼠数栈产品系统（希望本地化部署客户，推荐数栈）阿里公有云大数据服务（数据能上云的客户，推荐阿里公有云）数栈：企业级一站式数据中台PaaS数据应用数据化运营可视化大屏舆情监控精准营销……个性化推荐……大屏引擎Easy[V]基础服务数据应用引擎数据API分析引擎集群部署数据开发套件数据仓库主题域用户主题域数据治理套件数据质量运维监控多租户隔离多集群管理数据集成任务运维实时任务开发离线任务开发交域数据地图业务中台商品主题域数据模型日志分析EasyLog数据计算引擎RD-OSClouderaFusionInsightEMR数据源RDBMS日志文件ElasticSearchFTPHBaseDT.Trace……数栈产品第三方产品数栈多租户管理◎

通过资源队列方式实现资源隔离◎

支持计算节点粒度的多租户管理◎

支持cpu+内存组合粒度的多租户管理◎

支持按照资源池的百分比/固定值进行资源分配租户A租户B租户C用户租户管理平台计算任务租户A任务租户B任务租户A任务租户B任务租户C任务租户A节点2租户B租户C虚拟机物理机节点1节点3节点4节点5节点6节点7IAAS资源管理平台物理机1物理机2物理机3实时流计算对用户行为或相关事件实时监测和分析，基于风控规则进行预警数据的实时清洗、归并、结构化用户行为预警、AppCras

预警、服务器攻击预警数仓的补充和优化实时ETL监控预警实时报表实时在线系统实时计算相关指标反馈及时调整决策活动实时直播大屏数据化运营内容投放、无线智能推送、实时个性化推荐等数栈-开发套件：大数据的“视窗操作系统”开源生态兼容可视化操作界面全生命盖◎

兼容CDH、HDP、EMR等第三◎

屏蔽底层复杂的分布式计算引擎，基◎全链路覆盖数据价值释放过程，支持实时、离线和智能计算方开源分布式计算引擎于Web的开发平台，提高开发效率数据资产管理任务状态监控数据模型规范数据输出任务开发与调度数据输入实时/离线/智能分布式计算引擎数栈-开发套件◎

屏蔽底层分布式开源引擎的复杂性，以更加友好、便捷、可视化的方式提供一站式数据开发工作台支持SQL、MR、PySpark、Python、Shell、Tensofrflow、MxNet等多种不同类型任务任务

调度类型

依赖自主研发的DTEngine内核，支持复杂的调度与依赖配置内置130多种系统函数，充分满足不同场景的任务配置自动解析SQL并生成推荐的任务，简化依赖配置流程支持自定义参数，灵活满足不同计算场景需求和临时查询，满足SQL查询、自定义函数、机器学习、深度学习、外部功能调用等不同场景开发需求支持工作流，便捷完成整个ETL链路的开发协作开发愉悦的WebIDE编程体验，支持代码自动补全、列模式编辑、主题切换等统一的代码提交、资源管理和函数管理，一站式完成数据开发任务完善的任务锁机制和代码历史版本支持，充分满足团队协作式开发的趋势数栈-开发套件：分布式高性能同步引擎FlinkX◎

数据同步在不同存储系统中起到“桥梁”的作用，是数据中台的基础核心功能◎

支持多种不同的异构存储系统数据，插件化架构可随时支持更多的新数据源需求◎

底层基于Flink分布式架构，支持大容量、高并发同步，相比单点同步性能更好，稳定性更高存储存储OracleSQLServerZdal[2]读取写入HDFSMySQLHiveFTPFlinkX[1]FlinkXElasticHBasePostgreSQLSearchODPSRedisMongoDB存储存储存储[1]FlinkX源码已由数栈研发团队贡献给开源社区，详情请参考：[2]Zdal支付宝分布式数据库中间件，支持MySQL、Oracle、DB2分库分表架构数据开发-可视化的调度与依赖配置◎

自主研发的数据任务调度引擎（DTEngine），单台虚拟机最高支持万级别任务的复杂调度[1]

，让数据加工更流畅◎

可视化的调度、任务依赖配置，支持多种调度参数，充分满足开发过程中的各种需要多种调度多种依赖模式多种调度参数支持复杂的任务间DAG依赖可视化配置为使任务自动行时能动态适配环境变化，开发套件内置4种系统调度参数，满足绝大多数场景的任务配置需求，同时可支持灵活的自定义参数配置支持分钟、小时、天、周、月多种调度的可视化配置支持任务自依赖模式[1]：测试环境的硬件配置：4核8G内存的虚拟机数据地图：可视化的数据资产管理◎

随着企业发展，数据规模逐渐增长，对已有数据资产的管理会越来越重要◎

数据地图基于租户级别提供统一的数据管控体系，包括完善的数据授权模块，提升平台的数据安全性自动更新平台中表的元数据，记录表支持多级类目管理，确保数据资产能够名、字段、分区、存储等信息，同时支持数据预览类目体系基本管理分门别类，便于后续的查找和维护脏数据管理血缘关系根据任务、脚本等因素自动建立血缘关系，提高数据异常问题排查速度，实现数据链路的可查询、可跟踪对同步任务产生的脏数据统一查看与管理生命操作记录覆盖全部数据的自动化生命理，提高存储系统利用效率，降低存储成本对新建、删除、变更表结构等操作自动记录，实现数据操作踪迹可查询权限管理租户间数据严格隔离租户内支持表级权限授权和审批流程，保障数据安全数据模型：3步实现规范化数据中台开发◎

数据模型内置经过阿里实战检验的OneData规范，也支持不同行业的建模规范配置，将传统的人工经验+人工约定模式改为系统化规范方式基础配置模型设计检测中心规范化表级规则生成◎

模型检测◎

模型层级（ODS/DWD/DWS）◎

主题域(销售、库存、用户）◎

刷新频率（天、周、月）◎

增量定义（全量、增量）◎

模型生成规则◎

模型不规范原因分析◎

字段检测层级+◎

字段不规范原因分析主题域+刷新频率+字段级◎

原子指标◎

衍生指标自定义示例：ODS_sales_D_customAnaly数据质量：十年实践经验沉淀的多种校验规则◎

数据质量组件支持常用的关系型数据库和大数据存储，可基本覆盖绝大多数质量校验场景◎

目前已应用于中金、茅台、蓝光地产等多个项目支持的数据源校验规则质量报告◎

支持字段级、表级校验报告，具备历史数据统计◎

目前支持6种数据源，满足大多数◎

基于阿里数据生产的实战经验，内置20余种校验规则功能，辅助定位数据质量的问题根源场景下的质量校验需求◎

支持表级、字段级2类规则OracleSQLMySQLServer数据源MaxComputePostgreSQLHive分析引擎：海量数据即系查询产

品

特

点使

用

场

景◎

实时OLAP引擎◎

满足灵活的数据探索需求◎

十亿级别数据聚合，秒级响应◎

多种预聚合模式◎

对接BI系统，实现多维分析◎

标签平台，实时创建人群◎

对接业务系统，满足海量数据高并发，低延迟查询需求◎

开箱即用◎

兼容jdbc协议,使用便捷◎

采用spark计算引擎+carbondata存储格式数据API：简单传统模式下，开发一个接口服务需要的步骤：4123567开发API鉴权&流控逻辑准备好数据库开发数据库连接代码开发API逻辑代码搭建HTTP服务器部署API接口服务服务运维扩容缩容基于Serverless架构的数据API开发一个接口服务只需2步：准备好数据库

2

配置AP

查询逻辑数据API采用Serverless架构，用户只需关注API本身的查询逻辑，无需关心运行环境等基础设施，数据服务会为您准备好计算资源，零运维成本什么是数据中台数据中台怎么建设数据中台产品怎么选数据中台案例介绍中金版发行大数据平台中金版发行大数据平台项目背景针某省市场情况实时调整策略科学的采购模式、发货及营销方式图书推荐、活动推荐获取行业风向2000+出版集团40+发行集团10000+零售门店销售对比分析，降低产品滞销、库存积压获知及时的销售数据、选题数据以大数据思维方法论重构出版发行行业，打通“经络”，让生态转起来！中金据中台整体架构丰富的多端体验PC端某著名企业端可视化大屏端出版端门户(一期)发行端门户（二期)零售端门户（二期）选题助手发行助手管理助手行业风向竞争分析行业风向集团概览我的营销库存优化发货优化分析报告我的营销会员分析销售分析对比分析数据报告库存优化数据研发数据资产统一数据应用服务（数据同步-》搜索引擎+多维分析）数仓规划资产分析萃取数据作者出版社仓储读者营销发行集团交易终端门店商品书目数据建模规范定义数据研发调度运维数据目录数据权限公共数据基础数据采购客户数据查找ERP数据文件采集/接入……豆瓣亚……爬取数据计算与存储离线计算实时计算阿里云：大数据计算