数据中台解决方案

数据中台解决方案

数据中台概述

数据中台解决方案

数据中台实施骤

实践成果目录CONTENTS01

一.数据中台概述信息化传统烟囱式架构1.

响应慢

2.

成本高

传统企业数字化转型的阶段

数字化链接渠道互通数据化数据采集沉淀智能化数据分析整理生态化互链互通融合1.

数据治理

2.

用户画像

3.

精准营销1.

渠道互通

2.

产品互通

3.

用户互通1.

客户生态

2.

行业生态

3.

生态互链1.

数据采集

2.

数据沉淀

3.

数据清洗传统核心业务中台整合客户的行为数据、历史数据

从中挖掘数据价值，为前台业务

提供智能和实时的数据参考。挖掘数据价值随着经营管理模式转变，逐渐产

生了新的通过停机分析报表（OLAP）支持管理决策分析的需求，由管理一个或多个主题数

据的数据仓（DataWareHouse）

提供数据服务。辅助决策通过工具和标准最大化利用数据

资产，为前台业务提供快速灵活

的数据服务，通过数据来支撑企

业的运营。快速支撑灵活多变的

业务应用业务系统单一，经营模式

直接

,

需求为交易的事务处理（OLTP），强调高并发、单条

数据简单提取和展示，通过数据

库（DataBase）实现。支撑交易初级应用阶段

统计分析阶段

大数据智能分析阶段

数字化运营阶段

数据应用变迁,---------------------------.以客户为核心，以全景

视角洞察需求和商机---------------------------.统一客户视图

统一产品视图---------------------------.线上线下场景和业务经

营决策无缝链接.----------------------------全域数据采集和管理

全链路业务分析支持.----------------------------统一数据服务

统一数据管理

统一数据运维.----------------------------全域数据打通与链接

全业务流程打通与链接•

客户画像•

智能推荐•

精准营销•

全渠道触达•

实时报表•

舆情监控•

智能运营•

数据大屏•

差异化风险定价•

风险实时预测•

全流程风控闭环•

反洗钱、反欺诈引擎满足营销、

风控、

产品、

运营等多业务板块和职能部门的数据服务和应用需求

运营&可视化应用数据中台全面、

统一、

融通业务中台系统重构和升级•

流程创新•

定价引擎•

需求预测•

产品工厂

营销和渠道

风险控制

产品创新

数据驱动业务

通全统通全统反哺驱动同公众平台交易中心业务中台基础云平台风险管控属性分析智能引擎人群分析

企业中台整体架构

业务数据化、数据资产化、资产服务化、服务业务化客户

研发

生产

供应链

......自助分析监控预警运营管理智能决策回数据中台业务数据沉淀资产数据服务业务创新数据消费数据消费数据消费服务交互开放Api产品中心运营门户移动应用流程中心客户中心用户行为行业分析数据模型

机器学习服务交互服务交互服务交互H5PC▲大数据平台“数据集”即服务•融合了结构化和非结构化数据•

数据资源

“大集中”，缩短报表开发时间•

海量异构数据计算，支持实时数据处理•

面向BI应用“API”即服务•

数据直接用于业务链路和交易场景，

服务更多业务•

覆盖全域数据•

数据资产化，数据共享•

各类AI、大数据技术，赋能业务创新随着从数据仓库、

数据平台向数据中台的演进，数据逐步贴近业务，彰显数据的驱动力

用数据经营

用数据管理

数据支撑业务“分析报表”即服务•

报表、

KPI、简单的分析挖掘•

结构化数据、

历史性数据•

非全量数据数据不能直接影响业务数据仓库、

集市数据赋能业务数据中台“数据来源业务，

数据服务业务”•

数据集市面向业务部门管理需要帮助企业的数字化平台（客户体验平台，生态系统平台，物联网平台和信息系统）的业务用户做出更好的决策，并在各个数字化平台的合作孵化下形成可复用的数据分析能力。数据中台：

企业数字化的核心

中台建设贯穿始终•

数据中台不是一个标准化的产

品，是一整套策略和解决方案

的集合，因此中台能力的

建设是一个长期过程•

数据中台分布式架构需要采用

微服务、

DevOps等解耦化、组件化、敏捷的迭代方式进行

部署和运维

数据资产是基础•

数据资产化是将数据业务化的

前提•

通过数据资产确保数据准确、

合理共享、保护数据安全和隐

私

数据服务是目标•

数据中台对数据进行沉淀和

加工，面向业务场景建立数

据应用和数据服务，使得数

据可以更好地在场景中得到

应用，体现数据价值

数据模型是本质•

通过数据中台将数据中心

化，对共性问题抽象出业

务规则，同时降低模块间

的耦合度“高内聚、低耦

合”数据中台资源共享能力由数据中台提供平台共享能力，减

少数据的下发和本地化存储；通过

容器化与大数据结合，实现计算资

源、存储资源、网络资源和应用的

隔离与共享。避免各个应用间抢占

资源造成相互影

响；应用间保证完

整的安全管控机制。数据资产管理能力提供数据资产管理工具。可以实现

元数据管理、数据质量、安

全管控

等服务。整合源业务系统、数据仓

库、大数据平台的数

据资产，通过

数据资产管理与配套工具开放数据

的使用。开放服务能力可以提供BI工具、大数据开发服

务、A

I建模工具、中间件等服务。提供开放应用和工具、计算、

存储服务，能够实现即开即用，

提供数据资产的查询、获取与分

析应用服务。自助分析能力对数据资产提供地图式搜索，工

具层面的全流程串联，更快速

灵

活的进行数据探索和开发。让业

务更快速、敏捷的搜索数据、

获

取数据、使用数据。整合和治理跨集群、

跨平台数据，

将数据封装成服务，

提供给前台，

创造业务价值

数据中台目标2二.数据中台解决方案

业务需求分析整体架构

数据能力地图0决策支持

辅助决策

运营大屏

业务应用

创新应用

数字企业

数字政府

数字政府

数据服务体系API网关数据资产管理

数据血缘

数据生命周期数据体系

统一数仓

标签数据

数据开发

实时开发

算法开发

智能运维

监控告警

外部数据拿拿

拿

网络

5G网络

多云平台

混合云资源

本地机房

面向合作伙伴物联互通层

数据中台技术架构

数据安全体系

数据运营体系数据规范体系数据中台数据汇聚异构数据源

可视化配置云平台离线开发

智能调度异构网络

实时接入应

用基础工具层数据标准环境隔离贴源数据数据质量数据权限应用数据调用管理离线同步面向客户服务创建服务授权面向身份认证数据数据源元数据……………………基础服务集群部署集群管理运维监控租户隔离日志分析数据中台业务中台

数据中台整体能力地图

消息队列

数据交换FTP

API多级填报AIoT开放平台RPA

…私有云平台MPP推荐服务智能检索服务智能BIAPI服务阿里云平台知识图谱/问答

机器人机器学习/深度

学习同步、交换OCR/NLP数据标注数据标准元数据管理主数据管理数据质量分级分类数据脱敏数据水印数据加密数据调度数据建模资产目录数据标签数据指标数据门户采集、集成人员画像ETL…信息侦查风险管控欺诈监测运营分析数据存储

数据计算数据运营

数据应用数据智能数据服务数据安全数据资产数据治理数据汇聚数据工厂异构数据归集支持市面几乎所有类型数据库交换；支

持对文件系统文件归集；支持非结构化

数据归集。多采集服务方式支持数据复制

、

ET

L

采集

、

数据

接口

、

RPA

、

文件传输等采集方

式

数据采集与交换-数据的汇入与融通

自定义交换规则支持自定义分组规则

、

交换规则

、

路由规则。高稳定性和可靠性支持跨域可靠数据交换

、

支持断

点续传等传输策略01040203数据

存储数据计算数据治理安全控制数据资产管理分布式

存储节点实时数据分布式消息队列Kafka数仓建模管理配置

数据存储与计算-源于开源优于开源

hadoop体系分布式关系型

数据库服务支撑体系指标管理体系

标签管理体系实时计算批量计算

并行计算

内存计算GPU计算数据可视化实时数据异常告警分析引擎即席/交互式执行交

数据交换

换数据推送机器学习挖掘实时数据时间窗口统计账户管理

LDAP安全审计集群运维服务监控资源监控异常告警用户认证

Kerberos基于角色

访问控制重要数据加

密存储即席查询高并发数据检索主数据管理元数据管理数据标准

管理数据质量

管理数据分布

统计探索离线统计分析关系型数据库

数据抽取Sqoop物联网数据接入

(天宫平台)数据/服务

总线ESB文件上传FTP

OverHDFSSQL/批处理执行日志文件汇聚Flume数据

整合硬件

资源数据

服务数据

分析挖掘建模设计计算

节点数据ETL计

算分

析展

现数据建模管理数据源管理数据模型管理代码生成数据资产管理资产目录

资产发布

资产订阅

数据治理-把数据变成资产

主数据管理主数据建模主数据整合主数据服务主数据编码数据质量管理质量规则质量评估质量报告元数据管理元数据采集

元数据变更

数据血缘图谱

影响分析标准管理

标准映射

标准分析数据标准管理数据

治理全数据类型支持文本、图像和视频等数据类型挖掘与分析。支持离线和流式数据分析。多智能算法支持传统机器学习算法和深度学习算法。默认支持超过30类文本处理、图像

处理、视频处理算法。低开发成本支持代码模式，同时支持无代码实现数据标注、数据管理、算法开发、模型训

练、服务生成和部署。多组件服务提供OCR、异常检测、票证识别、合同对比、知识图谱构建、智能问答等即开即用组件

数据智能-数据价值挖掘

查询服务输入特定查询条件，返回

满足该条件下的数据

。分析服务借助智能分析组件，对数

据进行关联

、

挖掘分析

。推荐服务根据历史数据和实时数据

,

提

供

推

荐

服

务

。

数据服务-数据价值体现

筛选服务基于标签组合筛选符合特

征条件的数据

。可视化服务基于数据进行可视化分析

和展示

。API接口数据

推送应用

数据库数据服务数据全生命周期管控数据采集数据存储数据传输数据处理数据交换数据销毁身份认证访问控制授权管理数据加密动/静脱敏数据防泄漏

数据安全-数据安全保障

数据全生命周期覆盖，数据安全保障体系化基于全生命周期的数据安全域防护体系数据安全态势感知数据安全风险监控数据安全风险告警数据中心运行安全监控数据安全审计业务切换指挥监控基础安全

网络安全+主机安全+终端安全+多因子认证+自动化安全运维·

·

·应用安全

WEB应用防火墙+代码安全检测·

·

·内、外人员

安全管理用户认证鉴权人员操作审计数据权限隔离应用权限隔离存储权限隔离数据操作权限隔离管理工作数据库故障应急响应数据合规审核规则敏感数据定义和分类数据安全技术标准数据安全治理体系数据脱敏防恢复数据加密流程审核数字水印暗数据发现数据分级分类数据加密存储数据传输加密数据备份恢复数据防泄漏防勒索身份鉴别安全感知和

风险监控制度管控巡检监管安全策略体系数据

中台全手段数据归集

全生命周期安全保护全体系数据建模

全可视分析挖掘全维度数据服务全工具数据治理

能力亮点03三.数据中台实施方案

建设步骤

实施步骤建设原则主题库建设过程中，

坚持数据资产第一，

流程第原则；

采用面向面向对象的设计过程，

把业务数据

资源经过整合、分

类、清洗，

加工最终沉淀为数据资产。采用先进的架构开发方法；

参考军工数据资源管理体系项目成果，

参考央企大数据资产建设经验；

采用业界主题库建设的方法。平台要根据不同的业务场景

（监管、国资监管、智慧企业等）

不同的服务类型；

平台建设过程中考虑不同角色权益诉求，

通过数据确权保障不同角色的权益诉求。规范设计是保证数据主题建设、数据中心建设、门户建设用一种“语言说话”。资产为导向原则参考先进成果原则共享服务原则规范指导项目建设原则

工作方法与原则

工作方法上线持需求调研央企建设案别成果业务调研让企业看清现状，

明确引入数据中台到底想优先解

决什么业务问题。数据勘探快速定位企业数据资产现状

、

数据驱动业务能力

、

数据资产管理体系现状等场景挖掘选择合适的业务场景，通过提供数据建模理论

、

数

据架构设计

、

应用架构设计等方法，快速帮助企业

确立业务赋能场景资产梳理进行数据梳理并按照垂直数据分析

、

公共数据抽取

和萃取数据主题等多个层级次，通过不同层次之间

的加工过程实现从数据向从数据资产的转化应用创新让数据真正能够

「用起来」，基于业务找到最优方

法进行求解，确立数据应用主体功能价值创造让企业管理者能看到数据给业务的改变，帮助企业

进行数据驱动的业务创新

数据中台建设步骤

030205040601传感器、RFID阅读器、导航

终端等非传统IT设备视频(地理信息、监控录像等)

数据中台建设实施步骤--数据采集

数据采集

数据交换

存储计算

数据开发

数据治理

数据服务

数据运营

数据采集：

数据从“端”到“仓”的汇聚互联网、第三方数据中心数据人流数据，用户行为数据智能终端、流媒体数据

数据采集

数据交换

存储计算

数据开发

数据治理

数据服务

数据运营

业务应用系统实时数据

流数据

批数据

↓

数据中台建设实施步骤--数据交换

SparkStreamingHBase内存计算flink实时/历史

数据统一资源调度YARN数据交换：

数据从“池塘”到“湖泊”的融通分布式文件系统

HDFSMPP数据库实时同步数据抽取工具GoldenGateKettle文件上传FTPover

HDFS分布式消息队

列（Kafka)日志文件汇

聚Flume消息/服务总

线ESB批量计算

MapReduce关系数据库抽

取(Sqoop)核心平台!↓分布式文件系统HDFS关系型MPP数据

库统一资源调度YARN

数据中台建设实施步骤--数据存储与计算

数据采集

数据交换

存储计算

数据开发

数据治理

数据服务

数据运营

数据仓库Hive流计算flinkSparkStreaming内存计算

Spark分布式内存列式存储存储计算：

数据从“源”到“仓”的落地批量计算

MapReduce全局/全文/组合索引支

持分布式在线数据库

HBase数据

计算数据

存储数据开发：

从“数据”到“知识”的沉淀

数据采集

数据交换

存储计算

数据开发

数据治理

数据服务

数据运营

数据中台建设实施步骤--数据开发

数据中台建设实施步骤--数据治理

管得了，

控得住

数据采集

数据交换

存储计算

数据开发

数据治理

数据服务

数据运营

数据资产：

家底清、

底数明数据治理：

从“数据”到“资产”的积累标准规范的、可连接共生的大数据平台数据目录

数据增长清晰数据架构合理可依有序提升数据安全可控可申请、

可服务无序数据中心数据标准数据质量查询服务输入特定查询条件，返回满足

该条件下的数据

。分析服务借助智能分析组件，对数据进

行关联

、

挖掘分析

。推荐服务根据历史数据和实时数据，提

供推荐服务

。筛选服务基于标签组合筛选符合特征条件的数据

。应用

数据库

数据中台建设实施步骤--数据服务

数据采集

数据交换

存储计算

数据开发

数据治理

数据服务

数据运营

数据服务：

从“资产”到“价值”的升华API接口数据

推送数据服务统一战略搭建组织打造氛围实践创新

数据中台建设实施步骤--数据运营

数据采集

数据交换

存储计算

数据开发

数据治理

数据服务

数据运营

数据中台不是产品，

而是一个让数据持续用起来的机制BCAD04

四.实践成果技术团队完善包

括

咨

询

策

划

、

方

案

架

构

、

项目

管

理

、

产

品

研

发

、

实施运营等方向，技术方向涵盖人工智能

、

区块链

、

大数据

、

边缘计算等

。项目经验丰富

自主知识产权所

有

软

件

产

品

10

0%

拥

有

源

代

码，

完

全自

主

可

控

开

发

能

力；

1

0

0%自

主

知

识

产

权；

可

进

行

业

务

定

制服务

。服务体系科学管理机制

A\B\C\D\E人工智能、

区块链、

云计算、大数据、

边缘计算

前沿技术am规划设计持续优化调研评估项目部署咨询服务能力数字化转型服务场景应用服务能力数据治理能力开发部署与集成能力运营运维服务能力服务流程服务能力

以客户为中心，提供定制化解决方案客户关系管理理念客户价值

智慧中心

构建“三位一体”技术平台AI平台构建“三位一体”技术平台，结合领域知识，打造行业智慧中心行业智慧中心应用开发平台数据平台管理规范技术规范管理流程

数据资产管理规范咨询与建设

数据管理➢规范化

➢标准化

➢流程化

➢制度化业

务

支

撑

技

术

支

撑项目管理系统经营分析管理低代码平台ETL生产管理系统安全管理系统CAS统一认证Echarts风险管理系统培训管理系统MQ消息队列web

service干部管理系统物资管理系统ESB数据总线数据库OA管理党建、

档案管理redis......统一数据管理数据标准主数据管理元数据管理数据质量管理数据服务管理数据指标管理产融合

、

物理环境层

（机房

、

网络

、

存储备份

、

无线网络）XXXX新能源有限公司一体化工作平台

数字新能源--新能源一体化解决方案

安

全

运

维

体

系标

准

规

范

体

系集成服务数据传输服务封装服务日志注册发布接口规范服务调用应用互联可视化报表企业门户工作台服务中介统一服务管理服

务

支

撑展

示数据归集数据供应链数据目录数据智能治理……数据资产管理网

络

安全体

系组织

保

障

体系标准规范体系政策制度体系离线、实时大数据计算引擎物理网服务云计算服务两掌（两端）浙政钉

浙里办金华市政务云应用支撑体系空间治理业务中台可信身份认证电子签章公共信用物联感知

数字政务--政务数据平台解决方案

数据安全数据开放

用户系统数据模型数据资源融合计算开放算法库数据脱敏系统物联网接入、物联网管理、物联网边缘计算弹性计算、云数据库、云存储、云负载均衡、云完全数据探索

机器学习视频分析（综治、交通、城管、应急）党政机关整体

智治综合应用党建引领数字驾驶舱数字经济综合应用数字社会综合应用数字法治综合应用数字政府综合应用自然语言处理知识图谱…监控预警数据交换分析挖掘工具数据溯源态势感知访问控制数据审计数据集成工具乡镇街3数据仓…

…部门3数据仓…

…数据质量数据共享算法模型数据服务数据桥接“最多跑一次”“一件事”基础

能力

平台业务支撑体系未来社区、数字乡村产业大脑、数字经济基层治理、法治中心乡镇街2

数据仓乡镇街1

数据仓共享

交换智能

分析部门2

数据仓部门1

数据仓省级

专题库区县

主题库数据仓数据共享与交换服务•

大屏可视化•

决策分析•

数说•

小鲜日报•

小鲜机器人•

员工画像•

跨业务数据共享•

管理和监控大屏•

统一数据报送•

其它数据应用数据标准元数据主数据数据质量管理管理管理管理数据资源权限数据安全服务权限数据服务管理管理管理流程管理数据交换与共享服务组件

数字企业--企业数据中台解决方案

文档数据文档资料电子档案影音存档集成接口API/ODBC/HTTP/FTP数据仓库标签体系指标体系数据资产服务ODS数据推送服务数据目录服务物联网采集

数据互联网数据产业云数据财务共享合同管理ERP人工录入RPA采集AIoT平台批量采集实时采集数据治理与安全分析模型预测模型评价模型财务模型服务模式适配器模式消息模式其他模式ETL模式合同绩效应用领域数据服务数据开发数据采集大数据平台人力资源全面风险资产设备……安全时间业务项目阶段主题数据库材料员工组织业务数据模型数据图