数据中台及数据体系建设方案

数据中台及数据体系建设方案Digitalization企业数字化转型1企业数字化不同阶段的不同内容信息化系统化数字化智能化通过

AI算法能力，优化业务，智能决策例：销售预测，库存优化，设备生命理……过程和结果均有记录，可量化，可分析例：BI

分析，数字孪生，可视化大屏……业务流程线上化，可管理，可追溯例：ERP，CRM，SRM，MES，TPM……记录无纸化，电子化，数据化例：财务记账，Excel统计，……数字化转型是利用数字化技术（例如云计算、大数据、人工智能、物联网、区块链等）和能力来驱动组织业务优化，商业模式创新和生态系统重构的途径和方法即是数字化转型，其目的是实现企业业务的转型、创新、增长。企业数字化的阶段性特征不同阶段需要明确和解决的问题深水区的企业数字化转型

=

IT什么是数字化转型？如何正确定位

IT

在数字化转型中的作用？如何确保企业高层助力数字化转型？加速期的企业数字化转型

=

IT

+

业务

（IT与业务融合）如何通过解读政策来寻找IT与业务融合的方向如何在战略层面上实现

IT与业务融合？如何在运营层面上实现

IT与业务融合收获期的企业数字化转型

=

商业/业务模式创新与转型如何设计数字化商业模式创新和转型？如何通过“组装式业务”为数字化转型打下基础？如何通过数字化生态收获数字化转型的成功？企业数字化落地框架组织支撑- 包括了组织，人员，文化，过程等内容。技术支撑- 包括了云原生，物联网，5G和数字孪生等，也包括中台构建。运营支撑- 基于数据驱动思维下，以价值创造为目标的持续改进。数字化转型的核心要包括三个方面的内容：连接：万物互联，解决人和人，人和物，物和物的连接问题数据：连接后产生集成和协同，协同过程自然会产生数据智能：数据经过加工和提炼，形成智能化分析应用数据驱动运营全产业链协同智能数据连接核心业务价值链产品价值客户体验业务中台

+

数据中台技术支撑（物联网，云原生，5G，数字孪生）组织支撑（组织，人员，文化）数字化转型面临的挑战数据孤岛普遍存在各个业务系统相对独立，数据孤岛无法打通，无法进行统一分析展示业务决策需求变化快某省市场竞争越来越激烈，业务对于数据的需求越来越快强烈数据

&

工具碎片化数据存在于多个系统，数据口径不一致，计算方法不一致CRM/

ERP/MES/

…用户行为系统日志IT资源瓶颈严重数据技术相关工作依赖于

IT

部门，以开发方式应对需求变得不现实IT

架构规划建议

–

双中台驱动中间件数据库缓存存储计算资源管理本地机房公有云专有云私有云客户营销服务前台业务协同营销服务商业营销渠道营销交易地产广告媒体……服务客服客户画像人才画像数据应用-外部营销精准营销 客户关怀数据应用-管理风控审计 库存预测更多应用更多应用中台运营支持业务中台支付中心账户中心一方数据数据中台数据服务层数据资产层数据计算层多方数据二方数据埋点、探针、爬虫等三方数据电力、运营商、地图等客户产品营销撮合…中心中心中心中心…基础设施运营人员管理人员DataManagement

Platform数据中台的定义和能力2数据中台的定位大屏数据展示商业智能

BI个性化推荐智能营销……数据应用场景……数据API服务数据交换数据服务能力资产管理标签管理类目管理数据资产体系算法开发汇聚链接统一存储大数据平台企业经营数据客户行为数据设备运转数据生态合作数据……业务数据积累数据中台让数据越用越活、越用越多一站式工具选用完整、成熟的一站式平台工具，对整个战略进行保障，并对全流程数据的采集，开发，质量进行保证。组织保障企业需要提供配套的组织保障，包括CXO为主的中高层配套中层管理层、基层执行层，建立数据人才架构。战略定位数据中台推动需要从最高层的战略上明确企业对数字化转型和建设中台的明确意图，才有可能真正获得落地。数据中台及应用体系逻辑架构应用展示层数据应用层业务层Data

MAX

大屏展示Data

Analytics

数据分析AI

算法赋能能效分析质量分析物料分析工艺优化动态图表高亮预警交互响应报表门户设备管理预测分析能耗优化智能预警数据中台层资产管理权限管理数据中台模型管理标签管理数据加工算法管理数据整合数据质量元数据数据服务异构数据存储（HDFS）结构化业务数据（MPP）指标管理任务调度数据采集系统采集网关前置节点填报应用时序数据存储（TDEngine）Data

Lake原始业务数据（Hive）Data

Flow

低代码应用物流管理填报采集工单管理工况监控CRM……其他业务系统财务系统ERP外部系统数据中台的定位RDBMSNoSQL日志文件实时事件其他数据源数据汇聚Data

Formula数据开发 数据管理 数据服务企业大数据应用赋能平台，加速器数据资产化 资产业务化利用Data

Formula，可以为企业降低大数据能力建设的门槛，大幅提升大数据应用效率企业各种业务系统商业智能类应用大屏类应用归属于企业的，基于企业数据资产的新应用精准营销类应用各种其他类型应用产生新的企业应用Connector数据中台微服务架构User

InterfaceRouterData

AppsService

CenterData

Service︵API︶Monitor

/AuditAuthorizationAssets

Management（Model

/

Relation

/

Quality）SchedulerData

TransformData

AlgorithmData

Engine………StreamingStorage

Adapter平台功能

-

整合异构数据源支持异构数据接入整合支持数据文件接入（CSV、Excel等）；支持关系型数据库接入；支持非关系型数据接入；支持系统

API

数据接入（配置化）；支持数据被动接收支持通过

Kafka/MQTT/HTTP

接收数据支持

Json

/XML

等数据格式支持数据源统一管理支持跨网关前置节点支持数据源状态监控平台功能

–

数据资产管理数据目录和数据集支持通过自定义目录，对数据进行管理；支持数据集的方式，标注数据清洗；支持数据集信息查看支持数据一致性查看支持数据字段填充情况查看支持数据血缘关系查看分析平台功能

–

数据模型管理支持业务域管理可以根据业务域，生成数据模型支持跨域的模型复制和修改按需调整数据模型不同来源数据进行表关联分析动态调整关联关系拖拽即可完成模型构建支持多种建模方式支持星型模型、雪花模型支持维度建模支持宽表建模平台功能

–

数据图谱（指标管理）通过图谱的方式进行指标管理让指标的计算逻辑更加直观；支持根据标签，进行指标查询分类；支持自定义指标，并自动生成加工逻辑；支持指标的元数据管理支持指标数据质量校验；支持指标的元数据标签管理；支持定制指标发布功能支持指标定义发布支持指标历史数据查询平台功能

–

可视化数据加工流程通过可视化的方式进行数据加工提升了数据加工效率；提升了传统

ETL

过程的可维护性可视化数据运维具备复杂任务调度功能；完善的异常告警，处理能力；支持加工节点定制开发可以根据数据加工需要，定制加工能力节点平台功能

–

数据质量管理支持双重数据质量校验根据元数据进行数据质量校验根据业务逻辑进行质量校验元数据质量校验根据字段的元数据定义，如取值范围，字段类型，进行校验业务逻辑质量校验可以根据设定的业务逻辑，进行数据质量校验核对平台功能

–

元数据管理字段级别的元数据管理每个字段都可以进行元数据的原理；每个表，字段均可以进行血缘关系查询；元数据内容丰富，支持标签化管理；基于元数据的质量管理支持表、字段的数据质量校验；支持数据质量的可视化呈现；平台功能

–

数据标准管理数据标准功能支持针对数据表，数据字段定义标准；支持标准的发布和废弃；支持数据标准的发布审核；平台功能

–

任务调度管理支持复杂任务调度支持任务组功能；支持任务依赖关系以及参数传递支持任务执行规则（定时、）支持任务告警支持执行异常告警；支持失败任务手动执行；支持任务执行记录支持执行记录查看分析；平台功能

–

算法（AI）支持内置Python引擎支持普通算法支持机器学习算法支持神经网络支持数据算法加工加工流程可以引入算法，对数据进行处理支持算法任务调度具备算法训练能力支持设定训练集，对算法进行训练平台功能

–

标签画像，客户洞察标签画像能力支持多种标签算法可视化标签配置用户分群算法通过算法可以对用户进行标签分群聚类内置用户分群模型，如RFM模型等具备客户洞察能力通过标签能力，用户分群算法，可以对客户进行洞察平台功能

–

数据共享服务

API

化内置数据服务化通过配置

API，提供数据服务API

具备高性能缓冲能力API

支持权限控制支持数据库直接同步支持将加工好的数据，直接写入目标数据库支持数据文件导出支持直接导出选定的数据，方便进行数据交换和处理平台功能

–

主数据管理主数据管理主数据定义元数据/数据标准定义主数据贯标通过数据质量校验，判断主数据质量及完整度提供主数据偏离质量预警和通知主数据服务通过数据共享服务API，提供主数据服务，确保各系统主数据一致性平台功能

–

流式数据处理实时ETL处理实时清洗，结构化结合历史数据，实时计算计算结果实时存储实时数据交换替代企业ESB数据总线，完成业务系统之间的数据流转监控和预警对计算结果，实时预警实时展示业务数据平台功能

–

数据安全管理支持数据加密解密通过定制数据加密解密算法，确保数据安全；支持数据导入加密，数据输出加密；支持数据脱敏支持在数据加工流程中引入脱敏功能；支持用户敏感信息脱敏输出；Data

Governance数据治理体系建设3治理框架优点缺点DAMA分为治理框架与环境要素框架两部分，内容较为完整丰富内容过多，重点不突出，没有明确提及IBM给出了6大数据治理关注领域，和10个数据治理要素，内容完整和支撑手段分开，不利于数据治理工作的开展DGI从战略、组织架构、流程到技术架构、逻辑清晰过于强调组织、政策和流程的重要性Teradata简明扼要，给出了数据治理的重要核心要点对于企业的实际情况来说，框架过于简单数据治理工作成熟的建设方法DAMA

数据管理知识体系IBM

数据治理咨询体系DGI

数据治理咨询框架Teradata

数据治理咨询框架利用咨询

+

平台建设实施的总体思路，完成企业数据治理工作咨询规划 实施落地数据治理流程

-

调研规划、平台建设和落地实施现状分析体系规划平台建设落地实施对当前各业务系统平台现状进行深度调研。

解决项目开展从哪里做起问题。梳理各系统业务流程、数据模型、数据流向、数据全生命要素，制定数据标准、管理规范和流程。解决项目建设目标问题。构建数据资产平台，数据标准和指标管理平台，质量检查平台、流程平台，

形成数据技术支撑能力。

解决项目实施效率问题。纳入和管理数据资产、逐步落地数标准、开始数据质量检查，提出优化建议，形成良性数据管理闭环管理，落地数据管理流程。评估标准评估结果《数据能力成熟度评估模型》《治理组织、制度、流程架构》《数据治理系统功能架构》治理能力领域状况图现有系统功能评估总览管理制度评估总览关键发现评估建议建立流程框架建立能力流程映射关系流程细化评估流程改进建议建立治理系统功能框架建立功能模块与数据治理

能力的对照关系数据治理实施步骤

-

现状分析现状调研分析体系规划平台建设落地实施评估实施问卷设计访谈实施能力评分能力评估结果分析能力评估机制评估系统评估数据治理实施步骤

-

体系规划组织制度流程技术数据标准管理数据标准管理团队数据管理团队数据标准管理办法数据标准管理考核数据标准管理流程数据标准管理数据标准校验数据质量管理数据质量管理团队数据质量负责人数据质量管理办法数据质量检核数据质量管理流程数据质量检核工具数据质量报告元数据管理元数据管理负责人元数据管理办法元数据管理考核元数据管理流程元数据管理元数据校验主数据管理主数据管理团队主数据管理办法主数据管理考核主数据管理流程主数据管理主数据分发数据模型管理数据模型管理团队数据模型管理办法模型设计评审管理流程数据模型设计数据模型管理数据指标管理指标管理团队业务指标负责人指标管理办法指标管理考核指标管理流程指标管理指标计算和分享数据服务管理数据管理团队数据服务申请管理流程数据交换管理流程数据共享服务管理平台数据交换平台数据生命数据管理团队数据归档管理流程数据湖存储平台集中备份系统数据安全管理数据安全管理团队数据安全管理办法数据安全管理考核数据安全管理流程数据权限管理系统数据脱敏能力数据应用管理需求管理团队需求管理办法BI/可视化需求管理流程大屏可视化平台统一

BI

/

报表平台数据管控专职团队︐数据管理

•

数据服务管理办法角

•

数据交换管理办法色及 •

数据生命理办法认责数据管控综合考核︐项目开发管理办法数据认责流程︐项目开发管理流程新一代数据中台︐数据湖DataApplications数据应用建设4产品特性

–

配置型数据可视化大屏应用场景示例

–

监控告警通过设置个人，系统监控指标，获取异常状况预警通过邮件

/

短信等方式，将异常第一时间通知到目标用户通过数据可视化大屏实时展示异常状况数据应用能力–

自助数据分析Gartner

2022

BI（商业智能）魔力象限报告：新一代自助探索式分析BI将成为趋势IT

负责平台建设，将数据分析能力还给业务部门自助数据准备探索式分析业务驱动团队协同分享交互式浏览数据应用场景

-

业务看板（设计示例）可在系统中配置销售情况固定看板，图表化展示各部门的KPI，直观反映各部门现状和问题，便于及时调整。数据应用场景

-

在线模板快速汇报通过数据看板、文本、图表等生成动态故事板线上幻灯片播放，线下导出PPT，快速形成汇报文件数据随时动态查看，即时应对业务疑问数据应用场景

–

报告订阅、推送数据看板/报告订阅、推送用户可以通过门户，订阅相关的业务分析看板/报告当业务分析看板/报告数据更新时或某个固定时间，自动获得报告推动通知个人分析看板/报告发布共享用户可以将自己的业务分析看板/报告共享给同事或团队也可以通过链接的方式，将分析看板/报告嵌入其他业务系统数据应用场景

–

某著名企业端业绩浏览某著名企业端业绩查看区域各级人员均可以通过某著名企业端，随时查看业绩完成情况所有的数据均通过权限体系进行统一管控，确保数据安全数据协同过滤看板上的图表可以进行协同过滤轻松应对灵活多变的可视化报表需求自由的数据维度钻取无需事先建模，无需预计算随时查看明细数据应用场景示例

-

数据权限与安全保证本地部署模式支持私有化部署，确保核心数据安全可靠组织结构管理支持常见的树形多层级管理结构支持交叉动态的虚拟团队管理结构支持组织结构和原业务系统进行同步数据权限管理支持数据层权限管理（行权限

+

列权限

=

单元格控制）支持看板输出浏览权限管理支持看板水印Showcase成功案例5客户案例

–

雀巢中国Mirror经营分析平台本项目覆盖：

5000多家经销商，40多万家门店，4000名业务代表，2400多名驻店促销员，1400余个SKU数仓搭建：完成数仓模型的设计和开发，完成数据湖写入流转BI分析：搭建140+个看板，SellIn/SellOut/Stock进销存分析活跃门店分析SFA业代拜访效率/成功率分析财务分析资产管理物料追踪新品追踪/OSA货架分析等大屏：设计搭建Boss驾驶舱大屏，服务于中国区总裁业务决策客户案例

–

雀巢会员洞察及标签体系建设数据源属性标签营养品信奉者咖啡“上瘾”爱好者下午茶白领早餐谷物爱好者有宝宝的新人宝妈某省市白领每周O2O外卖>5次零食内容关注者Nespresso爱好者每咖啡>2次点击咖啡相关内容>3次某省市，某省市每健康养生内容>10次每月日常维生素等营养品购买>2000元算法标签统计标签地域属性基础属性广告行为偏好渠道偏好兴趣偏好品牌偏好媒体偏好消费偏好广告形式偏好某省市有宝宝每月购买'能恩'产品>1000元客户案例

–

博世车联博世车联

数据分析平台本项目覆盖：

500多家

汽车维修加盟门店，SFE

100+名业务代表，全部产品服