企业数字化转型的底…中台 构建方法路径和实践

——数据中台的构建路径、方法与实践 百分点科技集团数字产业事业部总经理提升全域数据能力,以数据驱动运营——数字底座必要性FORRESTER2022.8蕴知识筑壁垒建底座,促转型数字化转型迫切需要不断的提升数据能力企业发展客户体验运营效率盘活全域数据盘活全量数据数据处理技术数据治理体系数据应用服务全场景全形态全周期企业在升级数据基础设施并推动企业在升级数据基础设施并推动数据驱动的转型方面面临挑战数据层面不同认知数据孤岛技术层面技术发展快数据复杂度组织层面缺专业人才长期伙伴产品能力技术能力完善服务数据驱动提升全域数据能力构建新一代数提升全域数据能力构建新一代数据基础设施需要全面发力数据资产形成合力数据资产形成合力组织形式组织形式运营机制工具和产品企业数据底座构建和要素激活面临的困难数据孤岛阻碍了数据资产的开发数据缺乏打通导致无法充分发挥数据价值并进一步实现数据的资产化缺乏针对企业全域数据的治理及实践企业缺乏有效的数据资产管理及挖掘能力缺乏具备全面能力的长期合作伙伴帮助企业快速补足短板。采数据用数据企业数字底座:数据中台的构建路径、方法采数据用数据企业数字底座:数据中台的构建路径、方法存数据存数据管数据管数据算数据算数据数据中台应用价值1:降低数据建设成本,提高数据治理效率传统的业务数据使用模式数据中台下的业务数据使用模式业务板块1…业务板块N全领域、全级次、全时期数据基础设施业务板块2基础服务数据中台的建设可以帮助企业打通数据孤岛,并建设统一的数据标准,有效发挥数据及分析技术对前台业务的复用价值,降低数据计算与数据存储成本,减少因数据体系建设不一致或重复建设导致的人力成本浪费。传统的业务数据使用模式数据中台下的业务数据使用模式业务板块1…业务板块N全领域、全级次、全时期数据基础设施业务板块2基础服务 投资管理 运营管理数据库数据库数据库数据库数据库数据库 协同办公 财务管理 人力资源数据库数据库数据库数据库数据库数据库数据中台应用价值2:激活数据商业价值,赋能企业运营与决策数据中台提供敏捷的数据服务能力数据中台赋能企业管理决策决策支持服务表现形式服务表现形式更加多样化,除基础BI报表外,还有决策、分析、查询等面向业务场景的服务高层决策分析按照业务模式对核心业务拆解、追踪,企业高层实时掌握企业运营数据,运用丰富灵活的数据可视化分析组件科学决策分析,快速对业务作出动态调整决策支持服务表现形式服务表现形式更加多样化,除基础BI报表外,还有决策、分析、查询等面向业务场景的服务高层决策分析按照业务模式对核心业务拆解、追踪,企业高层实时掌握企业运营数据,运用丰富灵活的数据可视化分析组件科学决策分析,快速对业务作出动态调整数据服务集成数据接口标准化在线交互实时化数据开发可视化数据服务集成数据接口标准化在线交互实时化数据开发可视化数据存储采集、清洗业务系统其他数据来源业务人员业务人员数据中台应用价值3:优化企业业务流程,升级企业组织架构数据中台优化企业业务流程大数据进入决策阶段,企业的业务流程也逐渐数据中台优化企业业务流程大数据进入决策阶段,企业的业务流程也逐渐快速、扁平化,由原先依赖业务人员经验的流程驱动逐步转向数据驱动,最终实现数据、业传统企业数据孤岛、业务割裂、资源分配等问题,其根源往往来自于组织架构的分割。因此数据中台的部署应用既是打通了数据的壁垒,更是打通了部门、事业群间的壁垒,使企业组织灵敏性得到提升。数据中台建设依据企业数据资产应用与服务企业数据资产应用与服务支持促进DAMA(国际数据管理协会)、DMM(企业数据管DAMA(国际数据管理协会)、DMM(企业数据管理能力成熟度模型)、亚马逊AWS数据湖技术架构企业数据资产数据中台体系框架指导基础库集市库结构化数据分析分结构化数据分析主题库国家数据中台、数据治理现状参考信通研究院发布了《数据资产管理实践基础库集市库结构化数据分析分结构化数据分析主题库国家数据中台、数据治理现状参考结构化非结构化结构化非结构化半结构化数据数据数据视频图片文件音频数据多维分析分国内各行业实践总结目前国内金融、电力、能源、制造等行业开展了数数据多维分析分国内各行业实践总结处理、管理 处理、管理 支持大数据治理平台数据安全管理数据源大数据带来的挑战应对多业务系统多数据源的整合挑战;数据采集技术上的挑战;用户隐私与安全挑战;组织架构与部门隔阂带来的配合;大数据治理平台数据安全管理数据源大数据带来的挑战应对数据中台的总体设计思路业务系统业务用户业务系统项目管理系统合同管理系统客户关系管理系统财务核算系统…人力资源系统项目管理系统合同管理系统客户关系管理系统财务核算系统…人力资源系统消息路由发布订阅资源服务平台实时/非实时消息路由发布订阅资源服务平台实时/非实时数据采集数据同步大数据分析平台(批量ETL)数据治理平台大数据分析平台(批量ETL)数据治理平台数据整合数据应用业务板块监管报送工程建设板块数据支撑数据共享服务数据资源编目数据资产管理数据湖数据采集与开发联动分析智能决策智慧服务智慧运营资产管理板块地产板块数据中台服务支撑数据服务管理API服务管理数据共享交换数据可视化数据价值呈现新型数仓数据挖掘数据资产检索数据资产目录数据资产地图算法模型数据集市数据分类分级数据指标管理数据资源订阅数据治理应用专题指标模型元数据管理数据标准管理数据质量管理数据采集数据建模数据开发流程调度任务监控主数据模型管理主数据上报维护主数据分发数据探查协调办公数据人力资源数据法律风控数据运营监管数据外部引入数据金融投资数据业务运营数据财务核算数据公开发布数据联动分析智能决策智慧服务智慧运营资产管理板块地产板块数据中台服务支撑数据服务管理API服务管理数据共享交换数据可视化数据价值呈现新型数仓数据挖掘数据资产检索数据资产目录数据资产地图算法模型数据集市数据分类分级数据指标管理数据资源订阅数据治理应用专题指标模型元数据管理数据标准管理数据质量管理数据采集数据建模数据开发流程调度任务监控主数据模型管理主数据上报维护主数据分发数据探查协调办公数据人力资源数据法律风控数据运营监管数据外部引入数据金融投资数据业务运营数据财务核算数据公开发布数据基础中间件容器云管理平台AI基础平台低代码开发弹性计算计算资源池云存储分布式缓存存储资源池云安全云监控…准准准准准准数据中台主要建设内容全域数据融合治理l数据仓库模型设计l全域数据融合治理l数据仓库模型设计l数据预处理及标准化l数据融合开发l数据质量实施l元数据管理实施全域数据资产管理l数据分类分级实施l信息资源目录构建及发布l数据加密脱敏实施l信息资源目录资源共享交换全域数据分析挖掘全域数据治理咨询l数据治理组织建立l数据治理制度制定l数据治理流程管控全域数据平台搭建l数据资源目录体系全域数据平台搭建l数据质量管理体系l数据安全管理体系全域数据融合治理l数据标准制定全域数据融合治理l数据指标体系构建全域数据平台搭建全域数据资产管理l大数据技术平台搭建全域数据资产管理l大数据管理平台搭建l数据指标管理平台搭建l决策分析及管理驾驶舱l智能分析报表l决策分析及管理驾驶舱l智能分析报表l场景化应用模型构建全域数据分析挖掘全域数据分析挖掘l数据服务平台搭建l大数据分析平台搭建三步走,0到1,夯实数据治理基础底座能力数据价值呈现第2步:提技术,强能力部署数据治理工具第3步:精落地,创价值系统工程实施数据管理成熟度评估数据资产管理平台数据战略规划数据治理平台数据组织构建主数据管理平台数据制度制定数据服务平台构建数据标准通过“咨询+工具+实施”三步走,实现。到1突破,夯实数据治理基础底座能力,逐步推进数据价值呈现。数据价值呈现第2步:提技术,强能力部署数据治理工具第3步:精落地,创价值系统工程实施数据管理成熟度评估数据资产管理平台数据战略规划数据治理平台数据组织构建主数据管理平台数据制度制定数据服务平台构建数据标准第1步:搭框架,定标准构建数据治理体系数据采集数据治理数据组织资产管理数据服务 计划(PIan)实施(Do)检查(check)行动(Do)》》数据治理咨询-重点工作内容及产出成效2345123451 数据管理成熟度评估数据战略规划数据组织构建数据制度制定构建数据标准成熟度评估,定位当结合战略,制定数结合战略,面向实施,制定数据标准制定数据战略规划,成熟度评估,定位当结合战略,制定数结合战略,面向实施,制定数据标准制定数据战略规划,点企业数据战略规划的企业数据组织架构及企业数据管理相关制度明确数据治理战略目标和范围9给出数据治理实施行动指引》》数据治理咨询-数据管理能力成熟度评估能力域DCMM数据管理能力成熟度评估,包括8个能力域,28个能力项,对于每—个能力项进行能力等级判定。》》数据治理咨询-数据治理组织设计结合数据战略,以及企业数据现状,进行数据组织架构设计,明确权责和协同模式,保障工作推进和开展。组织架构职能决策层数据生产者数据使用者决策层数据生产者数据生产数据质量初审数据质量绩效执行数据使用数据生产数据质量初审数据质量绩效执行管理层数据统计分析管理层03数据质量绩效执行执行层数据负责人数据负责人数据负责人数据负责人数据拥有者数据管理者数据拥有者数据owner数据挖掘数据质量绩效评估数据owner数据挖掘数据质量绩效评估数据安全保护数据质量绩效执行》》数据治理咨询-数据管理制度框架结合数据战略,以及企业数据现状,进行数据管理制度框架设计,明确流程和协同模式,保障工作推进和开展。数据管理制度框架制定者政策说明数据治理的目的、基本原则政策说明数据治理的目的、基本原则管理专业人员制定制定—系列办法、规则、流程保管理专业人员制定制定—系列办法、规则、流程保障数据治理工作开展细则确保数据治理制度执行落实而衍生出来的实施细节与技术规范数据标准定义框架构建统—数据标准体系,明确数据标准对象、统—标准维度定义,并通过标准管理平台进行统—维护、发布和落地。其中数据标准对象分类按照DCMM模型进行分类。数据标准定义框架标准标准贯标执行数据标准对象参考数据标准业务指标标准业务术语标准数据元标准主数据标准标准准入标准准入管理属性 技术属性管理属性 技术属性业务属性标准命名规范标准编码规范数据标准命名及编码规范标准命名规范标准编码规范数据标准命名及编码规范数据标准体系数据标准从。到1建设,设计需要考虑实际IT现状,简单高效支撑落标,对新增与新建模型进行管控。业务数据标准设计数据标准管理流程数据标准制定依据数据标准落标数据标准管理内容业务数据标准设计数据标准管理流程数据标准制定依据数据标准落标01元数据识别与分析业务属性技术属性管理属性01已发现的问题驱动落地02监管要求或IT系统重建/新建业务价值实现的优先级整体IT规划系统改造01元数据识别与分析业务属性技术属性管理属性01已发现的问题驱动落地02监管要求或IT系统重建/新建业务价值实现的优先级整体IT规划系统改造难度评估 数据标准制定! 数据标准评审! 数据标准发布!02各系统数据标准调研03监管与行业标准要求数据标准变更04数据标准管理现状!数据标准复审公共代码客户数据财务数据组织与员工数据不断扩充...业务数据标准的建立,是对业务数据源进行规范,从技术属性和代码规范两个维度保障生产数据的正确性数据中台实施落地路径•根据企业业务情况,结合数据中台实施方法,通过五大体系进行实施落地。•从数据集成、数据存储、数据治理、数据组织,形成数据资产,最终通过数据服务对外便捷提供数据使用。数据服务资产数据服务资产管理数据组织数据治理数据集成数据治理数据集成工序数据服务监控数据订阅服务数据资产编目数据分布地图数据资产视图数据服务管理数据指标管理数据分类分级实时数据开发离线数据开发工作流调度配置主数据分发主数据清洗主数据质量主数据模型设计元数据搜索元数据维护质量分析报告数据质量稽核数据标准体系管理数据仓库模型设计数据对账数据接入数据探查数据源管理数据服务监控数据订阅服务数据资产编目数据分布地图数据资产视图数据服务管理数据指标管理数据分类分级实时数据开发离线数据开发工作流调度配置主数据分发主数据清洗主数据质量主数据模型设计元数据搜索元数据维护质量分析报告数据质量稽核数据标准体系管理数据仓库模型设计数据对账数据接入数据探查数据源管理数据中台核心能力23数据服务平台主数据系统123数据服务平台主数据系统1数据资产管理平台支持主数据的统—定义、配置,实现支持主数据的统—定义、配置,实现分发的全流程管理管控,保证数据的正确性、—致性等,提高数据质量,形成权威数据源,保障主数据的—致性和实时性。以统—服务总线为中枢,帮助持有高价值数据的机构打破数据孤岛,提供数据共享与交换,轻松实现数据汇聚与分发提供数据服务门户、数据服务目录管理、数据服务的订阅申请与审核、服务API的封装、数据交换共享等功能数据治理、数据质量管理、数据建模、数据开发等功能实现主数据模型管理、主数据上主数据分发等功能服务能力,实现—站式数据全生命周期管理,做到数据“进得来、管得了、治理好、看得见、控得住、可共享”,帮助客户高效、低成本的管理数据资产,发挥数据效能。提供数据治理工具及技术,赋能数据治理实施提速增效数据采集数据治理-数据组织数据资产数据服务提供数据治理工具及技术,赋能数据治理实施提速增效行业最佳实践及百分点简介行业最佳实践及百分点简介行业最佳实践一一中国中免集团,做客户长期合作伙伴同成长5年5期建设,支撑中免新营销模式成功转型高层关注决策大屏领导每日快报高层关注决策大屏领导每日快报供应商画像新海港数据分析体系聚焦决策层关注问题攻关供应商画像新海港数据分析体系聚焦决策层关注问题攻关热销商品监控财务资金监控改造内外实时数据分析热销商品监控财务资金监控改造内外实时数据分析人货场业务专题研究商品属性标签人货场标签体系经营管理驾驶舱改造人货场业务专题研究商品属性标签人货场标签体系经营管理驾驶舱改造 买手团队日常分析数据资产目录经营管理驾驶舱建设 买手团队日常分析数据资产目录经营管理驾驶舱建设支撑日常运营决策代购人群等专题分析代购人群等专题分析以三亚为试点市内店推广外部数据采集全链条毛利率折扣活动优惠监控品类规划部品类经营模型以三亚为试点市内店推广外部数据采集全链条毛利率折扣活动优惠监控品类规划部品类经营模型定制专题分析以广州杭州为试点传统渠道推广商品价格分析全链条库存及库存促销分析定制专题分析以广州杭州为试点传统渠道推广商品价格分析全链条库存及库存促销分析以香港为试点海外渠道推广四大业务部门新增报表以香港为试点海外渠道推广四大业务部门新增报表重点门店采购和库存分析重点门店采购和库存分析重点门店商品经营分析重点门店商品经营分析重点门店客户消费行为分析重点门店客户消费行为分析行业最佳实践一一中国国新,为客户提升全域数据治理和应用能力围绕“共享服务、融合创新、科学赋智”总体目标,以数据为核心生产要素,统—汇聚、整合、治理、加工,对中国国新全系统全量数据提供抽、存、管、算、用等,形成集团级数据资产和数据服务能力,作为数字国新建设基础设施,最终实现数据价值变现,支持打造国有资本运营升级版,为“数智化”国有资本运营提供核心动能。数据源数据服务数据服务管理数据服务数据服务监控数据分析数据分析应用数据分析模型库分析报表分析挖掘数据服务数据服务管理数据服务数据服务监控数据分析数据分析应用数据分析模型库分析报表分析挖掘文件交换接口交换数据应用管控平管控平台数据数据库服务集中式关系型数据库据库非关系型数据库分布式数据源配置结构化数据采集非结构化数据采集数据仓库数据开发管理离线开发算法数据库服务集中式关系型数据库据库非关系型数据库分布式数据源配置结构化数据采集非结构化数据采集数据仓库数据开发管理离线开发算法分析实时开发主题库专题库系统应用级数据模型数据库存储数据采集数据湖存储 原始库标准库 分布式数据处理服务 结构化数据非结构化数据数据管理数据安全数据安全业务系业务系统数据元数元数主数据管据管参考数据数据质量管理管理外部外部数据所属企所属企业数据数据治理体系数据治理体系数据治理数据治理组织建设组织建设团队建设岗位设置数据责任组织架构制度建设制度建设数据应用机数据制度机制数据管理机制流程规范流程规范数据治理数据治理流程流程管理机制………数据管理办法数据标准数据标准管理办法数据安全数据安全管理办法数据应用数据应用管理办法数据质量数据质量管理办法数据生存周期数据生存周期管理办法数据库服务数据库服务管理办法……行业最佳实践一一中国融通,构建全息资产画像&资产评价模型访问终端资产决策应用支撑资产数据管理基础设施接收日常台账运营治理处置Pc端:移动端:展示大屏辅助决策服务支持资产联动分析资产关联检索资产立体画像资产监测预警资产地图分布资产督导处置资产标签组合商圈数据可视化即席查询资产联动分析资产关联检索资产立体画像资产监测预警资产地图分布资产督导处置资产标签组合商圈数据可视化即席查询路线规划及空间服务路线规划及空间服务资产内容解析资产知识图谱资产标签体系资产预测模型资产指标分析资产内容解析资产知识图谱资产标签体系资产预测模型资产指标分析GIS分析服务数据服务地域服务更多…实体管理资产标签管理资产标签生产资产标签体系资产标签引擎资产标签扩展布尔查询相关性排实体管理资产标签管理资产标签生产资产标签体系资产标签引擎资产标签扩展布尔查询相关性排序语义检索资产搜索引擎全文检索图谱关联地图服务切片缓存服务GIS分析服务空间查询GIS引擎地理编码服务资产知识资产知识查询资产本体资产本体构建资产知识提取资产知识加工资产知识提取资产知识加工行业最佳实践一一中国-汽,打通全链路数据&激活数据要素价值融合采购、生产、销售、流通等全产业链数据,构建实时离线—体化基础数据能力,实现数据资产化,并依托机器学习、知识图谱等人工智能引擎,驱动数据要素业务价值挖掘和运营流动。结合业务发展的需要,从面向管理者大屏展示,到面向业务用户的自助分析,再到利用机器学习进行深入的数据挖掘,逐步递进,让企业的数据资产价值最大化。数据标准规范数据标准规范业务业务应用商业分析报告商业分析报告领导驾驶舱移动端数据安全保障数据安全保障数据中台数据中台数据源数据源血缘分析数据脱敏资产评估仪表板驾驶舱增强分析分析报告血缘分析数据脱敏资产评估仪表板驾驶舱增强分析分析报告查询引擎资产地图分级分类资产管理数据集成管理数据治理平台数据接入数据开发运维监控数据安全数据模型数据标准元数据数据质量业务主题库管理基础库共享交换库资产地图分级分类资产管理数据集成管理数据治理平台数据接入数据开发运维监控数据安全数据模型数据标准元数据数据质量任务调度图计算算法引擎分布式存储实时/流计算大数据基础平台离线计算任务调度图计算算法引擎分布式存储实时/流计算大数据基础平台离线计算数据接入交换网关交换总线交换中心库交换管控批量交换增量交换实时交换采购数据生产数据物联网数据原材料数据销售采购数据生产数据物联网数据原材料数据销售数据政策信息互联网信息流通数据行情数据百分点科技集团简介百分点科技集团,是国内领先的数据科学基础平台及数据智能应用提供商,是国内数字政府的建设者、企业数智化转型的技术合伙人、新—的行业解决方案和模型库。数据科学团队由国内顶尖的数据科学家和国际知名2+3+2业务体系项项技术实力2个市场:国内、国际市场齐头并进2大产品体系:数据科学基础平台、数据智能应用3个业务板块:数字产业、智慧政务、公共安全2个市场:国内、国际市场齐头并进百分点科技百分点科技数据科学全景专利及著作权等知识产权近500项参与近20项大数据和人工智能国家及行业标准制定参与国家级、北京市等各类科研课题近20项,000+行业应用行业认可国内外客户业务覆盖20多个国家涉及数字城市、应急、公安、统计、生态环境、零售快消、媒体报业等领域荣誉资质11项国家级和省部级奖项连续7年获评中国大数据50强连续3年荣获北京市科学技术奖上海香港深圳广州 总部北京上海香港深圳广州公司分布公司分布上海杭州沈阳上海杭州发展历程百分点经过13年的发展,拥