数据中台与数据化工作框架建设方案（PPT）

数据中台与数据化工作框架建设方案（PPT）整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行知识星球：优享智库一、数据中台是什么二、数据中台建设目录2 利用政务服务过程中各部门业务系统产生的和一切拥有或者可以获取的数据，进行整体建模和二次加工，从而产生新的数据，利用这些新的数据驱动政府管理效率、提升政务服务能力以及增强数据活力。这个过程称之为数据化。业务活动数据运营数据治理 数据化的定义数据资产数据资源数据应用数据供应链数据治理过程数据化运营组织数据化咨询规划业务创新一网通办一网协同数据应用数据资产数据资源3数据治理：解决整体架构问题数据资源：数据化建设的根基数据资产：完整、健壮、数据中台的核心建设内容数据应用：业务价值的转化关键点数据标准、数据组织：人的保障和标准体系数据质量：保证加工过程中的质量问题数据安全：保证数据正常使用不丢失和被窃取数据治理(数据化架构搭建)数据标准数据质量数据组织数据安全 数据化工作框架图数据应用数据资产数据资源4 Step1Step2Step3Step4Step4•会计电算化•办公自动化•大量应用使用与部署•ERP•系统的大量内部集中•信息中心•数据治理•大数据•数据中台•数据应用•BI分析•管理驾驶舱•数据中心•应用中台•分布式•自研发•财务报表•业务报表•编码规范•AI•数据智能•...... 数据化背景SOAESBportal信息化数据化业务产生数据数据反哺业务Step1Step2Step3•••56 数据中台指导数据化整体规划----全面指导数据化工作； 数据中台汇聚全域数据----构建数据应用的基础，数据资产管理； 数据中台检验数据质量CONTENT 数据中台支持数据应用高效、低成本落地----缩短应用落地实践的时间，提升成功率； 数据中台提供数据组织规划----组织是数据化能够全面展开的保障。•数据中台•汇聚数据，拒绝数据烟囱•提升开发效率，降低开发成本•统一建模•大数据开发平台数据中台资源盘点应用规划数据应用数据应用数据应用数据应用数据应用数据应用 数据中台与数据化的关系----检验数据成果，提供高质量数据；数据运营组织规划数据中台：政务服务数据化是一个整体工作，通过数据中台的构建，让其为各个部门的业务活动，各个层级提供充分的、综合的数据服务。数据中台(数据大脑) 数据中台的定义业务(AP)应用(TP)数据7

05

数据资产在线化传统数仓的数据管理和治理，往往花费大量精力，最终形成的是离线的规范和文档；数据中台则强调元数据管理统一入口的自动化和数据资产管理的在线化 04数据应用创新传统数仓以某个业务主题的BI报表和决策支持为主，目的性单一，烟囱式建设；数据中台则主张全域数据、打通数据孤岛，释放业务方数据应用创新的能量建设模式传统数仓往往采用自顶向下的建设模式，以明确的业务分析驱动，延续性低；数据中台采用自底向上的方式，结合业务需求变化不断迭代、升级、创新分布式数据平台传统数仓以关系型数据库离线分析为主；数据中台以分布式引擎架构，同时支持离线计算/实时计算/即时计算/智能计算数据开发一站式传统数仓往往将ODS、EDW和ETL开发切割到不同厂商工具实现；数据中台则主张一站式可视化数据开发，借助分布式技术简化数据加工处理的过程数据源丰富传统数仓以业务数据库的结构化数据为主；数据中台涵盖业务数据、日志数据、行为埋点数据、IoT数据、爬虫数据、社会数据等 数据中台与传统数仓的区别020103068数据智能化通过大量智能算法训练，形成数据大脑，产生智慧的力量，预先洞察未来。数据标准化统一建模、统一视图、统一管理。避免重复抽取和维护带来的成本浪费。数据不断的进行补充，数据模型不断地进化，通过对数据不断地完善，使其从最初的单一字段逐渐成长为最为宝贵的数据资产。数据服务化数据资产化数据中台是培育业务的创新的方法基础，是利用数据促进业务创新的保障。 数据中台的价值9赋能让部门的前后台用户深入理解价值，推广和持续性的优化赋能数据服务在部门之间的调用，都伴随着数据流动。重点是输入、输出、自身处理逻辑、沉淀数据内容组织谁负责提炼数据(业务架构负责人)、谁负责持续运营管理共享这种数据在部门间有共享的需求服务以服务的方式对外提供数据展示中台可以支撑业务，也可以辅助决策 数据中台战略的核心要素能力核心是部门数据提炼一、数据中台是什么二、数据中台建设目录1112数据采集存储数据治理数据服务数据开发满足企业各类开展治理，沉可对外提供数支撑数仓建设、型数据的采集存储淀数据资产据，实现共享数据处理计算、数据分析挖掘等获取所有源数据，对数据源质量进行分析，并提供分析结果，推进数据源质量提升解决传统数仓的一些技术瓶颈问题，同时将开源体系的使用门槛降低，开发效率提升。向下推动数据治理，向上推动数据应用，向前推动应用建设和业务变革所有数据汇聚之地数据应用支撑平台技术的革新与进步汇聚全域数据，保证数据的完整建模和使用 数据中台定位数据源质量检测推进平台3.32.4

组织架构设计2.3

数据标准/标签/规范2.2

应用场景梳理2.1

业务模型设计建设数据资产123454.3

算法类数据应用4.2

领导驾驶舱4.1

报表分析类应用开发数据应用3.1技术框架设计 数据中台建设步骤1.3数据资源质量检测梳理体系架构规划运营组织盘点数据资产3.2数据模型设计数据组织规划与建议未来数据资源规划现有数据资源盘点ETL及数据开发运营能力迭代5.21.1 5.11.213梳理内容还包括：1、有哪些部门哪些处室权责下的业务活动有系统支撑，系统功能是否完全满足部门开展相应的业务活动的需求、系统产生的数据是否可以共享，共享情况？2、没有系统的部门处室，业务活动产生的数据如何采集、如何共享？3、是否存在僵死系统、未上云系统；4、系统的安全性、数据的安全性；等等方面梳理工作梳理权责清单(组织架构)按编办“三定方案”对省直部门进行职责梳理、职责对应业务活动的的梳理、业务活动对应业务系统的梳理、业务活动对应所需材料的梳理、已经业务活动对应产生材料的梳理。梳理间接成果物1、数据责任目录2、数据需求目录3、数据负面目录结合数据资源盘点情况，确认指标支撑情况通过指标关联数据应用场景根据数据应用评估体系进行整体评估确定实施优先级及行动路线 第一步、数据资源盘点(一)梳理直接成果物1、职责目录2、系统目录3、数据目录数据血缘关系按数据类型1、结构化数据2、半结构数据3、非机构数据14梳理所有已有数据资源，提出数据资源建议，对数据资源情况做初步评价15可以用一些工具来完成数据资源盘点、梳理工作，一方面便于统计分析确定数据血缘关系，充分了解各部门有哪些数据，另一方面需要把梳理成果作为平台下一个环节的输入。(目前数字政府转型用到的这种数据资源盘点工具很多厂家都在做；国脉也有一整套体系完整的数据资源盘点工具：包括部门职责、行为活动、产生了哪些数据资源、承载数据的系统、系统涉及到哪些网络资源、云资源等等) 第一步、数据资源盘点(二)CONTENT1、结合数据资源盘点情况，确认指标支撑情况；2、通过指标关联数据应用场景；3、根据数据应用评估体系进行整体评估；4、确定实施优先级及行动路线1、将数据应用场景层层拆解，细分到指标及标签粒度；2、依据应用场景标准、指标及报表体系构建数据模型；3、建立管理及维护机制，确保数据权威性和内部一致性。1、了解业务流程、了解数据应用、了解相应的技术，构建业务模型；2、基于最佳实践知识库；3、基于深厚的数据应用能力及经验。清晰描述所有业务流程，应用场景，相互之间的关联关系，描述数据应用场景所需指标、标签、数据API，及成本评估1、梳理业务流程2、梳理业务架构3、梳理数据责任4、数据安全5、入湖(数据资产)标准 第二步、数据应用梳理规划(一)业务架构数据应用场景梳理标准/指标/标签体系构建基于数据资源的实现路径规划16数据模型元数据采集接口采集 第二步，数据应用梳理规划(二)数据管理与应用规则数据关系(血缘、引用)元数据标签数据分类/数据主题数据来源/存储位置数据库表业务对象/过程元数据血缘追溯元数据分布地图元数据统一检索变更自动感知版本管理状态管理流程审批元数据管理功能元数据内容标准化数据定义元数据统一服务元数据管控业务解释数据记录新增抽取导入17三个主要工作内容 第三步、数据资产平台建设(一)数据开发数据建模数据抽取18OneService主题式数据服务主题逻辑表屏蔽复杂物理表统一但多样化数据服务一般查询+OLAP分析+在线服务跨源数据服务屏蔽多种异构数据源19OneData数据标准化数据规范定义从源头标准化技术内核工具化规范定义、建模研发、调度运维、···元数据驱动智能化半自动化->智能化规划计算和存储OneID技术驱动数据连接基于超强ID识别技术连接数据技术内核工具化超强ID识别、高效标签生产、···业务驱动技术价值化孤岛->高质量->高价值 第三步、数据资产平台建设(二)设计方法论全流程一体化从数据采集到数据服务全链路通向上多样化赋能场景通用场景+主题场景+专题场景双向联动业务场景&技术协同互助向下屏蔽多计算引擎公共云+专有云+私有云 确定存储结构(存储时间、存储空间利用率和维护代价) 确定索引结构(专用的、复杂的、文档的) 确定存放位置(归并、冗余、建立数据序列) 优化存储分配(块大小、缓冲区大小、个数等)逻辑模型设计物理模型设计 粒度层次划分 事实量度确定 数据分割策略(数据量、分析的实际情况、简单易用) 结构模型确认 第三步、数据资产平台建设(三)数据库模型设计 确定主题 确定主题域的边界概念模型设计20 CDM层又细分为DWD层和DWS层，分别是明细宽表层和公共汇总数据层 DWD：以维度模型方法基础，采用维度退化手法，减少事实表和维度表的关联 DWS：加强指标的维度退化，采取更多宽表化构建公共指标层，提升公共指标的复用性 同步：结构化数据增量或全量同步 结构化：非结构化(日志)结构化处理 累积历史、清洗：根据数据业务需求及稽核和审计要求保存历史数据、数据清洗 个性化指标加工：复杂性(指数型、比值型、排名型指标) 基于应用的数据组装：大宽表集市、横表转纵表、趋势指标串基于OneData数据模型分层设计 第三步、数据资产平台建设(四)业务数据层(ODS)21数据融合模型层(CDM)数据应用层(ADS)高内聚和低耦合主要从数据业务特性和访问特性两个角度来考虑：将业务相近或者相关的数据、粒度相同数据设计为一个逻辑或者物理模型；将高概率同时访问的数据放一起，将低概率同时访问的数据分开存储。公共处理逻辑下沉及单一越是底层公用的处理逻辑更应该在数据调度依赖的底层进行封装与实现，不要让公共的处理逻辑暴露给应用层实现，不要让公共逻辑在多处同时存在。核心模型与扩展模型分离建立核心模型与扩展模型体系，核心模型包括的字段支持常用核心的业务，扩展模型包括的字段支持个性化或是少量应用的需要，不能让扩展字段过度侵入核心模型，破坏了核心模型的架构简洁性与可维护性。22开发过程规则表命名需清晰、一致，表名需易于消费者理解和使用，相同的字段含义在不同表中字段命名必须相同，必须使用规范定义中的名称。开发规范数据可回滚处理逻辑不变，在不同时间多次运行数据结果确定不变成本与性能平衡适当的数据冗余换取查询和刷新性能，不宜过度冗余与数据复制。 第三步、数据资产平台建设(五) 第三步、数据资产平台建设(六)数仓开发数据定时/实时同步，建立DW/OLAP分析模型开发历史数据加载的程序和处理流程开发日常增量加载的程序和处理流程针对开发后的ETL脚本进行自测和交叉测试开发数据备份与恢复程序数据模型性能调整和优化数据模型性能优化数据备份和恢复增量数据加载历史数据加载数据模型测试ETL开发23 数据应用是数据中台价值的延伸，是业务价值的直接体现； 从建设流程上来看，数据应用建设分为业务需求调研、业务场景设计、产品设计、应用开发、测试与校验、上线与试运行、运维等阶段；如果应用建设中包含算法类应用，还需预留模型效果验证与调整的节点； 从项目整体建设角度看，数据应用的调研和整体规划要先于数据中台数据模型设计，应用开发可以与数据中台的数据开发工作串并行； 从应用的迭代优化角度看，还需要建立一套规范的数据应用迭代、优化机制，来保证应用上线后的稳定。 第四步、数据应用建设(一)需求调研从业务管理目标入手，探索数据应用场景功能设计深入业务应用场景，满足用户使用体验场景设计引入行业分析框架，规划设计应用蓝图迭代与优化需要建立一个相对规范的迭代机制应用测试数据校验是数据应用的重要环节应用研发基于主流BI工具或技术栈研发上线与试运行上线与试运行 第四步、数据应用建设(二)典型数据应用的建设目的数据中台价值论证数据价值的论证业务协同的磨合25洞察细节业务数据化数据资产化资产价值化看清业务智能决策智能业务建议业务自动运转数据智能 第四步、数据应用建设(三)数据应用三个层次数据分析数据挖掘26交通人力信息数据表社会综合数据表交通服务数据表气象信息数据表旅游水文信息数据表建筑信息数据表ods_国土数据区ods_水利数据区ods_人社数据区ods_公安数据区ods_交通数据区ods_气象数据区dwd_temp_应急dws_信息汇总tdm_标签分类ods_旅游数据区dwd_temp_旅游点dwd_temp_地点dwd_temp_人员水位信息/10,000建筑物信息/3,500旅游点信息/100旅游信息数据表 第四步、数据应用建设(四)统计分析/1,000警务监测/1,000车辆信息/500城市运行–日常监测事件分布/突发公共事件告警公安人社水利国土气象整合明细层DWD日常监测看板汇总层DWS贴源层ODS气象信息/100集市DM数据源过员联通人关过急联通应关API27随着这些年政府数字化转型实践不断深入，发现“运营”比“建设”更重要，过去信息化项目建设的交付解决方案已经不能满足需求；数据业务化、业务数据化，数据化与业务活动融为一体，要实现“数据业务化、业务数据化”，数据化项目承建单位需要成立数据化运营的组织、机制和流程。数据化运营 第五步，数据化运营(一)数据技术发展的要求数据业务化的要求业务数据化的要求政府数字化转型28规范产品数据治理 第五步，数据化运营(二)数据组织的定位业务价值数据应用数据资产数据资源信息化建设数据标准数据质量数据安全组织29数据资源掌握资源情况(构建委会体系)进行资源规划建议成果可视化数据资产数据获取数据仓库建模数据开发数据运维数据应用应用规划应用设计标签/指标设计应用开发应用运营数据标准指标、标签定义数据开发规划数据仓库设计规范数据质量基础数据质量提升(主数据管理)IDMapping交易数据质量提