版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
睿治数据治理介绍亿信华辰智能数据全生命周期产品与服务提供商01PART01第一章亿信华辰公司介绍做中国卓越的智能数据产品和服务提供商北京亿信华辰软件有限责任公司成立于2006年10月。亿信华辰是中国领先的智能数据产品与服务提供商,深耕商务智能和大数据领域十多年,着眼于打造数据全生命周期的智能化产品线,为超过7000家政企单位提供大数据相关服务。立足北京,辐射全国,公司规模不断壮大分支机构总部
北京分公司
遍布全国人员规模员工
800+技术人员占比
80%以上北京总部深圳福州上海济南武汉西安成都广州十五年历程,亿信华辰与客户共成长启航拼搏飞跃壮大沉淀扩张突破2006亿信华辰公司成立,开启大数据应用新纪元2014税务、卫生、司法行业优势凸显,通信、租赁行业获突破性进展2017新增至10条产品线,覆盖智能数据全生命周期2020业绩逆势增长,全力打造多维度数据生态体系2010和某省市场占有率遥遥领先2016营业收入突破1亿元,稳占商业智能领域第一梯队2018发布睿治数据治理平台V1.0,引领数据治理新风潮奋发2021ABI平台发布3A特性,睿治平台利用VIP策略打造数据治理最佳实践能力得到权威认证,引领行业发展新风向CMMI-3级ISO质量认证体系认证高新技术企业最高3A级信用企业已获得58项著作权核心产品亿信ABI、睿治等均已获得相关著作权权威认证著作权口碑奖项双丰收,亿信华辰屡获行业认可2020年DAMA数据治理优秀产品奖2019年数据质量优秀产品奖中国软件大会组委会2020中国软件和信息服务业BI领域最佳产品中国软件行业最佳BI工具产品奖2020年中国优秀案例提供商TOP502019年星河奖优秀大数据产品奖*仅列部分奖项加入行业联盟,积极推动中国大数据行业发展DAMA中国中国通信标准化协会某省市软件行业协会大数据产业生态联盟大数据技术标准推进委员会某省市软件行业协会上海大数据联盟中国电子工业标准化技术协会某省市软件行业协会中关村大数据产业联盟首席数据官联盟某省市软件行业协会某省市大数据产业联盟某省市软件行业协会某省市大数据科技协会中国大数据应用(西北)联盟某省市软件行业协会某省市大数据协会金融科技产业发展联盟某省市软件行业协会……做中国卓越的智能数据产品与服务提供商企业愿景构筑数据之美,服务知识发现企业使命自强不息,厚德载物企业精神快速响应,精益求精服务理念沉稳专业效率进取诚信、严谨、创新、进取、快乐核心价值观沉稳、专业、效率,打造不断进步的企业文化02PART02第二章数据治理概述什么是数据治理数据治理(DataGovernance)是组织中涉及数据使用的一整套管理行为。由企业数据治理部门发起并推行,关于如何制定和实施针对整个企业数据的商业应用和技术管理的一系列政策和流程。国际数据管理协会给出的定义:数据治理是对数据资产管理行使权力和控制的活动集合。涉及数据使用管理行为数据治理部门发起一系列政策和流程数据治理能解决哪些问题制定统一标准帮助政府和企业建设数据标准,制定统一标准挖掘数据价值帮助企业和政府梳理资源,形成数据资产,丰富分析应用全面掌控数据来龙去脉,以获得更多的数据洞察力,进而挖掘出隐藏在资源中的价值管控数据质量帮助企业和政府建立数据质量管理体系,对数据质量实时监控,及时整改,全面提升政府和企业数据的完整性、准确性、及时性,减少因数据不可靠导致的决策偏差攻损失提升信息服务水准帮助政府和企业制定相关流程、政策、标准,保证信息的可用性、可获取性、优质性、一致性以及安全性,提升信息服务水准保障数据安全提升政府和企业数据资产安全性,并帮助建立相关安全规范和响应机制,全面保障其数据安全数据治理要素制度结合现状制定数据治理管理办法建立数据治理企业规章度建立绩效考核,制定奖惩措施流程结合数据治理工具建立符合企业的管理流程降低业务对技术的依赖,业务自主开发定位和创新定期开展全面的数据治理状况分析和评估组织明确数据治理责任,成立数据治理委员会IT部门+业务部门开展治理工作工具解决不同数据来源集成问题统一管理数据提供分析服务数据治理项目实施步骤调研企业数据问题问题整理归类确定治理的目的和目标获取高层支持制定实施计划(方法)治理委员会(任命成员,分配职责)建立元数据梳理业务系统,理解数据数据质量提升(标准、模型、质量、数据处理)主数据治理数据安全治理数据生命周期治理展示治理成果治理成效评估睿治平台简介睿治数据治理平台是由多个产品组成的一整套解决方案,是一款面向实施人员的、智能的、敏捷的数据全生命周期管理应用平台。平台以元数据为基础,所有模块并非串连,而是每个模块都可以单独或与其他模块组合使用,并支持在本地或云上使用。睿治是一款覆盖数据全生命周期的数据治理平台,它通过对数据从创建到消亡的全过程的监控和治理,实现数据的统一管理,为企业保证了业务数据在采集、集中、转换、存储、应用整个过程中的完整性、准确性、一致性和时效性,从而帮助客户建立起符合自身特征的数据架构和数据治理体系。元数据数据标准数据质量数据处理数据资产主数据数据交换数据共享数据安全数据生命周期数据治理各产品定义模块说明元数据管理描述数据的数据,是数据治理的基础,元数据对数据的属性(名称、大小、数据类型等)和关系(依赖关系、组合关系)进行描述,并对数据在使用中的变化进行识别、追踪、展示(血缘分析、影响分析、全链分析等)。数据标准数据标准是对分散在各系统中的数据提供一套统一的数据命名、数据定义、数据类型、赋值规则等的定义基准,并且提供运维这套数据标准成果的流程。通过数据标准化可以防止用语的混乱使用,维持企业数据模型的一贯性,确保数据的正确性及质量,并可以提升开发和数据管理的一贯性和效率性。数据质量数据质量是为了有效识别各类数据质量问题,同时建立数据监管,形成数据质量管理体系,全面提升数据的完整性、准确性、及时性,一致性以及合法性,降低数据管理成本。主数据管理为了保证有必要在各个系统间共享的数据(即主数据MDM)的一致性、完整性、可控性,通用性、正确性而进行的一系列的管理(它提供了一种方法,使企业能够有效地管理存储在分布系统中的数据),而帮助创建并维护整个企业内主数据的单一视图,从而提高数据质量,统一商业实体定义,简化改进商业流程并提高业务的响应速度。数据治理各产品定义模块说明数据资产汇总、存储所有参与数据治理平台的各个系统的数据资产,确保数据资产的一致性和完整性,让管理者可以一目了然的了解到所有资产,提供决策依据,提升数据资产的价值。数据生命周期数据归档和销毁,并监控展现数据的生命过程。数据处理(数据集成)数据全生命周期处理的应用平台,是数据集成和数据管控的利器;在数据质量管理平台发现数据问题后,能利用灵活的清洗转换组件为数据质量的提升提供帮助。数据交换用于实现不同机构不同系统之间进行数据或者文件的传输和共享,提高信息资源的利用率,保证了分布在异构系统之间的信息的互联互通,完成数据的收集、集中、处理、分发、加载、传输,构造统一的数据及文件的传输交换。数据共享通过数据资产、主数据,将资产共享给其他用户。数据安全以数据的安全使用为目的的综合管理:提供数据加密、脱敏、模糊化处理、账号监控等各种数据安全策略,确保数据在使用过程中有恰当的认证、授权、访问和审计等措施。睿治平台优势-平台化元数据数据标准数据质量数据交换数据资产数据安全
数据标准:智能推荐标准映射
数据质量:查看质量规则
数据生命周期:查看归档、销毁数据
元数据:拾取标准、批量自动映射、标准-元数据一一对应评估
数据集成:根据标准生成主题表
数据资产:数据资产交换共享
数据标准:一步生成质量规则、规则同步
元数据:元数据分析-影响溯源范围快速追踪
数据交换:交换共享数据快速质检添加标题
元数据:盘点数据资产,对外开放数据、接口数据生命周期
数据资产:数据脱敏、加密
数据资产:数据归档、销毁睿治平台优势-智能化敏感数据智能扫描智能扫描识别、标记敏感数据智能映射匹配元数据元数据代码名称智能匹配自动检查元数据落标情况问题数据智能修复针对规则检查的错误数据智能修复智能推荐映射标准补充完善需落地元数据检查元数据映射质量各模块提供相应的监控页面直观并实时体现出各模块及业务系统的变化情况从总体上对数据治理的各个环节和过程进行管控全生命周期监控规则新建提供引导和帮助功能规则可视化界面编辑,实现“零”编码,业务人员速上手使用质量规则配置可视化全拖拽式流程设计器简单操作可完成复杂的ETL作业和作业流程定义“零”编码,、、,适用于所有的业务人员和技术人员交换流程配置可视化可视化展示各模块的统计信息快捷入口方便快捷的进入关注的模块实时查看代办事项清晰查看各模块情况信息数据治理工作台睿治平台优势-可视化亿信华辰数据治理领域优势数据治理战略组织架构数据政策治理实施价值发现亿信数据治理方法论、产品和人才队伍百分百的项目成功率:咨询--实施--应用--运维成熟、完善且实用的数据治理方法论:数据治理能力框架以及数据治理统一流程、数据治理成熟度评估模型等一体化睿治平台:涵盖元数据、数据标准、数据质量、数据集成、主数据、数据安全等领域,统一底层架构,全方位融合贯通。专业的数据治理人才队伍:服务于众多客户,具有丰富实践经验,深度了解数据治理的需求和重难点成熟、完善且实用的数据治理方法论具备完善的体系方法论及模版,为客户提供优质的过程指导,大大缩短交付周期。某省市场考验睿治功能的全面而强大某省市场好评。03PART03第三章产品介绍睿治平台功能架构关系型数据库数据策略级别协议数据销毁分类评估数据归档生命周期管理元数据采集数据地图元数据检索元数据管理血缘分析影响分析标准元数据实体定位变更追踪异常监控去隐私化数据脱敏安全传输数据安全管理识别申请主数据检索主数据管理资产编目资产检索资产服务数据资产标准查询标准映射标准发布数据标准数据传输节点管理交换审批数据交换主数据存储共享发布主数据监控治理门户数据地图资产交换频率分析标准化数据查询数据画像数据质量整改报告数据治理比对分析数据服务API更多应用……资产统计睿治数据治理平台业务目标(高效决策经营、营商环境提升、便民利民、社会开发利用……)规则管理质量评估问题整改数据质量管理方案管理质量报告质量监控检核对象分布式数据库结构化数据非结构化数据半结构化数据互联网数据……支撑平台应用平台元数据定义元模型元数据数据人员信息表(“”,“男”,......)
员工信息表(“”,“女”,......)字段:姓名(、)
性别(男、女)描述这些字段的类型、大小、长度字段(基本信息、属性、父类、子类、组合、依赖)采集企业元数据,全面梳理企业信息资产;提高数据信息的传递性,减少重复性工作通过多种数据分析,帮助企业追溯数据流向,快速定位问题数据并及时响应为数据治理、数据应用及数据服务夯实基础
采管
析
检元数据管理元数据管理实施流程数据来源可溯数据流向清晰数据变更详细数据分布明确数据来源杂,产生的临时数据脏、数据关系混乱,数据的质量差沟通难,定位难,查数难,管理维护难上加难
元数据采集01配置采集源设置采集任务入库审核专人审核审核通过即为最新元数据02元数据维护03基本信息组合关系依赖关系元数据发布04发布为定版元数据组合关系元数据分析05血缘分析影响分析数据地图实施流程丰富的采集适配器,智能识别关系,强大的元数据分析,全方位的检核机制理清企业数据字典,把握数据来龙去脉元数据产品功能概述价值主张:理清数据字典,了解数据来龙去脉特点:丰富的采集适配器、智能识别关系、丰富的元数据分析和检核面向对象:数据治理人员主要功能元模型管理元数据采集元数据检索元数据质量检核元数据分析元数据变更管理数据地图采集模板配置元数据管理——采集元模型元数据审核适配器采集与补录内置丰富的适配器:数据库(17)报表工具(9)ETL工具(3)其他(14)自动定时采集元数据可以设置定时对元数据采集,并支持“全量”或“增量”的方式手动采集元数据通过编辑excel文件进行采集安排专人进行审核,依据元数据变更申请的内容,判断元数据变更是否正确,评估元数据变更的影响采支持CWM(公共仓库元模型)规范支持自定义扩展适应不同管理需求提供多种类型元模型:数据库包:关系型数据库包大数据库包……数据处理包:kettle包、ODI包、Solution包数据应用包:DataStage包、IBMCDC包…...文件系统包及其他元数据管理——管理版本管理企业要进行元数据管理,通过元数据及元模型的版本管理,保证了元数据和元模型的一致性和连续性,避免元数据错乱,元数据结构被改变不仅区分了最新和定版元数据,还可以查看和对比历史版本,追踪责任人,问责清晰变更管理实现对元数据的实时监控,查看明细信息。支持变更订阅,推送用户关心的元数据变更的信息,方便用户随时监察,消除问题隐患功能支撑支持数据标准的映射,查看元数据与标准的落地情况支持查看某字段设置的质量规则支持企业数据资产的编目提供API接口提供执行采集任务的接口,采集任务执行状态查询接口根据ID获取最新元数据、定版元数据等资源管元数据管理——分析0102030405分析对象族谱、对分析对象起源溯源和生成过程的洞察当分析对象发生变化时,协助获取对象的影响范围反应分析对象的来龙去脉协助用户获得相关性最高的对象,以辅助定位关键对象识别类似对象的异同,以获得更准确的理解1血缘分析2影响分析3全链分析4关联度分析5属性差异分析析
提供多种分析方式,帮助用户挖掘潜在价值元数据管理——检核协助检查最新元数据是否存在质量问题,是保障元数据质量的重要手段之一检一致性检核
组合关系检核
属性填充率检核检查最新元数据维护的数据与源数据库中的数据是否一致。数据管理员可以随时通过该功能检查数据的新增、删除、修改的数据情况,且可以定位到具体数据用于检查最新元数据属性填充情况。一般技术元数据通过定期自动获取生产环境的数据即可,而业务元数据通常需要系统负责人或业务人员进行补充,可利用属性填充率的统计,来协助进行决策和问责检查组合关系缺失异常的最新元数据。根据表的元模型定义,表可以由1或多个字段组成,那么利用组合关系检查,选择检查范围,即可将所选范围内不符合逻辑的数据检查出来检核任务检核例外管理元数据其他亮点功能介绍元数据监控:统计了元数据各种数据以及变更和关联情况,可以对元数据的主要信息一览无余01数据地图:展现系统域质检的业务关联采集白名单:支持元数据的部分采集元数据检索:元数据模糊检索、高级搜索元数据变更查询:支持数据留痕,所有历史变更信息需可查询元数据变更订阅:对元数据进行变更订阅,进行变更跟踪,通过邮箱通知用户0203040506数据标准定义数据标准定义:数据标准是对数据的命名、数据类型、长度、计算口径、归属部门等,定义一套统一的规范,保证各业务系统对数据的统一理解、对数据定义和使用的一致性数据标准属性:即数据的属性,一般包括业务属性、技术属性、质量属性、管理属性等,具体可根据实际需求来定义姓名性别联系方式男业务属性管理属性技术属性质量属性···中文名称英文名称业务含义主题/分类···数据类型数据长度数据精度数据格式···值域范围字符规范允···归属部门权威系统协办部门···数据标准分类合标数据分类技术数据指标数据基础数据操作、控制、日志、技术参数类数据技术数据侧重技术,不在数据架构中由基础数据经过算法加工后得到派生数据指标数据由算法产生,变化频度大,不在数据架构中由业务系统直接产生的原始业务数据,如:企业基本信息、质量检查不合格信息等业务数据数据架构规划根据概念数据模型确定的信息分类,仅针对基础数据进行分布设计数据标准价值和应用场景标准的统一制定与管理保证数据定义和使用的一致性促进企业级单一数据视图的形成,促进信息资源共享评估已有系统标准建设情况发现现有系统标准问题,支撑系统改造减少数据转换,促进系统集成作为新建系统参考依据减少系统建设工作量保障新建系统符合标准数据标准范围和来源共享性高、使用频率高的字段需入标01监管报送或发文涉及到的业务信息需入标结合数据使用情况,对于关键数据的字段尽量入标数据应用有使用需求的字段需入标与系统人员沟通其系统内重要信息来辅助入标判断考虑到后期标准信息在模型工具上使用需要一定的覆盖度,迭代新增入标字段0203040506数据标准国标、行标、企标监管报送标准已有系统拾取标准技术、业务需求数据标准建设流程数据标准工作的基本流程数据标准工作主要包括制定、执行、维护三个过程。其中制定过程包括规划、调研和设计,执行过程包括映射和执行。在标准规划阶段,从实际情况出发,结合业界经验,确定数据标准范围,制定实施计划在标准调研阶段,收集国家标准、现行标准、新系统需求标准以及行业通行标准,进行归纳整理在标准设计阶段,进行具体数据标准的编写定义工作,形成数标版本,然后要通过权威部门的评审,达成一致。在实施映射阶段,将确认的数据标准与业务系统(新建系统或原有系统)进行映射,以得知标准与现状的关系。在标准执行阶段,针对实施映射阶段发现的问题进行修正,逐步提高数据质量,逐步使全部数据符合数据标准。随着时间的推移,数据标准也可能有变化和更新。权威部门应该及时进行数据标准更新,使数据标准保持最新。标准规划标准调研标准设计实施映射标准执行维护增强数据标准落标策略建立业务系统与数据标准的映射关系建立映射标准落地检查,检查业务系统建设与数据标准是否一致落地检查形成落标统计进行落标查询落标结论借鉴国际、国家、行业、监管部门等业务标准根据企业内规则进行定义形成全公司数据标准体系一般包括基础标准和指标标准定义数据标准根据数据标准中明确定义的规范和属性规则指导系统模型设计查询标准检查新建系统物理模型与数标的覆盖程度模型检查新建系统---->强制落标现有系统---->建议落标数据标准产品功能概述主要功能设计数据标准标准审批发布标准落地映射标准落地评估标准监控标准文档管理价值主张:建立规范的数据标准,消除跨系统的非一致性特点:全过程覆盖面向对象:数据治理人员、业务人员数据标准——标准集标准集标准集属性中文名称、英文名称、业务含义、标准主题、数据类型、数据长度、数据精度、管理部门等同一类型的数据标准的集合,一般具有相同的属性,为方便对同类数据标准的属性进行统一管理数据标准针对某个字段、某具体的数据标准,有明确的属性值数据标准——新建标准方式手工录入对于少量标准的新增和修改,可以直接手工逐条操作批量导入对于大量标准的新增和修改,可以通过excel批量导入。从元数据拾取直接引用现有系统的数据标准,在现有基础上进行修改和完善。数据标准——标准评审标准是否合理?标准是否完备?人工录入的标准是否有误?某些标准有无必要?标准评审自定义工作流标准制定发起评审形成初稿多人会签审核通过审核未通过保障数据标准建立的合理性、准确性、完备性数据标准——发布审批最新数据标准标准新增标准修改标准删除标准评审标准失效发布定版数据标准标准落地映射标准落地评估标准查询标准下载标准应用相关领导、负责人进行审批严格的发布审批流程,保证数据标准的严谨性强大标准版本管理,掌握数据标准的变化,提高管理效率,同时支持历史版本的对比,复原数据标准——落地映射业务系统人力系统财务系统生产系统OAERP元数据采集元数据人员信息表:员工编号、员工姓名、性别、联系方式···数据类型数据长度···数据标准中文名:员工编号英文名:ID数据类型:NUMBER数据长度:8中文名:姓名英文名:NAME数据类型:VARCHAR2数据长度:20···性别联系方式建立映射落地映射手动建立映射推荐智能映射数据标准——落地评估自动周期性评估自动生产评估结果统计分析报告通过元数据、数据标准双向查询非强制落标、特殊情况例外处理共同推进数据标准落地数据标准其他功能标准文档管理对标准相关文档进行管理,支持上传、下载、链接到标准编码规则管理可定义标准编码规则,自动生成标准编号参考数据管理对标准对应字段的可能取值进行管理,支持链接到标准数据质量定义常见质量问题数据无法匹配数据不可识别数据不一致数据冗余重复时效性不强精度不够数据不可用数据无法管理垃圾数据多无法支撑决策数据质量问题产生原因源系统业务人员录入不规范,且系统逻辑校核不严谨,导致大量低质量、空值数据。源系统设计有缺陷。跨表或跨系统有冗余字段但没有同步机制;逻辑设计问题导致特定情况下出现错误数据;关联性较强的流程设计缺乏有效衔接。历史数据迁移时操作不规范,导致数据不一致。系统升级改造,导致历史数据错乱。各源系统相同含义数据标准不一。数据增值过程中,每次加工转换产生了新的质量问题。数据质量问题是数据治理和商业智能的头号障碍数据质量管理的场景与价值场景价值发现数据问题数据整改质量评估质量分析监控数据数据预警通过执行质检方案发现数据问题,找出数据问题的症结所在对数据进行清洗,提升数据质量对数据进行评估,可以作为数据管理过程中的重要指标进行考核分析数据质量问题,找出数据管理或数据系统中不合理之处对数据质量问题进行预警,出现问题可以及时排查对数据进行监控,出现问题可以及时响应数据质量提升过程收集数据问题刨析数据问题制定解决方案问题的处理与改进建立长效运营机制全面收集数据问题,形成数据质量问题收集常态机制。改进数据质量工作模式,立足企业实际数据问题,优化从单一技术层面解决问题的模式,针对实际业务场景数据问题开展工作;优化数据问题分析方法,识别问题产生的根本原因。针对数据问题进行业务影响程度量化分析,从管理流程、数据认责、及操作规范方面识别根本原因,根据问题严重性进行优先级排序;根据业务流程需要,制定符合企业利益的数据问题解决方案,执行数据问题解决方案,及时跟踪问题解决情况,定期发布数据质量报告;建立数据质量考核机制,进行数据质量监管常态化运转,及时对解决问题的成效进行跟踪验证。数据质量产品功能概述主要功能质量规则管理检查方案管理质量评估数据整改质量分析报告质量知识库价值主张:让数据清澈如水特点:零编码、覆盖质量管理全过程面向对象:数据治理人员、业务人员数据质量——总体监控量化展现数据质量全面监控数据质量直观清晰数据质量——质量模型不用的检查对象不同的检查频率不同的检查方式数据质量——规则数据质量——质检方案不同的质检方案执行不同的质量规则,同一模型下可以从不同维度、不同方向对同一主题集进行质量检查,满足多种应用场景。数据质量——质量监控1、支持不同数据期、数据级次的查看问题数据,同时掌握数据的错误、例外、修复情况;2、支持对于空置、值域等规则的智能修复。数据质量——例外管理例外管理满足了一些业务场景下无法满足质量规则的数据的正常使用,同时对于业务场景发生变化,能及时调整例外范围,收回一些例外情况。数据质量——数据整改批准、退回、转办、催办、抄送、流程监控……数据质量——质量预警设置预警值以及预警级别发出预警,不同级别的预警会发送给不同的人,启动不同的预警处理机制解决问题,消除预警数据质量——质量报告数据质量分析数据质量报告质量亮点功能介绍智能新建规则:根据数据标准快速新建规则0114种质检规则:多种类型质检规则覆盖所有数据质量问题场景多维度评估:满足不同应用场景下的多维度评估体系细粒度考核:质量问题责任到人,避免质量问题权责不明确质量分析:直观展示数据质量问题的发展趋势质检报告:不同维度,不同层级的展示了数据质量问题0203040506元数据、数据标准、数据质量模块联动数据标准数据质量元数据1、元数据智能映射推荐对于数据标准落地是一个有效补充,同时也辅助了元数据的规范性管理。2、重复元数据分析对于数据标准的新建提供了支撑,反过来,新建的标准同时对元数据管理起到规范作用。根据数据标准中的值域范围、字符规范、是否为空这些属性来快速新建数据质量规则。这些规则的执行也给数据规范化管理提供有效支撑。数据质量发现数据问题,通过元数据分析对该字段进行溯源,分析出问题数据的根源,辅助数据的整改工作。总之,三大模块相辅相成,既作为基础为其他模块提供支撑,同时也通过其他模块丰富了管理手段。数据资产定义数据资产指由企业拥有或者控制的,能够为企业带来未来经济利益的,以物理或电子的方式记录的数据资源,如文件资料、电子数据等。在企业中,并非所有的数据都构成数据资产,数据资产是能够为企业产生价值的数据资源数据资产管理指规划、控制和提供数据及信息资产的一组业务职能,包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序,从而控制、保护、交付和提高数据资产的价值。数据资产的价值和应用场景企业数据资产盘点发现企业有应用价值的数据促进企业数据资源的共享,充分释放数据价值外部数据管理接入有价值的外部数据,提供数据依据辅助企业决策数据资产实施过程资产监控服务监控资产监控定义类目定义目录属性构建目录模型资产编目数据资产盘点,开展数据资产服务,实现数据资产价值的提升手动添加智能添加在线查询下载API调用数据交换敏捷分析资产共享基于需求敏捷开发资产基于资产的数据挖掘应用资产运营数据资产目录构建要点编制企业数据资产管理目录模型,为数据资产的分类提供模板。系统主题OA系统ERP系统CRM系统NC系统等业务主题相关方合约账户财务事件资源产品营销品质等组织架构主题财务部销售部生产部工程部等资产类型基础数据指标报表接口模型代码等安全主题公开普通商密资产形态主题结构化数据半结构化数据非结构化数据常见数据资产目录维度说明:在数据资产分类中,以目录结合标签的形式登记数据资产,通常以系统主题、业务主题、组织架构主题3个维度作为目录视角,其它的维度作为标签。将运营的思想贯穿到数据管理的各个环节及流程中,以敏捷的方式让消费者快速获取到数据服务。数据资产运营流程数据资产功能概述价值主张:辅助数据资产盘点,提升数据价值特点:多种编目视图、一体化数据服务面向对象:实施工程师、业务人员主要功能主要功能资产编目资产检索资产服务服务接口管理服务门户资产标签数据资产——目录管理灵活定义资产类型和资产属性,构建符合各类用户的数据资产目录模型,数据资产——资产编目手动添加+元数据智能添加实现数据资产的高效编目工作数据资产——产品管理将平台具有知识性质的报表、数据集管理起来,已数据产品的形式编目起来,开放给用户使用。数据资产——服务接口管理通过可视化的配置方式,快速封装生成本地接口或第三方接口,同时提供安全配置,保证接口在调用过程中的安全性。数据资产——服务门户将各类数据资产以服务门户的形式开放出来,提供给消费者查询、下载、交换、分析等服务操作。数据资产——个人中心将数据消费者关心的数据资产、数据服务集合在一起,方便用户使用。数据集成产品功能概述主要功能可视化建模模型资源检索ETL过程设计ETL过程流设计数据脱敏调度管理价值主张:人人都是数仓工程师特点:面向数仓、组件丰富、混合处理、面向对象:BI工程师、数据治理人员数据集成应用场景数据工厂银行数据位置数据资产数据客户数据财务数据产品数据针对所有数据域
(客户、产品、位置等)进行清洗和匹配所有项目类型
(例如,数据迁移、数据同步、数据仓库、
数据治理)数据仓库数据迁移测试数据管理和存档分析模型数据同步数据交换数据整合IT项目数据集成——丰富的组件特色的数仓应用组件在数据处理组件的基础上,封装了部分数仓特色组件数据集成——数据脱敏算法支持常用脱敏算法:固定值替换,数据模糊化,数据裁切、分段替换、MD5处理、哈希处理、随机填充、偏移值加密等。数据集成——设计区、运行区隔离设计区与运行区隔离,保障运行环境稳定同时,兼顾开发。发布机制,维持程序版本状态。数据安全功能概述主要功能敏感数据监控异常行为监控数据加密管理数据脱敏管理用户权限审计数据库权限管理价值主张:多方位保障数据安全特点:丰富数据安全模式面向对象:实施工程师、业务人员数据安全——敏感数据监控数据安全——数据加密生命周期管理功能概述主要功能数据归档数据销毁生命周期监控价值主张:管理数据生老病死特点:灵活设计数据归档、销毁策略,保证系统数据存储效率面向对象:实施工程师、业务人员数据生命周期监控04PART04第四部分案例分享广州禅城区政务服务数据管理局:数据治理平台基于我司数据治理全栈解决方案,使用构建模型、配置规则、人工智能识别等方法对某区数据进行数据核查、数据清洗、数据更新及数据修复,并输出数据分析报告,提出改进建议,为政府部门、事业单位、某省市民等数据使用者提供更优质、更高效的数据支持。某区大数据统筹局自成立起一年多的时间已沉淀了3亿多条数据,随着跨部门数据应用的逐步增加,对某区大数据池的数据质量及数据管控效率要求越来越高,迫切需要解决信息分散、人工处理数据交换、数据标准不统一、数据不一致等问题。卫计流管工商社保住建……财政旅游……数据源数据交换JDBC传输文件传输API接口传输……财政局前置机旅游局前置机……原始库卫计流管工商社保住建……治理库卫计流管工商社保住建……融合库房屋信息积分信息社保信息……数据资产共享库中心库无纸化入学应用层自助填表政企平台应用区财局专项应用经济科技应用中小企业应用……交换广州禅城区政务服务数据管理局:数据治理平台数据资产情况展现数据共享情况展现数据交换情况展现教育无纸化展现广西壮族自治区交通运输信息化通过近年来的发展,在交通要素数字化、行业管理在线化、信息服务便捷化、运输组织平台化方面均取得一定的成绩。但是,业务协同能力不足、信息化发展缓慢问题、信息孤岛问题、建设和管理缺乏统筹等问题凸现。某省市级工程指南指导和广西交通运输行业的实际需求,对广西交通运输数据共享交换与开放平台整体框架规划设计,主要包含了基础设施、数据资源、支撑平台、应用、展示5层框架交通运输行业省级数据集成与共享平台交通运输行业部省级数据对接平台省级政府部门数据横向共享节点广西交通运输管理中心:数据资产共享平台广西交通运输管理中心:数据资产共享平台项目价值与成效助力广西交通运输领域数据资源整合为广西交通运输信息管理中某省市级统一交管数据资源池,实现行业数据某省市级汇聚、融合,实现数据资源的统一管某省市数据资源共享,并以高效敏锐的数据支撑为用户提供高质量的信息服务平台。提高数据共享管理水平,挖掘交通大数据价值平台的大数据存储和高效计算能力,大大提升数据共享交换效率,实现行业数据资源的协同调度,为跨地域跨系统的数据传输提供安全、高效、可靠、便捷的数据交换与传输通道,同时也为数据挖掘打下基础。提供统一的数据资源共享窗口平台纵向向上打造交通体系内数据共享通道,横向辐射提供跨部门跨层级数据共享通道,构筑面向业务服务的数据某省市,为跨层级、跨领域、跨部门的数据提供者、需求者提供统一全面的入口,统一数据服务窗口,提升政务服务效率。江某省市大数据中心:大数据治理平台全市政务系统没有统一的数据标准可参照数据质量问题多,又没有有效的数据问题反馈机制有资源目录但缺乏数据仓库建设过程,数据比较混乱缺乏数据使用率监控,数据精细化管理差,数据价值未得到释放某省市作某省市唯一的县级集成改革某省市,按照“开展集成改革试点、形成改革集成效应”的总体要求,但由于各政务部门之间数据相互独立,早期也没有健全的数据治理体系,在试点改革道路上遇到了诸多问题:江某省市大数据中心:大数据治理平台改革试点工作的关键在于,在现有建设的基础上,进一步提升数据质量,建立数据标准,制定合适的数据问题解决方案,通过涵盖全数据生命周期数据治理,建设某省市各政务部门超17亿条数据,覆盖数据全生命周期的大数据治理平台,提供各类数据服务。消除数据碎片,打破信息孤岛,累计接入57个部门,超17亿条数据,累计交换量达88.37亿条成某省市级数据共享直连链路,
外接93项资源共670多万条数据建立健全数据管理机制,向政务部门定期发布数据质量报告广东荔湾政数局:政务大数据资产服务平台某省市“四标四实”专项成果应用初步取得实效,某省市持续深化平安有序某省市管理专项行动相关要求,为整合荔湾区政务数据资源某省市荔某省市社区网格化服务管理中心拟建设荔湾区统一的四标四实数据平台,响应国家大数据战略加快建设数字中国的学习精神某省市加快推进“数字政府”建设的要求,为大数据时代的政务大数据管理和增值发展提供全面支持。数据资产盘点数据资产治理数据资产应用数据资产管理运营四标四实大数据平台梳理政数数据资源目录,完善建立跨部门的数据共享交换环境,方便各部门申请、使用、管理、共享权限内的数据某省市区两级政务数据共享交换。提升数据治理效率和准确率,降低数据治理成本,减少数据治理人工工作量,降低数据利用成本,有效提升数据利用效率和质量,进而有效促进各部门、街道/社区开展数据共享、交换、利用的积极性。构建业务模型和分析模型,结合5G、数据挖掘、人工智能、物联网分布式数据存储等技术,为经济、民生及其他政府重点关注热点问题提供辅助决策,形成可靠有效的示范应用。通过数据管理运营的实施,为政务服务优化、某省市、粤港澳大湾区服务、营商环境优化以及部门行业应用等重点专项领域,提供数据管理运营的支撑保障。四川凉山州人民政府:政务信息资源共享交换平台简化政府流程、提高服务效率一直是政府改革的重要内容,凉山州人民政府改革不断深化“互联网+政务服务”,让“数据”和“干部”真正跑起来,让群众“少跑路”“不跑路”一个中心12大支撑体系2233个AI分析模型3个可视化应用311个电子证件管理库四川凉山州人民政府:政务信息资源共享交换平台项目价值与成效打破信息孤岛,实现深度共享打破流程和权责重叠,实现全面集约打破标准、规范离散,实现高度统一打破线上线下隔离,实现全面融合陕西卫生:区域数据管理平台陕西卫生随着全民健康项目使用的深入,逐步发现来源于医疗机构、业务系统及人工录入数据等多种数据源头数据质量不高,进而影响综合数据展现和决策支持工某省市市县三级平台互联互通应用过程中,各平台相互独立,无法统一规范管理,无法监测各平台元数据变更,导致平台之间数据不能及时互通。平台建设内容陕西卫某省市级区域数据管理平台,以数据质量核查为目标,按照数据管理标准制定数据质量核查规则,定期对各平台数据进行质量核查,生成数据质量核查报告,并将问题数据反馈各平台数据管理人员进行核实处理。陕西卫生区域数据管理平台质检方案质检主题质检结果数据标准数据交换数据资产质检规则质检方案结果分析表结果分析报告最新标准定板标准交换任务任务调度资产目录陕西卫生:区域数据管理平台”系统不仅解决了现有平台数据的质量情况未知问题,三级平台数据连通问题,还提供了数据交换和质量情况监测大屏某省市信息中心数据管理人员能够熟练掌握系统各功能的使用,某省市数据管理,降低了数据管理成本。”实现效果完成元数据管理和数据质量核查可视化监测大屏及时掌握各平台数据情况各平台数据共享交换无障碍使用情况二十多个平台前置库的数据对接200多个主题的数据交换三十多亿条数据的质量核查客户针对系统的实际评价务局:数据集中管理平台据统计,目某省市98.11%的一般纳税人,以及超过90%以上的小规模纳税人,都实现了办税“不来即享”。为进一步深化“放管服”改革,加强税收征管数据管理,加强税务机关数据资源跨层级、跨部门、跨区域共享应用某省市税务局意识到,提高数据质量,保障数据安全,对税务局内数据进行集中管理、筹划核心智能数据中枢,以落实放管服改革、优化营商环境、实现数据管税,将逐渐成为税务局的工作重心。缺乏统一标准1数据系统众多2数据层级复杂3数据监管不足4务局:数据集中管理平台本项目运用大数据、云计算、人工智能、机器学习等先进技术,为务大数据平台引入数据治理理念,打造集多元化数据采集、分布式数据存储、标准化数据治理、精准化数据加工与智能化数据应用于一体的数据集中管理平台,解决业务系统瓶颈问题,保障税务平台安全、高效、稳定运行。提升数据汇聚能力打造数据驱动模式创建统一数据生态临矿集团:集团级数据治理平台山东能源临矿集团率先在煤炭行业实践大数据建设,响某省市号召积极开展新旧动能转换,将大数据、云计算、人工智能、工业互联网等技术与企业融合创新,促进企业的精细管理、精准决策、精益运营。海量数据,却无法发挥出数据价值历史原因:遗留数据孤岛客观存在:信息海量脏数据多困难:部门独立,无数据资产编目临矿集团:集团级数据治理平台我们为山东能源临矿集文化建设立了集团级大数据资产平台,运用大数据技术实现数据采集、清洗、分析建模,实现了集团全量多源异构数据采集,并对核心的人力、财务、设备、煤质、生产安全数据进行数据治理,形成高质量的数据资产。自上而下建立数据治理体系治本建设集团级大数据资产平台治标治岗业务人员快速实现数据赋能
数据应用需实现涵盖人财务产供销环的数据指标体系支持日常生产、经营、决策;价格预测;设备全生命周期管理,冲击地压预警预测、水患防治等模型计算数据治理多头报数、数据质量不高、数据孤岛、数据资产编目数据人才提升技术部门、业务部门人员的数据管理能力某著名企业某子公司:数据资产管理平台某著名企业某全资子公司深入学习贯彻习近平新时代中国特色社会主义思想,坚某著名某省市委省政府各项决策部署,始终牢记肩负的重大政治责任、经济责任和社会责任,自觉将发展立足点和着眼点放在地区经济社会发展的现实需要上,全力某省市脱贫攻坚、绿色发展、灾后重建、新能源基地建设、乡村振兴等重要任务,全力以赴为建设幸福美好新生活贡献力量,各项工作取得显著成绩。找数难、用数难缺少统一信息视图分析手段单一数据挖掘技术门槛高盘:盘点全局数据资产规:整顿规范数据统计标准治:针对数据问题智能化治理用:开放共享数据资源项目痛点项目改革某著名企业某子公司:数据资产管理平台2020年已完成公司55套信息系统的数据盘点,共计盘点有效业务表11.2万张,涉及字段412.9万个,梳理系统功能清单8123条,并完成系统功能清单与有效表的挂接,编制形成55套系统8123条数据资源目录清单。盘规制定公司数据责任清单治用开展数据归集采集梳理形成专业数据库表目录标注标注各业务系统有效数据表,识别、清理无效数据表。梳理梳理各业务系统数据资源目录构建构建各业务系统数据资源目录挂接按数据目录结构层级与数据表映射关系进行数据表挂接发布将挂接后的数据资源目录进行确认、审批、发布。应用基于数据资源目录体系,开展数据应用实践。全量采集各业务系统数据表结构及字段等元数据信息构建公司整体数据目录体系加强数据管理制度建设推进数据标准和规范建设开展重点领域数据质量治理建立数据共享需求清单和负面清单形成典型数据应用赣州银行:城商行数据管理平台赣州银行作某省市某省市政府直管的地方国有商业银行,于2001年1月18日成立,20年发展历程,先后荣获“中国最佳百姓银行”“全国城商行最具竞争力十大品牌”“某著名企业业星级服务机构”、中国“最值得百姓信赖的银行机构”等称号,并4次荣登中国服务业企业500强、跻身“中国金融500强”赣州银行拥有存量系统61个,信息化已经达到了一定程度,但由于没有统一的数据管理平台,数据混乱无法支撑快速发展的业务需求外部监管要求发展需要赣州银行:城商行数据管理平台赣州银行城商行数据管理平台的总体目标是完成各银行各业务条线产品的梳理,新建系统全面落标,规范字段命名,规范业务接口,提升监管数据的数据质量,为业务发展及金某著名企业新提供助力。项目总体目标新信贷系统新理财系统总账系统核算平台治理系统范围各类报表监管指标业务接口业务命名业务治理范围初步建立全行级的数据治理体系,实现新建业务系统的全面标准化管理建立元数据管理机制,实现元数据标准化管理标准化需求关键任务建立元数据管理系统,建立标准管理体系、建立数据质量管理体系、规范全行的数据管理机制体系建设建立管理委员会,让各部门、各项目组织积极参与到数据管理中来,提升数据管理水平。组织规划制定8个主题的数据标准,新建系统全面推进数据标准的落标。标准落地大件数据治理平台,对生产环境、准生产环境、开发环境的数据进行同时治理。搭建平台赣州银行:城商行数据管理平台赣州银行行方与亿信项目团队通力配合,基于明确的项目目标,完成了包含元数据管理、数据标准管理、数据质量管控三大主体模块的数据管理平台建设。2020DAMA中国数据管理峰会上,赣州银行荣获“数据质量卓越实践奖”,亿信华辰荣获“DAMA中国数据治理优秀产品奖”项目成效长达5个月的元数据管理,实现新信贷、新总账、新理财、核算等系统的注释填充率到达100%,实现了元数据的变更事前可控管理。总计梳理8个主题、1244条标准,对7000多个关键字段进行落地评估,将治理初期20%的标准通过率提升到现在的85%的通过率。根据EAST4.0的要求,梳理了300余条规则,建立了相应的预警机制,实现了监管报送指标的自动化监管。时代地产:数据资产管理系统客户痛点时代地产,中国房地产百强企业,华南地区最具影响力之一的房地产开
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 植物多样性题目及答案
- AI在智慧健康养老服务中的应用
- 医院安全生产委员会会议制度
- 【方案】2026低碳智慧园区综合解决方案
- 万安县县城砂场搬迁工程水土保持方案报告表
- 泽信启元·缔01水土保持报告表
- 网络信息安全基础(AIGC版)随堂前测练习题及参考答案 项目7-任务1-前测练习-单选题5
- 人工智能通识导论(理论篇)课件 第1章-从梦想到现实:AI发展简史
- 2026半结构化幼儿教师面试题及答案
- 2026年慢性咳嗽诊疗指南考试试题
- 国开2025年秋《农业推广》形成性考核1-3答案
- 生产设备突发故障停机应急预案
- 上海小区下水管施工方案
- 学堂在线 科学研究方法与论文写作 章节测试答案
- 2023年7月浙江高中学业水平考试数学试卷试题真题(含答案详解)
- 2025年离婚抖音作品离婚协议书
- 河南省郑州市2024-2025学年高一下期期末考试数学试卷
- 煮粥三年级教学课件
- 科学运动与呼吸系统
- 2025年课标卷高考地理真题(原卷版)
- 烤鱼店店长管理制度
评论
0/150
提交评论