某化工集团数据治理与数据湖交流_第1页
某化工集团数据治理与数据湖交流_第2页
某化工集团数据治理与数据湖交流_第3页
某化工集团数据治理与数据湖交流_第4页
某化工集团数据治理与数据湖交流_第5页
已阅读5页,还剩42页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

某化工集团数据标准体系与数据湖交流数据在数字化转型中的重要意义01数据资产管理的主要概念02某化工数据标准工作的建设思路03目录CONTENTS工作内容与方法04数据在数字化转型中的重要意义宏观背景–数字化转型一、深刻认识数字化转型的重要意义四、全面推进数字产业化发展充分认识数字化转型的重要性加强数字化转型理论知识学习营造数字化转型的文化氛围二、着力夯实数字化转型基础三、加快推进产业数字化创新转变观念加强对标把握方向技术赋能突出重点统筹部署建设基础数字技术平台建立系统化管理体系构建数据治理体系建立安全防护机制推进产品创新数字化推进生产运营智能化推进用户服务敏捷化推进产业体系生态化五、打造行业数字化转型示范样板六、采取有力措施确保转型工作顺利实施参与数字新基础设施建设加快核心数字技术攻关着力发展数字产业打造制造类企业数字化转型示范打造能源类企业数字化转型示范打造建筑类企业数字化转型示范打造服务类企业数字化转型示范制定数字化转型规划和路线图协同推进数字化转型工作做好数字化转型资源保障4印发《关于促进大数据发展行动纲要》新一轮科技革命和产业革命席卷全球,数字技术与实体经济集成融合,产业数字化应用潜能迸发释放,新模式新业务全面变革。数字经济已经成为经济增长的动力源泉,是转型升级的驱动力。201510月第十八届五中全会上,提出实施国家大数据战略,上升为国家战略20158月201712月在中共中央政治局实施国家大数据战略第二次集体学习时,总书记指出要加快建设数字中国20203月中共中央政治局常务委员会召开会议指出,加快推进新型基础设施建设20203月20208月《关于构建更加完善某省市场化配置体制的意见》中首次明确数据的生产要素属性国资委《关于加快推进国有企业数字化转型工作的通知》,统筹推进国有企业数字化转型5宏观背景–数字经济发展宏观背景–数某省市场化配置数据成为企业新的生产要素2020年4月中央印发《关于构建更加完善某省市场化配置体制机制的意见》,明确提出数据是某省市场化配置的五种要素之一,要加快培育数某省市场,提升社会数据资源价值。同月,中央明确将大数据中心纳入“新基建”范围。数据治理是释放数据价值的关键数据治理已在国家层面受到重视。2018年,我国首次发布数据管理领域国家标准《数据管理能力成熟度评估模型》。2019年,中国信息通信研究院发布《数据资产管理白皮书4.0》。越来越多的企业采用基于数据的自动化决策流程,依赖数据的高质量和有效性。对海量数据进行有效的数据治理,提升数据质量、实现数据标准化、促进数据的流动是海量数据价值释放的前提。充分发挥数据作为信息沟通媒介、信用媒介、知识经验和技能新载体等方面的核心关键作用,有效激发数据创新驱动潜能,——数据是关键驱动要素。推动基于数据的信息透明,提升企业综合集成水平。推动基于数据的价值在线交换,提升生态组织开发合作与协同创新能力。推动基于数据模型的知识共享和技能赋能,提升企业价值创造能力。企业内全局透明企业生产赋能和提升企业间生态与信息共享信用媒介知识经验和技能新载体信息沟通媒介数据提高数据化运某著名企业数字化转型7数据治理解决的主要问题8数据定义缺失;数据项缺失;数据属性不完整数据在多个系统中重复采集、重复存储系统数据无法关联、共享,数据整合困难;系统林立,数出多门数据时效性差,使用者无法及时获得所需信息数据使用不方便,方法繁琐;手工报表多数据质量差,数据不完整,数据不一致数据标准化与治理的效益901STEP02STEP03STEP04STEP数据智能分析能发现企业运营异动和风险并快速定位其原因;全面监测和分析及时消除异动和风险。预估每年节约50%以上非必要耗损企业风控管理战略落地快熟建立起集团整体发展战略与各业务系统,各子公司经营目标的支撑关系战略落地效率提升30%以上经营管理水平提升明确影响目标实现的关键因素和环节促使各业务部门与下属企业围绕整体战略目标开展生产经营活动,确保战略落地,效率提高20%以上企业数字化整合集团数字化的总体设计,实施数据标准与治理后的数字化转型成功率高达70%对分散在各业务系统、各子公司、各部门的信息资源进行统一管理70%20%50%30%数据资产管理的主要概念数据资产管理的定义和范围11数据资产管理是指规划、控制和提供数据及信息资产的一组业务职能,包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法程序,从而控制、保护、交付和提高数据资产的价值,贯穿数据采集、存储、应用和销毁整个生命过程。数据管理数据治理数据资产管理数据管理是规划、控制和提供数据及信息资产的一组业务职能,包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序,从而控制、保护、交付和提高数据和信息资产的价值。——DMBOK1.02009数据治理——统筹管理并协调人员、流程以及技术等要素,使得企业能将数据作为企业的重要资产从而更为有效地利用(IBM、Gartner)。数据治理作为数据管理的其中一个核心职能,是对数据资产管理行使权力和控制的活动集合(规划、监控和执行),指导其他数据管理职能如何执行,在高层次上执行数据管理制度DMBOK1.0数据资产是指由企业拥有或者控制的、能够为企业带来未来经济利益的、以一定的方式记录的数据资源。在企业中,并非所有的数据都是数据资产,只有能够为企业产生价值的数据资源才被称为数据资产。数据治理VS数据管理VS数据资产管理12数据治理数据建模和设计数据存储和操作数据安全管理数据集成和互操作文件和内容管理数据仓库和商务智能参考数据和主数据管理元数据管理数据质量管理数据架构数据管理数据资产管理数据治理数据资产管理数据架构数据建模和设计数据安全管理数据存储和操作数据集成和互操作数据质量管理元数据管理参考数据主数据管理数据仓库和商务智能文件和内容管理……数据管理数据资产价值评估+数据资产运营流通+……数据标准管理+数据全生命理+……国外理解数据治理仅包括目标、原则、组织、制度、流程等软性要求,取其“狭义”国内语境下,会将数据架构、数据标准、数据质量、数据安全等一系列数据管理活动纳入数据治理的范畴,取其“广义”,对数据管理与数据治理概念并未做严格区分。数据架构&数据模型13类型业务架构数据架构应用架构技术架构目的识别企业如何为消费者和其他利益相关方创造价值描述数据应该如何组织和管理描述企业应用的结构和功能描述能使系统发挥功能和传递价值的实体技术元素业务模型、流程、功能、服务、事件、策略等数据模型、数据定义、数据映射规划、数据流、接口规范等业务系统、软件包、数据库等技术平台、网络、安全、整合工具等依赖战略业务架构业务需求应用架构企业数据模型数据流设计数据模型Def:数据特征的抽象内容包含数据结构、数据操作、数据约束。数据结构:树形结构、图结构等数据操作:栈、队列等数据约束:数据间的语法、词义联系等应用层次分类:

概念数据模型、

逻辑数据模型、

物理数据模型……数据价值难以发挥的根本原因14数据标准&数据质量1515数据标准内容业务领域业务定义业务应用场景业务规则数据标准业务属性技术属性管控属性(质量)数据标准内容类型范围长度编码规则格式数据标准内容数据标准名称代码内容可信数据源数据精度是否必录归属业务部门维度名称维度说明数据一致性(Consistent)相同数据项在不同系统或同一系统内不同表格记录多次时,多个数据值是否相同。数据准确性

(Valid)数据是否符合数据标准中的业务定义。例如在数据项“押物名称”存储了押物所有权人名称。数据完整性plete)业务需求所需的关键数据项在系统中是否有定义,或者关键数据项是否都采集了数据。例如合同有效日期是否有未填写的数据记录。数据唯一性(Unique)是否满足一个业务唯一关键数据项值组合仅对应一条记录,例如一个组织机构代码仅有一条客户信息记录。数据及时性(Timely)是否能够在数据需求定义要求的期限内获得最新的数据,或按要求的更新频率刷新数据值。数据真实性(Accuracy)数值是否反映了真实的业务情况。数据精确性(Precise)数据的精确度是否满足RWA的要求。某化工数据标准工作的建设思路工作目标17项目目标项目范围总体范围:基于某化工集团数据现状与业务需求,梳理经营管理类全域数据资产,实现统一数据管理、统一数据标准和统一数据治理体系的价值目标组织范围:现状分析包括某化工集团总部财务、人事、审计等9个经营管理领域。业务范围:以数据相关管理细则与技术规范制定,经营类指标的梳理与确认(主要包括人力、投资、财务等九大领域)功能范围:涉及EHR系统、人力KPI管理系统、学台、人才评审系统、360考评系统、干部人才管理系统、ERP系统(SAP)、久其报表系统、BW系统、主数据系统、报销系统、产权登记系统、税务地图系统、有息负债台账系统等;企业经营级数据资产的标准体系企业数字化资产全面快速的整合能力数据资产价值广泛便捷的释放能力项目背景战略落地:本项目承接某化工集团“线上某化工”战略,支持集团性经营管理类数据标准规范和体系的凝练与落地。实现某化工集团的业务协同和纵向管控、支持科学运营与智能创新模式转变:打造新型数据应用模式,由点状需求支撑,向营造平台,制定标准,构建数据共享生态模式转变;数据标准规范总体目标©某著名企业数据标准目标共建共治共享一、数据组织体系组织机构与职责数据权责制度流程宣贯培训二、数据职能体系三、数据湖管理基础层计算存储平台离线数据采集实时数据采集外部数据采集管理域系统三重一大有息负债360考评企业信息投资干部人才智慧文化建设HSE应急人才评审科技项目HSE管理能源节约外事管理数据源数据治理数据生命理数据架构管理数据质量管理数据安全管理数据共享管理数据资源目录数据标准定义规范标准准入数据标准分类业务术语标准数据元标准主数据标准参考数据标准指标数据标数据标准定义业务属性技术属性管理属性数据标准命名及编码规范标准命名规范标准编码规范标准落标执行数据标准石油销售业务第三方服务机构某著名企业深化改革任务ERP其它1.数据标准建设技术路线标准范围1分层分责2标准继承3系统盘点4协同确认56标准现存标准系统盘点交叉部分协调人力财务投资HSE党群纪检科技战略创战集团强管控集团弱管控事业部管控BU管控数据生产部门数据管理部门数据使用部门数据9大管理域贯穿其中1域工作角色工作界面国标、行标、团标已有标准、外部参考标准各部门已梳理成果数据架构数据字典平台约束标准协调会定标确认1.标准建设-基于战略和管理诉求,确定数据建设范围20集团战略业务单元/职能战略业务管理诉求数据需求分解业务单元及职能战略,理解部门职能范围从业务场景出发,根据职能分解各职能管理诉求根据业务管理诉求,分析与梳理数据需求数据标准体系明确标准化数据范围与标准数据分类,形成体系数据管理体系确定数据管理范围1.1

数据需求分析1.2

数据标准范围与分类体系战略定位业务布局核心方向建立集团统一的数据标准方法论蓝图,从数据需求提炼数据标准范围最终形成主数据管理范围。1.标准建设-数据标准管控纵向分层、横向分责21纵向切分集团及下级单位间数据标准管理职责明确纵向管控划分原则形成纵向数据标准管控体系1横向认责数据标准管理部门梳理数据产生与使用部门明确主数据职能部门管理责任2系统平台管理统一系统平台管理3分层分责管理平台1.标准建设-数据标准梳理过程22强管控弱管控按需定义标准元模型维度(3个维度28个控制项)按需定义标准元模型维度(2个维度5个控制项)1.标准建设-平台约束与持续管理23模型一致性监督采集标准化处理标准变更与优化流程标准落地反馈评估1.数据规范清单24数据规范的规划方案:主要内容:数据规范层依据数据资源目录对于数据领域的划分,各领域均规划一册数据标准;原数据层标准及应用层数据相关标准的内容根据所属数据领域,整理纳入数据规范对应分册中;序号标准分类标准名称内容说明1数据规范能源数据标准勘探开发、炼油化工、石油贸务、油品及化工品销售、仓储物流等标准规范2化工数据标准氟化工、中间体及新材料、农用化学品、聚合物添加剂、天然橡胶、石化原料营销、医药健康等标准规范3农业数据标准农业投入品(化肥、种子、农药)和现代农业服务等标准规范4地产数据标准地产开发和酒店经营等标准规范5油品销售数据标准成品油、润滑油、燃料油沥青及其他炼油小产品的、非油产品的销售等领域的数据标准规范金融数据标准信托、融资租赁、财务公司、人寿保险、产业基金、新产业孵化、商业保理等标准规范6创战业务数据标准某著名企业业务发展的规划计划以及投资项目的项目前期、投资计划、经济评价、工程造价管理、后评价等领域的数据标准规范7财务管理数据标准会计核算、预算管理、资金管理、资产管理、关联交、报账管理等领域的数据标准规范8人力资源管理数据标准招聘管理、考勤管理、人事管理、职称评审等领域的数据标准规范9资本运营数据标准股权投资、股权管理、企业法人等领域的数据标准规范10物资与装备数据标准物料、物资采购、物资仓储、采购质量管理,以及装备制造业务等领域的数据标准规范11法务管理数据标准合同与法务管理数据标准规范12综合管理数据标准包含综合办公、政策研究、质量安全环保、科技、信息、外事、企改、矿区服务、思想政治、离退休干部等职能管理业务的数据标准规范13综合管理数据标准包含综合办公、政策研究、质量安全环保、科技、信息、外事、企改、矿区服务、思想政治、离退休干部等职能管理业务的数据标准规范14审计管理数据标准巡视、审计、违规投资经营追责所涉及计划需求报送、任务分配、项目管理、资源管理等数据标准规范15纪检管理数据标准信访、线索、案件、党风政风、八项规定等标准规范安全环保数据标准包括QHSE、应急、安全、质量、环保以及生产运行项目中的HSE标准规范16安全环保数据标准17党群管理数据标准包括基层管理、党组织管理、党员管理、党费管理、文化建设考评、党务公开、支部管理以及工会、共青团管理标准规范18公共数据标准员工、组织机构、物料、会计科目、往来单位、产品、基础数据等各领域公共的数据标准规范示例1.数据需求梳理-以财务为例25根据数据需求,提炼数据类型,细化分析各类数据的信息类型及数据字段需求明细核算项目收入数据成本数据费用数据收入金额、收入类型、收入项目……成本金额、成本类型、成本项目……费用金额、费用类型、费用项目……员工员工账户信息员工工时统计员工姓名、员工编码、身份证号……员工姓名、员工账号、员工开户行……员工姓名、员工工时、所属项目…… 组织机构组织机构信息股权信息投资单位、股权数量、股权金额……组织机构代码、组织机构名称、组织机构层级……财务制度/报告非结构化数据员工个人信息 会计信息体系制度财务报告财务制度会计信息体系制度财务报告财务制度税务税务信息发票信息发票金额、发票编号、统一社会信用代码……应纳税额、税种、税率……预算预算余额预算报告预算报告预算类型、预算余额、币种……项目项目信息科研项目信息项目名称、项目编号、项目类型……科研项目名称、科研项目编号、科研项目类型……薪酬工资信息基本工资金额、社保代扣金额、绩效……外部信息外部宏观信息政策、经济、行业信息等外部宏观数据投资投资信息报销类型、报销原因、报销金额……银行账户银行账户数据银行账号、账号名称、开户行名称……成本中心部门信息部门名称、部门类型、部门人员数量……业务类型业务类型业务类型名称、业务类型编码、业务类型级次……费用报销报销信息投资金额、日期、投资项目……示例1.数据职责梳理-以财务部为例26根据数据生产职责、与其他数据使用职能部门的协同关系,明确各类主数据的责任归属部门财务主责主数据财务需求但非财务主责主数据主责非主责主数据类型数据生产与管理职能使用职能财务管理人力管理资产管理运营管理……组织机构资产管理主责会计科目财务管理主责银行账户财务管理主责客户/供应商运营管理主责业务类型规划/运营管理主责产品/服务运营管理主责合同运营管理主责项目运营管理主责资产运营管理主责员工人力管理主责成本中心综合管理主责现金流量财务管理主责示例1.数据标准科目体系适用说明-以财务部为例27机构段科目编码往来段科目名称子目段-银行账户业务类型产品/服务现金流量项目段合同段成本中心1001库存现金必填1002银行存款必填必填1122应收账款必填必填选填1405库存商品必填选填选填2001短期借款必填必填2202应付账款必填5001生产成本选填选填必填选填5101制造费用选填选填必填选填6001主营业务收入必填选填选填选填6602管理费用选填选填必填具体子公司编码信息,由集团本部统一规定同往来段一致的18位编码必填:子公司在使用该科目时必须关联相应辅助段选填:子公司使用该科目时建议选择关联相应辅助段辅助段主营收入:必须关联业务类型,选择性关联产品/服务、项目段、合同段会计科目组织2.数据湖-蓝图设计全景图281、数据湖平台搭建:属于公共的IT平台能力,集团总部统一建设;2、数据入湖实施:集团总部负责标准及能力支持,数据运营团队负责入湖。3、数据湖应用基于数据湖的数据分析和智能服务……数据服务人力财务HSE数据消费数据源批量/实时采集数据运营物理入湖两种入湖方式、六项入湖标准数据金库离线分析模型……数据入湖XX数字化运营XX数字化运营业务流效率提升数据中枢服务数据分析XX数字化运营数据外部数据投资数据服务报告/自助分析实时可视智能决策风险预警党群虚拟入湖明确数据Owner发布数据标准管理数据源定义数据密级制定数据质量方案注册元数据实时分析模型智能标签多维分析模型算法模型数据建模数据脱敏数据分类分级数据目录数据架构数据标准数据质量元数据管理大数据基础支撑统一数据湖技术平台数据资产管理数据集成数据交换数据计算数据存储数据入湖:集团负责制定标准及能力支持,数据运营团队负责入湖2数据湖平台:

属于公共的IT平台能力,统一建设。1资源调度监控运维数据湖应用:

基于数据湖的数据分析与智能服务。3审计科技战略2.数据湖-功能架构设计29数据湖功能架构设计主要包括基础服务、数据采集、存储计算、数据展现、数据管理、数据运维运营六部分。数据运营存储计算数据展现数据检索数据订阅智能推送数据地图数据下载对外服务接口……数据采集互联网数据采集业务系统数据采集IOT数据采集外部数据采集7543数据管理6云平台虚拟机容器通用组件数据库应用服务基础硬件1基础服务流计算内存计算非结构化数据存储图计算结构化数据存储批量计算半结构化数据存储批量采集实时采集流式数据采集服务计量链路监控数据开发任务调度元数据管理数据质管理模型管理数据资产目录类目管理资源发布资源上架市场管理基础资源扩容2数据安全管理应用集成管理数据生命理数据标准管理数据共享管理数据服务管理参数管理管理控制台流程管理个人待办流程配置租户管理租户申请资源管理系统管理门户管理2.数据湖-技术架构设计30数据管理工具数据标准管理数据质量管理元数据管理数据开发组件任务调度数据开发与分析数据加抽取加载结构化数据Oracle/MySQL等流数据源数据层实时处理区准实时处理区结构化数据文件表格等离线处理区非结构化数据贴源层基础数据层主题数据区历史数据区流数据处理批处理进行模型加工数据抽取专题服务层(某省市)专题库专题服务层(在线查询区)挖掘数据区数据抽取数据抽取非结构化文件区结构化数据区HDFS/HiveHDFSHBaseStreamingMPPDB/PrestoHDFS/HiveSpark

MLlibTensorflow/TorchHBaseESMPPDBRDSLoaderLoaderHueOozieLoader数据资产目录数据安全血缘分析权限管控指标设计码表设计…分析应用预测预警多维分析数据服务目录数据目录检索查询…数据应用2.数据湖-数据架构设计31基于某化工集团数据湖构成条件,需要明确数据入湖时,数据源的权责,如果入湖数据源归属于集团职能部门或处室的,数据入总部数据存储域,如果入湖数据源归属于业务公司的,数据入业务公司数据存储域。数据一次入湖,多方共享原则,禁止某业务系统中的数据在总部或业务公司数据存储域中同时出现;避免原始数据重复,禁止总部或各业务数据存储域里原始数据区中的数据进行数据流转;人力财务投资HSE党群审计科技战略数据湖存储域数据源系统原始数据原始数据原始数据原始数据原始数据原始数据原始数据原始数据原始数据区汇合数据汇合数据汇合数据汇合数据汇合数据汇合数据汇合数据汇合数据汇合数据区12三重一大系统企业信息管理系统有息负债系统360考评系统人才评审系统投资系统系统干部人才信息管理系统智慧文化建设系统HSE应急指挥中心……2.数据湖–数据采集技术方案32KafkaHiveSparkStreamESFlume机器AppH5JS日志采集日志文件投资党群人力财务PigSparkSQLMR编程DataStageKettleRDBRedis数据摄入区…数据操作区整合区…实时处理生产数据业务数据科技…流式采集迭代式采集ETL工具文件CDC

大数据

平台DL/EDWFTP批处理(全/增量)工作内容与方法1.数据标准体系–编制思路34数据治理现状分析数据标准规范体系的现状分析和总结数据标准规范体系规划相关领导相关业务部室专一领域所属企业人员访谈系统&数据调研经营管理相关接入系统经营管理相关需接入数据国家相关政策与制度集团信息化制度和办法资料收集与研读数据架构管理数据标准管理数据质量管理元数据管理数据安全管理行业专业相关政策与制度相关IT项目组国家相关规范与标准行业专业相关规范与标准集团信息化部相关规范与标准同行经验资料监管要求管理要求行业经验总结数据生命理数据标准&数据标准管理规范编制1.数据标准体系-工作步骤351.收集本单位共享数据有关的国家、专业级政策与制度2.收集本单位共享数据有关的国家、专业级规范与标准3.收集集团内各业务部共享数据相关的制度与规范4.收集其他企业已有经验资料5.收集数据交换共享平台一期建设成果资料6.资料研读与分析整理一、资料收集三、现状分析1.收集本期新增共享数据的样例(文件或数据库格式)2.初步理解各经营部门的业务3.梳理已有数据和本期新增数据,并识别数据之间的关系4..梳理各经营管理部门已有数据标准4.梳理数据管理相关的组织架构5.梳理现行数据管理的相关流程6.完成数据治理相关现状分析1.基于实际数据、业务和整体项目方案设计,确定数据标准规范体系2.基于实际数据、业务和整体项目方案设计,确定数据资源目录3.基于实际数据、业务和整体项目方案设计,制定并形成各项数据标准4.基于实际数据、业务和整体项目方案设计,制定数据标准管理规范(其他数据管理类规范可同时编制,如元数据管理规范、数据接口规范等)二、前期调研访谈1.制定调研提纲和调研计划2.组织处室的调研访谈3.组织数据相关部室管理岗位人员的调研访谈4.组织集团数据管理六领导的调研访谈5.调研现有系统和数据状况6.建立各相关单位的联络方式7.总结相关调研报告四、初步建立数据管理流程1.建立数据管理的组织(可为虚拟组织),明确数据标准、数据质量、数据安全、数据共享、数据采集等管理内容的负责处室和人员2.初步确定相关的数据管理流程五、数据标准体系建设六、数据标准发布,试运行1.数据标准的评审,发布试运行2.选择某一垂直领域试点,依据数据标准进行数据落地3.通过试运行,正式发布数据标准4.依据数据标准,制定日常数据质量检核2.数据湖–入湖管理办法36数据入湖管理的目标是在依既定制度执行数据标准管理、数据质量管理以及元数据管理的基础上,按照设计的数据入湖需求申请、审批及执行流程,实现源系统数据的全量入湖。数据标准管理方法实施细则管理规章管理规范数据标准管理规章数据标准管理实施细则数据标准设计规范数据标准分类说明数据标准详细定义数据标准工作模板数据质量管理方法实施细则管理规章管理规范数据质量管理规章数据质量管理实施细则数据质量衡量指标定义数据质量设计规范数据质量规则定义数据质量工作模板元数据管理基本制度及规范实施细则管理规章管理规范元数据管理规章元数据管理实施细则元数据管理规范元数据分类说明元数据映射方案元数据工作模板政策目的:明确数据管理主要工作内容和工作要求明确集团各部门在数据管理工作中的职责分工适用范围:适用于集团、地区公司及专业分公司内容:数据管理领域的概念和范围数据管理工作职责分工制度目的:明确数据管理领域主要工作内容和要求明确集团各部门在数据管理工作中的职责分工和参考依据适用范围:适用于集团、地区公司及专业分公司内容:数据管理领域的概念和范围数据管理工作职责分工、工作环节,工作要求细则目的:明确数据管理主要工作内容和工作要求明确每个工作环节中的主要活动为各分公司参与数据管理活动提供参考依据适用范围:适用于集团、地区公司及专业分公司、各源系统内容:数据管理领域工作环境的主要活动内容数据管理领域工作环境主要活动责任人制度目的:明确数据管理领域工作关键概念明确数据管理领域架构和内容、工作模板为数据管理领域内容建设和执行提供参考依据和评判标准适用范围:适用于集团、地区公司及专业分公司、各源系统内容:数据管理领域关键概念数据管理领域体系架构数据管理领域工作模板示例示例2.数据湖–数据采集工作步骤37数据获取工作的难点主要是调动业务的积极性,协调各数据源入湖。这个工作高层领导的支持是必不可少的。安全(权限)共享(分级)锁定入湖的系统和方式确定数据共享内容向信息管理部门申请向数据业务所有者申请与数据源系统对接数据采集工作步骤12345数据输出的接口数据存储格式数据模型的设计标准数据分类分区存储的原则采集频率采集时间窗口数据量大小确定共享主题确定共享用户确定数据所有者确定共享数据范围确定共享的权限确定申请流程并提交相关申请流程,发送邮件或者触发工作流给业务相关人员发送获取数据权限邮件或者触发相关工作流程,从而获得业务人员审批,申请权限工作流程得以继续获得数据所有者同意后,需要和源系统相关技术人员确认数据的基本情况,从而进行采集3.数据标准体系制定与数据入湖路径38数据湖总体设计方案数据湖平台架构数据治理建设数据治理提升数据入湖数据资源盘点数据管理规划与准备阶段数据管理标准建设阶段数据入湖阶段数据标准收集数据资产标准及服务目录数据管理体系设计数据分类指导与分级指南单一领域标准穿透数据考核标准规范按照“标准先行、同步提升”的原则,采用“急用先建”的策略,结合数据标准和数据入湖管理办法,按阶段开展各项工作任务。数据资产管理实施线路4.数据管理过程的各方职责39数据管理上,需要明确各方职责,以便于数据有序获取,安全存储和便捷使用。数据使用者申请数据使用权限,获取数据授权,在权限范围内使用数据;数据所有者对使用申请进行审批和授权;数据标准项目组负责数据的分析、标准制定和使用功能的技术实现,保证系统功能的稳定、安全和可靠。数据使用者(数据管理部门)项目组遵循数据模型、归档、分类规则进行数据存储、交互、加工对数据质量进行跟踪、协调业务责任者和源系统进行数据质量改进事宜通过权限、脱敏、加密、访问控制等方法在提供数据共享的同时确保数据安全开展数据调研、采集工作制定数据规则、处理质量问题对数据质量进行跟踪、协调业务责任者和源系统进行数据质量改进事宜业务驱动:根据业务分析需要明确数据使用范围获得数据所有者授权确保数据在其被授权范围(组织、系统、用户等)内使用及时报告数据使用中的问题数据拥有者(业务部门)业务驱动的数据需求:判断并审批数据使用权限数据驱动的数据需求:数据入库时,赋予一定的合理的使用范围数据应用定义,并负责定义的发布、解释提出数据归档需求并指定数据归档策略分析数据质量问题的原因组织制定、推进数据质量整改方案执行并跟踪评价数据采集数据存储数据使用5.运维方式建议40数据管理理支持中心(数据治理项目组、数据平台项目组…..)信息管理部信息系统项目组一级二级三级信息化领导小组数据管理中心所属企业各业务部门信息化领导小组:负责落实国家数据政策、重某著名企业数据政策;负责决策数据管理过程中的重大事项;信息管理部:落实领导小组各项数据管理工作决某著名企业数据管理制度和某著名企业数据规划和工某著名企业企业级数据架构、专业数据架构、数据资源目录和数据共享目录;数据管理专家中心:负责本部门数据管理的组织建设,明确本专业领域数据归口管理机构和相应岗位,负责本专业领域数据的归口管理;负责组织编制专业数据规划和工作计划,组织开展本专业领域数据深化应用;负责组织制订本专业领域数据管理制度和标准规范;负责组织本专业领域数据架构建设及专业主数据、相关企业级主数据建设;数据管理支持中心:负责数据管理平台运维工作,为系统应用和三级运维提供共享技术支持;所属企业及信息系统项目组:由所属企业信息技术人员和信息系统项目组组成,负责本单位数据治理运维工作。数据治理专家中心案例介绍案例1:某发某著名企业数据资产管理项目42某发某著名企业是国家电力体制改革组建的五家国有独资发电企业集团之一,属于国资委监管的特大型中某著名企业业。某著名企业“数字企业”的总某著名企业数字化转型、培育电某著名企业总部牵头建设了“数据中台”,旨在建设一个实现数据接入和整合贯通,提供数据服务能力,支撑数据管理体系,具备面向各专业、各基层单位和外部合作伙伴提供开放共享能力的数据平台。某著名企业核心业务系统以及区域数字中心平台,对多源异构的数据进行全方位的自动化采集,汇聚入湖,进而进行自动的标准化处理、数据开发等工作,帮助解决了数据资产“看得见、用得着、管的住”痛点难点。工作内容43序号工作项工作内容覆盖范围1数据资产管理咨询规划3个月(1)对中国XX数据资产进行现状调研,包括情况摸底、初步资产盘点、DCMM初步评估等(2)中国XX数据资产管理体系设计,包括组织架构、管理制度、工作流程等,含10个职能域、40项

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论