数据治理现状评价最新

1、数据治理现状评估1.1.1 数据治理评估体系建立1.1.1.1 设计水平成熟度评估参考维度水平成熟度模型(CaPab八ityMaturityMOdel)最早是美国卡内基梅隆大学软件研究所(SEl)在1987年针对软件开发过程提出来的,即SW-CMM,软件水平成熟度模型.它的核心思想是把软件开发视为一个过程,对这个过程定义五个级别,在每一级中,定义了到达该级过程水平水平所应进行的关键步骤和解决的关键问题.在随后的二十多年,国际上各种IT治理和数据治理理论和框架得到了很大的开展,这些国际主流的数据治理框架,从GartnerCobit、DAMA、DGl,不约而同,都借鉴了SW-CMM的思想,设计相关

2、的评估维度或水平成熟度指标,利用水平成熟度等级的方法来对相关对象进行评估.水平成熟度评估的通常步骤包括：调研、访谈、评估维度和评估标准调整、权重设置、能力成熟度评估、GdP分析(与高级成熟度和最正确实践进行比拟)、宏观建议、现实问题分析和可操作建议,最终产出水平成熟度报告.水平成熟度评估的根本IJ的和意义在于指出评彳占对象在各评估维度以及综合水平上的大概位置,从宏观上指出下一阶段开展的方向,从微观上对一些现状调研中发现的具体问题进行分析,给出现实可行的可操作建议.水平成熟度等级大多分为四到五级,包括综合水平等级和各评估维度的水平等级.评估维度或水平指标通常只有一层,而且各评估维度在综合水平等级

3、评估的占比通常没有M化,也不固定.各水平等级的评估标准,大多用文字描述,通常没有具体的M化描述,相对依靠专家的理解和经验.在研究了Cobit、DAMA、DGl等国际主流数据治理框架的根底上,以数据治理水平成熟度模型为蓝本,结合实际情况,以下给出了针对证券行业的数据治理水平成熟度评估的参考维度,如下图：?技术标准?业务标准?标准执行根据数据治理水平成熟度评估参考维度,结合大M的实际工作经验,建立了适合的数据治理水平成熟度评估参考标准,如表所示:表数据治理水平成熟度评估参考标准评估H1E初始阶段根本治理阶段水平成熟度阶段主动治理阶段缺乏相关岗位,组织责任不清楚：不了解或不认同组织.责任和流程量化治

4、理阶段建立了相关流程,但有些重持续优化阶段体系.对企业的信息资产的使用没有相关制度来标准；在信息披露、合规方而,企业也没有正式的制度来限制：没有给予数据管控工作以政策支持.在开发阶段有相关岗位,但仅局限在工程范市内：有些部门承当着跨工程的局部数据责任.对局部信息资产的使用,建立了治理制度：针对法律法规的要求,制定了一些政策：局部业务线已给出了非正式的政策来支持数据管控工作.业务和技术相关治理人岗位、责任清楚：对数据的访问限制仍局限于应用级别：责任人负责跨工程的数据质量.正式公布了相关制度来治理局部信息资产的使用：公布防范法律风险相关制度：局部业务线已公布了正式的数据管限制度,但没有很好地贯彻执

5、行.组织、责任和流程体系已融fa.lWJ4IJ?Tr得到多数员工的认同：防范法律风险的相关制度已正式公布并执行：已公布了企业级的数据管限制度,但没有很好地贯彻执,力_岛1?A*1111川II?M/K11J防范法律风险的制度得到彻底执行；已公布了企业级的数据管限制度并得到彻底执评估水平成熟度阶段维度初始阶段根本治理阶段主动治理阶段量化治理阶段持续优化阶段发量流质有没没也对数动业父见可叠划平没有集中治理数题,事?K备传前验数的质中期数很在准据键经员题全问论数据质量问题已1据质量问题：企业正在考虑数据质量标准化的问集中治理数据质量问题,但治理流程不完整；主要部门集中治理,且左期进行 输入界而已有严格

6、限制,-手据检乏K题育E土：一题,但缺乏驱动力：局部手工数已实施数据质量标至都-?管进.应过参H,.数已预防输入错误数据；系统间交叉检准：多数手工数据据有系统自动检杳数据的一B性:尸有系统自动检查；左期有正式的会议讨论数据问题发生的原因.?邵g沟企日勺查：很少进行数据质三相关的沟通.-据讨问理据完上用校以据集是一且核标数关全员参与数据问题原因的讨论.缺据OP?与仃已K质殳自没发没有集中治理数题在M备题数据质量问题已见企出量可对流意有|力数呼日据质图问题：企业正在考虑数据集中治理数据质量,事至.传前验数的管进据完上A应过参原据-.数已且核.集中治理,且左期进行 输入界A质量标准化的问问题,但治理

7、流程而已有严格限制,1次手据检内沟式质的搦业乏正据和数题,统入(题,讨级系输行缩III平目E也除邵甬一题,但缺乏驱动不完整；主要部门预防输入错误数数据质量力：局部手工数据有系统自动检查：很少进行数据质量相关的沟通.已实施数据质量标准；多数手工数据有系统自动检查：左期有正式的会议讨论数据问题发生的原因.都据讨问理行质用校与因质中期数很集宦准据键经员标数关已全问论据；系统间交叉检查数据的一B性;全员参与数据问题原因的讨论.很多平安规左已建立且以书而形式正式成文.规左很多平安规左已包含了人事、物理制定了局部规左,但没有正式建立且正式成文.和信息资产,且有认可的定义、年检缺乏平安和隐私的相关政有局部根

8、本平安建规左包含了人事、成文.有一些基立且已经正式成物理和信息资产以及更新.规定经策.没有隐私数据政策来维护相关的法律法本的隐私政策来维护相关的法律文.有成文的隐私政策来维护相关的?且对具有公认的定义.常被改善以保证持续性和符合数平安规.法规.信息资产法律法规.重要的信息资产被明确并有成文且健全的隐私政策来维护据标准.所有信息资产都信息资厂没有明确相应的所有人.被随息地分配,且没有明确责任.分配给具体相关人.相关法律法规.所有信息资产都被明确和分配给相被明确和分配给具体的所有人,所有人后责任保证关人a资产平安.评估水平成熟度阶段维度初始阶段根本治理阶段主动治理阶段量化治理阶段持续优化阶段没有清

9、楚的数据架构：共享给其他部门!时,业务部门：无法治理和维三护数据；无法2整合客户信息.,任少管享着信正很能共始户陶门护开客架中部维合据设务和据薯,妆聿)也里妆尹默建立了完整的数据架构,但还没有很好的利用：有些业务部门能治理和维护共享数据：已经整合了TB分客户信息.数据架构被广泛的应用；技术专家能对共享数据进行治理、维护：大局部的客户信息已得到整合.数据架构被广泛的应用；业务和技术专家都能治理、维护、跟踪数据的共享情况；客户信息全部整合,包括客户相关的产品、效劳信息.1.1.1.2 制定水平成熟度评估指标构建原那么水平成熟度评估的过程,是一个基于现状调研和分析的评价过程,是对企业的数据治理各个方

10、面进行综合评估的过程.一个企业后续的数据相关业务如何建设、开展和改良,水平成熟度评估是首要的环节.要通过水平成熟度评估找到企业数据业务方面的真正短板,这就要求水平成熟度评估体系能够做到对企业全方位、多层次、综合性的客观评估.与此同时,这套评彳占体系的构建还应当充分表达国家监管层对证券企业数据业务开展方向的导向,表达国家鼓励企业以大数据分析为根底进行自主创新等各项政策的要求相一致.数据治理水平是一个相互联系、相互制约的要素构成的有机整体,是一个相对复杂严密的系统.对于这个系统,简单的分解为假设干个指标进行分析显然是不够的,但是不构建一个指标体系乂无法进行深入研究,因此构建一个符合监管要求和企业特

11、点的、科学的、系统化的、层次清楚的,可操作性强的数据治理水平成熟度评估指标体系是非常必要的.数据治理水平成熟度评估指标的设讣必须遵循以下原那么：?可操作原那么：水平成熟度评估的方法和指标必须是可操作的,即评估指标的内容要求是可获取的,这是水平成熟度评估的根本原那么要求.设讣的每一项指标是应该能给予评估的,所以,每一项指标都应该具有横向的可比性,且能最终M化为分数.可操作性原那么宜接关系到水平成熟度评估体系是否具有实用价值.?Ll的性原那么：对数据治理水平成熟度评估应该有着明显的LI的性.第一,构建出来的指标应该能为企业数据业务开展效劳,且在评估过程中客观地对企业莫方面的数据水平作出评彳占,为领

12、导层的战略决策提供依据；第二,水平成熟度评估包含面对企业的微观操作.通过评彳占,使企业明确自己的数据业务状况和与业界先进水平存在的差距,分析制约企业数据水平开展的因素,提出有效的改良举措,从而不断增强企业数据治理水平.并能准确把握?科学性原那么：指标力求能够客观、全面的反映公司数据治理水平的全貌数据治理水平的核心方面,能根本预测公司未来的数据治理水平开展方向.?定信为主、定性为辅,定M定性相结合的原那么：在评估中,反映企业数据治理水平的指标有两类：一类是定M指标,即根据现有情况的统讣和计算出来的客观指标,可以得出该指标的汁算值；另一类是定性指标,该类指标无法或难以M化,只能通过专家主观判断来确

13、定,并将专家主观判断结果定M化来进行评彳占.在评估活动的应用实践中,评估指标一般大局部以定性指标为主,以少M的定M指标为辅.?全面性原那么：企业数据治理水平评估体系是个复杂的系统,要全面的评价企业的数据治理水平成熟度,就要求依据水平成熟度评估框架,逐层的细化评估指标,而且这些指标要有广泛的代表性和足够的覆盖面.要从不同角度、不同层次来反映企业数据治理水平的客观惜况.1.1.1.3 构建水平成熟度评估参考指标在对数据治理匚作开展情况进行定性评估发现差距和改良点的根底上,也可以对数据治理效果进行评估,Ll的是进行数据治理监督考核.基于前文设计的水平成熟度评估参考维度,在遵循指标构建原那么的根底上,

14、围绕数据治理水平成熟度评估框架内容,提出了包括数据标准性、数据完整性、数据准确性、数据一致性、数据及时性、数据问题响应水平、数据平安性、数据可用性、数据整合度等9大类参考评估指标,具体如表所示：表数据治理水平成熟度评估参考指标指标类别评估指标指标描述评估维度数据标准性标准制定率已经制左的标准占所有数据项的百分比.可以分主题进行评估,例如客声类、机构类、产品类、合约类等.数据标准违标准反数对于已制左了标准的数据项,每出现违反标准的系统字段设计,记为一次.元数据错误次数兀数据血缘分析、影响分析等过程中发现的兀数拯与实际情况不符的次数指标类别评估指标指标描述评估维度数据完整性自动采集率针对特左专题或

15、应用,报表、信息披露报表等,无需手工十顶能够由系统自动加工生成的数据项,占所有所需数据项的百分比.数据质量数据项缺失率针对特左专题或应用,系统无法自动米集的数据项,占所有所需数据项的百分比.数据准确性数据准确率针对特左专题或应用,通过系统数据米样和实际调查,数据值符合实际情况的记录数,占所有记录数的百分比.主键唯一性对于作为主键的列,出现重复记录的情况.数据一致性表间T性同一系统内,不同数据表之间的数据引用(主键外键)致性.系统一致性不同系统之间,描述同数据的T性.数据及时性数据传输及时率数据在传输过程中满足需求的情况.数据处理及时率数据在ETL.加工、发布过程中满足需求的情况.数据问题数据问

16、题处理当月处理的数据问题占当月所有发现问题的百响应水平率分比.数据问题平均处理时间数据问题从发现、到分析、到解决整个过程花费的平均时间.数据平安性数据平安事件率由于数据平安引起的事故占所有运行事故的百分比.数据平安数据平安事件平均处理时间数据平安事件从发生.到分析、到解决整个过程花费的平均时间.数据口用性正常访问拒绝次数出现拒绝有权访问的对彖进行正常数据访问的次数.数据整合度数据存储份数同样的数据在生产、备份.测试、归档等各种环境下.各个系统中的重复存储份数.数据架构1.1.2 数据治理现状总体评估如下列图表对证券公司评估体系的一级维度和二级子维度的表示一级维度权重()二级子维度权重()数据分

17、布20主数据原那么30数据分布完整性20数据可追溯性25数据冗余25数据传输15传输规划30沟通协调机制15数据准确性10数据及时性25支撑平台20数据存储10存储平台设计30分层存储40一级维度权重(为二级子维度权M(%)存储本钱30数据质量15管控架构15治理标准15治理流程20数据质量规那么治理20数据质疑指标15支撑系统15数据生命周期5政策15治理机制15需求治理25数据合理化10归档销毁35数据标准10标准框架25标准内容20标准治理25标准执行30元数据10元数据的治理30元数据的分析30元数据的使用20兀数据的获取20组织机构/流程10组织机构25数据管控流程25制度15考核2

18、5培训10支撑平台5平台使用现状情况40平台支撑建设情况30未来平台规划情况30整个评估体系中每个大的维度下都有二级子维度(总计39个),每个子维度下均有明确的评价指标(总计79个).基于每个评价指标对现状进行评估,得到相应指标的分值.整体评分的计算方法如下：(1) 将评估指标所得分数X其所占二级子维度权重X二级子维度占整体权重,即可得到该项指标在整体评估体系中的得分；(2) 将每个维度下的子维度指标得分相加,即可得到每个维度的评估分值；(3) 在计算得到数据分布、数据传输、数据存储、数据质M、数据生命周期、数据标准、元数据、组织机构/流程、支撑平台9个维度的得分后,那么可采用雷达图将其以图形

19、化的方式表达出来;(4)整体的评估分值,那么在以上所得到的9个主维度的得分根底上,分别乘以其在整体中所占的权重,相加得到.?fine：ffw.exwAM?*M*s?a仗也并管盘的*tftBAAA?攻检化莎息也务?3)iWfiAcftfi合?W!T?.W饴、IftHMjrV根据以上评估得到的整体成熟度的分值,结合数据治理水平成熟度评估模型,就可很清楚的看莫个公司的数据治理的成熟度水平了.下列图是数据治理水平成熟度评估标准：?Mii名力内外令开仗的.空.力的Q隽菸?M乂易例箫的促乞专官力企#W:WHS=B忧化?mtn*力.?命*&18&匕的全企坐玻务离帽一乎再怙扇芨专官您匕刍熊?以0效为H的的&?

20、est3为怙苑且共京魏.?*?UJIrTZTJx,*a隹tAX=C?宣怙匚.?E用星次：JX子SI件的店用序咬共8IVIQ?参科版*?0处构八=0a?A?.Wi*FftW的K实矗躲BMABA?*三flKMAABeae*:?tt1.1.3.2 支撑平台信息系统成熟度得分标准表支撑平台信息系统成熟度等级评估得分标准表等级得分成熟度名称得分标准5持续优化1支撑平台和信息系统治理流程已很健全,并用于所有部门2多数应用系统和数据项都能被完全覆盖支撑,4量化治理1支撑平台和信息系统治理流程已很健全,并用于大多数工程2多数关键应用系统和数据已能被完全支撑3主动治理1补充支撑平台和信息系统治理流程,并已施用于

21、新建工程2所有系统都记录了数据来源和使用者信息2战木治理1初步建立了支撑平台和信息系统治理相关的流程2有些支撑平台和应用系统记录了数据的来源和使用者信息1初步治理1没有/不了解支撑平台和信息系统的规那么2系统间数据的流向无法整合追踪,没有系统集成3各部门各自为政根据支撑平台的三个子维度对莫个公司数据治理的根据支撑平台的现状进行整体评估评分结果如表所示表支挥平台评估得分一级维度二级子维度莫公司得分今百分值支撑平台平台使用现状情况24平台支撑建设情况24未来平台规划情况34根据以上三个领域对莫个公司支撑平台现状进行评估,讣算得分为2.30,参考分值为4.00o根据数据治理水平成熟度评估标准来看,莫

22、公司支撑平台成熟度所处的位置如下图:现状分值2?3O1主动治理i参考力值IL?十Ji11第三级第四级iY第五级持续优化ZIW?开空间II1根本就IJi第!初始阶段J?1.1.4数据治理改良建议1.1.4.1 数据治理组织流程制度改良建议针对调研公司Ll前在数据治理组织、流程和制度方面的关键发现和差距分析,提出如下的改良方向建议.(1)继续推进数据责任人体制建设?建立专业的数据治理机构：常见的数据治理组织机构包括决策层、执行层和操作层,同时提供数据治理效劳以及系统专家效劳.?得到高层领导(CEO/CIO/CFO)的支持：高层领导(CEO/CIO/CFO)要承当领导责任,给予大力支持,另外,业务与

23、IT部门主管领导要参与制定数据治理的愿景、Ll标、方向以及行内的统筹协调.?成立专职的数据治理办公室：提供数据治理效劳(IT和业务部门共同参与的专职部门)制定、批准、审讣数据标准/数据质M的治理标准和流程,治理和考核数据治理人等工作.?建立完整的数据治理人体系：在数据价值链的每个环节中都指定专职(或兼职)的数据治理人,各司其责,才能保证数据治理工作的顺利开展；通常情况下,数据治理人包括面向数据域,业务线(LOB)和系统三个方面.?数据治理人要参与到IT项Ll的治理中：数据治理人在项Ll的规划、设计、开发和部署阶段都要参与,以保证数据相关的标准和标准得到有效地执行.(2)制定数据治理流程和角色/

24、责任定义?完善和制定数据治理的相关流程,至少包括：信息治理项Ll状态报告流程、沟通流程、归档流程、问题解决流程、例外流程；?确定数据治理组织结构的主要责任：要明确制定数据治理相关机构的责任,包括决策层、执行层和操作层,以数据治理办公室为例,要清楚定义具主要的责任和工作任务.?定义数据治理各机构中的相关角色和责任：制定明确的角色和责任定义,各司其职,才能保证数据治理工作的顺利开展.1.1- 4.2数据管控支撑平台(信息系统)改良建议(1) 建立企业级的数据管控支撑平台(2) 建立企业级的管控支撑平台,包括企业级的元数据治理平台,企业级的数据标准管理平台,企业级的数据质M治理平台,使在现有的分散式

25、治理平台上,建立起统一治理和维护的知识库.(3) 加大对数据管控支撑平台的建设力度,增强对支撑平台落地的监督力度?对于数据管控支撑平台,应建立数据质M检查工具,设计与元数据进行交互的数据质M规那么治理模块,开发利用元数据治理平台支撑的数据质M分析模块.?数据质M平台建设：建立企业级的、统一的数据质M治理平台可以辅助数据质M治理流程的执行,集中治理数据质M规那么,使数据质M相关人员通过一个统一的平台追踪数据质M问题,查看数据质M报告和影响分析.?数据标准平台建设：增强现有数据标准的执行落地力度,对各个开发项Ll组的执行惜况进行监督,保证开发项Ll组在执行过程中能够严格遵守数据标准,保证数据标准执

26、行落地.?元数据治理平台建设：元数据来源涉及各类前中后台的业务系统和信息治理系统,为了保持数据的准确性、一致性、及时性,实现数据流转自动化治理,保证质M和提升效率,应增强完善元数据治理,并通过重要的工具,如信息清单、业务术语字典、数据字典、数据血缘关系映射图、影响分析治理来提升元数据治理的效率、执行力和数据的可信度.1.1.5数据治理评估步骤通过对标书解读,在信息资源体系现状评估方面,要求通过采用成熟的数据体系评估方法和工具,对公司Ll前的数据资源体系进行评彳占.分析来源数据的权威性、适用性和代表性.同时,必须充分考虑数据共事交换的可能性、数据购置的经济性、数据获取的及时性.项Ll组将采用如下

27、方式对公司信息资源体系的组织架构、流程标准、技术支撑等方面进行调研：第一步：问卷调查对公司信息资源的评估首先以发放调查问卷的形式展开,调查问卷的主要内容涵盖了信息资源组织架构、流程标准、技术支撑、存在的问题等方面,调研对象为各业务部门,通过调研问卷反映的情况为项Ll组的下一步工作提供根底资料.第二步：现场访谈针对调研问卷反应的情况,拟定对组织架构、流程标准、技术支撑各所主要负责人的访谈提纲,访谈的内容包括数据资源应用情况、应用流程、数据质M、数据治理等方面,项IJ组采取现场访谈交流的形式,与主管公司领导及业务部门负责人进行深入交流与沟通,充分把握访谈对象的想法和思路,对信息资源的评估与规划提供指导思想.第三部：现状分析结合调查问卷和现场访谈的内容,参照成熟的数据体系,对公司信息资源现状,从组织架构、数据资源、技术体系、根底设施、平安保证、运维与标准标准等方面进行评估和分析,并提出改善建议.口前,在标书解读过程中,我们发现公司在数据管控方面存在如下突出问题：?数据分散在众多业务