数据治理专题交流-课件

1、数据治理专题交流 熊琳成都 2014年6月20日Agenda数据管控方法论1数据管控工作内容2同业数据管控参考3讨论和反馈4数据管控体系框架战略规划机制领域实现组织架构工作流程管理制度数据标准数据质量数据架构元数据数据安全系统：源系统/数据基础平台/应用集市工具：数据标准/数据质量/元数据 管理系统企业战略决定了企业架构，企业架构是从全局的角度审视与信息化相关的业务、数据、技术和应用间的相互作用关系。企业架构有业务架构、数据架构、应用架构和技术架构共同组成。为实现全行数据管控配套的组织架构，岗位职责和人员技能要求与组织架构配套的工作流程，包括管理办法、工作模板。管理制度是为有效做到数据管控配套

2、的绩效考核方法。数据标准需要在源系统、数据基础平台、应用集市落地。数据质量管理是贯穿源系统、数据基础平台和应用集市的。数据基础平台可以作为基础数据质量核检的集中地。元数据管理系统保存所有系统的数据结构。数据标准管理系统除发布标准外，还保存标准和系统的映射。数据质量管理平台部署数据核检规则和展示质量平衡记分卡。数据管控领域分类方法很多，标准、质量是公认需要重点关注的。数据架构、元数据、数据安全都是偏技术方面的管理。数据标准是偏业务方面，数据质量是介于业务和科技之间的。架构规划递进关系企业战略业务架构数据架构应用架构技术架构实时数据交换批量数据交换主数据上游业务系统/数据基础平台/下游应用系统应用

3、需求功能/流程信息角色/场景渠道交互类客户营销类产品服务类管理决策类风险合规类基础支持类硬件平台软件：操作系统/中间件/数据库网络软硬件相关监控系统企业IT架构是指导IT投资和设计决策的框架，是建立企业信息系统的综合蓝图，对企业不同的信息视图进行架构描述的综合。企业架构是一个多视图的体系结构，它是从战略目标出发，从企业全局的角度审视与信息化相关的业务、数据、技术和应用间的相互作用关系以及这种关系对企业业务流程和功能的影响。数据管控机制制度流程组织工作流程管理制度组织架构组织机构岗位职能人员技能管理办法工作模板数据管控领域数据标准管理数据质量管理数据架构管理元数据管理数据安全管理管控数据标准管理

4、数据标准是指针对重要数据（包括客户、产品、机构、渠道、协议、公共代码等基础主题和指标等应用主题）制定的规范性文件，以确保这些重要数据在全行内外共同使用和交换中的一致性和准确性，是数据管控的基础。数据标准管理包括数据标准制定、应用和数据标准管理系统的建设和维护等相关工作。数据质量管理数据质量是指数据满足业务运营、管理与决策的程度。数据质量包括完整性、唯一性、有效性、一致性、准确性和及时性。数据质量管理范围包括数据质量问题管理、数据质量规则管理以及数据质量管理系统的建设与维护。数据安全管理元数据管理元数据是数据的数据，是数据的业务涵义、技术涵义和加工处理过程的定义，是数据管控的基本手段。元数据管理

5、是指开发环境元数据管理、测试环境元数据管理、生产环境元数据管理以及元数据管理平台建设和维护等相关工作。数据架构管理数据架构是指从遵从业务架构，支持应用架构的层面出发，着力于银行的数据资源，定义数据的分布、存储、移动和检索。数据架构管理包括主数据分布管理、数据存储架构管理、数据交换方式管理、数据模型策略管理、数据应用模式管理及相关的流程、制度和规范。数据是指以电子形式存储的银行业务数据、办公信息、系统运行日志、故障维护日志以及其他内部资料。数据安全管理是明确数据的保密范围与保密要求，有效防范信息安全风险，规范信息科技定密管理、保密载体管理、科技信息传送范围和调用审批管理。数据管控实现沙盘演练应用

6、实时分析应用企业内外部半结构化、非结构化数据核心信贷国结村镇银行数据采集数据传输数据处理统一调度统一监控核心数据信贷数据国结数据网银数据实时决策区技术缓冲层偏源模型层整合模型层共性加工层数据补录层应用集市层分行应用层沙盘演练层集成数据区社交媒体信息用户评价信息移动互联信息用户位置信息大数据处理区业务数据归档分析数据归档集市数据归档其他数据归档历史数据区(HODS)固定报表多维分析灵活查询数据挖掘仪表盘EOD数据总线客户管理风险管理财务管理运营管理分析数据区监管合规ESB数据管控平台元数据管理数据标准管理数据质量管理数据安全管理数据管控工具Agenda数据管控方法论1数据管控工作内容2同业数据管

7、控参考3讨论和反馈4数据管控组织架构数据管控业务组数据管控技术组数据管控委员会 专职标准管理专 员2人-3人，按 主题划分。 专职数据质量管 理专员2人-3人， 按系统跟进。 信息技术部可以 考虑元数据管理 专员兼任标准管 理专员。数据标准管理 信息技术部需要 配置专职的数据 质量管理专员2人 -3人。数据质量管理数据标准管理数据质量管理 在信息技术部需 要配置专职3-4 人负责数据字典 管理。 对应系统开发组要配备兼职的专员。元数据管理业务部门数据标准专员 （兼职）数据质量专员 （兼职）数据管控办公室 由信息技术部技 术规划科负责。数据架构管理 由信息技术部安 全科负责。数据安全管理管控委员

8、会及管控办公室工作职能对全行数据管控工作进行集中统一领导，协调相关职能部门的运作；审议全行数据管控建设状况，研究确定全行数据管控的战略、方针和政策；审定全行数据管控方案与实施计划；监督检查全行数据管控措施的执行情况；不定期审议数据管控重大变更事项；针对数据检查报告中提出的严重违规及重大问题，在全行范围内协调整改、处理及处罚；定期听取数据管控办公室对数据管控工作的汇报；审议其他需提交委员会研究的数据管控事项。数据管控委员会职责定期向管控委员会汇报数据管控工作情况，并落地执行管控委员会的决议；沟通和协调数据管控日常管理工作，组织数据管控日常会议，并跟进会议事项；制定数据管控每年及阶段性的工作计划；

9、协调相关各部门推动数据管控执行策略和执行方案；承担数据标准管理、数据质量管理工作；组织制定数据管控考核办法，并承担全行数据管控的考核工作。数据管控办公室职责数据管控中业务部门角色分类业务属主部门系统属主部门数据操作部门数据应用部门制定本部门负责的数据主题的数据标准。配合与本部门业务相关的数据治理工作。提出本部门业务需求。整合本部门的系统所有业务需求，并必须遵循数据标准规范。牵头负责本部门的系统的数据治理工作。配合本部门系统所涉及的标准评审工作。按业务操作流程完成本部门数据录入工作，并制定数据质量保证措施。结合数据质量要求，制定本部门录入岗位的数据质量考核指标。向系统属主部门提出改善数据质量的相

10、关建议。参与本部门使用到的数据的标准评审工作。从使用数据的角度制定数据质量核检规则并部署。发现数据质量问题需及时上报数据管控办公室。1234业务部门角色个金部公司部中小部国结部资金部会计部信审部电银部风管部计财部稽核部核心系统个贷管理系统信贷管理系统小微信贷管理系统第三方存管系统 国际结算系统网上银行大小额支付系统现金管理系统财务管理系统资金业务系统电子国债系统理财销售系统电子商业汇票2业务属主部门系统属主部门数据操作部门2132223212131231111113131313131313131313231231231231231231231备注：由于数据使用部门很多，所以没有标注在上面。数据

11、标准制定流程部门提出标准需求受理标准需求数据标准制定数据标准评审数据标准发布数据标准管理小组1.所有部门都可以提出数据标准增加、删除、变更需求3.如果合理，审批需求通过4.参与标准制定过程5.发起和组织相关部门评审7.发布变更后标准信息科技部门4.参与标准制定过程5.参与数据标准评审业务属主部门2.判断需求合理性4.主导制定标准5.参与数据标准评审系统属主部门6.判断新标准和本部门系统涉及的标准是否冲突8.更新新的标准和系统映射数据应用部门6.判断新标准和本部门用到的标准是否冲突其他相关部门数据标准制定流程包括：提出标准需求，受理标准需求，数据标准制定，数据标准评审，数据标准发布。数据标准制定

12、涉及部门：数据标准管理小组，业务属主部门，信息科技部，系统属主部门，数据应用部门。数据标准制定流程数据标准应用流程部门标准落地需求转化为系统需求系统相应改造检查标准落地结果数据标准管理小组1.根据标准映射结果提出标准落地需求。5.检查上线后的系统是否符合标准要求？系统属主部门2.将标准落地需求转化为系统业务需求。4.开发完进行测试验收，检查标准是否落地。信息科技部门3.受理系统需求并排期、开发。部门提出业务需求概要设计标准检核开发阶段系统属主部门1.提出业务需求，并且告知应该遵循的标准规范。5.数据结构变化符合数据标准，可以继续开发。信息科技部-系统项目组2.进行概要设计，并且提交数据结构变更

13、资料和标准映射。信息科技部-数据标准专员3.根据提交的数据结构变更和标准映射，如果涉及标准，到第4步，如果不涉及，到第5 步。数据标准管理小组4.检查数据结构变更是否符合标准，如果符合，则到第5步，如果不符合，则转到2.数据标准落地流程：指标准制定后阶段性往上游业务系统、数据基础平台和下游应用系统落地的流程数据标准检核流程：指在信息科技部日常的开发评审环节中增加数据标准检查的流程。业务属主部门系统属主部门信息科技部信息科技部数据标准管理小组数据质量问题解决流程部门发现质量问题受理质量问题分析质量问题解决质量问题关闭质量问题数据质量管理小组1.通过部署的全局数据质量规则主动发现问题。2.组织相关

14、部门判断质量问题是否真实？3.组织相关部门参与分析质量问题，并提出解决方案。4.按照解决方案分配任务，并且定期跟进任务执行情况。7.在判定问题解决之后关闭该问题，并且增加到知识库中。信息科技部1.在日常系统运维和开发过程中被动发现问题。2.参与判断质量问题是否真实的讨论.3.配合数据质量管理小组分析质量问题和提出解决方案6.在收到需求之后，落实解决方案在系统层面的优化开发任务。系统属主部门1.通过部署的本系统的数据质量规则主动发现问题。2.参与判断质量问题是否真实的讨论.3.参与数据质量分析和解决方案讨论。5.根据解决方案分解为本系统的优化需求和数据更正需求。业务属主部门1.在使用数据的过程中

15、被动发现问题。3.参与数据质量分析和解决方案讨论。6.组织所管辖的人员配合落实解决方案中的数据采集问题。数据操作部门6.组织人员配合落实解决方案中的数据录入问题。其他相关部门业务属主部门系统属主部门信息科技部信息科技部.数据质量规则制定流程部门提出质量规则受理质量规则开发相关程序测试开发规则质量规则上线数据质量管理小组1.所有部门都可以提出新增数据质量规则的需求。2.判断需求合理性并定位合适的承载系统。7.登记新的数据质量规则，并关闭需求。信息科技部4.根据业务需求进行系统开发。6.数据质量检核程序部署上线。系统属主部门3.将规则落成业务需求提交科技开发。5.测试规则开发程序的结果是否正确。其

16、他相关部门数据质量规则制定流程包括：提出质量规则、受理质量规则、开发工作，测试开发规则，质量规则上线。数据质量规则制定涉及部门：数据质量管理小组，信息科技部，系统属主部门，其他相关部门。数据质量规则制定流程17管理制度-数据质量平衡计分卡评估报告面向决策层的报告面向管理层的报告评估维度与评估规则数据质量业务规则数据质量技术规则完整性唯一性有效性一致性准确性评估对象应用系统数据主题评估方法权重矩阵评估模型数据质量评估形式分层抽样加权评估模型全数据质量规则加权评估模型业务部门系统重要程度数据类别约束类型规则重要性评估维度评估维度自定义数据集如何在考核中体现数据质量的考核？各部门问卷评分部门完整性及

17、时性准确度综合分排名风管部 5.00 2.00 3.00 10.00 1电子银行部 4.74 2.00 3.00 9.74 2计财部 4.74 2.00 3.00 9.74 2稽核审计部 5.00 1.50 2.92 9.42 4公司部 4.21 2.00 3.00 9.21 5机构部 5.00 2.00 2.13 9.13 6国结部 3.95 2.00 3.00 8.95 7会计部 3.68 2.00 3.00 8.68 8个金部 3.16 2.00 2.75 7.91 9人力资源部 2.37 2.00 3.00 7.37 10中小部 2.11 2.00 2.81 6.92 11信审部 1.

18、05 1.50 2.63 5.18 12资金部 0.53 1.50 3.00 5.03 13平均分 3.50 1.88 2.86 8.25 评分规则完整性，满分5分，得分=5*（分数总和/19）及时性，满分2分,得分取值为1.5（稍延后）或2（很及时）准确度，满分3分，得分=3*（分数总和/回答问题数）综合分，满分10分，为完整性，及时性，准确度之和。规则说明完整性，看19个问题是否都进行答复，体现态度及时性，是否按要求的时间点完成，体现态度准确度，由专业人士分析部门反馈内容，体现能力综合分，在数据治理初期态度比重大，随着企业治理文化形成，能力分的比重加大。结果点评用数的部门对于数据治理较为重

19、视，本身的能力也具备，比如风管部、计财部、稽核审计部。电子银行部表现不错，从回答的问卷来看，对数据的理解比较到位，未来通过数据分析大力发展业务的能力具备。资金部由于系统较少，而且业务规模不大，所以对数据不是太重视。信审部重操作不重分析，未来可以结合数据对员工能力进行量化考核。中小部需要重视数据价值。评分目的希望在银行形成数据治理、数据运用的文化。通过量化的指标让领导对于各部门的配合有直观的认识。数据管控业务组数据管控组数据平台需求组业务的理解对数据标准的制定、推行数据质量治理很重要筹备每月或每两月数据管控委员会会议。全行数据管理工作考核。承担数据标准管理职能。承担数据质量管理职能。作为全行数据

20、仓库业务需求部门。作为需要整合全行数据的数据集市的业务方。参与评审数据仓库模型的准入原则。组织协调数据仓库的UAT。数据管控技术组数据管控组数据平台开发团队技术对数据标准的落地、数据质量分析的支撑很重要配合数据标准的制定工作。数据质量管理中与业务组一起分析、讨论治理方案，并在科技内部协调相关资源参与。主导并承担元数据管理职责。负责全行数据基础平台的开发。负责全行应用集市的建设和开发。负责全行统一调度、统一报表平台的建设。负责大数据技术的研发。数据仓库组与上游业务系统接口，了解源数据情况。与下游数据集市接口，提供服务。ODS模型设计及迭代开发。数据仓库基础层模型设计及迭代开发。共性加工层模型设计

21、及迭代开发。数据仓库体系内数据质量检查。数据集市组ACRM系统绩效考核系统非现场审计系统资本项目数据报送系统反洗钱系统支付报送事后监督及风险预警系统管理会计UPRR统一监管报表平台银监检测分析(MAST）系统银监数据标准化（EAST)系统。配套软件组制定数据类项目的报表展示规范。制定数据类项目的数据交换规范。制定数据类项目的调度展示规范。负责维护统一报表平台。负责维护统一调度平台负责维护EOD系统（数据交换平台）大数据组负责研发大数据技术。基于hadoop建设历史数据平台。研究大数据采集新技术-爬虫等。对于创新技术进行研究，比如LBS，GIS等，与数据分析结果联合使用，提升数据价值，改善客户体

22、验。信息技术部数据团队 数据开发职责银行A（规模略小）：数据开发团队人员10人，目前无大数据组。银行B（规模较大的城商行）： 数据开发团队23人，不包括大数据组。Agenda数据管控方法论1数据管控工作内容2同业数据管控参考3讨论和反馈4国有银行A 一级部 管理信息部数据仓库一处主要负责全行客户关系管理系统相关工作。负责全行PCRM,CCRM的系统建设和应用工作。负责以PCRM，CCRM基础定期分析并报告全行企业或个人客户数量、结构及其变化情况。负责依托PCRM，CCRM建立全行客户信息的统一视图。PCRM、CCRM系统相关调研分析及宣传推广工作。数据仓库二处负责全行自动化统计平台相关工作。负

23、责CS2002系统需求研究、培训推广等工作。负责以自动化统计系统为基础，实现对全行经营管理情况的监测分析和定期报告。负责全行的对外报送统计工作。定期组织全行内部经营管理、外部金融监测、对外信息披露统计报表数据质量和对工作。征信处负责全行基于数据仓库信用风险管理相关工作。负责人行征信系统的需求。负责银监会1104数据集市建设需求及系统推广应用。负责不良客户欠款扣收追索系统建设和应用。负责全行个人客户信用评分系统的建设、设计和维护。积极推进全行客户信用风险集市建设。资讯管理处负责全行信息资讯平台规划建设和运行管理；负责全行资讯信息资源的统筹管理；负责对资讯信息的深度挖掘和综合运用；负责数据标准管理；负责数据质量管理；股份制银行B 二级部 管理信息中心该行管信中心总行：该行数据类开发团队有40多员工，另外长期还有200多人规模的项目外包形态。信息管理处负责按照国家统计局、人民银行和银监会等部门关于信息管理的各项规定，规范全行数据信息标准，拟订信息管控制度并组织落实； 负责全行数据仓库及相关的综合性管理信息