数据治理平台系统介绍[共55页]

1、 国家开发银行 数据治理平台系统简介 2008年11月 数据治理项目组 数据治理平台项目组2 1. 系统目标与定位 2. 技术实现架构 3. 数据标准管理子系统 4. 元数据管理子系统 5. 数据质量管理子系统 6. 数据服务子系统 7. 统一认证与用户管理模块 议题 数据治理平台项目组3 建设背景 n数据平台一期已构建完成并投入使用，所面临的问题：数据平台一期已构建完成并投入使用，所面临的问题： 数据标准缺乏结构化管理 源数据变化造成数据平台数据混乱 对数据平台数据问题如何快速定位原因？ 如何有效监控和改善数据平台数据质量？ 。 n建设一个完整的数据治理平台，作为数据平台的管控系统，从制度、

2、标准、监建设一个完整的数据治理平台，作为数据平台的管控系统，从制度、标准、监 控、流程几个方面提升开行的数据信息管理能力，解决目前所面临的数据标准控、流程几个方面提升开行的数据信息管理能力，解决目前所面临的数据标准 问题、数据质量问题、元数据管理问题和数据服务问题。问题、数据质量问题、元数据管理问题和数据服务问题。 数据治理平台项目组4 项目目标 围绕国开行数据平台建设，提供针对数据生命周期的管控机制，体现为以下几个 出发点： n 数据标准规范化数据标准规范化-规范化管理构成数据平台的业务和技术基础设施，包括数据管 控制度与流程规范文档、信息项定义等。 n 数据关系脉络化数据关系脉络化-实现对

3、数据间流转、依赖关系的影响和血缘分析。 n 数据质量度量化数据质量度量化全方位管理数据平台的数据质量，实现可定义的数据质量检核 和维度分析，以及问题跟踪。 n 数据服务电子化数据服务电子化-为数据平台提供面向业务用户的服务沟通渠道。 数据治理平台项目组5 数据治理平台构成与定位 ODS Schemas 数据集市 数据流 数据平台数据平台 管理行内 数据标准 管理平台元数据， 进行数据影响、 血缘分析 管理平台 数据质量 提供平台 沟通渠道 核心业务 系统 信贷业务 系统 信用风险管 理系统 系统 管理会计风险 数据标准数据标准 元数据管理元数据管理 数据质量数据质量 管理管理 数据服务数据服务

4、 分析类应 用系统 数据抽取数据抽取 数据提供数据提供 数据治理平台项目组6 对数据平台业务的支持数据标准 数据标准子系数据标准子系 统统 数据服务数据服务 业务部门 应用开发者 数据标准管 理员 l 查询数据标准，以开发符合数据标 准的应用 l 提交标准代码比对文档 l 维护数据标准 l 制订、发布标准 l 应用系统代码标准比对 l 查询数据标准规范， 反馈建议 l 提出数据标准需求 申请 数据治理平台项目组7 对数据平台业务的支持元数据 数据服务数据服务 元数据子系统元数据子系统 元数据管 理员 数据平台 数据源系统 数据抽取 l 查询数据平台相关元数 据，为开发应用提供参考 l 数据变更

5、影响评估申请 l 数据变更影响分析 l 数据问题血缘分析 应用开发者 数据治理平台项目组8 对数据平台业务的支持数据质量 数据质量数据质量 检核检核 业务部门 应用开发者 数据质量管 理员 l 定义检核需求与规则 l 分析数据平台数据质量 l 发现、发布数据检核问题 l 了解本机构特定系 统数据质量 l 提出业务数据质量 检核需求 l 针对数据质量问题 提出完善建议 数据治理平台项目组9 对数据平台业务的支持-数据服务 数据服务数据服务 业务部门 应用开发者 数据服务单管 理员 l数据平台服务申请 l 数据平台服务申请 l 与数据平台有效沟通 l 提供数据平台服务 数据治理平台项目组10 数据

6、治理相关系统关系 AD(目录) 系统 统一用户 管理系统 数据平台 数据服务子数据服务子 系统系统 数据质量管理数据质量管理 子系统子系统 元数据子元数据子 系统系统 数据标准数据标准 子系统子系统 提供标准相 关元数据 提供库表结 构元数据 执行检核 提供检核系 统元数据 统一认证统一认证 与用户管与用户管 理模块理模块 登录认证 用户与机构 信息同步 单点登录与 角色管理 数据治理平台数据治理平台 数据治理平台项目组11 1. 系统目标与定位 2. 技术实现架构 3. 数据标准管理子系统 4. 元数据管理子系统 5. 数据质量管理子系统 6. 数据服务子系统 7. 统一认证与用户管理模块

7、议题 数据治理平台项目组12 数据治理平台项目组13 1. 系统目标与定位 2. 技术实现架构 3. 数据标准管理子系统 4. 元数据管理子系统 5. 数据质量管理子系统 6. 数据服务子系统 7. 统一认证与用户管理模块 议题 数据治理平台项目组14 功能需求 功能定义功能定义 数据标准文档管理数据标准文档管理 数据标准文档制订数据标准文档制订维护数据标准相关文档类信息 数据标准文档发布数据标准文档发布 对数据标准相关文档进行发布管理 数据标准文档版本管理数据标准文档版本管理 对数据标准相关文档的历史版本信息提供查看功能。 数据标准信息项管理数据标准信息项管理 标准代码定义标准代码定义 维护

8、数据标准公共代码。 主数据定义主数据定义 维护主数据标准 数据标准查询与反馈数据标准查询与反馈 数据标准文档查询与反馈数据标准文档查询与反馈 数据标准信息项查询数据标准信息项查询 应用代码标准符合性检查应用代码标准符合性检查新应用开发者将本应用代码与标准代码进行匹配，提交 系统检查 n管理全行数据相关的标准和规范，提供数据标准的查询与反馈等功能。管理全行数据相关的标准和规范，提供数据标准的查询与反馈等功能。 数据治理平台项目组15 应用界面 数据治理平台项目组16 应用界面 数据标准文档管理数据标准文档管理 数据标准制订 数据标准导入 数据标准文档 版本管理 数据治理平台项目组17 应用界面

9、数据标准信息项管理数据标准信息项管理 公共代码管理 数据标准管理 数据治理平台项目组18 应用界面 数据标准反馈意见数据标准反馈意见 查看反馈意见 反馈意见 数据治理平台项目组19 逻辑架构 数据治理平台项目组20 1. 系统目标与定位 2. 技术实现架构 3. 数据标准管理子系统 4. 元数据管理子系统 5. 数据质量管理子系统 6. 数据服务子系统 7. 统一认证与用户管理模块 议题 数据治理平台项目组21 功能需求 功能定义功能定义完成情况完成情况 技术元数据技术元数据 源系统数据结构定义源系统数据结构定义 导入源系统数据字典，并以系统-表-字段的层级关系展现 各级数据关系。 已完成 主

10、数据主数据ERER模型模型导入主数据ERwin模型，解析生成模型各层级关系。已完成 数据与映射关系定义数据与映射关系定义定义数据平台各部分，以及源系统间的数据关联映射关系。已完成 数据影响与血缘分析数据影响与血缘分析 依赖所定义的数据平台各部分，以及源系统间的数据映射 关系，图形化展现数据变化影响和数据问题溯源。 已完成 数据变化对比分析数据变化对比分析针对元数据不同版本进行差异部分识别与比较。已完成 业务元数据业务元数据 代码定义代码定义定义数据平台公共代码及其与源系统代码的关系。已完成 报表表头定义报表表头定义 定义数据平台业务报表的构成元素与结构。已完成 报表指标定义报表指标定义定义数据

11、平台业务报表中指标的计算规则。已完成 报表指标勾稽关系分析报表指标勾稽关系分析 定义数据平台业务报表中指标间的依赖关系，并进行影响 与血缘分析。 已完成 n对源系统、数据平台以及数据治理项目中的相关的技术、业务元数据进行统一对源系统、数据平台以及数据治理项目中的相关的技术、业务元数据进行统一 的归集管理，实现数据间的血缘分析和影响分析。的归集管理，实现数据间的血缘分析和影响分析。 数据治理平台项目组22 功能定义功能定义完成情况完成情况 系统管理系统管理 元数据手动采集元数据手动采集 手工上传元数据定义文件已完成 元数据自动采集元数据自动采集 提供针对不同目标应用的适配器，实现定时的自 动采集

12、 已完成，但需数据平 台提供采集支持，接 口方式尚需确定。 版本管理版本管理提供元数据定版、批量定版、版本回溯的功能已完成 访问控制管理访问控制管理提供针对元数据细节操作的访问控制已完成 功能需求 数据治理平台项目组23 应用界面 数据治理平台项目组24 业务元数据业务元数据 报表表头 报表清单 报表表头定义报表表样导出 应用界面 数据治理平台项目组25 业务元数据业务元数据 报表指标 查看指标相关ER图 应用界面 数据治理平台项目组26 技术元数据技术元数据 影响分析 应用界面 数据治理平台项目组27 逻辑结构 数据治理平台项目组28 采集适配器 n元数据采集适配器是一种驱动和解析器，用来接

13、收、解析各种不用类型数据源的数据， 将有效的元数据存入模型，并建立关系。 n在本期项目中，元数据管理系统的接口提供以下几种适配器：库表结构适配器、 PowerCenter适配器、E/R Win适配器、数据平台血脉分析适配器、指标适配器、代码适 配器、表头适配器等。 数据治理平台项目组29 元数据存储结构 n元数据存储模型层包括两部分内容：元数据存储模型层包括两部分内容： 元模型定义，即通过XML实现对象、对象关系及对象行为等的定义。 元数据实例存储，元数据实例存储到关系数据库中。 XML定义模型 对象定义 对象行为 对象关系 对象属性 超过的属性 打散/纵向 存储 属性值 实例编号 对象 属性

14、 值 实例关系 所属对象 所属实例 关系 目标对象 目标实例 实例 编号 对象 顺序 属性1 属性2 属性3 属性4 属性5 属性6 数据治理平台项目组30 1. 系统目标与定位 2. 技术实现架构 3. 数据标准管理子系统 4. 元数据管理子系统 5. 数据质量管理子系统 6. 数据服务子系统 7. 统一认证与用户管理模块 议题 数据治理平台项目组31 系统目标 n根据根据“数据质量检核管理办法数据质量检核管理办法”中中PDCAPDCA方法论，基于现有数据平台，对其上数方法论，基于现有数据平台，对其上数 据进行全质量生命周期的管理，包括质量问题的定义、检核监控、发现分析、据进行全质量生命周期

15、的管理，包括质量问题的定义、检核监控、发现分析、 跟踪反馈。跟踪反馈。 检核调度检核调度 检核对象检核对象 收集需求收集需求分析规则分析规则规则库规则库 执行执行问题数据问题数据修正修正 检核需求检核需求 检核指标检核指标 检核调度检核调度 管理管理 数据质量数据质量 检核分析检核分析数据质量数据质量 问题管理问题管理 数据质量数据质量 趋势分析趋势分析 数据质量数据质量 知识库知识库 数据治理平台项目组32 数据质量度量分类 大类大类细类细类 正确性正确性 唯一性检查 非空检查 类型检查 格式检查 值域检查 代码检查 指标标准偏差检查 数据集市指标准确性检查 完整性完整性 外键约束检查 一致

16、性一致性 业务规则检查 及时性及时性 数据平台数据生成及时性检查 数据治理平台项目组33 功能需求 功能定义功能定义完成情况完成情况 数据质量检核定义数据质量检核定义 检核系统定义检核系统定义 对纳入数据质量管理需求的系统、数据表纳入检 核范围，并定义相关信息 已完成 检核指标与规则定义检核指标与规则定义 按数据质量度量标准，为各类检核指标定义相关 属性和数据检查规则。 已完成 检核调度策略定义检核调度策略定义 为数据质量检核指标类和业务方案定义灵活的检 核策略 已完成 数据质量检核执行数据质量检核执行 检核控制引擎检核控制引擎 调度符合执行策略数据质量检核指标，并分派给 对应的处理器 已完成

17、 检核执行处理器检核执行处理器 对数据质量检核指标执行特定于其指标类的检查 程序 已完成 数据治理平台项目组34 功能需求 功能定义功能定义完成情况完成情况 数据质量检核分析数据质量检核分析 问题分布分析问题分布分析 对数据质量检核的结果按机构、系统、数据质 量问题三个维度进行分布分析 已完成 问题趋势分析问题趋势分析 对数据质量检核的结果按时间维度分析，判断 质量改善情况 已完成 检核指标批次对比检核指标批次对比 对同一检核指标的不同批次进行对比，分析质 量改善情况 已完成 检核执行报告检核执行报告对特定日期的检核结果，形成统计报表已完成 数据质量问题管理数据质量问题管理 问题发现问题发现查

18、询符合特定条件的数据质量检核问题已完成 问题发布问题发布 将需处理的数据质量检核问题归集到一个问题 单，并发布给特定的机构 已完成 问题处理问题处理跟踪问题单的处理情况已完成 问题归档问题归档对处理完结的问题单进行归档处理已完成 数据质量知识管理数据质量知识管理 知识库维护知识库维护 归集数据质量的特定问题，以及特定的解决方 案，形成知识信息 已完成 知识库查询知识库查询查询数据质量知识信息已完成 数据治理平台项目组35 检核系统管理检核系统管理 应用界面 数据治理平台项目组36 检核指标管理检核指标管理 主键唯一 应用界面 数据治理平台项目组37 检核调度策略管理检核调度策略管理 业务解决方

19、案 应用界面 数据治理平台项目组38 数据质量检核分析数据质量检核分析 问题分布分析 批次对比分析 应用界面 数据治理平台项目组39 数据质量问题管理数据质量问题管理 问题发现 应用界面 数据治理平台项目组40 逻辑结构 n三个层面：三个层面： 定义层：定义作为系统功能 的核心-数据质量检核，所 需使用对象、指标、调度策 略等配置信息； 执行层：使用已定义的检核 配置信息，对数据平台数据 进行检核； 分析层：对检核执行结果进 行定量、定性的分析与处理。 n前后端：前后端： 前端：用户使用基于操作界 面的应用程序进行交互式的 检核信息定义、检核结果分 析等功能； 后端：系统根据检核策略在 后台自

20、动执行，无需与用户 交互。 数据治理平台项目组41 检核调度与分派 数据治理平台项目组42 检核规则处理器类别 存储过程：固定存储过程：固定SQL 存储过程：自定义存储过程：自定义SQL 固定固定Java程序程序 自定义自定义Groovy 规则脚本规则脚本 固定 自定义 简单复杂 数据治理平台项目组43 Groovy脚本示例 package groovypackage groovy import java.sql.Connectionimport java.sql.Connection import java.sql.ResultSetimport java.sql.ResultSet imp

21、ort groovy.sql.Sqlimport groovy.sql.Sql import cn.cdb.backend.RuleHandlerimport cn.cdb.backend.RuleHandler / /* * * * * author author 马春宇马春宇 2008-11-112008-11-11 * */ / public class exampleGroovyRuleHandler extends RuleHandlerpublic class exampleGroovyRuleHandler extends RuleHandler /groovy/groovy数据

22、库执行句柄数据库执行句柄 def sql_DQDB,sql_DPDB void init(long KPP_BH,Connection CONNS) super.init(KPP_BH,CONNS) sql_DQDB=new Sql(conns0) sql_DPDB=new Sql(conns1) /该方法目标：定义扫描检核目标表的该方法目标：定义扫描检核目标表的SQLSQL语句。语句。 /sqlHead=select t0.rowid as DQMS_rowid,t0.ContNo as DQMS_logicalPK,t0.* from ODS_EFF.CDBCT_CONT_INFO t0

23、; private String getSqlScanTarTable(String sqlHead) String sqlScanTarTable; String cusClause; /-自定义部分-开始 cusClause= where (t0.TranSourCoun is null or trim(t0.TranSourCoun)=) and t0.data_end_date=99999999; /-自定义部分-结束 sqlScanTarTable=sqlHead+cusClause; return sqlScanTarTable; /该方法目标：描述对单记录的检核规则该方法目标：描

24、述对单记录的检核规则, ,如是问题记录则返回如是问题记录则返回falsefalse，否则返回，否则返回truetrue private boolean exeSingleRecCheck(ResultSet rs) boolean succFlag=false; /-自定义部分-开始 String CredStatNo; CredStatNo=rs.getString(CredStatNo); def it=sql_DPDB.firstRow(select LoanType from ODS_EFF.CDBPJ_STAT_INFO where CredStatNo = ?,CredStatNo

25、) if(it.LoanType in 51,52,53,54) succFlag=true; /-自定义部分-结束 return succFlag; 数据治理平台项目组44 采用技术 n前端前端 基于Ext Ajax、Spring、hibernate技术实现： 检核配置定义 数据质量问题管理 知识库管理 数据质量对比分析、检核报告 系统管理 基于Cognos报表系统实现数据质量分布与趋势分析 n后端后端 基于Java、多线程技术实现检核调度与分派 基于数据库Job Schedule、存储过程实现存储过程检核策略 基于Groovy脚本技术实现复杂自定义检核规则的执行 数据治理平台项目组45 1

26、. 系统目标与定位 2. 技术实现架构 3. 数据标准管理子系统 4. 元数据管理子系统 5. 数据质量管理子系统 6. 数据服务子系统 7. 统一认证与用户管理模块 议题 数据治理平台项目组46 数据平台服务单流程 流程定义流程定义 申请方（包括业务部门或申请方（包括业务部门或 外包公司）外包公司） 数据标准处数据标准处 服务提供方（数据处或平台服务提供方（数据处或平台 实施商）实施商） 数据服务申请数据服务申请 新建申请新建申请 提交申请提交申请 数据服务审核数据服务审核 审核申请审核申请 服务创建与分配服务创建与分配 数据服务实施数据服务实施 任务创建任务创建 任务执行任务执行 任务签收

27、任务签收 服务验收服务验收 服务归档服务归档 周期性服务周期性服务 新建服务实例新建服务实例 数据治理平台项目组47 功能定义功能定义完成情况完成情况 数据服务申请数据服务申请 维护申请维护申请服务申请者新增、维护服务申请已完成 提交申请提交申请服务申请者提交服务申请已完成 数据服务审核数据服务审核 审核申请审核申请数据服务管理员审核服务申请已完成 服务创建与分配服务创建与分配 数据服务管理员创建服务实例，并分配给 指定的服务提供者 已完成 数据服务实施数据服务实施 任务创建任务创建服务提供者为服务分解任务已完成 任务执行任务执行服务提供者填写任务执行情况已完成 任务签收任务签收服务申请者对单个任务，选择签收或拒绝 已