




版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、数据管控交流数据管控交流Agendan数据管控数据管控n元数据管理元数据管理n数据质量管理数据质量管理n数据标准数据标准我们通常提到数据管控我们通常提到数据管控数据综合治理数据综合治理能够想到的数据质量问题能够想到的数据质量问题n源系统业务人员录入正确性问题。源系统业务人员录入正确性问题。工行案例:企业财务报表录入日期n源系统多系统之间数据不一致的问题。源系统多系统之间数据不一致的问题。工行案例:对公企业行业分类问题光大案例:客户证件类别n操作性业务系统规范对后台分析系统的影响。操作性业务系统规范对后台分析系统的影响。工行案例:增量完整性浦发案例:前台系统的数据质量建议方案n业务统计口径不一致
2、的问题。业务统计口径不一致的问题。信用卡案例:睡眠卡的定义解决这些数据问题的手段解决这些数据问题的手段n我们需要有一个尺度作为判断的依据来衡量我们需要有一个尺度作为判断的依据来衡量数据标准n我们需要有一个侦测、报告、协助分析治理数据问题我们需要有一个侦测、报告、协助分析治理数据问题的平台:的平台:数据质量管理n我们需要对数据问题影响进行分析,我们需要对数据我们需要对数据问题影响进行分析,我们需要对数据进行统一的版本管理和规范管理控制。进行统一的版本管理和规范管理控制。元数据管理n我们需要我们需要数据治理是一个工程。n我们需要有侦测、分析、解决方案评估、执行的完整我们需要有侦测、分析、解决方案评
3、估、执行的完整流程。流程。n我们需要有以下人员的参与:我们需要有以下人员的参与:科技部门n业务系统的开发人员n数据治理的专职人员n分析系统的开发人员业务部门解决这些数据问题的手段解决这些数据问题的手段Governance=People, Processes, Technology针对数据管控我们还能想到什么?针对数据管控我们还能想到什么?n时效性问题?时效性问题?n数据的安全?隐私问题?数据的安全?隐私问题?n数据的生命周期管理问题?数据的生命周期管理问题?n。数据管控机制的建立数据管控机制的建立n数据管控的定义数据管控的定义n管控结构组成部分管控结构组成部分1. 管控任务和指导原则2. 管控
4、的组织结构 3. 业务改善和结果追踪4. 数据管理的落地功能5. 用户的支持和参与6. SLA有效的管控有效的管控6个组件个组件n每个阶段的执行情况覆盖了所有的开发周期每个阶段的执行情况覆盖了所有的开发周期PlanAnalyzeDesignBuildImplementManageGovernance Program StructureUser Support & InvolvementData Certification & ManagementService LevelAgreementsMission, Policies, Guiding PrinciplesIncreme
5、ntal Project Planning & ImplementationOpportunity Scoping & Results Tracking建立数据管控的考核指标和落地功能建立数据管控的考核指标和落地功能数据质量管理数据质量管理元数据元数据/数据标准数据标准数据模型数据模型数据分布数据分布/生命周期管理生命周期管理数据层次数据层次/数据流数据流数据安全数据安全/数据隐私管理数据隐私管理数据安全性数据安全性数据冗余度数据冗余度数据质量数据质量数据规范性数据规范性数据时效性数据时效性数据整合度数据整合度数据数据DG-KPIDG-KPI载体或工具三大功能和相互关系三大功能
6、和相互关系管控体系中的数据标准、数据质量和元数据之间有着紧密的关系,三者的关系如下:管控体系中的数据标准、数据质量和元数据之间有着紧密的关系,三者的关系如下:数据标准向元数据提供业务元数据的标准定义,并可以通过元数据平台进行维护;数据标准向元数据提供业务元数据的标准定义,并可以通过元数据平台进行维护;数据标准定义了符合进仓数据的标准和依据,指导数据质量进行有效的质量监测和检查;另一方面,通过数据标准定义了符合进仓数据的标准和依据,指导数据质量进行有效的质量监测和检查;另一方面,通过数据质量具体的操作来促进数据标准的执行情况;数据质量具体的操作来促进数据标准的执行情况;元数据作为数据质量的数据提
7、供者,向数据质量提供包括表、字段、代码等元数据对象及其属性定义,能元数据作为数据质量的数据提供者,向数据质量提供包括表、字段、代码等元数据对象及其属性定义,能够帮助仓库的使用者更好的发现数据的质量问题;够帮助仓库的使用者更好的发现数据的质量问题;数据管控应用框架数据管控应用框架0数据治理组织架构与岗位职责数据治理模板(流程、定义、发布)数据治理认责与考核办法数据数据标准标准管理管理元数元数据管据管理理数据数据质量质量管理管理数据数据安全安全管理管理数据标准需求管理流程数据标准制订流程数据标准执行流程数据标准维护流程数据质量问题处理流程数据质量需求管理流程元数据变更管控流程元数据需求管理流程数据
8、访问安全数据质量检核规则制订流程元数据调研分析流程元数据维护管理流程数据质量问题排查流程数据维护安全数据备份安全元数据分类模式及属性举例元数据分类模式及属性举例属性名称属性名称必填项必填项注释说明注释说明标识号M业务属性的唯一标识名称M缩写M缩写或业务属性名称的简要写法同义词代表同一含义的不同术语名词别名其他部门的术语或通俗的讲法定义M该术语属性的详细定义标准标志元数据规范的范围,如全企业通用、部门级别、独立使用等。必填标志M必填、可选、有条件的填写缺省值限制规则取值范围的限制条件是否个人信息是否个人隐私信息,如客户名称、住址、国籍、生日、信用卡信息等保密等级高中低等重要程度是否是对运营、决策
9、等影响重大的关键信息,是否是数据质量检查点元数据创建人M元数据创建日期M最近修改人最近修改日期质量评分根据数据质量评估模型给出的评分最近评定日期元元数数据据分分类类业务元数据业务元数据结构化技术元数据结构化技术元数据关联类技术元数据关联类技术元数据操作型元数据操作型元数据业务模型业务模型主题域主题域业务实体业务实体业务属性业务属性数据质量业务规则数据质量业务规则数据库数据库/文件服务器文件服务器表表/视图视图/文件文件列列/字段字段数据集成应用数据集成应用数据集成逻辑模型数据集成逻辑模型数据集成物理模型数据集成物理模型数据质量控制规则数据质量控制规则数据处理应用数据处理应用数据处理作业数据处理
10、作业分类分类属性属性元数据管理的架构元数据管理的架构元数据的基础功能元数据的基础功能 元数据查询浏览:侧重于对元数据的内容展现和查询方式支持元数据查询浏览:侧重于对元数据的内容展现和查询方式支持 元数据数据分析:侧重于基于元数据的分析功能,从数据中提取对技术、业务用户有用的信息元数据数据分析:侧重于基于元数据的分析功能,从数据中提取对技术、业务用户有用的信息 元数据管理:元数据平台的管理功能元数据管理:元数据平台的管理功能 BIBI元数据和企业级元数据的互动:企业级元数据经元数据和企业级元数据的互动:企业级元数据经ETLETL平台加工整理进入仓库,形成平台加工整理进入仓库,形成BIBI元数据,
11、可通过元数据,可通过血缘分析和影响分析功能查看两者的互动关系;血缘分析和影响分析功能查看两者的互动关系;历史历史对象对象元数据浏览的灵活性元数据浏览的灵活性n元数据对象关系呈立体网状元数据对象关系呈立体网状n看本体看本体查看对象本身定义,例如表的名称、注释查看对象本身定义,例如表的名称、注释等信息。等信息。n向上看向上看查看对象所属对象的定义,例如表所归属查看对象所属对象的定义,例如表所归属的数据库。的数据库。n向下看向下看查看对象包含的对象的定义,例如表所包查看对象包含的对象的定义,例如表所包含的字段、索引等。含的字段、索引等。n向前看向前看查看对象的上游信息对象,例如该表的数查看对象的上游
12、信息对象,例如该表的数据的来源表。据的来源表。n向后看向后看查看对象的下游信息对象,例如该表的数查看对象的下游信息对象,例如该表的数据的目标表。据的目标表。n看历史看历史查看对象的历史变更信息。例如该表在上查看对象的历史变更信息。例如该表在上一个版本中的内容。一个版本中的内容。n看友邻看友邻查看与对象有关系的其他对象,例如涉及查看与对象有关系的其他对象,例如涉及该表的脚本等信息该表的脚本等信息。所属所属对象对象包含包含对象对象目标目标对象对象来源来源对象对象本体本体对象对象友邻友邻对象对象友邻友邻对象对象友邻友邻对象对象友邻友邻对象对象元数据主要分析功能元数据主要分析功能 影响分析影响分析向下
13、向下分析一个元数据对象对下游对象的影响。分析一个元数据对象对下游对象的影响。 血缘分析血缘分析与影响分析的方向相反,与影响分析的方向相反,向上向上追溯一个对象的数据来源。追溯一个对象的数据来源。 全链分析全链分析从某对象出发,向上下游双方向进行分析。从某对象出发,向上下游双方向进行分析。 活力分析活力分析分析一个数据库对象被访问的分析一个数据库对象被访问的频度频度。 孤立对象分析孤立对象分析分析数据准备区分析数据准备区(SData)、物理模型区、物理模型区(PData)中的孤立元数据对象。中的孤立元数据对象。 一致性分析一致性分析定期分析元模型中的元数据是否与实际情况定期分析元模型中的元数据是
14、否与实际情况一致一致。 版本比对版本比对选择任意两个时点的版本进行比对。选择任意两个时点的版本进行比对。 质量分析质量分析分析数据仓库中的元数据的质量。分析数据仓库中的元数据的质量。如何元数据技术的价值如何元数据技术的价值 元数据技术发展方向任何事物的发展都是从粗放型到精细型,元数据的发展也不例外。元数据是关于数据属性的管理系统,针对数据属性的管理需要从“定量化”技术指标到“抽象化”的业务指标的管理。元数据的应用需要从简单的技术应用模式到复杂的分析应用模式的转型。元数据发展目标:元数据的完整性元数据的精细化实现元数据的双向驱动为目标工商银行业务元数据价值的探讨工商银行元数据应用的价值举例:基于
15、元数据的数据质量评估模型基于元数据的数据温度评估模型基于元数据的数据生命周期管理机制基于元数据的ETL作业调度优化基于元数据的物理模型优化数据质量维度数据质量维度维度维度说明说明完整性完整性必须的数据项已经被记录时效性时效性数据被及时更新以体现当前事实唯一性唯一性该数据在特定数据集中不存在重复值参照完整性参照完整性数据项在被引用的主表中有定义依赖一致性依赖一致性数据项取值满足与其他数据项之间的依赖关系基数一致性基数一致性数据项在子表中出现的次数符合标准正确性正确性数据正确体系了真实情况维度维度说明说明精确性精确性数据精度满足业务要求的程度技术有效性技术有效性数据符合已定义的格式规范业务有效性业
16、务有效性数据符合已定义的业务规则可信度可信度数据的可信依赖程度可用性可用性数据在需要时是可用的可访问性可访问性数据易于访问适用性适用性数据格式和展现满足用户需要 必须有一个跨部门以上领导的重视和牵头 必须有一个专门负责解决数据质量问题的组织 必须有一个专门负责解决数据质量问题的平台 必须有一个专门负责解决数据质量问题的流程 必须有一个专门负责侦测数据质量问题的工具完整的数据质量解决方案数据质量改进标准流程数据质量改进标准流程启动启动S1.1识别已知识别已知数据问题和当前数据问题和当前发起方发起方S1.2确定数据确定数据质量评估范围质量评估范围S1.3制定数据制定数据治理评估计划治理评估计划S1
17、.4获取相关获取相关资源资源S1.5风险评估风险评估S1.6搭建数据搭建数据质量评估环境质量评估环境定义定义S2.1了解目标了解目标数据概况数据概况S2.2识别关键识别关键数据项数据项S2.3定义数据定义数据标准和业务规则标准和业务规则S2.4验证数据验证数据标准和业务规则标准和业务规则S2.5定义数据定义数据质量规则质量规则评估评估S3.1获取评估获取评估数据数据S3.2使用数据使用数据质量校验规则校质量校验规则校验数据验数据S3.3分析数据分析数据质量问题产生的质量问题产生的根源根源S3.4数据质量数据质量问题影响分析问题影响分析S3.5开发数据开发数据质量问题解决方质量问题解决方案案清洗
18、清洗S4.1搭建数搭建数据清洗环境据清洗环境S4.2清洗和修清洗和修正问题数据正问题数据S4.3评估清洗评估清洗结果结果改进改进S5.1搭建新搭建新的处理环境的处理环境S5.2迁移至新迁移至新的处理环境的处理环境S5.3评估改评估改进结果进结果需要工具支持需要工具支持21数据质量平台功能数据质量平台功能 管理配置平台:管理配置平台:质量规则的管理维护,支持用户界面手工编辑方式进行维护或者文件方式批量导入质量规则的管理维护,支持用户界面手工编辑方式进行维护或者文件方式批量导入 检查执行平台:检查执行平台:数据质量知识库中抽取相关质量规则,以检查脚本为载体,通过数据质量知识库中抽取相关质量规则,以
19、检查脚本为载体,通过ETL服务器任务调度服务器任务调度,完成数据检查,并将检查结果保存进数据质量知识库,完成数据检查,并将检查结果保存进数据质量知识库 质检报告展示平台:以质检报告展示平台:以WEBWEB页面或者文件方式查看页面或者文件方式查看质量检查结果质量检查结果数据标准框架数据标准框架数据标准定义数据标准定义数据标准执行数据标准执行数据标准映射数据标准映射数据标准管理流程数据标准管理流程数据项的主题、分类数据项的业务属性数据项的技术属性数据标准执行的架构数据仓库差异和改进建议源系统差异和改进建议数据标准与源系统的字段级映射数据标准与数据仓库的字段级映射日常维护更新执行和效果追踪标准定义标
20、准定义标准映射标准映射标准执行标准执行管理流程管理流程管理工具管理工具业务数据标准的问题业务数据标准的问题困难困难实施难易度实施难易度容易容易高高实实施施迫迫切切性性 低低公共数据规则示例公共数据规则示例电话号码电话号码建议采用正则表达式进行系统固化,例如:建议采用正则表达式进行系统固化,例如:/(0+d2,3-)(0d2,3)-)?(d7,8)(-d3,)?$/合法范例:合法范例021-27765466-201法范例:未以非法范例:未以-分隔,以及所有含非数字字段电话号码,例如分隔,以及所有含非数字字段电话号码,例如0a0*112333
21、23手机号码手机号码建议采用正则表达式进行系统固化,例如:建议采用正则表达式进行系统固化,例如:/0*(13|15)d9$/合法范例:合法范例15933442231非法范例:非非法范例:非13或或15开头,长度不为开头,长度不为11位以及所有含非数字字符的号码,例如:位以及所有含非数字字符的号码,例如:1300006454a行政区划行政区划(省、市省、市)数字代码采用三层六位层次码结构数字代码采用三层六位层次码结构省、自治区、直辖市、特别行政区的字母用两位大写字母表示省、自治区、直辖市、特别行政区的字母用两位大写字母表示市、地区、县级市、市辖区的字母用三位大写字母表示
22、市、地区、县级市、市辖区的字母用三位大写字母表示地址地址地址信息之不允许包含省份、城市和区县的信息地址信息之不允许包含省份、城市和区县的信息应该按照下列顺序依次填写街道、门牌号、单元室号等信息应该按照下列顺序依次填写街道、门牌号、单元室号等信息邮编邮编采用四级六位编码制,前两位表示省、市、自治区,第三位代表邮区,第四位代表县、市,最后两位代采用四级六位编码制,前两位表示省、市、自治区,第三位代表邮区,第四位代表县、市,最后两位代表投递邮局表投递邮局建议采用正则表达式进行固化,例如:建议采用正则表达式进行固化,例如:/0-96$/邮件地址邮件地址建议采用正则表达式进行固化,例如:建议采用正则表达
23、式进行固化,例如:/_a-z0-9+(_a-z0-9+.)+a-z0-92,3$工作目标和重点工作目标和重点产品产品客户客户渠道渠道交易交易客户资产客户资产机构机构财务财务 协议协议营销营销地址地址公共代码公共代码业务主题业务主题统一的定义统一的定义可执行的标准可执行的标准配套的管理流程和职责配套的管理流程和职责总体总体规划规划 数据映射数据映射执行建议执行建议 业务和技术业务和技术分类及属性分类及属性申请申请维护维护废止废止数据管理员数据管理员公用公用三期(三期(2010/01-2010/06)2010/01-2010/06)启动数据标准后评价启动数据标准后评价作业作业, ,评价项目执行状况
24、评价项目执行状况以及复审管理流程的适以及复审管理流程的适用性用性建立专职小组建立专职小组兼职:每部门兼职:每部门2 2人人客户资产客户资产当事人完整视图定义当事人完整视图定义员工和机构员工和机构各主题标准的维护和更新各主题标准的维护和更新提供相关系统建设指导提供相关系统建设指导建立起全行的数据标准管建立起全行的数据标准管理架构理架构一期(一期(2008/02-08)2008/02-08)建立兼职数据标准小组建立兼职数据标准小组建立数据管理流程建立数据管理流程建设管理工具建设管理工具兼职:每部门兼职:每部门1 1人人基础框架基础框架客户、产品主题客户、产品主题公共代码公共代码ECIFECIF的客
25、户模型的客户模型相关系统的产品相关系统的产品统一的客户视图统一的客户视图数据标准实施蓝图和路线图数据标准实施蓝图和路线图二期(二期(2008/09-2009/12)2008/09-2009/12) 逐步建立专职机构逐步建立专职机构建立管控绩效指标,纳入机建立管控绩效指标,纳入机构考核构考核专职专职1-31-3人人兼职:每部门兼职:每部门2 2人人营销活动营销活动协议协议- -分类及层级分类及层级渠道类型及识别渠道类型及识别交易交易代码和核心信息交易交易代码和核心信息前台产品管理系统建设前台产品管理系统建设EDWEDW中间层的公用指标建立中间层的公用指标建立提供相关系统建设指导提供相关系统建设指
26、导全行一致的统计口径全行一致的统计口径闭环式的营销活动提供指引闭环式的营销活动提供指引公用统计口径及标准公用统计口径及标准KPIKPI初级利润贡献度初级利润贡献度规划的实施路线图规划的实施路线图各阶段各阶段数据数据管控管控体系体系数据数据标准标准定义定义数据数据标准标准落地落地业务业务价值价值组织组织流程流程人员人员基础基础标准标准公用公用标准标准系统系统建设建设1.1.定期复审数定期复审数据标准,评估据标准,评估前期成果合理前期成果合理及适用性,推及适用性,推动必要修正,动必要修正,保证数据标准保证数据标准的有效性的有效性2.2.定期审视前定期审视前、中、后台操、中、后台操作作/ /管理系统
27、管理系统有无不符合数有无不符合数据标准指导原据标准指导原则部门,评估则部门,评估修正可能修正可能3.3.定期审视现定期审视现有操作流程评有操作流程评估数据标准使估数据标准使用的合理性,用的合理性,作为未来修改作为未来修改、新增操作流、新增操作流程依据程依据落地建议仅供参考,不作为本项目的交付落地建议仅供参考,不作为本项目的交付标准的维护和更新标准的维护和更新一期项目标准定义(一期项目标准定义(1):客户主题):客户主题客户定义与分类客户定义与分类客户信息模型客户信息模型产品定义及原则产品定义及原则一期项目标准定义(一期项目标准定义(2):产品主题):产品主题产品清单产品清单产品分层产品分层产品
28、信息模型产品信息模型产品特征定义产品特征定义产品与特征的映射产品与特征的映射一期项目标准定义(一期项目标准定义(3):标准代码):标准代码(I) 完成完成199个公共代码的标准定义,分个公共代码的标准定义,分布在客户、产品、协议等多个主题布在客户、产品、协议等多个主题代码定义原则及分类代码定义原则及分类代码定义范例代码定义范例一期项目一期项目-标准管理组织架构和角色定义标准管理组织架构和角色定义目前的组织架目前的组织架构:由领导小构:由领导小组、办公室和组、办公室和数据管理员组数据管理员组成三层兼职组成三层兼职组织架构织架构数据标准管理数据标准管理领导小组领导小组数据管理员数据管理员系统管理员
29、系统管理员数据标准数据标准业务专家业务专家对数据标准的定义与对数据标准的定义与变更提供专家意见变更提供专家意见配合解释数据标准的配合解释数据标准的业务含义和业务规则业务含义和业务规则配合数据管理员完成配合数据管理员完成其他数据标准管理事项其他数据标准管理事项 数据标准定义数据标准定义变更核准与修改维护变更核准与修改维护数据标准复审数据标准复审标准执行的监督标准执行的监督标准的一致性解释标准的一致性解释金融标准委员会相关金融标准委员会相关标准的复审和落实标准的复审和落实数据标准管理工具的数据标准管理工具的运营与维护运营与维护数据标准管理工具的数据标准管理工具的用户设置与权限管理用户设置与权限管理
30、 数据标准数据标准管理办公室管理办公室发起、组织数据标准的新建发起、组织数据标准的新建协调跨领域变更与重大变更核准协调跨领域变更与重大变更核准组织数据标准定期复审组织数据标准定期复审监控标准执行项目的进展与效果监控标准执行项目的进展与效果数据标准的发布、备案、版本管理数据标准的发布、备案、版本管理行外数据标准化组织的联系行外数据标准化组织的联系行业标准发展状况的跟踪行业标准发展状况的跟踪审定数据标准建立方案审定数据标准建立方案审议数据标准重大变更审议数据标准重大变更核准数据标准复审核准数据标准复审审定和推行数据标准执行方案审定和推行数据标准执行方案指定标准执行项目的业务牵头指定标准执行项目的业
31、务牵头部门部门推动标准在全行的使用落实推动标准在全行的使用落实指派数据管理员与业务专家指派数据管理员与业务专家一期项目一期项目-数据标准变更维护流程数据标准变更维护流程二期项目二期项目2008/122008/12 2009/12009/1 2009/22009/2 2009/32009/3 2009/42009/4 2009/5 2009/5 2009/6 2009/6 2009/72009/7 2009/82009/80 1 0 1 2 2 3 4 5 6 7 3 4 5 6 7 8 8二期标准定义二期标准定义 渠道主题数据标准渠道主题数据标准渠道定义渠道定义渠道类型渠道类型/ /种类种类渠
32、道信息模型渠道信息模型渠道主题渠道主题交易主题交易主题关键统计指标关键统计指标交易主题数据标准交易主题数据标准交易定义交易定义交易类型交易类型交易核心信息项和使用规范交易核心信息项和使用规范交易费收入识别规则交易费收入识别规则关键统计指标数据标准关键统计指标数据标准指标分类及定义原则指标分类及定义原则指标定义基础框架指标定义基础框架关键统计指标标准定义关键统计指标标准定义二期项目数据标准定义(二期项目数据标准定义(1)-渠道主题渠道主题q 渠道定义:渠道定义:客户获取银行或银行产品信息以及购买或使用银行产品、服务的媒介。几点解读:渠道是银行与客户之间的接触点,只有在我行与客户相互接触(直接或间
33、接)的事件中才包含渠道信息。通过渠道,客户可以主动接触我行,获取我行信息,购买和使用我行产品与服务;通过渠道,我行也可以主动向客户销售产品、提供信息和服务。以我行视角定义的渠道是我行所提供的、延伸至最外端、可供客户接触我行或我行主动接触客户的媒介。q 渠道信息模型渠道信息模型 按照信息大类、小类和信息项分层定义 覆盖基本、银行管理、利润、运维、关联、特有、分组信息等七大类,22小类,共计115个信息项 各信息项的业务定义描述、数据类型、数据长度等二期项目数据标准定义(二期项目数据标准定义(2) -交易主题交易主题银行为了满足客户的金融服务需求或者自身的经营管理需求,进银行为了满足客户的金融服务
34、需求或者自身的经营管理需求,进行的用来实现价值转移、服务提供的活动。行的用来实现价值转移、服务提供的活动。交易核心信息项交易核心信息项交易费收入客户识别交易费收入客户识别二期项目数据标准定义(二期项目数据标准定义(3) -关键统计指标关键统计指标n规范定义了规范定义了265265个指标,高度覆盖了现有的关键指标报表类应用个指标,高度覆盖了现有的关键指标报表类应用一致粒度的指标:在收集到的原始指标中,按照指标合并拆分原则适当的提取和合并,使所有指标的定义粒度相对一致,也使得指标列表更为简洁,避免重复定义。重复指标的定义:对其中的45对重复指标进行了核实,统一了这些全行经营战略重点关注的指标定义和
35、描述,消除歧义和冲突。指标定义的修正:根据命名规范对指标名称的规范;根据业务的发展,对一些原有的指标定义进行了修正,使之更精确描述。二期项目数据标准定义(二期项目数据标准定义(3)关键统计指标标准)关键统计指标标准业务统计口径白皮书业务统计口径白皮书指标信息管理,促进了业务元数据的管理业务上推动了业务需求标准化管理,为未来统一指标库的建设奠定了基础;作为应用需求和需求分析的参考手册,减少了需求反复,节约了沟通成本提供统一规范的定义框架,有助于新指标的快速实施推荐使用而非强制执行,利用使用数据的沉淀,增强可用性统一指标库统一指标库建立一种全新高效、准确开放的数据信息应用管理模式,由业务管理指标库
36、和指标数据库构成统一的指标加工平台,统一的指标计算口径,解决数据质量问题全行有效、标准、统一的指标数据采集、存储、管理机制,进而形成全行统一标准规范下指标口径和取数逻辑的统一视图,解决了需求整合的问题一期标准落地概况一期标准落地概况n公共代码数据标准使用概况公共代码数据标准使用概况38 3/15/2022业务主题业务主题项目项目使用对象使用对象使用方式使用方式客户主题图形化前端l客户信息模型尽量遵循数据标准的信息模型要求,同时兼顾本系统的个性化需求客户主题ECIFl客户定义与分类l客户信息模型l客户识别和归并规则以客户主题信息模型作为需求的主要参考产品主题对公OCRMl产品清单l产品识别规则数
37、据加工处理参照产品映射关系 基础主题数据标准使用概况基础主题数据标准使用概况项目项目使用数使用数/ /总数总数未使用原因未使用原因/ /影响影响新个贷25/27l涉及程序调整、回归测试对开发进度影响较大l业务条线管理要求比已定义的数据标准更细致,引发3项数据标准变更图形化前端5/25l图形化前端项目具有一定的特殊性,对应多个后台系统,没有特定的数据存储l同一个代码在不同系统里代码值都不一样,如证件类型、客户状态等。参照执行数据标准中的技术属性l部分公共代码没有被目前的数据标准所覆盖,待将来补充完善贵金属1/1l代码以交易主题为主,未能被目前的数据标准公共代码所覆盖公共代码标准:是各系统数据字典
38、设计的重要参照,包括业务与技术属性、取值及含义公共代码标准:是各系统数据字典设计的重要参照,包括业务与技术属性、取值及含义基础主题标准:是相关主题业务需求的基础和蓝本基础主题标准:是相关主题业务需求的基础和蓝本数据映射:可做为系统字典对照与数据整合处理的重要参考数据映射:可做为系统字典对照与数据整合处理的重要参考同时标准的新建、变更维护也应与业务需求梳理工作结合进行,不断适应新的需求,逐步完善同时标准的新建、变更维护也应与业务需求梳理工作结合进行,不断适应新的需求,逐步完善议程议程他行经验和借鉴他行经验和借鉴光大数据标准后续改进策略和工作建议光大数据标准后续改进策略和工作建议光大数据标准化工作
39、成果光大数据标准化工作成果国内银行数据标准化建设情况国内银行数据标准化建设情况银行银行建设情况建设情况牵头部门牵头部门建设银行完成,主要是面向共用代码,在后台数据处理中进行转换和落地。信息中心,数据标准处工商银行立项,并且在招标过程中,主要是面向客户信息标准化和统计指标口径标准化管理信息部国家开发银行完成部分,包括客户信息数据标准和数据标准管理流程科技部,信息标准处农业银行规划中科技部,信息中心q数据标准项目是管理信息系统规划的子项目数据标准项目是管理信息系统规划的子项目q项目目标:项目目标:“业务变革与信息技术变革在全行全方位业务变革与信息技术变革在全行全方位展开,而增强数据定义和使用的一致
40、性将促进展开,而增强数据定义和使用的一致性将促进系统集成,充分实现信息资源共享。系统集成,充分实现信息资源共享。”q项目范围项目范围:“:“通用数据通用数据”标准标准q牵头部门:信息中心数据标准处牵头部门:信息中心数据标准处q参与部门:参与部门:1414个业务部门、个业务部门、2121个应用系统个应用系统q逻辑数据模型逻辑数据模型LDMLDMq通用数据标准定义(通用数据标准定义(1212大信息类)大信息类)q产品清单产品清单q客户数据标准客户数据标准q公共代码定义公共代码定义项目概况:项目概况:主要产出:主要产出:国内银行国内银行C:基本情况:基本情况国内银行国内银行C:标准代码的执行标准代码
41、的执行信息中心信息标准信息中心信息标准划处负责标准制定划处负责标准制定和维护职能和维护职能信息科技部后台系统负责信息科技部后台系统负责数据标准在后台分析系统数据标准在后台分析系统的落地执行的落地执行国内银行国内银行C:经验与教训:经验与教训n数据标准项目由信息中心牵头,该部门由业务人员和数据标准项目由信息中心牵头,该部门由业务人员和IT IT人员共同组成人员共同组成n数据标准是长期持续的工作,该行成立了数据标准处来专职负责数据标准是长期持续的工作,该行成立了数据标准处来专职负责n数据标准项目的成功有赖于各业务部门以及周边项目的鼎力支持和参与数据标准项目的成功有赖于各业务部门以及周边项目的鼎力支
42、持和参与n在全行的数据质量检查中纳入数据标准遵循度的考核,并将检查结果与绩效在全行的数据质量检查中纳入数据标准遵循度的考核,并将检查结果与绩效挂钩挂钩n该行的数据标准项目仅完成了数据标准定义,数据标准的使用和执行力度较该行的数据标准项目仅完成了数据标准定义,数据标准的使用和执行力度较小。除标准代码外,其它主题数据标准均停留在纸面上小。除标准代码外,其它主题数据标准均停留在纸面上n产品标准与产品分类目录脱节,造成产品目录、产品数据标准均无法执行和产品标准与产品分类目录脱节,造成产品目录、产品数据标准均无法执行和更新维护更新维护议程议程他行经验和借鉴他行经验和借鉴光大数据标准后续改进策略和工作建议
43、光大数据标准后续改进策略和工作建议光大数据标准化工作成果光大数据标准化工作成果标准落地与标准定义完善工作的相互促进标准落地与标准定义完善工作的相互促进4545标准编制标准编制标准管理标准管理标准发布标准发布标准执行标准执行信息管控信息管控 业务定义业务定义 技术技术/ /流程定义流程定义 规范规范/ /口径定义口径定义 发布工具发布工具 浏览查询浏览查询 通知机制通知机制 执行策略执行策略 优先策略优先策略 实施策略实施策略 变更申请变更申请 管理维护管理维护 工作流程工作流程数据标准专业团队工作:数据标准专业团队工作:标准落地执行标准落地执行标准监管标准监管标准审核标准审核标准维护标准维护标
44、准定义标准定义在数据标准落地执行的过程中,必须持续对现有标准成果进行有效管理在数据标准落地执行的过程中,必须持续对现有标准成果进行有效管理和维护,并在落地执行项目的推进过程中,逐步建立、完善数据标准的和维护,并在落地执行项目的推进过程中,逐步建立、完善数据标准的管理流程与规范,使数据标准工作纳入各部门的日常工作中。管理流程与规范,使数据标准工作纳入各部门的日常工作中。标准落地执行的复杂性、长期性和综合性标准落地执行的复杂性、长期性和综合性4646 数据标准在银行的推广实施,牵涉面广、技术复杂、集成化程度高,数据标准在银行的推广实施,牵涉面广、技术复杂、集成化程度高,在在ITIT层面涉及系统开发
45、、系统改造以及新老系统的衔接。数据标准落地层面涉及系统开发、系统改造以及新老系统的衔接。数据标准落地执行是一项复杂的、长期的、综合的工作,必须根据我行的实际情况以执行是一项复杂的、长期的、综合的工作,必须根据我行的实际情况以分步实施的模式逐步推进。分步实施的模式逐步推进。区别对待区别对待平台支撑平台支撑完善管理完善管理项目推进项目推进阶段实施阶段实施有有“生命生命”的数据的数据标准标准业务驱动业务驱动标准落地执行策略之一:业务驱动标准落地执行策略之一:业务驱动4747 业务部门的需求业务部门的需求推动标准执行推动标准执行 标准执行的效果标准执行的效果体现业务价值体现业务价值 业务现实迫切程度业
46、务现实迫切程度落地执行的落地执行的前提和重点前提和重点有人想用有人想用 + + 有人用有人用 = = 有用有用区别对待区别对待平台支撑平台支撑完善管理完善管理项目推进项目推进阶段实施阶段实施有有“生命生命”的的数据标准数据标准业务驱动业务驱动标准落地执行策略之二:标准落地执行策略之二:项目推进项目推进4848现有现有系统系统 以业务价值高的项目或专题为优先以业务价值高的项目或专题为优先 实施前充分沟通,进行可行性研究和业务价值评估,制定详细落地执实施前充分沟通,进行可行性研究和业务价值评估,制定详细落地执行方案行方案 涉及多系统、多项目,需要标准专业小组统筹、组织和统一协调管理涉及多系统、多项
47、目,需要标准专业小组统筹、组织和统一协调管理 保障项目人员、经费、开发时间等资源保障项目人员、经费、开发时间等资源新建新建系统系统 开发流程中设立检查点来确保数据标准的执行开发流程中设立检查点来确保数据标准的执行 项目立项项目立项 设计评审(需求定义、功能设计、数据库设计等)设计评审(需求定义、功能设计、数据库设计等) 上线评审上线评审 数据标准执行与项目流程的有机结合数据标准执行与项目流程的有机结合 从项目中采标,不断充实、完善数据标准从项目中采标,不断充实、完善数据标准区别对待区别对待平台支撑平台支撑完善管理完善管理项目推进项目推进阶段实施阶段实施有有“生命生命”的的数据标准数据标准业务驱
48、动业务驱动建立配套的针对数据标准项目开发流程建立配套的针对数据标准项目开发流程设计设计开发开发测试测试上线上线应用维护应用维护需求分析需求分析数据标准执行内容数据标准执行内容责任人责任人在需求分析过程中在需求分析过程中,分析业务定义是,分析业务定义是否需采纳执行相应否需采纳执行相应的数据标准。确定的数据标准。确定标准适用范围,将标准适用范围,将作为设计开发阶段作为设计开发阶段执行数据标准和上执行数据标准和上线阶段进行评审的线阶段进行评审的依据。依据。业务需求人员业务需求人员业务数据管理员业务数据管理员在功能设计和数在功能设计和数据库设计时执行据库设计时执行数据标准的业务数据标准的业务属性和技术
49、属性属性和技术属性系统设计人员系统设计人员数据架构师数据架构师科技数据管理员科技数据管理员在上线评审时确在上线评审时确认对数据标准的认对数据标准的遵循程度:遵循程度:对数据标准的遵对数据标准的遵循程度循程度未执行数据标准未执行数据标准的原因及内容的原因及内容对数据标准的更对数据标准的更新需求新需求业务数据管理员业务数据管理员科技数据管理员科技数据管理员在应用变更时确在应用变更时确认对数据标准的认对数据标准的遵循程度:遵循程度:对数据标准的对数据标准的遵循程度遵循程度变更未执行数变更未执行数据标准的原因据标准的原因对数据标准的对数据标准的更新需求更新需求业务数据管理业务数据管理员员科技数据管理科
50、技数据管理员员数据标准的参与人分析职能和定位数据标准的参与人分析职能和定位角色角色职能职能业务参与度业务参与度技术参与度技术参与度专职专职/兼职兼职制定者制定者参与数据标准的制定、讨论、审核工作。使用者使用者在非科技项目的业务的日常经营分析过程中,贯彻和使用数据标准项目的成果。执行者执行者负责完成数据标准在科技项目执行中的方案论证,影响评估和设计开发工作。管理员管理员完成数据标准的日常管理的补充、更新、细化、调整、解释等维护工作监督员监督员完成进行数据标准执行工作的监督管理和定期的评估工作数据标准工作推进的建议数据标准工作推进的建议近期目标近期目标(2010年)年)配合数据质量管理项目建设,将
51、数据标准配合数据质量管理项目建设,将数据标准管理内容部署到数据质量管理流程中,有管理内容部署到数据质量管理流程中,有效监控数据标准执行状况;效监控数据标准执行状况;逐步充实数据标准专业团队,继续负责落逐步充实数据标准专业团队,继续负责落地项目的统筹、组织协同,以及标准采标地项目的统筹、组织协同,以及标准采标和维护管理;和维护管理;继续完善标准定义、维护、监控工作。继续完善标准定义、维护、监控工作。以标准落地工作为重点,选择合适的专以标准落地工作为重点,选择合适的专题项目题项目( (如客户关系管理如客户关系管理) )作为切入点,以作为切入点,以业务效果为目标进行落地实施;业务效果为目标进行落地实
52、施;继续开展数据标准定义工作(如机构主继续开展数据标准定义工作(如机构主题),进一步完善数据标准内容;题),进一步完善数据标准内容;以落地项目为依托,继续完善数据标准以落地项目为依托,继续完善数据标准的发布、维护、监控管理。的发布、维护、监控管理。中长期中长期目标目标(2011-2012年)年)工作小组工作小组+兼职成员兼职成员+外部专家外部专家数据标准专业团队数据标准专业团队+工作小组工作小组近期重点工作之一:选择客户关系管理主题进行落地执行近期重点工作之一:选择客户关系管理主题进行落地执行52数据标准客户主题工作成果:数据标准客户主题工作成果:明确客户定义和分类明确客户定义和分类梳理客户的主要信息
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 石油化工副产品综合利用考核试卷
- 期货市场国际化发展考核试卷
- 篷布帐篷在公园露营地的安全标准与舒适度考核试卷
- 2025企业合作借款合同样本参考
- 2025办公用品买卖合同书范文
- 2025桥梁工程监理委托合同范本
- 2025大陆居民赴澳旅游合同范本
- 2025年全面机械租赁合同模板
- 湖北省“黄鄂鄂”2025年高三下学期4月联考历史
- 机关食堂承包合同常用范例二零二五年
- 酒馆加盟代理协议书
- 加油站站长试题及答案
- 环境突发事件应急预案演练记录
- 外研版(三起)(2024)三年级下册英语Unit 3 单元测试卷(含答案)
- 人教版中职数学拓展模块一:6.2复数的运算课件(共24张课件)
- 2024年同等学力申硕《英语》试题真题及答案
- 公共资源交易知识培训
- 《危机管理案例》课件
- DB13-T5687-2023负压封闭引流术护理规范
- 海绵材料项目可行性研究报告
- 2025年四川成都地铁运营有限公司招聘笔试参考题库含答案解析
评论
0/150
提交评论