【《F铁路公司数据治理体系构建案例分析》11000字】

F铁路公司数据治理体系构建案例分析目录TOC\o"1-3"\h\u9391F铁路公司数据治理体系构建案例分析 1210541.1数据治理体系总体蓝图 185291.2数据治理体系重点构建内容 4121651.2.1铁路数据治理组织的建立 4190901.2.2铁路数据标准的制定 11165461.2.3铁路数据质量的提升 17数据治理体系总体蓝图参考DAMA、DCMM理论框架，通过业务调研和系统调研，聚焦“战略指导、专项能力、体制机制、技术支撑”四层建设，包括战略、组织、标准、制度、流程、工具等核心内容，通过规划F铁路公司整体数据治理蓝图框架，设计数据治理工作机制，对未来数据治理实施与平台建设形成支撑。F铁路公司数据治理总体蓝图，如图5-1所示：图5-1F铁路公司数据治理总体蓝图Figure5-1TheoverallblueprintofdatagovernanceofFrailwayCompany总体蓝图主要由四大部分组成，包括战略引领、专项能力、体制机制和技术支撑。其中战略引领以企业战略的高度，促进企业数字化转型；专项能力构建F铁路公司数据管理和应用等方面的突出能力；体制机制为数据治理提供组织管理支撑、技术支撑，以信息化手段和工具为抓手，提供信息化平台的建设。（1）战略引领构建F铁路公司的数据战略，把握数据治理的方向，以企业级数据治理、打造核心数据资产、持续赋能价值创造为基础。为数据治理战略核心目标、数据治理能力的构建、数据治理体制机制的创建、数据治理技术平台的打造提供战略保障。（2）专项能力面向数据治理的基础环节和关键环节，以F铁路公司数据全生命周期管理为核心，通过数据标准以及数据质量管理能力，进一步支撑数据的质量评估及提升，通过强化数据安全管理能力、数据架构管理能力、数据应用管理能力，深化业务数据挖掘分析和数据价值流通等业务的数据探索，促使数据得到有效发挥。数据应用管理能力：通过对组织数据进行统一活动，推动数据资产共享和数据应用创新，支撑数字化转型发展，实现数据资产价值变现。数据标准管理能力：在数据标准管理组织架构推动和指导下，遵循协商一致制定的数据标准规范，借助标准化管控流程得以实施数据标准化的整个过程。数据质量管理能力：对数据生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。数据安全管理能力：通过计划、制定、执行相关安全策略和规程，确保数据和信息资产在使用过程中有恰当的认证、授权、访问和审计等措施。数据架构管理能力：用于定义数据需求、指导对数据资产的整合和控制、使数据投资与业务战略相匹配的一套整体构件和规范。数据生命周期管理能力：在数据全生存周期中实施管理，确保从宏观规划、概念设计到物理实现，从获取、处理到应用、运维、退役的全过程中，数据能够满足数据应用数据管理需求。（3）体制机制数据治理工作的统筹推进和监督落实需要强有力的组织管理和体制机制，构建包括F铁路公司数据治理委员会、数据治理工作组等各类组织，从数据规划、治理管理等环节设置相应的角色分工，依据数据治理目标制定相应的管理要求和考核要求，促进数据治理工作的推进和落实。组织和人员：通过建立数据中心组织形式，形成专职治理团队，并且明确不同组织、人员、角色的定位、职责以及协作关系，最终形成公司数据治理高效协作机制。制度和流程：制定规范的管理制度和考核机制，借助数据模型管理、数据标准管理、数据管理、数据质量管理、主数据管理、数据安全管理、数据生命周期管理等关键技术，贯穿数据管理流程，实现数据治理体系的建设有效落地。（4）技术支撑技术支撑方面以F铁路公司大数据综合治理平台、智能分析平台和主数据管理平台为典型代表，以信息化手段构建数据从生产、存储、处理、使用、共享等全生命周期数据管理流程，全面支撑企业级数据治理，打通数据壁垒，促进数据的开放共享和创新应用。主数据管理平台：主数据管理平台进行定义、管理、治理和共享主数据信息，持续地确保主数据的质量、完整性和对业务的支持，并协调和管理与F铁路公司的核心业务实体相关的系统记录和系统登录中的数据和元数据，通过主数据平台建立相应的基础数据标准、管理流程和规范。大数据治理平台：以源数据为驱动，提供统一的数据管理，构建数据采集、数据处理、数据存储、数据可视化功能，涵盖元数据管理、数据标准管理、数据质量管理，实现持续的数据质量提升，保证数据的可用性、一致性及安全性；实现内容共享、资源共用、渠道共建、技术共通。智能分析平台：智能分析平台提供包括数据管理、可视化建模、编程式建模以及模型服务功能，通过新建项目以及项目导入和导出，可开始可视化建模实验流程创建、修改、执行和删除，提供了从数据接入、数据预处理、生成模型到最终的场景应用的全流程分析。数据治理体系重点构建内容数据治理体系总体蓝图对F铁路公司数据治理体系进行规划，通过F铁路公司数据治理现状进行数据治理能力成熟度评估，重点解决包括建立数据治理组织、数据标准制定、数据质量提升三个方面的问题，本章重点对蓝图中所涉及的三个方面进行构建。铁路数据治理组织的建立数据治理的工作是一个长期而复杂的工程，需要公司领导层、业务管理层和技术保障层通力合作，共同推进，必须形成一个科学合理的治理组织来进行，否则会由于领导的重视程度、人员工作量划分不合理等原因很难推动。组织的保障能够有效确保数据战略顺畅地实施起到指导和督促作用。为达到数据战略目标，F铁路公司有必要建立体系化的组织架构，明确职责分工。以下是F铁路公司数据治理组织构建方法与步骤：（1）数据治理组织架构构建的方法由于F铁路公司的组织架构依据国铁集团统一的指导原则建立的，因此不适合对组织架构进行大幅度的重组或新增。利用RACI模型对F铁路公司数据治理活动中的相关部门进行职责划分，明确各部门的在数据治理方面的责任，形成责任清晰、管理有序的数据治理组织架构。F铁路公司数据治理架构构建的方式，首先依据数据生命周期POSMAD理论指导确定数据治理各阶段工作目标，依据DAMA数据管理框架作为每个活动参与的重要角色的指导，再次采用职责分配RACI模型的指导明确参与F铁路公司数据治理工作的重要部门职责。（2）数据治理组织架构构建的步骤根据数据治理组织架构构建的方式具体步骤如下：1）数据生命周期管理流程按照POSMAD理论提出的六个阶段，分析每个阶段的重要工作任务，形成F铁路公司数据全生命周期管理流程，如图5-2所示：图5-2F铁路公司数据生命周期管理流程Figure5-2ThedatalifecyclemanagementprocessofFrailwaycompany从F铁路公司数据生命周期流程图可以看出，数据治理过程包含六个阶段，阶段内容包括数据规划、数据获取、数据存储和共享、数据运维、数据应用、数据报废。2）明确数据治理核心角色参考了DAMA数据管理知识体系理论对实现数据生命周期各阶段符合各项职能设置了不同的角色划分，具体角色划分如下表5-1所示：

表5-1数据治理核心角色Table5-1Coreroleofdatagovernance角色名称工作职责数据治理管理员（数据治理主管）数据治理管理员作为数据治理组织的最重要的角色，主持并参与数据治理各阶段工作任务，负责数据治理项目推进及治理过程管理和协调的工作。建立铁路数据治理全过程沟通的机制，营造良好的铁路企业数据治理文化。加强数据治理参与人员对于数据相关制度、组织、标准的理解，制定培训宣贯计划，定期开展相关培训。建立数据治理所需的岗位，明确岗位职责，任职要求，建立绩效评价体系。建立数据制度体系包括制度的管理流程、制度的检查、更新、发布、推广等重要标准和规范。建立任务效益评估模型、投资模型，定期阶段评估。明确发展方向，推动战略实施，建立数据智能项目的业务案例。数据规划工程师梳理数据的现状、权威数据源、数据和业务流程、组织、系统之间的关系，定期维护和更新组织中的数据分布关系。建立组织级数据集成共享规范、制度、管理方法和流程，形成数据集成共享标准，实现统一采集，集中共享。制定统一的元数据管理规范，设计相应的元模型，并制定和执行统一的元数据集成和变更流程。制定业务术语标准和业务术语管理制度，建立参考数据和主数据的管理规范。建立组织层面统一的数据元管理规范、格式规范、指标数据字典、指标数据管理流程。建立统一的数据资源目录，方便数据的查询和应用。数据开发工程师建立大数据获取、存储与共享、大数据治理等规范。负责对大量数据的采集、清洗、治理，并对这些数据加以利用、管理、维护和服务的相关技术工作。建立数据共享接口服务管理规范，研发共享接口。

表5-1（续表）角色名称工作职责数据质量工程师负责数据治理过程中各业务部门提报的数据质量需求、同时，定期对已汇聚的数据进行数据质量检查并形成数据质量问题报告。制定数据质量管理目标和质量监督检查计划。针对数据质量校验、数据质量问题管理等，设计数据质量规则和评价维度。建立数据质量问题评估分析方法和要求，定期分析组织数据质量情况，建立持续更新的数据质量知识库。数据安全工程师建立统一的数据安全标准，提供适合铁路的数据安全策略。数据安全等级的划分、数据访问权限的控制、用户身份认证和访问行为监控、安全数据风险管理等。制定安全审计包括过程审计、规范审计、合规审计，及时发现数据安全隐患，改进数据安全措施，提出数据安全管理建议。数据分析工程师负责收集并汇总各业务部门提出的铁路数据分析需求，支撑组织层面的常规报表分析及展示，满足业务数据需求。建立组织层面的铁路数据分析应用的常用算法、模型库，构建适合铁路业务场景的数据分析模型库，推动各部门数据分析应用的建设，支持各业务部门业务人员进行数据探索和分析。负责数据分析应用的方案规划及模型设计，对数据分析应用进行量化分析，促进应用创新。数据运维工程师制定数据运维方案，建立数据的监控规则、监控机制和数据合格标准等检查手段。负责铁路数据汇聚接口、数据共享接口等接口的集中监控，处理日常运维过程中发现的问题。负责大数据平台的稳定运行提供保障制度，出现异常时能够及时处理。大数据项目经理参与大数据应用项目数据体系建设的需求调研，主持并指导项目组完成数据体系搭建。对整个项目结果负完全责任，监督并处理客户的问题与意见，确保项目按时按质完成，使客户满意。负责铁路大数据应用项目实施的全过程管理，包括项目内部人员工作安排、外部人员协调与管理、项目进度管理、质量风险控制等各方面的识别和工作推进。上述核心角色分别参与从数据规划、获取、存储共享、应用、运维、退役的数据生命周期的不同阶段，如图5-3所示：图5-3数据生命周期流程对应角色Figure5-3Thecorrespondingrolesofdatalifecycleprocess3）部门或角色职责分配根据RACI理论建立F铁路公司的RACI模型匹配组织架构部门，表格左侧表示从数据规划、获取、存储共享、应用、运维、退役的不同阶段，表格上方是数据治理活动和参与部门或角色，如表5-2所示：

表5-2F铁路公司职责分配RACI模型Table5-2TheresponsibilityassignmentRACImodelofFrailwaycompany阶段数据治理活动董事会科信部大数据中心业务部门信息技术所财务部企法部劳卫部规划数据治理战略规划ARCIIIII数据治理制度建设ARCIIIII数据治理管理办法ARCIIIII数据模型N/AN/ARCIN/AN/AN/A获取数据梳理N/AN/ACRCCCN/A数据登记N/AN/ACRCN/AN/AN/A数据汇聚N/AN/ACRCN/AN/AN/A数据接口规范N/AARIIN/AN/AN/A数据传输安全N/AN/ARCIN/AN/AN/A数据存储与共享数据资源目录N/AARCIN/AN/AN/A数据共享标准与规范N/AARCCN/AN/AN/A数据存储安全N/AN/ARN/ACN/AN/AN/A数据共享安全N/AN/ARN/ACN/AN/AN/A数据运维数据运维规范N/AARN/AIN/AN/AN/A数据汇聚维护N/AN/ARN/AIN/AN/AN/A数据处理维护N/AN/ARN/AIN/AN/AN/A数据存储维护N/AN/ARN/AIN/AN/AN/A数据资产分析IARIIN/AN/AN/A数据应用数据分析N/AN/ACRCN/AN/AN/A铁路数据开放共享N/AN/ARACN/AN/AN/A铁路数据服务N/AN/ARACN/AN/AN/A数据质量提升N/AN/ACRIN/AN/AN/A数据退役数据退役需求分析N/AN/ACRCN/AN/AN/A数据退役设计N/AN/ARIIN/AN/AN/A数据退役执行N/AN/ARAIN/AN/AN/A数据恢复检查N/AN/ARIIN/AN/AN/A归档数据查询N/AN/ARIIN/AN/AN/A4）建立虚拟组织架构在F铁路公司内，数据治理工作存在跨专业、跨部门的特点，数据治理需要公司决策层、科信部（规划部门）、业务部门、信息技术所（技术支撑部门）、大数据中心（实施部门）、财务部、企法部、劳卫部等部门共同参与。在职能分工方面，将各部门或单位参与数据治理适合的岗位，顺利开展各阶段的工作任务。科信部负责制定的各项规划、流程、标准、制度、规范等报董事会批准后，由大数据中心牵头实施，关键是获取高层管理者的高度重视和大力支持。因此，F铁路公司需建立自上而下的数据治理顶层设计，成立数据治理委员会，由董事会、各部门高层领导且统筹决策。具体治理工作则由数据管理工作组承担。铁路数据标准的制定数据标准是企业数据治理的首要环节，对于企业厘清数据资产、打通数据孤岛、加快数据流通、释放数据价值有着至关重要的作用。（1）数据治理标准化的意义1）数据治理标准化的目标针对F铁路公司技术、管理、安全等方面的标准化工作制定详细工作目标，以标准化工作的开展促进数据治理工作的推进和数据治理水平的不断提升。2）数据治理标准化的意义以标准化的组织机构、工作流程贯穿数据治理工作的全过程，形成技术标准、管理规范、安全保障及应用示范等重要内容，规范了组织级业务数据管理的管理制度和流程，结合典型业务场景，促进了数据质量提升、数据资产发布、数据驱动决策、数据价值流通等环节，引领数据治理工作形成长效机制，不断提升数据治理能力。（2）数据属性标准数据属性标准包括针对业务、技术、安全、管理和稽核五部分标准。数据标准化以默认的数据模型和数据库中定义的所有对象为执行对象，为提高效率，仅对异常或需要重点管理的对象进行数据标准化管理，数据属性标准分类见表5-3所示：表5-3数据属性标准说明Table5-3Thestandarddescriptionofdataproperties分类说明举例数据业务标准（业务属性）业务数据应遵循的业务属性和业务规则的统一定义与解释如业务数据中的数据项的业务定义，如主管部门、责任人等数据技术标准（技术属性）在数据采集、存储、共享等方面的技术属性要求如规范中数据项的中文定义、英文定义、版本号、编码等数据管理标准（管理属性）数据管理中所涉及的管理要求和管理规范如根据数据管理规范等要求规定的数据权属特征及数据的申请、审批流程要求数据安全标准（安全属性）数据项安全属性的统一要求与定义如数据重要性、数据安全登记等数据安全相关要求数据稽核标准（稽核属性）数据项稽核流程和规则的统一要求与定义如根据业务要求确定数据稽核规则，对数据进行质量监控及预警（3）数据业务标准的制定数据管理和数据应用必须要建立一套适合企业的数据标准体系，并且这套体系要符合规范要求，是提升数据的可用性，打通数据底层的互通性，消除数据在业务理解方面的不一致性。数据业务标准包括数据模型、基础数据和指标数据标准，其中，公用基础数据编码标准和主数据标准在不同行业的分类方式和习惯不同，本文将以上两类数据统称为基础数据标准。本文重点对基础数据标准和指标数据标准进行内容的制定。基础数据标准一经发布，一般不轻易变更，稳定性较强，它属于系统之间共用的公共数据。在定义实体或数据项时一般会引用最新发布的国际标准、国家标准、行业标准等相关制定的标准，包含业务属性、技术属性、管理属性和稽核属性等内容。基础数据标准依据DAMA理论数据标准体系制定，并展示了相应示例。如表5-4所示：表5-4基础数据标准Table5-4Basicdatastandard属性基础类标准说明示例业务属性数据标准编号企业制定标准、规范的编号规则1003标准中文名称名称的中文定义线路名称标准英文名称名称的英文定义lineName数据版本表明该数据最新的版本号V2.1版本日期描述该数据的版本日期2021/11/8定义级别集团公司规范定义的数据为一级，F铁路公司自行定义的数据为二级一级标准分类参照集团公司主数据六大分类主题：固定设施类、移动设备类、人员机构类固定设施类主要依据标准落实依据的文件。如国铁集团、F铁路公司、业务部门发布的制度规范等《中华人民共和国铁路线路名称代码》（GB/T25344-2010）业务定义从业务角度描述数据的业务特征描述F铁路公司线路的信息管理属性数据提供者负责提供数据的部门营运部数据提供负责人具体的数据提供负责人某某某数据维护者负责维护数据的部门信息中心数据维护负责人具体的数据维护人某某某业务主管主管该数据定义、取值、编码、更新、发布等工作的部门科信部业务主管负责人具体的业务主管人员。某某某表5-4（续表）属性基础类标准说明示例技术属性数据类型数据类型可以为日期型、枚举型、字符型、数字型等字符型取值范围该数据标准定义数据的取值范围不能为空，要求为汉字数据长度该数据标准定义数据的长度限制小于15字符统计周期定义按照不同的时间周期对数据的统计及更新。日稽核属性稽核规则系统判断字段是否符合标准的规则线路名称为汉字，线路国标码4位数字，线路所属路局为汉字，外键关联铁路局主数据预警规则用于触发预警的规则当线路主数据属性不符合验证规则时触发预警铁路各业务领域均有各自的业务指标，这些指标时而发生同名不同义、同义不同名的现象出现，如果业务指标不进行指标数据标准化，对于同一指标就很难分清楚在不同系统的统计结果可能是不同的，每次构建新的分析主题或变更旧的主题时，都需要重新定义，这样导致成本上升。另外，如果没有指标数据标准，目前提倡的业务人员自助式分析将无法谈起。指标类数据标准通常从5个属性组来定义，如表5-5所示：表5-5指标类数据标准Table5-5Indexdatastandard属性指标数据标准说明示例业务属性指标编码企业制定指标数据的编码规则0110001中文名称业务指标中文定义货物发送量英文名称业务指标英文定义Shipmentvolume数据版本指业务指标数据版本V2.1指标主题指业务指标所属的主题域运输产品指标分类根据不同主题域划定相应指标运输产品类指标类型根据管理需要可以将指标分为基础指标、计算指标两类计算指标主要依据标准落实依据的文件。如国铁集团、F铁路公司、业务部门发布的制度规范等铁路货物运输统计规则表5-5（续表）属性指标数据标准说明示例业务属性指标描述从业务角度描述指标数据的业务特征货物发送量相关指标管理属性数据提供者负责提供数据的部门营运部数据提供负责人具体的数据提供负责人某某某数据维护者负责维护数据的部门信息中心数据维护负责人具体的数据维护人某某某业务主管者主管该指标数据定义、更新、发布等工作的部门科信部业务主管负责人具体的业务主管人员。某某某指标权限范围该指标授权哪些系统可用路局技术属性数据来源系统是指业务指标的数据来源于哪个业务系统货运信息管理系统指标使用系统是指业务指标应用于哪个系统货运营销管理系统数据源表是指业务指标的数据来源于哪个业务系统的哪张数据表货物发送信息表数据类型是指业务指标计算返回的数据类型浮点型度量单位数据指标单位如“吨”、“公里”、“吨公里”等吨计算流程/算法计算流程/算法：用来描述指标详细的计算过程按路局属性统计发送吨数指标计算公式用于描述指标计算过程和计算逻辑关系——指标计算周期定义按照不同的时间周期对指标数据的统计及更新日指标取值范围数据统计粒度如：“公司级”、“站段级”等公司级统计维度数据统计维度如：“线路”、“车站”等车站安全属性重要性级别数据安全等级重要稽核属性稽核规则根据业务标准制定的字段稽核规则数值型预警规则发现质量不符合要求数据的预警规则数值型，正数保留小数点后两位稽核脚本用于稽核数据质量的脚本——目前F铁路公司已经登记了20多项主数据，包括车站、线路、动车组车型、货车车号等。利用铁路主数据开展数据质量检查至关重要。以车站全生命周期主数据作为数据标准，实现了将业务系统数据汇集至铁路大数据综合治理平台中，并把平台中车站数据与主数据进行匹配，以此来构建F铁路公司标准化功能，并持续完善功能。企业的数据标准化管理，首先要通过建立一套符合自身的数据标准制度，根据制度制定企业自身的数据标准化管理。结合F铁路公司的业务，通过以上的流程进行数据标准的梳理，对数据标准进行分类，构建F铁路公司数据标准体系。（3）数据标准化成果基于F铁路公司数据特性，可将组织数据分为基础类数据与指标类数据。其中，基础类数据描述组织业务相关的，包括人、物、场所、设施、设备等；指标类数据是指组织业务过程中产生提供可靠的量化结果的数据，包括数值、统计数据等；基础类数据标准成果示例下表5-6所示，指标类数据标准成果示例下表5-7所示：表5-6基础数据标准成果示例Table5-6Theexamplesofstandardresultsofbasicdata业务标准技术标准管理标准稽核标准主题一级分类二级分类三级分类四级分类业务实体字段名称引用数据项编号引用数据项名称业务定义数据依据相关标准字段代码数据类型数据长度数据精度主外键归口管理部门使用部门稽核规则预警通知规则固定设施类线路数据分类名称铁路线路相关唯一标识码GB/T铁路线路名称代码493F2DCF134438C7E054A036VARCHAR科信部业务部门铁路固定设施类主数据

表5-7指标类数据标准成果示例Table5-7Theexamplesofstandardresultsofindexdata业务标准管理标准技术标准业务标准稽核标准一级分类二级分类三级分类标准化指标名称指标常设指标类型指标数据编码指标开发部门源应用系统频度计算公式指标适用范围标准来源外部参照预警通知规则产量指标运输量货物发送量运输计划计算指标250000212002货运部日铁路公司国铁集团铁路数据质量的提升根据数据标准和数据质量稽核和预警，数据治理专项小组整合分析结果，向F铁路公司业务主管部门提出数据质量提升需求，按照历史数据提升、增量数据提升、业务优化、信息系统改造等需求进行分类和汇总，编写数据质量提升需求报告。数据治理专项小组协调组织数据质量提升工作的牵头和参与部门，审批通过后，由牵头部门形成质量提升工作方案并组织实施，并完善数据质量度量规则。数据治理专项小组对数据质量提升情况进行评估总结，促进数据质量的不断改进。数据质量提升步骤铁路数据质量提升的步骤如下图5-4所示：图5-4数据质量提升步骤Figure5-4Theliftingstepsofdataquality数据质量提升的步骤的主要环节涵盖规则识别、质量评估、问题稽核、质量报告、问题解决和质量提升六个步骤。1）识别关键数据和业务规则关键数据往往具备隐含价值高、影响力大等特点，涉及监管、财务、客户、企业内部协同等方面。业务规则往往与具体业务逻辑有关，可以从管理规范，业务手册，流程规范和业务调研过程中获得。识别和利用关键数据和业务规则，进而有针对性地构建形成度量规则库。企业级主数据作为共享共用的基础数据，可以作为基础的业务数据规则，包括组织、客商、产品、物料、项目等相关信息等，面向跨组织、跨部门、跨系统、跨业务流程等不同维度进行广泛应用，与业务数据质量紧密相关。2）初始数据评估与问题分析结合《DAMA数据管理知识体系指南》中对于数据质量评价的要求，确定F铁路公司从以下几方面对数据质量进行评估如下表所示5-8所示：

表5-8数据质量评价指标Table5-8Dataqualityevaluationindex评价指标含义准确性指数据正确表示“真实”实体的程度完备性指是否存在必要的数据一致性指数据值按照数据标准在不同数据集之间保持一致完整性指数据流转过程中无缺失和遗漏合理性指数据模式符合数据反映的逻辑性及时性指数据的更新频度符合预期唯一性指同一数据有唯一的标识符有效性是指数据值与定义值域一致根据以上评估指标对关键业务数据进行质量问题评估和数据问题分析，总结常见的问题产生的原因和场景如下：缺乏企业级的数据标准由于缺乏统一企业级数据标准，造成不同部门对相同信息项的业务含义理解的不一致，形成一物多码、一码多物等情况，严重影响数据质量和后续的数据分析。信息采集或录入不一致信息采集或录入过程中，缺乏统一的录入标准和约束，比如物资名称，有的录入全称，有的录入简称，造成信息不一致，难以统一管理或统计分析。同时，由于人为失误如填写数据错误、数据单位错误等问题，导致信息异常或错误，严重影响数据质量。数据同步不一致针对信息系统更新、改造、升级及数据同步等场景，利用ETL工具进行数据的抽取、转换和加载的过程中，存在人为或技术错误，容易造成数据重复抽取、数据加载转换规则错误导致数据异常等问题；在改造系统过程中对数据进行孤立修改却未及时同步数据，也容易影响到相关系统，造成数据质量问题。3）数据质量稽核数据质量稽核依据业务度量规则，将业务度量规则利用正则表达式、函数转化为信息系统的数据质量规则，面向数据表、数据字段进行稽核，并构建数据稽核任务执行稽核，形成数据质量问题稽核报告如图5-5所示：图5-5数据质量检核步骤Figure5-5Stepsofdataqualitycheck数据质量稽核，将业务度量规则转化为系统可执行的稽核方法，调度稽核任务，生成稽核结果，采集问题文件，查询稽核结果，并生成数据质量稽核报告。4）质量问题稽核报告。数据质量稽核报告包括质量问题描述、稽核规则、问题样例、信息系统名称、联系人等信息。数据质量稽核报告需及时通知业务主管部门，由业务主管部门协同技术部门尽快解决数据质量问题。5）数据质量问题解决数据标准制定通过对主数据、元数据等数据进行规范和统一管理，形成权威的数据标准，作为其他业务系统数据质量度量规则定义的依据，同时，也可以将满足质量要求的数据发布为临时数据标准，检查业务数据表或数据项是否满足要求，进而把控数据质量不断提升。信息采集或录入方面针对信息采集或录入场景，增加对采集或录入数据的判断和检查。通过定义标准化信息选项和字母校验、数字校验及身份证规则等典型数据字段校验规则，增加输入项解释、非空判断，保证数据的规范性。数据同步方面针对数据同步场景，对比数据同步前和同步后数据项的业务含义和数据特征，设置数据同步校验机制，对数据同步过程中的完整性、一致性、准确性进行校验，可以通过对比数据量、条目数、典型数据文件等方式，确认数据同步的一致性，有效避免由于人为或技术问题造成数据质量问题数据。6）根因分析与持续提升通过解决数据质量问题并分析产生原因，积累数据质量问题解决经验，并对数据质量问题的整改和提升过程进行总结，纳入知识库