数据质量管理

1、精选优质文档-倾情为你奉上精选优质文档-倾情为你奉上专心-专注-专业专心-专注-专业精选优质文档-倾情为你奉上专心-专注-专业数据质量管理2019年7月29日目录 TOC o 1-3 h z u 数据质量管理概述数据质量管理定义数据质量管理（Data Quality Management），是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。DAMA（国际数据管理协会）中对数据质量管理的阐述如下：数据质量预期为定义数据质量框架提供必要的输入。此框

2、架包括定义需求、定义检查策略、定义度量和定义反映数据质量和绩效变化的监控措施。这些需求反映了业务数据预期的3个方面：以一种方式将数据预期记录在业务规则中，以一种方式在该维度上度量数据质量，以及一个可接受度的阈值。数据质量管理评价标准数据质量度量的规则有很多，一般常用的如下：一致性：一致性是指统一数据来源、统一存储和统一数据口径，确保一个数据集的数值和另一个数据集的数值一致，一致性主要考察的是业务约束检查；有效性：有效性是指数据实例的存储、交换或针线的格式是否与数据值域一致，是否与其他相似的属性值一致，有效性确保了数据值遵循与数据元素的多个属性：数据类型、精度、格式、预定义枚举值、值域范围及存储

3、格式等，有效性主要考察的非法值检查，数据格式校验；准确性：准确性是指数据准确反映其所建模的“真实世界”实体的程度，通过度量数据值与一个已确定的正确信息参照源的一致性来衡量其准确性。准确性主要考察码值校验；完整性：完整性是指一个数据集的特定属性都被赋予了数值或者一个数据集的全部行记录都存在。包括实体不缺失、属性不缺失、记录不缺失和字段值不缺失四个方面完整性，主要考察空值校验、记录数校验等；合理性：合理性指按用户实际情形进行校验规则扩展；唯一性：唯一性主要体现在一个数据集中，没有实体多余一次出现。满足实体唯一性，说明没有实体出现多余一次，并且每个唯一实体有一个键值，且该键值只指向该实体。唯一性主要

4、用于主键重复检查、主外键校验、总分校验；及时性：指数据刷新、修改和提取等操作的及时性和快速性，数据的采集和入库要满足业务发展和管理的时效性要求；精确性：指计量误差、度量单位等方面的精确程度。数据管理成熟度数据质量成熟度模型分为四个等级，分别是初始级-定义级-管理级-优化级；初始级：通过数据库进行数据管理；定义级：通过模型管理进行数据管理；管理级：通过元数据进行数据管理；优化级：通过企业标准数据架构进行数据管理；其中，初始级和定义级阶段，每个系统都是分离的数据管理，非标准的独立的数据管理，管理级和优化级阶段，采用企业集成数据管理和标准化元数据管理。数据质量问题分类数据质量主要针对单数据源数据和多

5、数据源数据两方面，两种类型数据都由实例层数据和模式层数据组成。数据清洗技术是解决数据质量问题的一种有效方法，可以检测和修正实例层的脏数据。但是数据清洗技术无法全面地解决数据质量问题中模式层的脏数据，必须借助数据整合技术。数据质量问题的原因与实施方法数据质量问题的原因分析数据质量的问题突出表现在：核心问题收入减少、成本增加、风险增高。分别从信息化标准建设、信息管理制度、数据管理流程、技术能力建设方面来看数据数据质量问题的原因：1）信息问题域：缺乏统一的数据描述导致业务理解差异信息标准不统一产生低质量的数据，导致业务人员对数据缺乏信心2）管理问题域对数据质量的价值及其重要性认识不足缺乏专门的数据质

6、量管理组织与相关的管理制度3）流程问题域需求变更、开发测试等方面没有流程规范和制度数据创建、数据使用、数据维护等方面没有流程规范和制度4）技术问题域系统建设重功能轻数据系统接口复杂，数据流向不清，缺乏对数据的整体规划具体数据处理的各技术环节的异常造成的数据质量问题数据质量管理的意义可灵活配置检核规则：内置多种数据质量问题的检核规则，支持灵活的检核规则配置。有效监测数据质量问题：建立企业数据平台的数据纵横监控网，有效发现仓库内的数据质量问题，并提供数据告警和质量问题分析报告。建立质量评价体系：建立考核指标，量化数据质量的整体情况，找出数据质量的薄弱环节。提供多种系统接口：预留了与多种系统的接口，

7、系统间无缝集成。规范的问题管理流程及制度，精确管理问题每个阶段，完善的质量问题解决共享机制，实现数据质量的闭环管理数据质量管理的方法论数据质量管理的方法论和过程采用PDCA的问题处理机制，具体的数据质量提升周期包括评估认知和行动阶段，管理策略包括：数据质量指标质量检核运行质量问题报警质量问题分析问题管理流程。（1）定义业务需求和方法：定义企业的数据质量管理需求，确定数据质量管理和评估的标准；（2）分析信息环境：分析当前的企业信息化环境和系统数据，以及数据质量管理制度和流程是否满足数据质量管理实施的条件；（3）评估数据质量：根据选用的数据质量标准和评估体系，对当前系统的数据进行数据质量评估；（4

8、）评估业务影响：根据数据质量检测的结果，评估数据质量问题对业务的影响程度；（5）识别根本原因:采用鱼骨图等方式，分析探究产品问题数据的根本原因；（6）制定提升方案：根据数据质量问题的产生原因和数据质量管理标准，制定提升方案；（7）预防未来数据错误：制定和执行数据质量提升方案，强制要求新入库的数据按照新的数据质量规则进行处理，确保未来数据满足质量管理要求；（8）发现及纠正当前数据错误：按照数据质量标准和业务处理建议，将当前错误数据进行数据清洗和转换，使得历史数据也满足质量管理要求；（9）实施监督控制：对整个数据质量管理流程进行全流程、全方位的监督控制，确保数据标准定的好、落得下，数据质量问题抓得

9、准、改的好，数据质量能得到全面提升；（10）沟通行动和结果：在数据质量问题处理过程中，数据质量管理员收集在问题处理过程中涉及到各种资料和方法，反馈到数据管理主管及相关人员。同时将数据质量管理指标和问题处理经验的知识库沉淀。数据清洗针对数据质量问题，目前的主要处理方式是进行数据清洗。数据清洗加工原则1）方法一致性数据资源清洗加工工作应统一决策，同一数据库范围内工作方法、技术指标均应当统一，从而达成数据产品的一致性。2）数据可信性数据可信性包括精确性、完整性、一致性、有效性、唯一性。精确性：描述数据是否与其对应的客观实体的特征相一致。完整性：描述数据是否存在缺失记录或缺失字段。一致性：描述同一实体

10、的同一属性的值在不同的系统是否一致。有效性：描述数据是否满足用户定义的条件或在一定的域值范围内。唯一性：描述数据是否存在重复记录。3）数据可用性数据可用性包括时间性、稳定性等。时间性：描述数据是当前数据还是历史数据。稳定性：描述数据是否是稳定的，是否在其有效期内。数据清洗质量评估要求数据清洗的评估实质上是对清洗后的数据的质量进行评估，而数据质量的评估过程是一种通过测量和改善数据综合特征来优化数据价值的过程。数据质量评价指标和方法研究的重点在于数据的含义、内容、分类、分级、质量的评价指标等的研究分析。数据清洗质量评价可以归纳包含以下12个维度的基本评估指标：a）数据规范(Data specifi

11、cation)：对数据标准、数据模型、业务规则、元数据和参考数据进行有关存在性、完整性、质量及归档的测量标准；b）数据完整性准则(Data integrity fundamentals)：对数据进行有关存在性、有效性、结构、内容及其他基本数据特征的测量标准；c）重复(Duplication)：对存在于系统内或系统间的特定字段、记录或数据集意外重复的测量标准；d）准确性(Accuracy)：对数据内容正确性进行测量的标准；e）一致性和同步(Consistency and synchronization)：对各种不同的数据仓库、应用和系统中所存储或使用的信息等价程度的测量，以及使数据等价处理流程的

12、测量标准；f）及时性和可用性(Timeliness and availability)：在预期时段内数据对特定应用的及时程度和可用程度的测量标准；g）易用性和可维护性(Ease of use and maintainability)：对19数据可被访问和使用的程度，以及数据能被更新、维护和管理程度的测量标准；h）数据覆盖(Data coverage)：相对于数据总体或全体相关对象数据的可用性和全面性的测量标准；i）表达质量(Presentation quality)；如何进行有效信息表达以及如何从用户中收集信息的测量标准；j）可理解性、相关性和可信度(Perception，relevance

13、and trust)：数据质量的可理解性和数据质量中执行度的测量标准，以及对业务所需数据的重要性、实用性及相关性的测量标准；k）数据衰变(Data decay)：对数据负面变化率的测量标准；l）效用性(Transactability)：数据产生期望业务交易或结果程度的测量标准。在评估项目数据质量过程中，需要首先选取几个合适的数据质量维度，再针对每个所选维度，制定评估方案，选择合适的评估手段进行测量，最后合并和分析所有质量评估结果。数据清洗角色定义数据清洗管理涉及的数据管理角色有提供者和管理者。提供者负责提供清洗的业务数据，管理者负责数据清洗系统的基本运行管理、数据清洗规则制定、数据清洗发起等。

14、项目中提供者为数据接入方，管理者为项目建设方。具体针对特殊情况有所变化。提供者管理要求：提供者应配合管理者根据接入数据指标规范与接入数据内容、接入数据流程要求，配置与部署接入服务，实现接入数据库的数据交换；提供者应该提供待清洗数据的数据结构；提供者应接收数据清洗系统的问题数据，及时修改，并通知管理者。管理者管理要求：管理者对数据清洗系统的管理要点应包括:管理者应负责协调并明确数据清洗规则;管理者应负责构建清洗后数据及问题数据各自的数据库和数据表的结构；管理者应负责将问题数据库提交给提供者，并协调提供者修改完善。数据审核管理要求：数据审核的目标是确保数据内容与被描述对象相一致，并且质量符合数据产

15、品标准要求。数据审核可以贯穿于整个数据资源加工过程之中，可以量化评价的内容包括数据来源质量评价、数据加工模型与算法质量评价、数据产品质量评价等。数据审核的目标是确保数据内容与被描述对象相一致，并且质量符合数据产品标准要求。数据审核可以贯穿于整个数据资源加工过程之中，可以量化评价的内容包括数据来源质量评价、数据加工模型与算法质量评价、数据产品质量评价等。数据矫正处理要求：在数据阶段化过程中解决问题，对于那些同意纠正的数据，应当由原始数据提供者和管理者一起制定正确的规则，在数据接入过程中清洗。唯一正确的结果是纠正原始加载的数据并且用当前的数据校正历史数据。原始数据提供者应定期对数据源系统进行检查和

16、清洗。数据清洗的方法数据清洗的方法包括：缺失数据处理、相似重复对象监测、异常数据处理、逻辑错误监测、数据不一致性监测等。用不同方法清洗的数据，对后续挖掘应用工作会产生不同的影响。数据预处理在汇聚多个维度、多个来源、多种结构的数据之后，需要对数据进行预处理。预处理过程中除了更正、修复系统中的一些错误数据之外，更多的是对数据进行归并整理，并储存到新的存储介质中。1）数据抽取数据抽取是从数据源中抽取数据的过程。数据抽取最常用的是ETL技术，具体数据抽取工具种类繁多，可根据实际业务数据的特点进行选择。从数据库中抽取数据一般有以下两种方式。全量抽取：全量抽取类似于数据镜像或数据复制，它将数据源中的表或视

17、图的数据原封不动的从数据库中抽取出来。该方法主要用于在系统数据初始化时使用。增量抽取（更新）：增量抽取是指在上次抽取完成后，对数据库中新增或修改的数据的抽取。2）数据过滤数据过滤要初步实现对业务数据中不符合应用规则或者无效的数据进行过滤操作，使得数据标准统一。3）数据转换数据转换要实现对数据的格式、信息代码、值的冲突进行转换。常见的业务数据转换规则详见下表“业务数据转换规则表”。4）数据加载数据加载过程进行的主要操作是插入操作和修改操作。将干净数据及脏数据分别插入到不同的数据表中。对于数据加载工作，一般会搭建数据库环境，如果数据量大(千万级以上)，可以使用文本文件存储结合脚本程序处理进行操作。

18、数据清洗数据清洗规则数据清洗规则包括：非空检核、主键重复、非法代码清洗、非法值清洗、数据格式检核、记录数检核。非空检核：要求字段为非空的情况下，需要对该字段数据进行检核。主键重复：多个业务系统中同类数据经过清洗后，在统一保存时，为保证主键唯一性，需进行检核工作。非法代码、非法值清洗：非法代码问题包括非法代码、代码与数据标准不一致等，非法值问题包括取值错误、格式错误、多余字符、乱码等,需根据具体情况进行校核及修正。数据格式检核：通过检查表中属性值的格式是否正确来衡量其准确性，如时间格式、币种格式、多余字符、乱码。记录数检核：指各个系统相关数据之间的数据总数检核或者数据表中每日数据量的波动检核。业

19、务约束检核应在实施过程中与业务人员共同确定，业务人员从业务的正确性、一致性、有效性等角度考虑数据的检核规则，如：建档日期、入学日期、民族信息等的有效性检核。脏数据处理数据质量中普遍存在的空缺值、离群值和不一致数据的情况，这些脏数据可以采用人工检测、统计学方法、聚类、分类、基于距离、关联规则等方法来实现数据清洗。根据缺陷类型分类，可以将脏数据分为缺失值数据、错误数据和错误关联数据三种核心问题数据进行数据清洗。（A）缺失值数据处理：不完整的、含噪声的数据是未经清洗的数据集的共同特点。在数据集中，若某记录的属性值被标记为空白或“-”等，则认为该记录存在缺失值，是不完整的数据。缺失值是最常见的数据问题

20、，处理缺失值按照以下步骤进行：确定缺失值范围：对每个字段都计算其缺失值比例，然后按照缺失比例和字段重要性，分别制定策略，策略制定参考下图：对于一些重要性高，缺失率较低的缺失值数据，可根据经验或业务知识估计，也可通过计算进行填补。对于指标重要性高，缺失率也高的缺失值数据，需要和取数人员或业务人员了解，是否有其他渠道可以取到相关数据，必要时进行重新采集。若无法取得相关数据，则需要对缺失值进行填补。对于指标重要性低，缺失率也低的缺失值数据，可只进行简单填充或不作处理。对于指标重要性低，缺失率高的缺失值数据，可备份当前数据，直接删掉不需要的字段。填补空缺值的方法有以下三种：1）以业务知识或经验推测填充

21、缺失值；2）以同一指标的计算结果(均值、中位数、众数等)填充缺失值；3）以不同指标的计算结果填充缺失值。比如：年龄字段缺失，但具有公民身份证号， 则可从公民身份证号提取年龄数据。（B）错误数据处理错误数据包含格式内容问题数据和逻辑问题数据两类。格式内容问题有以下三类：时间、日期、数值、全半角等显示格式不一致，内容中有不该存在的字符，数据内容与该字段应有内容不符。时间、日期、数值、全半角等显示格式不一致处理方法是将其处理成一致的某种格式。这种情况的数据多数由人工收集或用户填写而来，很大可能性在格式和内容上会存在一些问题。另外，在整合多来源数据时也有可能遇到。内容中有不该存在的字符需要以半自动校验

22、半人工方式来找出可能存在的问题，并去除不需要的字符。典型问题如数据的开始、中间或结尾存在空格，或姓名中存在数字符号、公民身份证号中出现汉字等。数据内容与该字段应有内容不符该问题不能简单地以删除来处理，因为成因复杂，可能是人工填写错误、前端没有校验、导入数据时部分或全部存在列没有对齐的问题等，因此要详细识别问题类型。逻辑问题数据处理一般采用逻辑推理的方法，可以去掉一些使用简单逻辑推理即可直接发现问题的数据，防止分析结果错误。主要包含以下三个步骤：1）去重去重放在格式内容清洗之后，原因是格式内容清理之后才能总体发现重复的业务数据。在复杂工作环境中，由于数据多次上报，或是其他人为因素，导致数据重复值

23、的出现是普遍的，主要使用字段相似度来识别判断重复值。2）离群值（异常值）采集数据时可能因为技术或物理原因，数据取值超过数据值域范围。为处理离群值，第一步即为识别离群值。识别离群值的方法主要有如下两种：数据分布特征及箱型图方法一般情况下，对于离散程度并非非常大的数据源来说，数据自身分布将会集中在某一区域之内，所以利用数据自身分布特征来识别离群值，可采用直观的箱型图方法可视化识别离群值及异常值。基于欧几里德距离的聚类方法一般情况下，利用数据分布特征或业务理解来识别单维数据集中噪声数据是快捷有效，但对于聚合程度高，彼此相关的多维数据而言，通过数据分布特征或业务理解来识别离群值的方法会缺乏有效性。面对

24、这种情况，聚类方法提供识别多维数据集中噪声数据的方法。识别离群值后，操作人员需要按照经验和业务流程判断其值的合理性：若此数值合理，则保留该数值；若不合理，则按照其重要性考虑是否需要重新采集。对于重要性较高而又无法重新采集的数值，按照缺失值办法处理。对于重要性较低数值，可直接去除。3）修正矛盾内容有些字段可以互相验证。需要根据字段的数据来源，来判定哪个字段提供的信息更可靠，去除或重构不可靠字段。逻辑错误除以上列举情况，还有很多其他情况，在实际操作中需根据实际情况处理。错误关联数据处理方法如果数据有多个来源，有必要进行关联性验证。多个来源的数据整合具有复杂性，要注意数据之间的关联性，尽量在分析过程

25、中避免出现数据之间互相矛盾。对于不一致数据的处理，主要体现为数据不满足完整性约束。可以通过分析数据字典、元数据等，还可梳理数据之间的关系，并进行修正。不一致数据往往是因为缺乏数据标准或未依照已有标准执行而产生。错误关联数据清洗方法主要有以下方法：a）统计学方法：将属性当做随机变量，通过置信区间来判断值的正误。b）基于聚类的方法：根据数据相似度将数据分组，发现不能归并到分组的孤立点。c）基于距离的方法：使用距离度量来量化数据对象之间的相似性。d）基于分类的方法：训练一个可以区分正常数据和异常数据的分类模型。e）基于关联规则的方法：定义数据之间的关联规则，不符合规则的数据被认为是异常数据。数据质量

26、管理系统系统定位数据质量管理系统以暴露和提升系统数据质量为目标、度量规则和检核方法为主线，持续监控各系统数据质量波动情况及数据质量规则占比分析，定期生成各系统关键数据质量报告，掌握系统数据质量状况。通过自身调度模块或者第三方调度为触发，帮助企业建立统一的数据质量管理和度量管理体系。（制定标准-发现问题-分析问题-解决问题-知识库经验沉淀）。系统价值1）最佳投资回报通过数据质量管理系统的应用帮助企业提升效率、降低成本、规范管理，从而提升企业数据质量水平。2）提升质量管理效率集中统一的数据质量管理平台，基于统一的质量检核和数据质量监控，确保管理和业务相关人员及时获取信息、处理相关工作。避免不同业务

27、系统导致的信息竖井，最大限度减少同一数据的重复检核和处理。3）降低质量管理成本数据质量管理统一建设、统一实施，避免各系统各自为政进行数据质量功能模块的重复建设和开发，降低建设成本、提高实施效率、有效降低企业成本。4）规范质量管理流程基于统一的数据质量检核体系，检核类别明确、规范可管理流程使得管理规范化。通过数据质量问题处理流程及相关功能实现与管理使问题的发现和处理达到闭环管理、规范化管理提升数据质量。5）最佳拥有成本实施成本低，相对于国外相同档次管理软件，实施、维护、运营成本低，无需依赖其他基础平台就可以快速部署。系统架构逻辑架构技术架构功能架构主要功能模块数据质量定义模块数据质量定义模块是整

28、个数据质量平台的基础，它通过对质量维度、检核类别、度量规则以及检核方法的定义和管理给检核任务模块提供必要的输入。1）质量维度定义通过对不同业务规则的收集、分类、抽象和概括，定义了六种数据质量维度。质量维度反映了数据质量不同的规格标准，也体现了高层次的指标度量的特点。一致性：一致性主要考察的是业务约束检查；有效性：有效性主要考察的非法值检查，数据格式校验；准确性：准确性主要考察码值校验；完整性：完整性主要考察空值校验、记录数校验等；合理性：合理性指按用户实际情形进行校验规则扩展；唯一性：唯一性主要用于主键重复检查、主外键校验、总分校验；及时性：指数据的采集和入库要满足业务发展和管理的时效性要求；

29、2）检查类别管理在质量维度的基础上根据各业务规则的具体特点细化出了九种检核类别，使得数据质量问题更具有条理性和层次感，并可以直接体现出问题数据的特征。检核类别从实施的角度对各质量维度进行更小粒度的划分，并直接对度量规则的提出进行指导性的定义和说明。表级指标：提供从检核目标（表及字段）定义、查询、修改、删除检核指标系统指标：提供从指标分类入口定义、查询、修改、删除检核指标基本信息：提供指标名、指标说明、执行频率、调度方式等信息输入等功能检核目标：提供指标的检核目标、管理部门、自定义SQL等操作等功能3）度量规则管理：度量规则是由业务人员根据各检核类别对不同的业务实体提出的数据质量的衡量标准。它是

30、各检核类别在不同业务实体上的具体体现。针对不同的业务实体依据检核类别定义出度量规则，每一个度量规则都是从业务实体的角度上对质量问题进行简单的描述，都包含一个或多个信息项，这些信息项就是每一个业务实体具体所要检核的对象，这样我们就在每一个度量规则的基础上根据不同的信息项定义出具体的检核方法。4）检验方法管理：检核方法是度量规则在不同信息项上的落地实施，也是检核任务模块任务执行的主体。根据度量规则中不同的信息项定义出不同的检核方法，每一个检核方法根据其检核对象定义各自的检核脚本以及相关的属性信息。检核方法中的检核脚本就是数据质量系统在执行检核操作时所实际执行的脚本，它反映了质量问题的检核逻辑，根据

31、检核类别的不同，其复杂度也不同。5）检验方法审核：为了方便检核脚本的定义，数据质量系统提供了脚本配置模板，填写好脚本配置模板后，系统便可生成检核方法各自的检核脚本。对于脚本配置模板，系统提供了相应的界面，在页面上导入模板后便可由系统自动生成检核方法，然后系统会校验这些检核方法的正确性，对于配置错误的脚本会予以标识，并可在界面中查询错误信息。质量检查任务调度模块检核任务调度模块是数据质量平台的核心，通过执行检核方法生成相应的检核结果问题数据文件，检核结果问题数据能够反映出用户所关心的数据质量问题。任务调度模块要支持检核机制、检核方法独立调度执行，为了不影响数据平台的正常数据跑批处理，产品提供第三

32、方调度接口，无缝的支持如ETL Plus、DataStage、Power center等调度平台的功能整合。按配置的依赖关系进行数据质量检核。使数据质量检核时对系统的压力可控。1）检查任务生成：检核任务调度模块统一管理系统内所有检核任务，在上游系统批处理作业结束之后会触发执行检核任务生成程序，生成相应的检核任务列表，发现有待执行的检核任务并且当前系统中没有正在执行的检核任务便会启动检核任务。2）检查任务状态监控：检核任务开始后立即将此任务的状态更改为“正在执行”，在执行检核过程中发现错误，即可将此检核方法对应的检核任务状态置为“执行出错”，对于成功检核完成的任务，将其置为“检核完成”。3）多线

33、程执行方式：一个检核任务通常包含很多检核方法，为了提高检核的效率，采用多线程方式。系统根据此次检核任务的检核方法数目来决定此次检核任务分配的线程数，同时为了避免给检核系统造成过大的压力，会有一个最大线程数，这个最大值可在系统配置模块中进行配置。检核方法会被分配给多个检核线程（线程数目由此次执行的检核方法数目决定，并拥有一个最大线程数），这些检核线程会同时启动，并且同时启动一个伴随线程。这个伴随线程用于记录这些检核方法的执行结果日志。4）检查结果文件生成：在检核任务执行过程中，依次执行各个检核方法，检核方法的执行实际上就是其检核脚本的执行。这些检核方法如果有查询出的数据便会在Receive目录中

34、生成其对应的检核结果文件（DAT文件），并同时生成一个同名的XML文件，作为结果文件到达的就绪标识。所有这些文件会存放在Receive目录中的以此次任务的检核日期为名称的文件夹中。检查结果采集模块采集程序使用Quartz作业的方式进行轮询采集，由于每次需要采集的文件数量不同，所包含的数据量也不同，再加之其他因素的可能性干扰，所以每一次作业所使用的时间不会相同，这样就会使得每一次作业启动时上一次作业未必已经结束。为了避免不同作业批次之间的资源争用问题，系统采用单作业执行的方式，如果作业启动时上一次作业还没有结束，则本次作业自动结束，直到上次作业结束才启动下一次作业。检核结果采集模块将检核结果文件采集入库，并在采集过程中对这些检核结果数据进行简单的汇总操作，并将这些明细数据和汇总数据分别存入结果明细表和汇总表。此过程中如果发生了异常则对数据库表进行回滚操作，以避免出现不完整的数据