（高清版）DB4208∕T 60-2024 《荆门城市大数据清洗规范》

代替DB4208/T60-2017荆门城市大数据清洗规范2024-03-01实施荆门市市场监督管理局发布IDB4208/T60—2024 I引言 12规范性引用文件 1 1 3 3 4 5 54.3.2数据类型 54.3.3数据质量 54.3.4数据存储 65技术规范 75.1数据清洗策略 75.1.1全人工方式 75.1.2全自动方式 75.1.3实时人机交互方式 75.1.4异步人机交互方式 75.2清洗规则库和清洗算法库 75.2.1清洗规则库 75.2.2清洗算法库 95.3数据清洗实施步骤 95.3.1数据预处理 95.3.2数据有效性检查 5.4数据清洗结果 附录A(资料性附录)数据清洗实例 A.1数据表的结构 A.2数据表清洗过程 Ⅱ本本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。本文件代替DB4208/T60-2017,与DB4208/T60-2017相比，除文件编号按照新要求更新外，主要技术参数未发生变化。本文件由荆门市电子政务信息中心(荆门市大数据中心)提出。本文件由荆门市行政审批局归口。本文件起草单位：荆门市电子政务信息中心(荆门市大数据中心)。本文件主要起草人：胡玉荣、罗传军、肖立刚、杨金龙、刘波、田原、陆焱、王娅纷、熊士杰、陈永锋、李祥琴、游明坤、赖旭、武永成、董尚燕、张牧、吴际林、刘珊艳、余建国、方靖、庄小林。本文件于2017年5月首次发布。本文件实施应用中的疑问，可咨询荆门市行政审批局，联系电话：(0724)2376309,邮箱：690882384@;对本标准的有关修改意见建议请反馈至荆门市电子政务信息中心(荆门市大数据中心),联系电话：(0724)2376119,邮箱：282685564@I据交易、技术产品、安全保密等关键共性标准的制定和实施。”享的总体框架和技术规范，涉及数据处理的整个流程：首先进行数据采集，然后通过数据整合(包括数据清洗和数据比对),将整合成功的数据装载到公共基础信息库，根据需要提供数据共享。五个标准规范的制定是荆门市电子政务信息中心(荆门市大数据中心)和全市信息行业人员的共同1本文件规定了荆门城市大数据中心数据清洗过程中应遵循的原则和要求。本文件适用于荆门市大数据中心建设过程中数据清洗的技术要求和规范。凡是不注日期的引用文件，其最新版本(包括所有的修改单)适用于本文件。GB/T25069信息安全技术术语DB4208/T58荆门城市大数据术语GB/T25069和DB420800/T58确立的以及下列术语和定义适用于本文件。为了便于使用，以下重复列出了上述标准中的某些术语和定义，未标明引业务领域进行分类，一旦新的数据进入，则旧的数主要用于信息资源的存储和管理，可包括中心汇聚库、部门数据库、公共基础信息库等。2在某一系统或构件中，各文档或各部分之间统一的、标准化的和无矛数据存储和处理的规定和限制。3在数据集内发现脏数据，并对脏数据进行修补或移除以提高数据质量的过程。在进行主要的数据处理之前对数据进行的一些初步的、基核验数据是否满足有关约束条件的操作，其目的是提高业务数据的质量。对数据文件进行维度唯一性检查，可用于检测一批结构化数据中的某些维度在表范围内是否重复。a)数据清洗管理方对采集的数据依据质量标准、业务要求等制定数据清洗规则；b)数据清洗管理方将制定好的数据清洗规则在大数据中心进行配置；则的数据保存至部门数据库；将不符合规则的数据，形成问题记录；d)主管部门组织协调数据提供方对反馈来的问题记录进行判断确认；若数据提供方判断并无问e)对数据清洗过程的每个操作进行日志备案，并将备案内容保存至日志数据库。4数据提供方主管部门数据管理方大数据中心/中心管理方开始规则库—配置--问题记录(有问题一形成依据一无问题一入库形成↓保存→保存→部门结束数据清洗操作日志中心5a)来自数据提供方的业务数据经数据采集处理，形成具有不b)结合配置的清洗规则库及清洗算法库，对中心汇聚库中各数据进行清洗操作，包括数据预处c)清洗后，将正确数据保存到部门数据库，错误数据及原因保存到错误数据库。同时将错误数d)对清洗操作过程及被操作数据进行日志备案，保存到日志数据库。供方业务系统的数据相比，不仅可消除数据错误，统一数据标准，而且可累积数据变化结果，在一起的数据，如HTML文档、电子邮件等。数据质量是保证数据应用的基础，评估数据是否达到预期设定的质量要求可从以下指标进行：输、存储和使用数据过程中，确保不遭受未授权方式的更改或破坏；b)一致性：评价数据是否遵循了保证上下一致；61新增数据、变更数据、实时数据存储。2数据有效性检查，数据重复性检查。3数据预处理，数据有效性检查。4数据处理周期控制。每月、每季、每年等周期性数据，可根据数据的业务更新时间，如周一、每月一号、每季一号、每年一号等形成周期性的统一数据片。各数据片形成完整、连续的数据存储次序，永久a)中心汇聚库与业务系统数据库的结构基本相同，区别在于其可提供数据变化的历史。中心汇聚库中每张数据表可增加一个表示数据时间点的日期类型字段(如批次号),保存数据的变化情况，便于数据的分析，如表2所示；字段名说明1批次号(PCH)b)部门数据库用于存储清洗后的正确数据，为实现数据的累计存储，有效提高数据质量，对最终人库的数据表可增加3个字段，如表3所示。数据入库处理方式为：1)新增数据：对数据清洗后的新增数据，可直接保存到部门数据库，START_DATE字段为入库的时间，END_DATE默认有效期为2099年，数据版本初始值为1;2)变更数据：对已存在相同业务主键的信息数据(如同一个人的教育信息),但部分业务字段数据发生变化(如学历、就读学校、就读时间等)。可直接新增到部门数据库，数据版年。同时将该信息记录上一版本的END_DATE也修改7字段名说明1数据最初入库的时间。2数据入库后的有效期截止时间。3数据版本。小数据量的数据源。既减少人工成本，也降低清洗程序的复杂度，但在程序运行过程中需要人的实时参与。通过相应领域的专家手工处理数据清洗报告中清洗程序不能自动处理的情况，既能节约人力成本，清洗工具的清洗效果和可扩展性。清洗规则库用于存放数据清洗规则。清洗规则可依据相关质量标准、编码要求、业务要求等制定，不同类型的问题需要设计不同的清洗规则。清a)业务规则：指符合业务逻辑的数值范围、有效值集合等。业务规则b)重复记录识别规则：用于判定d)不完整记录识别规则：用于指定不完整记录的数据条件，如记录中字段值缺失比率的阈值；8f)残缺数据识别规则：用于检g)噪声数据识别规则：用于检查识别噪声数据。b)支持规则的保存和重用，已定义d)规则文件可采用XML等格式保存在自定义规则中；a)规则语言方式：规则语言一般采用IF-THEN规则，用于业务规则、警告规则等清洗规则；b)创建规则数据表方式：用于重复识别规则、不完整记录识别规则、错误识别规则等清洗规则，清洗规则配置注意如下事项，见表4所示。1数据清洗任务运行周期宜定时执行，尽量不使用简单周期运行。2清洗任务运行的周期<数据采集周期的90%。3数据清洗应报出清洗掉的错误数据及原因。4保存每次清洗任务执行的结果。如总数据量、清洗数据量、新增数据量、重复数据量等。5数据清洗任务可在中心汇聚库上运行，与公共基础信息库分开，保证系统性能。进行标准化处理，然后存入数据库。9为满足数据后续处理的基本要求，首先需要按照配置规则对采集后的数据进行格式方确认并给出解决方案。解决方案可参考采用下面残缺数据和噪声数据处理方法。a)数据格式异常：如时间、日期、全半角、大小写、数值等数据格式不规范统一。通常与输入有关，在数据多来源时也有可能产生，将其处理成统一格式；b)数据内容异常：去除数据内容中多余字符。如公民身份号码存在无效字符；部门统一社会信用代码存在前空格、中间空格和后空格等。a)直接删除法：将数据集中包含残缺数据的记录全部删除。可能产生新的噪声数据，产生错误结果。该方法成本太大，效率差，适用于特殊的业务数据。数据(也可以称为“孤立点”);一个属性值包含了多个组成成分的嵌入值等。噪声数据可采用的处理a)分箱法：通过考察周围的值来平滑存储数据的值。即将存据值来局部平滑存储数据的值。可采用箱平均值、箱中值、箱边界值等方法平滑；b)回归法：利用拟合函数(如回归函数)找出适合数据的数学方程式来平滑数据。如线性回归要b)数据表应包含关键字段且满足字段相应约束条件。如人口信息应有姓名、公民身份号码等。说明1包括数据项的中英文名称、数据类型等。2数据库中字段约束，如非空、字段长度等。3业务系统中处理流程较多，可能会产生一些无效的数据项。4根据样例数据整理错误数据情况。5整理每类信息的业务主键，方便判断数据是否重复。6数据项标准规范对于数据项存在相应的业务要求和标准规范的梳理相应数据项规则。78对于一些错误数据，通过简单规则处理可以得到正确数据的情况。分解函数等实现对各表进行有效性检查，可采用的方法有排序法、融合法、效识别出相同的记录，导致数据集内存在多条重复数据。重复的主华人民共和国”被缩略为“中国”;位地址分别录入为荆门市象山大33号和荆门市象山大道33号；c)数据集有多个数据来源：同一条数据有可能会同时存在于部统中都会有自己相应的主键，在系统数据集成或交换时，造成数据集内的记录重复。中数据是否为同一信息；c)重复数据清洗：根据配置的清洗规则，对重复数据进行方案可参考采用下面的重复数据清洗策略。a)手工处理策略：手工选择一条最新、最合理的记录保留，删除其余记录。该策略实现简单，但清洗成本较高、效率较低，适合于对记录准确度要求比较高的情况；b)随机处理策略：随机选择一条记录c)关键字段策略：由领域专家确定某个或某几个字段为记录的关键字段，系统保留关键字段值d)最新处理策略：最新记录更有可能代表该组重复记录所要表达的信息。若记录集内的记录有e)完整处理策略：选择属性数据相对完整或重新组合属性数据更加完整的一条记录予以保留，删除其余记录。该策略准确性较高，但可能需要人工参与。数据清洗过程中可能产生3种数据，即正确数据、错误数据、错误数据的错误原因。根据清洗结果a)部门数据库：存储数据清洗后符合清洗规则的正确数据，便于后续操作；经数据提供方确认，若有问题则给出解决方案，若确认无问题，做出已修复标示；c)清洗日志数据库：可用于记录数据清洗过程中数据操作和被操作的数据，便于之后的排错调试、数据备份恢复、信息持久化等。另外，也可查看数据清洗日志，检查数据清洗的正确性，为修正清洗错误提供参考。(资料性附录)附录中以荆门市典型部门(荆门市机构编制委员会办公室)提供的各类数据表为例，如表A.1所示。汉字表名数据周期1每日2荆门市直机构基本情况统计表_事业每日3每日4荆门市直机构基本情况统计表_行政每日5每日6每日7每日表A.2为荆门市机构编制委员会办公室的事业单位情况统计表的表结构。中文字段名英文字段名1统一社会信用代码23456789宗旨和业务范围67表A.3为新增、重复和注销单位情况表的表结构。表A.3新增、重复和注销单位情况表中文字段名英文字段名123456789邮政编码65变动时间7A.2数据表清洗过程A.2.1数据预处理为满足数据后续处理的基本要求，采集来的数据需进行格式内容异常等数据预处理。表A.4和表A.5均为数据预处理过程。表A.4事业单位情况统计表预处理数据项1统一社会信用代码(credit_code)名称去空格处理，包括前空格、中间空格和后空格。2证书号(cert_no)名称去空格处理，包括前空格、中间空格和后空格。3法定代表人(legalp_name)名称去空格处理，包括前空格、中间空格和后空格。表A.5新增、重复和注销单位情况表预处理数据项1表号(table_no)名称去空格处理，包括前空格、中间空格和后空格。2文号(cert_no)名称去空格处理，包括前空格、中间空格和后空格。3登记机关代码(reg_org_code)名称去空格处理，包括前空格、中间空格和后空格。4登记机关级别代码(reg_org_level_code)名称去空格处理，包括前空格、中间空格和后空格。5登记机关行政区划代码(reg_org_adm_code)名称去空格处理，包括前空格、中间空格和后空格。6部门统一社会信用代码(dept_credit_code)名称去空格处理，包括前空格、中间空格和后空格。A.2.2数据有效性检查通过分析样例数据，依据数据业务要求及标准规范等，梳理出清洗规则进行数据有效性检查。表A.6和表A.7均为数据有效性检查过程。表A.6事业单位情况统计表有效性