公共数据清洗比对流程、探查清单、质量检查规则、报告示、转换规则示例

（规范性）

数据清洗比对流程图A.1规定了数据清洗比对流程。数据清洗比对流程

（资料性）

数据探查清单示例数据探查清单包括数据表探查清单和数据字段探查清单。数据表探查清单示例见表B.1。数据字段探查清单示例见表B.2。数据表探查清单示例所属部门表名表注释最后更新时间数据量是否更新更新周期XXX部门XXX_XX_XXXX信息202X-XX-XX10000是每月XXX局XX_XXXXXXXXXX变更信息202X-XX-XX10000是实时数据字段探查清单示例表名字段名字段注释数据类型空值数量空值率是否允许空值是否主键是否有重复数据是否使用字典值域样例数据XXXX_XXId主键ID；自增数值00.00%否是否否—100XXXX_XXis_deleted是否删除：0未删除；1删除数值00.00%否否是是0、10

（资料性）

数据质量检查规则示例数据质量检查规则示例见表C.1。数据质量检查规则示例规则名称规则说明字段完整检查规则检查字段数量与数据探查清单相比是否一致记录完整检查规则检查记录数量与数据探查清单相比是否一致空缺值检查规则检查值的填充是否完整，是否存在空缺值逻辑检查规则检查数据是否存在逻辑或常识性错误，如幼儿园入学年龄为18岁格式检查规则检查数据是否存在格式错误，如身份证件号码长度大于18位值域检查规则检查数据的值是否在允许取值的范围之内字段重复检查规则检查字段是否存在重复记录重复检查规则检查记录是否存在重复数据冲突检查规则检查分布在不同表中的相同数据是否一致数据更新检查规则检查数据是否已按照要求进行更新

（资料性）

数据质量检查报告示例数据质量检查报告示例见表D.1。数据质量检查报告示例数据质量检查报告报告日期：202X年XX月XX日总体情况：截止到202X年XX月XX日XX:XX，检查总表数XX个，实施质检规则XX个，检查记录数XXXXX条。发现问题数据XXXX条。问题主要集中在XXXX规则上。数据时效性校验通过率为XX.XXXX%，更新情况较差。表数据量及问题率统计序号来源部门名称数据资源名称表名质检数据量（条）问题数据量（条）问题率（%）1XXX部门XXXX信息xx_xx_xxxx9999854785.479%2XXXX部门XXX信息xxx_xxxxxx9900.000%数据质量问题序号表名字段名质检规则问题数据量（条）合格率（%）检查时间1xxx_xxxxxxlianxidianhua固定电话号码或手机号码格式校验271397.683%202X年XX月XX日2xxx_xxxxxxchuanzhen传真号码格式校验2629177.555%202X年XX月XX日

（资料性）

数据转换规则示例数据转换规则示例见表E.1。数据转换规则示例规则类型规则名称规则说明格式转换规则日期型统一格式转换将各类日期型数据统一转换为符合GB/T7408—2005的日期型数据，如YYYYMMDD时间型统一格式转换将各类时间型数据统一转换为符合GB/T7408—2005的时间型数据，如hhmmss日期时间型统一格式转换将各类日期时间型数据统一转换为符合GB/T7408—2005的日期时间型数据，如YYYYMMDDThhmmss代码转换规则性别数据统一代码转换将人员性别代码按照GB/T2261.1—2003中“性别代码”进行统一转换民族数据统一代码转换将人员的民族代码按照GB/T3304—1991中“民族数字代码”进行统一转换婚姻状况数据统一代码转换将人员的婚姻状态代码按照GB/T2