数据清洗方法ppt课件.pptx

目录 一 数据清洗工作流程二 数据清洗内容三 数据清洗规则四 数据清洗策略五 证件号码清洗报告 1 一 数据清洗工作流程 2 一 必录项及重要指标项空缺 二 指标值异常 三 指标值之间逻辑关系异常 四 业务逻辑关系异常 五 贫困户 贫困人口重复 二 数据清洗内容 3 一 必录项及重要指标项空缺1 贫困户识别标准为空2 贫困户属性为空3 主要致贫原因为空4 脱贫状态标识为空5 行政区划为空6 证件号码为空 三 数据清洗规则 4 一 必录项及重要指标项空缺7 文化程度为空8 健康状况为空9 劳动技能为空10 务工状况为空11 在校生情况为空 三 数据清洗规则 5 二 指标值异常1 证件号码不符合校验规则2 其他致贫原因超过两项3 出生日期与身份证号中的出生日期不符 三 数据清洗规则 6 二 指标值异常4 务工时间不符合指标采集规范5 人均纯收入为0或超5位数6 与村主干路距离超过50公里 三 数据清洗规则 7 三 指标值之间逻辑关系异常1 务工状况为 非务工 务工时间不为02 贫困户无务工人员 却有工资性收入3 贫困人口丧劳 有外出务工情况 三 数据清洗规则 8 三 指标值之间逻辑关系异常4 年收入逻辑关系异常5 人均纯收入逻辑关系异常6 低保贫困户无低保金 三 数据清洗规则 9 三 指标值之间逻辑关系异常7 与户主关系 和 性别 不符8 贫困户 家庭人数 与实际人口数不符9 贫困户存在多个户主10 残疾人无残疾证 三 数据清洗规则 10 四 业务逻辑关系异常1 贫困户家庭无在校生 主要致贫原因为 因学 2 贫困户家庭无残疾人 主要致贫原因为 因残 3 贫困户家庭成员健康状况全部为 健康 主要致贫原因为 因病 三 数据清洗规则 11 四 业务逻辑关系异常4 返贫户在上一年度贫困户属性非 已脱贫 5 贫困户空挂7 脱贫户人均纯收入低于国家贫困标准8 年龄在16 60周岁的健康人口劳动能力为 丧劳 9 五保户 含五保贫困户 五保农户 存在年龄在16 60周岁的劳动力 三 数据清洗规则 12 五 贫困户 贫困人口重复 1 姓名不一致 如 王思妍 王恩妍 2 性别不一致 3 文化程度不一致 4 三 数据清洗规则 13 五 贫困户 贫困人口重复 5 多省交界处 户籍地混乱 三 数据清洗规则 14 6 仅 识别标准 不同 7 仅 家庭人员数量 不同 8 家庭成员互为户主 9 拆户分户情况 10 嫁娶 改嫁 户口迁移情况 三 数据清洗规则 15 一 后台批量处理1 指标值含有空字符2 指标值含有特殊字符3 非指标体系代码选项4 指标值间存在逻辑关系 如错误出生日期可从正确身份证中提取并做更新处理 四 数据清洗策略 16 二 前台核实修改1 提取待清洗数据逐级下发2 基层扶贫部门核实修改 三 前台采集补录1 将应填未填项逐级下发2 基层扶贫部门采集录入 四 数据清洗策略 17 一 清洗内容1 证件号码重复2 证件号码有误3 证件类型值异常4 证件类型与证件号码不符 五 证件号码清洗报告 18 二 清洗规则1 证件号码重复2 证件号码包含空字符3 证件号码位数非15 18 20位4 18位身份证是否符合校验规则5 20位残疾证是否符合校验位及残疾类型 等级规则6 证件类型为空或非指标体系代码项7 证件类型与证件号码不符 五 证件号码清洗报告 19 五 清洗策略1 证件号码清洗 1 证件号码重复的 提取问题数据并提供修改建议 逐级下发 由基层扶贫部门核实后在前台修改 2 证件号码未采集的 空值 将问题数据逐级下发 由基层扶贫部门进行前台采集补录 3 证件号码包含空字符的 首先从后台批量剔除空字符 然后再进行一轮数据清洗处理 五 证件号码清洗报告 20 五 清洗策略1 证件号码清洗 4 非15 18 20位的证件号码 除中国人民解放军军官证以外 其他证件类型的证件号码 提取问题数据逐级下发 前台核实修改 5 15位证件号码 需升级为18位 将问题数据逐级下发 前台采集补录 五 证件号码清洗报告 21 五 清洗策略1 证件号码清洗 6 对于证件号码为18 20位的错误数据 证件号码中第18位校验码应为 X 但原采集录入为 全角 等字符的 可通过后台批量处理 统一替换为英文半角大写X 其他情况需提取问题数据逐级下发 由基层扶贫部门核实后在前台修改 五 证件号码清洗报告 22 五 清洗策略2 证件类型清洗 1 证件类型为空的 如果证件号码符合身份证和残疾人证校验规则 可以通过后台批量处理 否则逐级下发问题数据 通过前台采集补录 2 证件类型非指标体系代码项的数据 如指标值记录为 1 的数据 且证件类型确应为 居民身份证 户口簿 通过后台批量处理 统一将证件类型修改为 01 五 证件号码清洗报告 23 五 清洗策略3 证件类型与证件号码不符 1 已通过身份证规则校验的18位证件号码 若证件类型为 残疾人证 且健康状况为 残疾 属残疾人无残疾证范畴 与残联进行比对后更新 其他情况 统一批量修改为 居民身份证 户口簿 2 已通过残疾证规则校验的20位证件号码 证件类型批量修改为 残疾人证 健康状况修改为 残疾 五 证件号码清洗报告 24 六 清洗结果检查在数据清洗工作结束