《数据挖掘原理与应用 第2版 》课件 3.4数据准备-数据清理

第3章数据准备数据清理ETL中的数据清理应用模型2目标数据仓库装载数据源1数据源2

数据源3中间数据源抽取抽取清洗抽取清洗数据问题残缺数据部分应有的、关键的数据信息缺失。3例如商业运营数据中，分公司名称或客户区域信息残缺，或者业务系统中主表与明细表不能匹配等，都会对业务统计分析造成困难或带来偏差。数据问题残缺数据错误数据产生原因业务系统不够健全，缺乏对输入的判断和检验机制而直接写入数据库造成采集或输入错误4例如数值输入成了全角数字字符、字符串数据后面有多余的空格或回车符、日期格式不正确等处理时，对于全角字符、数据中有不可见字符的问题，可通过SQL语句的数据库操作进行甄别，由客户在业务系统修正之后抽取；日期数据格式错误或越界问题会导致ETL运行失败（失效），这类错误则需由业务部门在业务系统数据库中修正后再次抽取。例如将考试分数录入为了负值或超出100的数值等。数据问题残缺数据错误数据重复数据产生原因数据系统重复采集了同一数据；数据组织机制不够完善，缺乏对重复产生的数据的区分。一般处理方法删除重复项合并处理，并添加“次数”字段来进行频次记录。5某一业务数据因复制、分享、备份等操作多处存放，数据采集时也被多次抽取。例如数据库的主键设置不完善，无法区分重复产生的数据（例如无序号或时间戳等字段）例6数据问题残缺数据错误数据重复数据异义数据数据定义的语义差异，使数值所表达的意义有所偏差，并会造成数据处理结果的含义和解释的不同。7例如：将总分不同的测试成绩不经处理进行合并将表述学生对课程焦虑程度的由李克特量表衡量的“老师要纠正我错误时很害怕”问题和“去上课的路上感到很轻松”问题简单合并处理等一致性检查(consistencycheck)数据源内部及数据源之间从多数据源集成的数据可能有语义冲突定义完整性约束用于检测不一致性，通过分析数据发现联系，从而使得数据保持一致。根据每个变量的合理取值范围和相互关系，检查数据是否合乎要求，发现超出正常范围、逻辑上不合理或者相互矛盾的数据。清理方法用李克特量表测量的变量值出现了0或6体重出现了负数调查对象说自己开车上班，又报告没有汽车调查对象报告自己是某品牌的重度购买者和使用者，但同时又在熟悉程度量表上给了很低的分值性别变量定义1/01/28清理方法一致性检查(consistencycheck)消除重复项属性值相同的记录被认为是重复记录通过判断记录间的属性值是否相等来检测记录是否为重复项合并和清除是消除重复项的基本方法可将相同的记录进行合并消除，必要时可以添加计数变量对相同数据项出现的频次进行记录，用于后续的加权处理。9清理方法一致性检查(consistencycheck)消除重复项无效值和缺失值的处理由于调查、编码和录入误差，数据中可能存在一些无效值和缺失值，需要给予适当的处理常用方法估算10很多数情况下，缺失的值必须手工填入（即手工清理）用某个变量的样本均值、中位数或众数代替无效值和缺失值这种办法简单，但没有更为充分考虑数据中已有的信息，误差可能较大清理方法一致性检查(consistencycheck)消除重复项无效值和缺失值的处理由于调查、编码和录入误差，数据中可能存在一些无效值和缺失值，需要给予适当的处理常用方法估算逻辑推演11根据调查对象对其他问题的答案，通过变量之间的相关分析或逻辑推论进行估计例如，某一产品的拥有情况可能与家庭收入有关，可以根据调查对象的家庭收入推算拥有这一产品的可能性清理方法一致性检查(consistencycheck)消除重复项无效值和缺失值的处理由于调查、编码和录入误差，数据中可能存在一些无效值和缺失值，需要给予适当的处理常用方法估算逻辑推演整例删除12剔除含有缺失值的样本由于很多问卷都可能存在缺失值，这种做法的结果可能导致有效样本量大大减少，无法充分利用已经收集到的数据只适合关键变量缺失，或者含有无效值或缺失值的样本比重很小的情况清理方法一致性检查(consistencycheck)消除重复项无效值和缺失值的处理由于调查、编码和录入误差，数据中可能存在一些无效值和缺失值，需要给予适当的处理常用方法估算逻辑推演整例删除13如果某一变量的无效值和缺失值很多，而且该变量对于所研究的问题不是特别重要，则可以考虑将该变量删除这种做法减少了供分析用的变量数目，但没有改变样本量变量删除清理方法一致性检查(consistencycheck)消除重复项无效值和缺失值的处理由于调查、编码和录入误差，数据中可能存在一些无效值和缺失值，需要给予适当的处理常用方法估算逻辑推演整例删除14变量删除成对删除指对于两两配对的变量，如果某样本中其中一个变量数据缺失，则在对该配对变量进行数据统计时应删除含有缺失值的数据，而在进行其他变量数据统计时不做处理。处理时可采用保守的处理方法将缺失值用特殊码（例如-1、null等）进行标注，并不真正删除，数据统计时区分处理即可，这样可以最大限度地保留数据样本中的可用信息清理方法一致性检查(consistencycheck)消除重复项无效值和缺失值的处理错误值的检测及解决用统计分析的方法识别可能的错误值或异常值偏差分析识别不遵守分布或回归方程的值1557.6842.2868.4561.7447.1365.7042.3058.4048.4545.9445.2726.7241.0848.3444.2761.7253.5730.6253.3657.6133.5365.5944.6759.8428.8748.6855.6858.6347.9369.5247.1736.0448.9964.9542.7063.7438.0944.9680.0351.9051.0947.2977.7736.6358.3445.1958.3045.3866.1254.0860.5257.9437.0466.9171.1151.3269.4725.1445.2046.7853.6447.5670.2158.2745.5950.1252.0742.5038.7849.4633.4659.9737.1138.9041.4632.0744.2953.8352.6436.5655.3147.6642.1447.5944.5549.3463.1951.1142.0761.7655.0658.8351.4831.6050.2354.0333.2940.8456.9946.8154.0635.8751.0939.9535.6148.5165.5969.5649.2365.2327.9843.8752.0556.5961.1761.1652.1054.2950.2149.4658.4539.4041.0139.7361.6766.3050.7540.1148.4551.8856.4565.7738.2349.9953.4350.1284.0058.4833.6354.6937.2057.6448.4131.1335.7549.1742.1650.6830.9852.3238.6650.8145.8873.2836.8539.2750.6267.6158.8354.0255.7257.4771.1652.8537.2458.6156.1838.9557.4946.5262.0957.0355.8949.7585.0254.70【例】判定下列数据集中的异常值16前提：样本足够多；样本呈正态分布或近似正态分布。【例】判定下列数据集中的异常值前提检验样本足够多K-S和S-W检验计算均值、标准偏差17数值低于15.98或大于85.86的样本适用拉依达准则的剔除标准清理方法一致性检查(consistencycheck)消除重复项无效值和缺失值的处理错误值的检测及解决用统计分析的方法识别可能的错误值或异常值偏差分析识别不遵守分布或回归方程的值运