数据挖掘原理与应用-以石油勘探开发为例 课件 3.3 数据清理

3.3数据清理数

据

清

理一、数据缺失的处理引起缺失值的原因设备异常与其他已有数据不一致而被删除因为误解而没有被输入的数据在输入时，有些数据因为得不到重视而没有被输入数

据

清

理如何处理缺失值忽略元组：最简单。例如：在分类任务中，类别标签不可少，当类别标签缺少时通常这么做当每个属性缺少值的百分比变化很大时，它的效果非常差。人工填写缺失值：工作量大，可行性低使用一个全局变量填充缺失值：自动填补方法。例如：使用unknown或-∞数

据

清

理如何处理缺失值使用属性的平均值填充缺失值用同类样本的属性均值填充缺失值使用智能的方式填充缺失值：使用像Bayesian公式或判定树这样的基于推断的方法图使用平均值填补缺失值数

据

清

理

二、噪声数据的处理

噪声：指被测量变量的随机错误或偏差。引起噪声的原因数据采集工具的问题数据输入错误数据传输错误技术限制（客观因素的制约）命名规则的不一致数

据

清

理常见的噪声数据处理技术分箱(binning)首先排序数据，并将他们分到不同的箱中可以按箱的平均值平滑、按箱中值平滑、按箱的边界平滑回归：通过让数据适应回归函数来平滑数据聚类：监测并且去除孤立点计算机和人工检查结合：计算机检测可疑数据，然后对它们进行人工判断数

据

清

理分箱(binning)

分箱方法：通过考察“邻居”(即周围的值)来平滑有序数据值。存储的值被分布到一些“桶”或箱中。由于分箱方法参考相邻的值，因此它进行的是局部平滑。数

据

清

理分箱(binning)首先排序数据，并将它们分到箱子中然后可以按箱的平均值平滑、按箱中值平滑、按箱的边界平滑等等分箱方法统一权重，也称等深分箱法，按记录行数分箱，每箱具有相同的记录数统一区间，也称等宽分箱法，按区间范围平均分布各箱最小熵，使在各区间分组内的记录具有最小的熵，数据集的熵越低说明数据之间的差异最小用户自定义区间，用户根据实际需要自定义区间数

据

清

理分箱示例[例3-2]

对不同油田生产的原油产量排序后的值为：800，1000，1200，1500，1500，1800，2000，2300，2500，2800，3000，3500，4000，4500，4800，5000，共16个数据样本，可分别按照如下方法划分箱：1）等深分箱法（深度为4），则：箱1：800，1000，1200，1500箱2：1500，1800，2000，2300箱3：2500，2800，3000，3500箱4：4000，4500，4800，5000数

据

清

理2）等宽分箱法，设定区间范围为1000：箱1：800，1000，1200，1500，1500，1800箱2：2000，2300，2500，2800，3000箱3：3500，4000，4500箱4：4800，50003）用户自定义，将原油产量划分为1000以下、1000-2000，2000-3000，3000-4000和4000以上：箱1：800箱2：1000，1200，1500，1500，1800，2000箱3：2300，2500，2800，3000箱4：3500，4000箱5：4500，4800，5000数

据

清

理

对等深分箱法，用箱的平均值平滑，箱中每一个值被箱中的平均值替换，得到如下结果：箱1：800，1000，1200，1500箱2：1500，1800，2000，2300箱3：2500，2800，3000，3500

箱4：4000，4500，4800，5000箱1：1125，1125，1125，1125箱2：1900，1900，1900，1900箱3：2950，2950，2950，2950箱4：4575，4575，4575，4575数

据

清

理

使用箱的边界进行平滑。箱中的最大和最小值被视为箱边界。箱中的每一个值被最近的边界值替换，假设若距离两边边界距离相等，则选择左侧边界值（低值），结果如下：箱1：800，1000，1200，1500箱2：1500，1800，2000，2300箱3：2500，2800，3000，3500箱4：4000，4500，480