数据挖掘的清洗

1、1数据预处理 为什么需要数据预处理? 数据清洗 数据集成与转换 数据归约 数据离散化与概念层次的构建 本章小结2为什么需要数据预处理 ?在现实社会中，存在着大量的“脏”数据 不完整性（数据结构的设计人员、数据采集设备和数据录入人员） 缺少感兴趣的属性 感兴趣的属性缺少部分属性值 仅仅包含聚合数据，没有详细数据 噪音数据（采集数据的设备、数据录入人员、数据传输） 数据中包含错误的信息 存在着部分偏离期望值的孤立点 不一致性（数据结构的设计人员、数据录入人员） 数据结构的不一致性 Label的不一致性 数据值的不一致性3为什么需要数据预处理 ? 数据挖掘的数据源可能是多个互相独立的数据源 关系数据

2、库 多维数据库（Data Cube） 文件、文档数据库 数据转换 为了数据挖掘的方便 海量数据的处理 数据归约（在获得相同或者相似结果的前提下）4为什么需要数据预处理？ 没有高质量的数据，就没有高质量的挖掘结果 高质量的决策必须基于高质量的数据基础上 数据仓库是在高质量数据上的集成5数据预处理的主要任务 数据清理 填入缺失数据 平滑噪音数据 确认和去除孤立点 解决不一致性 数据集成 多个数据库、Data Cube和文件系统的集成 数据转换 规范化、聚集等 数据归约 在可能获得相同或相似结果的前提下，对数据的容量进行有效的缩减 数据离散化 对于一个特定的连续属性，尤其是连续的数字属性，可以把属性

3、值划分成若干区间，以区间值来代替实际数据值，以减少属性值的个数.6数据预处理的形式数据清理数据清理数据集成数据集成数据转换数据转换数据归约数据归约7主要内容 为什么需要数据预处理? 数据清洗 数据集成与转换 数据归约 数据离散化与概念层次的构建 本章小结8数据清洗 主要任务 补充缺失数据 识别孤立点，平滑噪音数据 处理不一致的数据9缺失数据的处理 部分数据通常是不可用的 在许多元组中部分属性值为空。如：在客户表中的客户收入为空。 导致数据缺失的原因 数据采集设备的故障 由于与其它信息的数据存在不一致性，因此数据项被删除 由于不理解或者不知道而未能输入 在当时数据输入的时候，该数据项不重要而忽略

4、 数据传输过程中引入的错误 缺失数据通常需要经过合理的推断予以添加10缺失数据的处理方法 忽略该记录（元组） 通常在进行分类、描述、聚类等挖掘，但是元组缺失类标识时 该种方法通常不是最佳的，尤其是缺失数据比例比较大的时候 手工填入空缺的值 枯燥、费时，可操作性差，不推荐使用 使用一个全局的常量填充空缺数值 给定一个固定的属性值如：未知、不祥、 Unknown 、 Null等 简单，但是没有意义11使用属性的平均值填充空缺数值 简单方便、挖掘结果容易产生不精确的结果使用与给定元组同一个类别的所有样本的平均值 分类非常重要，尤其是分类指标的选择使用最有可能的值予以填充 利用回归、基于推导的使用贝叶

5、斯形式化的方法的工具或者判定树归纳确定 利用属性之间的关系进行推断，保持了属性之间的联系缺失数据的处理方法（续）12噪音数据 噪音数据:一个度量（指标）变量中的随机错误或者偏差 主要原因 数据采集设备的错误 数据录入问题 数据传输问题 部分技术的限制 数据转换中的不一致 数据清理中所需要处理的其它问题 重复的记录 不完整的数据 不一致的数据13噪音数据的处理 分箱（Binning）的方法 聚类方法 检测并消除异常点 线性回归 对不符合回归的数据进行平滑处理 人机结合共同检测 由计算机检测可疑的点，然后由用户确认14处理噪音数据：分箱方法 分箱（Binning）方法: 基本思想：通过考察相邻数据

6、的值，来平滑存储数据的值 基本步骤： 首先，对数据进行排序，并分配到具有相同宽度/深度的不同的“箱子”中 其次，通过箱子的平均值（Means）、中值（Median）、或者边界值等来进行平滑处理15分箱（Binning） 方法举例对数据进行排序: 4, 8, 9, 15, 21, 21, 24, 25, 26, 28, 29, 34对数据进行分割(相同深度) : - Bin 1: 4, 8, 9, 15 - Bin 2: 21, 21, 24, 25 - Bin 3: 26, 28, 29, 34根据bin中的平均值进行离散化: - Bin 1: 9, 9, 9, 9 - Bin 2: 23,

7、23, 23, 23 - Bin 3: 29, 29, 29, 2916基于聚类分析的平滑处理17通过线性回归的平滑处理xyy = x + 1X1Y1Y118主要内容 为什么需要数据预处理 数据清洗 数据集成与转换 数据归约 数据离散化与概念层次的构建 本章小结19数据集成数据集成的概念 将多个数据源中的数据结合起来存放在一个一致的数据存储中 数据源包括：多个数据库、多维数据库和一般的文件 数据集成也是数据仓库建设中的一个重要问题数据集成的内容 模式集成 利用数据库和数据仓库的元数据信息 主要工作是识别现实世界中的实体定义 冗余数据的处理 检测和解决数值冲突 对于现实世界中的同一实体，来自于不

8、同数据源的属性值可能不同 主要原因：不同的数据表示、度量单位、编码方式以及语义的不同20数据集成数据集成的概念 将多个数据源中的数据结合起来存放在一个一致的数据存储中 数据源包括：多个数据库、多维数据库和一般的文件 数据集成也是数据仓库建设中的一个重要问题数据集成的内容 模式集成 利用数据库和数据仓库的元数据信息 主要工作是识别现实世界中的实体定义 冗余数据的处理 检测和解决数值冲突 对于现实世界中的同一实体，来自于不同数据源的属性值可能不同 主要原因：不同的数据表示、度量单位、编码方式以及语义的不同21模式集成 数据类型冲突 性别：string(Male、Female)、Char（M、F）、

9、Interger（0、1） 日期：Date、DateTime、String 数据标签冲突：解决同名异义、异名同义 学生成绩、分数度量单位冲突 学生成绩 百分制：100 0 五分制： A 、B、C、D、E 字符表示：优、良、及格、不及格概念不清 最近交易额：前一个小时、昨天、本周、本月？ 聚集冲突：根源在于表结构的设计 22冗余数据的处理从多个数据源中抽取不同的数据，容易导致数据的冗余 不同的属性在不同的数据源中是不同的命名方式 有些属性可以从其它属性中导出， 例如：销售额单价销售量有些冗余可以通过相关分析检测到 其中：n是元组的个数， 和 分别是A和B的平均值， 和 分别是A和B的标准差 元组

10、级的“重复”，也是数据冗余的一个重要方面减少冗余数据，可以大大提高数据挖掘的性能BABAnBBAAr) 1()( )(,ABAB23数据转换 平滑处理: 从数据中消除噪音数据 聚集操作: 对数据进行综合，类似于Data Cube的构建 数据概化：构建概念层次 数据规范化: 将数据集中到一个较小的范围之中 最大-最小规范化 z-score（零均值）规范化 小数范围规范化（01规范化） 属性构造 构造新的属性并添加到属性集中，以帮助数据挖掘24数据转换：规范化 最大-最小规范化 对原始数据进行线性变换 保持了原始数据值之间的关系 当有新的输入，落在原数据区之外，该方法将面临“越界”错误 受到孤立点

11、的影响可能会比较大AAminnewmaxnew_,_AAAAAAminnewminnewmaxnewminmaxminvv_)_(25数据转换：规范化（续） z-score（零均值）规范化 属性基于平均值和标准差规范化 当属性的最大值和最小值未知，或者孤立点左右了最大最小规范化时，该方法有效 0-1规范化（小数定标规范化） 通过移动属性的小数点位置进行规范化 例如A的值为125，那么|A|=125，则j=3，有v=0.125。 Avv jvv10Where j is the smallest integer such that Max(| |)Reduced attribute set: A1

12、, A4, A6YYYNNN34数据压缩 数据压缩：应用数据编码或变换，以便得到数据的归约或压缩表示 无损压缩：原数据可以由压缩数据重新构造而不丢失任何信息 字符串压缩是典型的无损压缩 现在已经有许多很好的方法但是它们只允许有限的数据操作 有损压缩：只能重新构造原数据的近似表示 影像文件的压缩是典型的有损压缩 典型的方法：小波变换、主要成分分析35数值归约 数值归约：通过选择替代的、“较小”的数据表示形式来减少数据量 有参的方法 假设数据符合某些模型，通过评估模型参数，仅需要存储参数，不需要存储实际数据（孤立点也可能被存放） 典型方法：对数线性模型，它估计离散的多维概率分布 无参的方法 不存在

13、假想的模型 典型方法:直方图、聚类和抽样36直方图类似于分箱技术，是一种流行的数据归约方式将属性值划分为不相交的子集，或“桶”桶安放在水平轴上，而桶的高度（和面积）是该桶所代表的值的平均频率。每个桶只表示单个属性值，则称其为“单桶”。通常，“桶”表示给定属性的一个连续空间可以通过编程，动态修改部分参数，进行合理构造。count51015202530123456789101-1011-2021-30510152025132515PricePricecount37主要内容 为什么需要数据预处理? 数据清洗 数据集成与转换 数据归约 数据离散化与概念层次的构建 本章小结38数据离散化和概念层次 属性

14、值分类 枚举型 有序的 无序的 连续型：如 Real类型 数据离散化 对于一个特定的连续属性，可以把属性值划分成若干区间，以区间值来代替实际数据值，以减少属性值的个数。 概念层次 利用高层的概念（如儿童、青年、中年、老年等）来代替低层的实际数据值（实际年龄），以减少属性值的个数。39数值数据的离散化和概念分层建立的方法 分箱（Binning） 直方图分析 聚类分析的方法 根据自然分类进行分割40分箱方法：一种简单的离散化技术 相同宽度 （距离）数据分割 将数据分成N等份，各个等份数据之间具有相同的距离 如果 A 和 B 分别为属性值中的最大值和最小值，那么各个数据等份之间的距离为：W = (B

15、-A)/N. 异常点将会扮演很重要的角色 倾斜的数据不能很好的解决 相同深度 （频率）数据分割 将数据分成N等份，各个等份具有相同的数据个数。 具有较好的可伸缩性 适合于数据分类的情况41离散化：直方图方法 将数据分割到若干个桶之中，用桶中的平均值（或求和等）来表示各个桶。 可以通过编程，动态修改部分参数，进行合理构造。count51015202530123456789101-1011-2021-30510152025132515PricePricecount42离散化：聚类分析方法 将数据按照“类内最大相似度，类间最小相似度的原则”对数据进行有效聚类 利用聚类的中心点来表示该类所包含的对象

16、数据聚类将非常有效，但是必须保证数据中没有噪音数据43按照自然分类进行数据分割 利用3-4-5 法则对数字型数据分类，将数据分成若干个“自然”的区间： 如果在所有数字的最高位覆盖 3, 6, 7或9个不同的值，则将数据分成3段。3（1，1，1） 6（2，2，2） 7（2，3，2） 9（3，3，3） 如果在所有数字的最高位覆盖 2, 4, 8个不同的值，则将数据分成4 段。 如果在所有数字的最高位覆盖 1, 5, 10个不同的值，则将数据分成 5 段。443-4-5 法则举例n例例1：包含数据：包含数据：101、110、203、222、305、315n方法：最高位包含方法：最高位包含3个值（个值

17、（1、2、3）n分成分成100，200），），200，300），），300，400）三段）三段n例例2：包含数据：包含数据：101、110、103、422、405、415，400n方法：最高位包含方法：最高位包含2个值（个值（1、4）n分成分成100，150），），150，200） ，400，450） ，450，500）四段）四段n例例3：包含数据：包含数据：101、210、203、322、305、415，500n方法：最高位包含方法：最高位包含5个值（个值（1、2、3、4、5）n分成分成100，200），），200，300） ，300，400） ，400，500），），500，600）五段五段45分类数据的概念分层 概念分层是由用户或专家对具有偏序关系的属性的一种层次关系的显式表示。也是一种数据分类的显式表示。 概念层次的获得 隐式存储于数据库中。如：地址。 由专家显式给出。 借助数据分析自动生成。 概念层次的表示