数据挖掘概念与技术原书第2版第2章数据预处理

1、数据预处理,为什么对数据进行预处理 描述性数据汇总 数据清理 数据集成和变换 数据归约 离散化和概念分层生成,第二章 数据预处理,现实世界的数据是“脏的”数据多了，什么问题都会出现 不完整 缺少数据值；缺乏某些重要属性；仅包含聚集数据； e.g., occupation= 有噪声 包含错误或者孤立点 e.g. Salary = -10 数据不一致 e.g., 在编码或者命名上存在差异 e.g., 过去的等级： “1,2,3”, 现在的等级： “A, B, C” e.g., 重复记录间的不一致性,为什么进行数据预处理,不完整数据的成因 数据收集的时候就缺乏合适的值 数据收集时和数据分析时的不同考

2、虑因素 人为/硬件/软件 问题 噪声数据（不正确的值）的成因 数据收集工具的问题 数据输入时的 人为/计算机 错误 数据传输中产生的错误 数据不一致性的成因 不同的数据源 违反了函数依赖性,数据为什么会变“脏”？,没有高质量的数据，就没有高质量的挖掘结果 高质量的决策必须依赖高质量的数据 e.g. 重复值或者空缺值将会产生不正确的或者令人误导的统计 数据仓库需要对高质量的数据进行一致地集成 数据预处理将是构建数据仓库或者进行数据挖掘的工作中占工作量最大的一个步骤,预处理为什么是重要的？,一个广为认可的多维度量观点： 精确度 完整度 一致性 合乎时机 可信度 附加价值 可解释性 跟数据本身的含义

3、相关的 内在的、上下文的、表象的以及可访问性,数据质量的多维度量,数据清理 填写空缺的值，平滑噪声数据，识别、删除孤立点，解决不一致性 数据集成 集成多个数据库、数据立方体或文件 数据变换 规范化和聚集 数据归约 得到数据集的压缩表示，它小得多，但可以得到相同或相近的结果 数据离散化 数据归约的一部分，通过概念分层和数据的离散化来规约数据，对数字型数据特别重要,数据预处理的主要任务,为什么对数据进行预处理 描述性数据汇总 数据清理 数据集成和变换 数据归约 离散化和概念分层生成,第二章 数据预处理,动机：为了更好的理解数据 获得数据的总体印像 识别数据的典型特征 凸显噪声或离群点 度量数据的中

4、心趋势 均值、中位数、众数（模）、中列数 度量数据的离散程度 四分位数、四分位数极差、方差等,描述性数据汇总,度量可以分为三类： 分布式度量(distributive measure)：将数据集划分为较小的子集，计算每个子集的度量，然后合并计算结果，得到原数据集的度量值。 比如：count()，sum()，min()，max()等 代数度量(algebraic)：可以通过应用一个代数函数于一个或多个分布式度量计算的度量。 比如：平均值函数avg() （ avg() =sum()/count()） 整体度量(holistic)：必须对整个数据集计算的度量 比如：median()，mode()，r

5、ank(),度量的分类,算术平均值 加权算术均值 截断均值（trimmed mean）：去掉高、低极端值得到的均值 e.g. 计算平均工资时，可以截掉上下各2的值后计算均值，以抵消少数极端值的影响 中位数：有序集的中间值或者中间两个值平均 整体度量；但是可以通过插值法计算近似值,度量数据的中心趋势,众数（Mode，也叫模）：集合中出现频率最高的值 单峰的（unimodal，也叫单模态）、双峰的（bimodal）、三峰的（trimodal）；多峰的（multimodal） 对于适度倾斜（非对称的）的单峰频率曲线，可以使用以下经验公式计算众数,最常用度量：极差、五数概括（基于四分位数）、中间四分位

6、数极差和标准差 极差（range）：数据集的最大值和最小值之差 百分位数(percentile)：第k个百分位数是具有如下性质的值x：k%的数据项位于或低于x 中位数就是第50个百分位数 四分位数：Q1 (25th percentile), Q3 (75th percentile) 中间四分位数极差(IQR)： IQR = Q3 Q1 孤立点：通常我们认为：挑出落在至少高于第三个四分位数或低于第一个四分位数 1.5IQR处的值,度量数据的离散度（1）,五数概括: min, Q1, Median, Q3, max 盒图：数据分布的一种直观表示 方差和标准差 方差 ：n个观测之x1,x2.xn的方

7、差是 标准差 是方差 的平方根 标准差 是关于平均值的离散的度量，因此仅当选平均值做中心度量时使用 所有观测值相同则 0，否则 0 方差和标准差都是代数度量,度量数据的离散度（2）,盒图：数据分布的一种直观表示，在盒图中： 端点在四分位数上，使得盒图的长度是IQR 中位数M用盒内的线标记 胡须延伸到最大最小观测值 该盒图为在给定时间段在AllElectronics的4个分店销售的商品单价的盒图 分店1 中位数$80 Q1: $60 Q3: $100,盒图示例,使用盒图的数据离散的可视化描述,常用的显示数据汇总和分布的方法： 直方图、分位数图、q-q图、散布图和局部回归曲线 直方图：是一种概括给

8、定属性分布的图形方法 将数据分布划分成不相交的子集或桶，通常每个桶宽度一致并用一个矩形表示，其高度表示桶中数据在给定数据中出现的计数或频率,描述数据汇总的图形显示直方图,一种观察单变量数据分布的简单有效方法 显示所有的数据，允许用户评估总的情况和不寻常情况的出现 绘出了分位数信息 设xi是递增排序的数据，则每个xi都有相对应的fi，指出大约有100 fi 的数据小于等于xi,分位数图,对着另一个单变量的分位数，绘制一个单变量分布的分位数 允许用户观察是不是有从一个分布到另外一个分布的迁移,分位数分位数图（Q-Q 图）,确定两个数值属性之间看上去是否有联系、模式或者趋势的最有效的图形方法之一 散

9、布图中的每个值都被视作代数坐标对，作为一个点画在平面上 易于观察双变量数据在平面上的分布,散布图,loess曲线为散布图添加一条平滑的曲线，以便更好的观察两个变量间的依赖模式 Loess (local regression)意指“局部回归”，为了拟合loess曲线，需要两个参数：平滑参数，被回归拟合的多项式的阶,loess曲线,为什么对数据进行预处理 描述性数据汇总 数据清理 数据集成和变换 数据归约 离散化和概念分层生成,第二章 数据预处,业界对数据清理的认识 “数据清理是数据仓库构建中最重要的问题”DCI survey 数据清理任务 填写空缺的值 识别离群点和平滑噪声数据 纠正不一致的数据

10、 解决数据集成造成的冗余,数据清理,数据并不总是完整的 例如：数据库表中，很多条记录的对应字段没有相应值，比如销售表中的顾客收入 引起空缺值的原因 设备异常 与其他已有数据不一致而被删除 因为误解而没有被输入的数据 在输入时，有些数据应为得不到重视而没有被输入 对数据的改变没有进行日志记载 空缺值要经过推断而补上,空缺值,忽略元组：当类标号缺少时通常这么做（假定挖掘任务设计分类或描述），当每个属性缺少值的百分比变化很大时，它的效果非常差。 人工填写空缺值：工作量大，可行性低 使用一个全局变量填充空缺值：比如使用unknown或- 使用属性的平均值填充空缺值 使用与给定元组属同一类的所有样本的平

11、均值 使用最可能的值填充空缺值：使用像Bayesian公式或判定树这样的基于推断的方法,如何处理空缺值,噪声：一个测量变量中的随机错误或偏差 引起不正确属性值的原因 数据收集工具的问题 数据输入错误 数据传输错误 技术限制 命名规则的不一致 其它需要数据清理的数据问题 重复记录 不完整的数据 不一致的数据,噪声数据,分箱(binning): 首先排序数据，并将他们分到等深的箱中 然后可以按箱平均值平滑、按箱中值平滑、按箱边界平滑等等 回归 通过让数据适应回归函数来平滑数据 聚类： 监测并且去除孤立点,如何处理噪声数据,price的排序后数据（单位：美元）：4，8，15，21，21，24，25，

12、28，34 划分为（等深的）箱： 箱1：4，8，15 箱2：21，21，24 箱3：25，28，34 用箱平均值平滑： 箱1：9，9，9 箱2：22，22，22 箱3：29，29，29 用箱边界平滑： 箱1：4，4，15 箱2：21，21，24 箱3：25，25，34,数据平滑的分箱方法,通过聚类分析检测离群点，消除噪声 聚类将类似的值聚成簇。直观的，落在簇集合之外的值被视为离群点,聚类,回归,x,y,y = x + 1,X1,Y1,Y1,第一步：偏差检测 使用元数据（e.g. 每个属性的域、数值类型、依赖性、分布等） 检查字段过载 检查唯一性规则、连续性规则、空值规则 使用偏差检查工具 数据

13、清理工具：使用简单的领域知识（e.g.邮编、拼写检查）检查并纠正数据中的错误 数据审计工具：通过分析数据发现规则和联系及检测违反这些条件的数据来发现偏差,数据清理作为一个过程,第二步：数据变换（纠正偏差） 数据迁移工具：允许说明简单的变换 ETL（提取/变换/装入）工具：允许用户通过GUI说明变换 偏差检测和数据变换（纠偏）的迭代执行 强调交互性的清理方法,为什么对数据进行预处理 描述性数据汇总 数据清理 数据集成和变换 数据归约 离散化和概念分层生成,第二章 数据预处,数据集成： 将多个数据源中的数据整合到一个一致的数据存储中 模式集成： 整合不同数据源中的元数据 实体识别问题： 匹配来自不

14、同数据源的现实世界的实体 e.g. Bill Clinton = William Clinton 检测并解决数据值的冲突 对现实世界中的同一实体，来自不同数据源的属性值可能是不同的 可能的原因：不同的数据表示，不同的度量等等,数据集成,集成多个数据库时，经常会出现冗余数据 对象识别：同一属性或对象在不同的数据库中会有不同的字段名 可导出数据：一个属性可以由另外一个表导出，如“年薪” 有些冗余可以被相关分析检测到 仔细将多个数据源中的数据集成起来，能够减少或避免结果数据中的冗余与不一致性，从而可以提高挖掘的速度和质量。,处理数据集成中的冗余数据,2 (chi-square)测试 2的值越大，意味

15、着两个变量相关的可能性越大 期望值和观测值之间相差越大，值也将越大 相关性不意味着因果关系 e.g. 我们发现一个地区的医院数和汽车盗窃数相关 两者都必然的关联到第三个属性：人口,分类数据的相关性分析,数据变换将数据转换或统一成适合挖掘的形式 平滑：去除数据中的噪声 聚集：汇总，数据立方体的构建 数据泛化：沿概念分层向上汇总 规范化：将数据按比例缩放，使之落入一个小的特定区间 最小最大规范化 z-score规范化 小数定标规范化 属性构造 通过现有属性构造新的属性，并添加到属性集中；以增加对高维数据的结构的理解和精确度,数据变换,最小最大规范化 z-score规范化 最大最小值未知，或者离群点

16、影响较大的时候适用 小数定标规范化,其中，j是使 Max(| |)1的最小整数,数据变换规范化,为什么对数据进行预处理 描述性数据汇总 数据清理 数据集成和变换 数据归约 离散化和概念分层生成,第二章 数据预处,为什么需要进行数据规约？ 数据仓库中往往存有海量数据 在整个数据集上进行复杂的数据分析与挖掘需要很长的时间 数据归约 数据归约可以用来得到数据集的归约表示，它小得多，但可以产生相同的（或几乎相同的）分析结果,数据规约,常用的数据归约策略 数据立方体聚集 属性子集选择，e.g. 移除不重要的属性 维度归约， 数值归约，e.g. 使用模型来表示数据 离散化和概念分层产生 用于数据归约的时间

17、不应当超过或“抵消”在归约后的数据上挖掘节省的时间,最底层的方体对应于基本方体 基本方体对应于感兴趣的实体 在数据立方体中存在着不同级别的汇总 数据立方体可以看成方体的格 每个较高层次的抽象将进一步减少结果数据 数据立方体提供了对预计算的汇总数据的快速访问 使用与给定任务相关的最小方体 在可能的情况下，对于汇总数据的查询应当使用数据立方体,数据立方体聚集,通过删除不相干的属性或维减少数据集 属性子集选择（特征选择） 找出最小属性集，使得数据类的概率分布尽可能的接近使用所有属性得到的原分布 减少出现在发现模式上的属性数目，使得模式更易于理解 启发式的（探索性的）方法 逐步向前选择 逐步向后删除

18、向前选择和向后删除相结合 决策树归约,属性子集选择,维度归约,使用数据编码或变换，以便得到原数据的归约或“压缩”表示 两种有损的维度归约方法 小波变换，一种线性信号处理技术 可以用于多维数据，如数据立方体 对于稀疏或倾斜数据和具有有序属性的数据，能给出很好的结果 适合高维数据 主成分分析，搜索k个最能代表数据的n维正交向量，其中k小于等于n， 这样，原来的数据投影到一个小得多的空间，导致维度归约。 该计算开销低，可以用于有序和无序的属性，并且可以处理稀疏和倾斜数据。 能够更好的处理稀疏数据,通过选择替代的、较小的数据表示形式来减少数据量 有参方法 使用一个参数模型估计数据，最后只要存储参数即可

19、，不用存储数据（除了可能的离群点） 常用方法：线性回归方法；多元回归；对数线性模型； 无参方法 不使用模型的方法存储数据 常用方法：直方图，聚类，抽样,数值归约,线性回归：数据被拟合为一条直线Y = w X + b 两个回归系数，w和b，由手头的数据来进行估算 通常适用最小二乘法来确定这条直线 多元回归：线性回归的扩充，允许响应变量Y被建模为两个或多个预测变量的线性函数。 多元回归可以拟合多种非线性函数 对数线性模型：近似离散的多维概率分布。,回归分析与对数线性模型,一种流行的数据归约技术 将某属性的数据划分为不相交的子集，或桶，桶中放置该值的出现频率 桶和属性值的划分规则 等宽 等频（等深）

20、 V-最优 具有最小方差 MaxDiff,直方图,将数据集划分为聚类，然后通过聚类来表示数据集 如果数据可以组成各种不同的聚类，则该技术非常有效，反之如果数据界线模糊，则方法无效 数据可以分层聚类，并被存储在多层索引树中 将在第7章对聚类分析进行深入探讨,聚类,允许用数据的较小随机样本（子集）表示大的数据集 对数据集D的抽样方法： s个样本无放回简单随机抽样（SRSWOR）：从D的N个元组中抽取s个样本（sN） s个样本有放回简单随机抽样（SRSWR） ：过程同上，只是元组被抽取后，将被回放，可能再次被抽取 聚类抽样：D中元组被分入M个互不相交的聚类中，可在其中的s个聚类上进行简单随机选择（S

21、RS，sM） 分层抽样：D被划分为互不相交的“层”，则可通过对每一层的简单随机选样（SRS）得到D的分层样本。,抽样,选样SRS,SRSWOR (简单随机选 样，不回放),SRSWR,选样聚类/分层选样,原始数据,聚类/分层选样,为什么对数据进行预处理 描述性数据汇总 数据清理 数据集成和变换 数据归约 离散化和概念分层生成,第二章 数据预处,三种类型的属性值： 名称型：无序集合中的值；e.g. 颜色、职业 序数：有序集合中的值； e.g. 军衔、职称 连续值；e.g. 实数 离散化 将连续属性的范围划分为区间 有些分类算法只接受离散属性值 通过离散化有效的规约数据 离散化的数值用于进一步分析,离散化,离散化 通过将属性域划分为区间，减少给定连续属性值的个数 区间的标号可以代替实际的数据值 离散化可以在一个属性上递归的进行 概念分层 通过使用高