数据探查与预处理_图文

1、SWUFE1数据探查张英2022年4月26日星期二SWUFE2数据质量 数据对应用的适合性：相关性、完备性、时效性数据对应用的适合性：相关性、完备性、时效性 数据的可用性：数据的可用性：属性含义及其取值的可理解性 数据集成程度数据集成程度 数据的规模及抽样偏倚数据的规模及抽样偏倚 数据收集和测量问题数据收集和测量问题 收集问题收集问题 测量问题测量问题2022年4月26日星期二SWUFE3数据特征数据特征 属性类型与测量水平属性类型与测量水平 定性与定量、分散与连续定性与定量、分散与连续 数据的粒度与单位数据的粒度与单位 缺失值与数据的稀疏性缺失值与数据的稀疏性 基本统计特征基本统计特征202

2、2年4月26日星期二数据对象（实例、记录、观测）数据对象（实例、记录、观测）属性（变量、维、特征）属性（变量、维、特征）SWUFE4字符型（分类属性、定性属性） 二元（BINARY）属性 对称二元属性 例如：性别 不对称二元属性 例如：是否欺诈，只关注非零值 标称（NOMINAL）属性（类别属性）（定类变量）取值无序 例如：职业、专业、婚姻状况 序数（ORDINAL）属性（定序变量）取值有序 例如：职称、满意度2022年4月26日星期二SWUFE5数值型（定量属性） 区间（INTERVAL）属性 （定距变量） 例如：温度 比率（RATIO）属性 （定比变量） 例如：成绩、收入、利润、人数202

3、2年4月26日星期二SWUFE6属性类型的不同操作特征2022年4月26日星期二注意：每种类型拥有其上方类型的性质和操作注意：每种类型拥有其上方类型的性质和操作SWUFE7缺失值和数据的稀疏性-排序的影响2022年4月26日星期二SWUFE8基本统计描述 属性取值的一般水平 属性取值的离散程度 分布的对称性与中心集中度 属性间取值的相关性2022年4月26日星期二SWUFE9数据的中心趋势 数值属性 均值 中位数 截尾均值 三均值 字符属性 众数2022年4月26日星期二niixnx11x8.08.08.08.08.08.08.019.08.08.08.0SWUFE10数据的离散程度 数值属性

4、 极差、方差、标准差、平均绝对偏差 四分位数与四分位极差QR=Q3-Q1 变异系数 字符属性取值个数2022年4月26日星期二 下截断点：Q1 -1.5*QR 上截断点：Q3+1.5*QR孤立点上截断点 CV=(%)100 xSWUFE11数据分布的对称性2022年4月26日星期二偏度SWUFE12数据分布的中心集中度2022年4月26日星期二峰度为负正态分布，峰度为0峰度为正SWUFE13属性间的相关性相关系数相关系数夹角夹角余弦余弦2022年4月26日星期二A、B属性为标称属性或二元属性，其取值个数分别为c,rOij：实际频数eij：期望频数自由度：(r-1)*(c-1)原假设：A和B独立

5、12211(6 .1 0 )niiinniiiixxcxx SWUFE14 性别与阅读兴趣相关？结论：性别与阅读兴趣相关2022年4月26日星期二SWUFE15安斯库姆四重奏安斯库姆四重奏一二三四xyxyxyxy10.08.0410.09.1410.07.468.06.588.06.958.08.148.06.778.05.7613.07.5813.08.7413.012.748.07.719.08.819.08.779.07.118.08.8411.08.3311.09.2611.07.818.08.4714.09.9614.08.1014.08.848.07.046.07.246.06.1

6、36.06.088.05.254.04.264.03.104.05.3919.012.5012.010.8412.09.1312.08.158.05.567.04.827.07.267.06.428.07.915.05.685.04.745.05.738.06.892022年4月26日星期二统计量数值x的均值9x的方差11y的均值7.50y的方差4.122或4.127x与y之间的相关系数0.816SWUFE16数据的图形表示 分位数图 直方图或柱形图 盒形图 茎叶图 饼图 散点图、折线图2022年4月26日星期二等高线图等高线图平行坐标系平行坐标系图形矩阵图形矩阵星型坐标图星型坐标图Chern

7、off脸图脸图SWUFE17分位数图2022年4月26日星期二MQ1Q3MQ1Q3SWUFE18直方图（柱形图）2022年4月26日星期二SWUFE19盒形图2022年4月26日星期二中位数中位数平均数平均数Q1Q3上截断点上截断点或最大值或最大值下截断点下截断点或最小值或最小值孤立点孤立点SWUFE20散点图2022年4月26日星期二SWUFE21多维图2022年4月26日星期二平行坐标系平行坐标系Chernoff脸图脸图星型坐标图星型坐标图SWUFE22客户信息数据问题举例部分属性值为空部分属性值为空收入为收入为0出生日期填写为出生日期填写为1900.1.1不同地区的客户分散在不同的数据集

8、中不同地区的客户分散在不同的数据集中不同的属性分散在不同的数据集中不同的属性分散在不同的数据集中客户数量太大、属性个数太多客户数量太大、属性个数太多缺乏年龄属性缺乏年龄属性收入分布偏斜收入分布偏斜地址对分析目标而言太详细地址对分析目标而言太详细2022年4月26日星期二SWUFE23 数据清洗 数据集成 数据消减 数据转换 复杂数据类型的预处理2022年4月26日星期二 数据质量数据质量 分析方法分析方法 需求需求SWUFE24数据清洗 处理错误或不一致的数据 处理缺失值 识别处理孤立点 平滑噪声数据2022年4月26日星期二SWUFE252022年4月26日星期二缺失值的处理缺失值的处理 忽

9、略该条记录 填补 人工确定值或固定值 均值（中位数）或众数 同类别的均值（中位数）或众数 预测值：利用分类预测技术推断出最大可能取值 增加标识变量SWUFE26识别并处理孤立点 识别 常识 统计规则 聚类， 处理 去除 视为噪声，进行平滑2022年4月26日星期二SWUFE27噪声平滑 分箱分箱 聚类聚类 回归回归2022年4月26日星期二SWUFE282022年4月26日星期二分箱（Bin） 等高分箱：每箱数据个数相同 等宽分箱：每箱的箱距相同排序确定箱数确定每箱数据个数确定箱距分配替换SWUFE292022年4月26日星期二等高分箱方法举例4，15，25，34，8，21，26，9，24，2

10、8，29，21（1）排序: 4, 8, 9, 15, 21, 21, 24, 25, 26, 28, 29, 34（2）将数据分割为等高的3箱，每箱4个数据项 :- Bin 1: 4, 8, 9, 15- Bin 2: 21, 21, 24, 25- Bin 3: 26, 28, 29, 34（3）根据箱中的平均值进行平滑:- Bin 1: 9, 9, 9, 9- Bin 2: 23, 23, 23, 23- Bin 3: 29, 29, 29, 29SWUFE302022年4月26日星期二聚类与回归平滑方法SWUFE31数据集成 合并多个数据源中的数据，将之存放在一个一致的数据存储中。 模式

11、集成问题 ：同名不同义，同义不同名。 数据值冲突的检测与处理例如：不同的计量单位、取值层次 数据冗余问题 纵向集成和横向集成2022年4月26日星期二数据集数据集1中：中： Customerid（客户编号）（客户编号） Cid（客户身份证号）（客户身份证号） （一）季度存款额：单位：元（一）季度存款额：单位：元 开户行：分行开户行：分行数据集数据集2中：中： Cid（客户编号）（客户编号） （二）季度存款额：单位：千元（二）季度存款额：单位：千元 开户行：支行开户行：支行 SWUFE32 维归约 数据压缩（PCA、小波变换等） 属性构造 属性子集选择 行规约2022年4月26日星期二SWUFE

12、332022年4月26日星期二数据压缩数据压缩 数据压缩是使用数据编码或变换，以便得到原数据的“压缩”表示。如果根据压缩的数据集可以恢复原来的数据集，则数据压缩是无损的，否则，数据压缩是有损的。例如： 主成分分析 小波变换 奇异值分解SWUFE342022年4月26日星期二属性子集选择 手工消除无用或无关属性 特征子集选取 特征子集选取就是选取最小的特征属性集合，得到的数据挖掘结果与所有特征参加的数据挖掘结果相近或完全一致。 和建模过程集成 （嵌入方法） .多元回归分析 逐步添加法（前向法） 逐步删除法（后向法） 添加和删除结合法（前向和后向结合法） .决策树方法 进行独立的选取工作（过滤方法

13、和包装方法） 例如：用关联分析选取重要变量 用决策树方法选取重要变量具有唯一值或近似唯一值的变量具有唯一值或近似唯一值的变量具有单一值或近似单一值的变量具有单一值或近似单一值的变量可以相互转换或同意义的变量可以相互转换或同意义的变量SWUFE352022年4月26日星期二特征子集选择过程（过滤方法和包装方法）SWUFE362022年4月26日星期二行规约 参数方法 非参数方法 聚集 抽样 聚类 直方图SWUFE37汇总属性的粒度 电话流失客户分月通话分钟数2022年4月26日星期二 电话流失客户分天通话分钟数SWUFE38抽样 简单随机抽样（又放回和无放回） 分层抽样 簇抽样 自适应或渐进抽样

14、2022年4月26日星期二SWUFE39数据转换 数据平滑去噪 数据聚集 新指标属性的构造 数据规范化处理 数据泛化2022年4月26日星期二SWUFE402022年4月26日星期二数据规范化处理数据规范化处理 最小-最大规范化 z-score规范化（标准化） 十进制缩放规范化。身高（m）体重(kg)X 张三 1.760Y 李四 1.880身高（cm）体重(kg)X 张三 17060Y 李四 18080SWUFE412022年4月26日星期二最小-最大规范化 A属性的原取值区间minA，maxA 目标新区间new_minA, new_maxA例如：百分制的85分转化为5分制：SWUFE422022年4月26日星期二零均值(z-sco