数据仓库与数据挖掘技术 第四章 数据预处理

1、第4章数据预处理4.1数据预处理概述4.1.1原始数据中存在的问题不一致重复不完整含噪声维度高6.数据不平衡4.1.2数据预处理的方法和功能数据清洗(datacleaning)数据集成(dataintegration)数据变换(datatransformation)数据归约(datareduction)4.2数据清洗4.2.1属性选择与处理尽可能赋予属性名和属性值明确的含义统一多数据源的属性值编码处理唯一属性去除重复属性去除可忽略字段合理选择关联字段数据仓库与数据挖掘技术4.2.2空缺值处理1.忽略该记录2.去掉属性3.写空缺值4.使用默认值5.使用属性平均值使用同类样本平均值预测最可能的值4

2、.2.3噪声数据处理分箱(binning)聚类(clustering)图4-1用聚类方法去掉噪声回归(regression)4.2.4不平衡数据的处理4.3数据集成和变换4.3.1数据集成1.模式匹配丢4*1客户基本擠况表表4V客户交易数摒表风性名称说n风性名称数攥类型说明id.Shortint客户标志custamer_id.ini客户标志ganderboolean性别timedate袞易日期birthdata出生日期goodsstring商晶名称price曲櫛品价格typeboolean是否会员countshortmt筒品数拭incoinShortini刀收入元tutalpricereal总

3、价格数据冗余数据值冲突4.3.2数据变换平滑(smoothing)聚集(clustering)数据概化(generalization)规范化(normalization)属性构造4.4数据归约4.4.1数据归约的方法4.4.2数据立方体聚集4-3“箱记录”去结枸用性名称数据类型机度说明soodls_typestringIQ商品类型yearstring4年粉provincestring20sb-Icbreal!6常传金狈万元图4-3聚集后的销售数据立方体360035146520IW63244020S160147238704966112001160406953391613915LH图4-2销售数据

4、立方体4.4.3维归约逐步向前选择逐步向后删除向前选择和向后删除结合判定树(dicisiontree)归纳图4-4用判定数进行属性归约5.基于统计分析的归约数据压缩数值归约直方图(histogram)图4-5购买数据的单桶直方图图4-6购买数据的等宽直方图(箱宽5)聚类扌由样(sampling)21ROD0潴23000344000I32210025425030002貓iaoo0貂1500128144S5G02图4-7示例数据集HgCintofnclevel21800023I6(W026180()I_28450fl_1巒incomelevel218000261001incurntlvel4fl0

5、013221OU2ag-EmconiElevel445500ageincomelevel56妇DO054IB0()25030叫2ageincomelevel3440001ageincomelevel4435002geineorniCleve5Q300fr2图4-8用户数据按年龄分层抽样4.线性回归5.非线性回归离散化与概念分层生成廿耕|,前狡惆坐图4-9分箱产生的概念分层和离散化1.数值数据的离散化与概念分层生成D-20,40)；RO,40)D3飞-Q1-20.0)D022厂一AQl0J5p、D23匸7?D24JI毎巴一？弋D3厂_D3FJft高应肓卅不同的值.分成斗个尊冤的区城最高竝仏个车冋

6、的|廿成3于零宽的区域图4-12在置信区间5%，95%上的第一层划分I-13-I0P20,30)(30.32)D2D3_|10JOJD图4-13对缺失区间补充的划分I-13J0J-W.OJ0.10)10h20J20,30)地32)0D4IIQJ2)20,22)30,31)12.14対122,24-6.-4J14J6)124,26?|1缶1射18如8.10)2SJO)CHojoDT*图4-14对图4-13进一步分层2.分类数据的概念分层生成monthmonlh图4-15对属性组：year，month，day的概念分层习题4列举实际业务操作数据中存在的问题以及这些问题产生的原因。数据预处理涉及哪些

7、方法，这些方法分别用于解决数据中的哪方面的问题？说明属性选取的原则。说明填补空缺值的方法和这些方法的优缺点。下面是一个超市某种商品连续24个月的销售数据（百元）:21，16，19，24，27，23，22，21，20，17，16，20，23，22，18，24，26，25，20，26，23，21，15，17使用统一权重、统一区间、和自定义区间方法对数据分箱，做出各种分箱方法得到的直方图。对上题中分箱后的数据采用平均值、边界值或中值等方法进行平滑。如果挖掘算法需要把第5题中的商品销售数据规范化到区间0，1上，采用最小-最大规范化方法，请写出规范化后的结果。试采用一种分箱方法，对以下某种商品连续30周的销售利润数据进行归约（千元）:3，2，5，7，4，2，5，6，8，8，4，5，4，6，2，3，7，5，5，4，6，3，4，7，8，3，6，4，2，3解释本章中提到的几种数据抽样方法。用等宽分箱技术对排序后的数据集D=（0，0，2，2，2，4，8，8，8，12，12，12，1215，15，16，16，16，16，21，21，21，25，25，25，25，25，28，28，29，34，34，3434，37