数据科学导引 课件 数据预处理_第1页
数据科学导引 课件 数据预处理_第2页
数据科学导引 课件 数据预处理_第3页
数据科学导引 课件 数据预处理_第4页
数据科学导引 课件 数据预处理_第5页
已阅读5页,还剩66页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

数据预处理1目录第一部分数据概述第二部分数据预处理第三部分案例分析和总结数据概述数据类型数据对象数据的基本统计信息相似性和不相似性度量3表格数据关系记录数据矩阵向量事物数据图和网络万维网社交网络分子结构聚类分析数据类型行星周期(年)平均距离周期2/距离3水星0.2410.390.98金星0.6150.721.01地球1.001.001.00火星1.881.521.01木星11.85.200.99土星29.59.541.00天王星84.019.181.00海王星16530.061.00多媒体数据文本图像视频音频Mobile4数据集(数据库)由数据对象构成一个数据对象表示一个实体相同概念样本(samplesorexamples)实例(instances)数据点(datapoints)对象(objects)元组(tuples)数据对象由属性(attributes)及其值(value)构成数据库行为数据对象;数据库列为属性

聚类分析表格数据5表征数据对象某个特征的数据域相同概念维(dimensions)、特征(features)、变量(variables)、属性(attribute)

例如在汽车性能指数:排气量、车重、油耗属性属性定义类型名义型(Nominal)

布尔型(BinaryorBoolean)

等级型(Ordinal)数值型(Numeric)6属性属性类型名义型对数据对象进行分类或分组,使同类同质,异类异质例如:汽车品牌={路虎,奔驰,奥迪,大众,吉利}、学校={北京大学,清华大学,中国人民大学}其值只是不同类别的代码,不能区分大小,更不能进行任何数学计算布尔型两个取值:0和1例如:性别、婚否

等级型不仅能将数据对象分成不同的类别,还可确定这些类别的等级差别或序列差别只能比较大小,不能进行数学计算例如:身高:高、中、低7属性属性类型数值型最常见的数据类型直接使用自然数或度量衡单位进行计量的具体的数值可以直接用数值计算方法进行汇总和分析例如:收入300元、考试分数80分、体重78kg8属性值可以为实数空间任意取值例如:温度、身高、长度、价格等通常由浮点型变量表示属性连续型属性vs.离散型属性连续型属性离散型属性其值域为有限集或可列集如果一个集合与自然数集合之间存在一一对应关系,则这个集合称为可列集例如:汽车品牌、NBA球队等布尔型、等级型、名义型9获得数据总体印象,更好的理解数据主要内容:度量数据的中心趋势和离散程度、描述数据汇总的图形显示

度量手段:算术平均值(Mean)中值(Median)最大值(Max)最小值(Min)分位数(Quantiles)方差(Variance)

聚类分析数据的基本统计信息10度量集中趋势(CentralTendency)

年龄频率1-52006-1545016-2030021-50150051-8070081-1104411度量集中趋势(CentralTendency)均值中位数众数正偏斜对称负偏斜中位数均值众数中位数均值众数12度量数据散布度(Dispersion)

13度量数据散布度(Dispersion)盒图(boxplot)也称箱线图盒外的两条线(胡须)分别延伸到最小和最大观测值直观明了地识别数据集中的离群值(异常值),并判断数据集的偏态和尾重最大非异常值上四分位数(Q3)中位数(Q2)下四分位数(Q1)最小非异常值异常值IQR14相似性(Similarity)度量两个数据对象的相似程度对象越相似,该值越高值域通常为[0,1]

不相似性(Dissimilarity)度量两个数据对象的差异程度对象越相似,该值越小最小值通常为0无上界相似性或不相似性有时也称为Proximity聚类分析数据距离度量15距离度量①名义型数据距离度量

16距离度量②布尔型数据距离度量

10sum10sum

17距离度量②布尔型数据距离度量

WeightPriceAccelerationMPGQualitySalesVolumeLandRoverJeepTOYOTA

1010LandRoverJeep18距离度量③数值型数据距离度量

19邻近度量③数值型数据邻近度量

20距离度量闵可夫斯基距离示例L10503606170点集属性1属性2123520452424

0L203.6102.245.104.2415.3900302503150

曼哈顿距离

欧式距离

极大距离21距离度量③数值型数据距离度量

InstanceTeamCoachHockeyBaseballSoccerpenaltyScoreWinLossSeasonInstancnstance23020110101

22距离度量余弦相似度与欧式距离的对比

衡量角度不同欧式距离:绝对距离

余弦相似度:方向差异

适应模型不同欧氏距离:数值特征绝对差异,用于需要从维度的数值大小中体现差异的分析,如使用用户行为指标分析用户价值的相似度或差异余弦相似度:对绝对数值不敏感,用于使用用户对内容评分来区分用户兴趣的相似度和差异

23距离度量④等级型数据距离度量

24距离度量⑤混合型数据距离度量

25目录第一部分数据概述第二部分数据预处理第三部分案例分析和总结数据预处理27GarbageinGarbageout模型输入数据质量直接影响建模效果在正式构建模型之前往往需要对数据进行恰当的预处理为什么要进行数据处理?不完整缺少属性值或某些感兴趣的属性,或仅包含聚集数据含噪声包含错误或存在偏离期望的离群值不一致采用的编码或表示不同,如属性名称不同冗余如属性之间可以相互导出聚类分析数据预处理的必要性28聚类分析数据预处理的必要性数据错误的不可避免性数据输入和获得过程的错误数据集成所表现出来的错误数据传输过程所引入的错误据统计:有错误的数据占总数据的5%左右!29数据清洗补充缺失数据、平滑噪声数据、识别或删除离群点,解决不一致数据集成集成多个数据库、数据立方或文件数据转换规范化和聚集数据归约特征选择和样本采样聚类分析数据预处理的形式实际的数据预处理过程中,这4种功能不一定都用到,而且,它们的使用也没有先后顺序,某一种预处理可能先后要多次进行。30聚类分析数据预处理的形式1数据清洗2数据集成3数据转换4数据归约-2,32,100,59,48-0.02,0.32,1.00,0.59,0.48属性属性1属性2

属性150交易1交易2

交易3交易1500交易属性属性1属性3

属性115交易1交易4

交易1246交易31变量标准化变量离散化缺失值处理异常值检测…聚类分析数据预处理的方法32聚类分析变量标准化

为什么要进行变量标准化?为了达到更好的效果,许多机器学习算法需要其输入变量为标准化形式例如,SVM算法中的RBF核函数,线性模型中的L1、L2正则项,往往假设其变量均值在0附近且方差齐次量纲不同:其中一个变量方差远大于其它变量的方差,这个变量将会是影响目标函数的主要因素,使算法模型难以学习到其它变量对结果的影响33变量标准化①Z-Score标准化

34变量标准化②0-1标准化

35变量标准化③小数定标标准化

36变量标准化④Logistic标准化

37聚类分析变量标准化小结选择何种标准化方法?标准化方法优点缺点适用范围Z-Score标准化转化为标准正态分布,无需数据的最大、最小值需要记录原数据的均值、方差数据中最大或最小值未知,且数据系列分布离散0-1标准化对数据作线性变换,保留原始数据间的关系若原数据的最大、最小值发生变化,则需重新定义需要保留原始数据间的关系,且最大最小值已固定小数定标标准化简单实用,易于还原标准化后的数据若原数据的最大绝对值发生变化,则需重新定义数据系列分布比较离散,尤其数据遍布多个数量级Logistic标准化简单易用,通过单一映射函数对数据进行标准化对分布离散且远离零点的数据处理效果不佳数据系列分布比较集中,且均分布于零点两侧38聚类分析变量离散化

为什么要将连续型变量进行离散化处理?离散化处理本质是将连续型数据分段,因此数据中的异常值会直接划入相应的区间段中,进而增强了之后模型对于数据异常值的鲁棒性离散化后的变量,其取值均转化为有明确含义的区间号,相对于原始的连续型来说,含义更加明确,从而使得数据的可解释性更强,模型更易使用与理解将连续型变量离散化后,变量特征的取值大大减少,这样一来减少了数据集对于系统存储空间的需求,二来在算法建模中也大大减少了模型的实际运算量,从而可以提升模型的计算效率39

无监督离散化有监督离散化利用真实的数据类别信息对连续型数据进行离散化处理。基于信息增益的离散化基于卡方的离散化等聚类分析变量离散化按是否参考了数据集的Y值信息划分为:40无监督离散化①等距离散化根据连续型变量的取值,将其均匀地划分成n个区间,每个区间的间距均相等,然后将数据相应的划入对应的区间从而完成变量离散化。②等频离散化根据连续型变量的总个数,将其均匀地划分成n份,使得每份中的数据点个数相同,然后每一份数据的取值范围即是对应的变量离散化区间。两者对比:等距离散化方法会倾向于将数据不均匀地划入离散化区间中,这极容易导致变量分布地不均匀,并且其对异常值会较为敏感;等频离散化方法则会将数据变换为均匀分布,有时会将相同取值的数据点划分入不同的区间内,因此该种方法容易使得临近几个区间段内的数据具有相似的特性。41无监督离散化③基于聚类分析的离散化首先将需要离散化的连续型变量用聚类算法(如K-Means,EM算法等)依据该变量的分布特征划分成相应的簇或组;然后对聚类得到的簇进一步划分,划分方式可以是从上而下的分裂策略和从下而上的合并策略。分类策略是将每一个簇进一步细分为更小的子簇,而合并策略则是通过对邻近相似的簇进行合并处理得到最终的结果。值得注意的是,基于聚类分析的离散化方法需要人工指定簇的个数n,即最终离散化区间的个数。42无监督离散化

43有监督离散化①基于信息增益的离散化自顶向下的分裂策略灵感源自于决策树模型建立时基于信息增益的评价标准,用信息增益(熵)来分裂连续型变量该方法最终所划分的区间个数则由单变量决策树的叶子结点个数确定,实际应用中需要首先给定单变量决策树的叶子结点个数。年龄<=30>30颜值分>=6<6收入>=10,000<10,000见不见不见不见某女孩相亲抉择决策树44有监督离散化②基于卡方的离散化自底向上的分裂策略

常用方法:ChiMerge将数值集中的每个不同值看作一个独立的区间,并对其中每一对相邻区间计算卡方统计量将其与预设的阈值进行比较,合并相似的邻近区间合并的过程递归地进行,直至计算得到的卡方统计量不再大于阈值,也就是找不到相邻的区间可以进行合并,则离散化过程终止,得到最终的离散化结果缺点:需人为设定置信水平参数,过高导致过分离散化,过低导致离散化不足;并且每次循环智能归并两个区间,样本集大时速度较慢

45有监督离散化ChiMerge举例数据:鸢尾花数据集iris.data对属性萼片长度(sepal-length)进行离散化

每一个值代表一个区间第一类:”★”=Irissetosa山鸢尾第二类:”●“=Irisvirginica维吉尼亚鸢尾第三类:”o“=Irisversicolor变色鸢尾

有监督离散化ChiMerge举例ChiMerge离散化结果

离散化的结果评价完全离散化:对数据集的多个属性进行离散化处理

具有最简单的离散化结果:离散化后,属性空间规模越小,这些离散化处理所产生出来的数据所生成的规则越简单。这样的属性所获得的只是就更通用

一致性:应最大保证处理后的数据集的一致性水平与原始数据集的一致性水平接近预测精度:连续属性的最优离散化问题是一个NP问题。所以我们只能得到次优的离散化算法,用尽可能少的断点将属性空间划分成尽可能少的子空间48聚类分析变量离散化小结离散化自底向上自顶向下有监督无监督关联性ChiMergeChi2ConMerge无监督有监督分箱等距等频信息增益分箱关联性精确性ID3D2MDLPContrastMantarasDistance1RMarginalEnt.ZetaAdaptiveQuantizer49聚类分析缺失值处理50gradyeargenderagefriends2006M18.9872006F18.80102006M18.335692006F18.87502006NA18.995102006F1422006F18.93722006M18.322172006F19.055522006F18.708392006F18.54382006F19.463212006F18.097872006NA02006F18.39802006NA02006NA1352006F18.987262006F17.158272006F18.4971232006F18.73835聚类分析缺失值处理

数据缺失机制完全随机缺失(MissingCompletelyAtRandom,MCAR)数据的缺失与不完全变量以及完全变量都是无关的。换句话说,某变量缺失值的出现完全是个随机事件。可以将存在MCAR变量的数据看做是假定完整数据的一个随机样本。随机缺失(MissingAtRandom,MAR)数据的缺失不是完全随机的,数据的缺失只依赖于完全变量。例如,在一次测试中,如果IQ达不到最低要求的100分,那么将不能参加随后的人格测验。在人格测验上因为IQ低于100分而产生的缺失值为MAR。完全非随机缺失(MissingNotAtRandom,MNAR)数据的缺失与完全变量自身有关,这种缺失是不可忽略的。例如,公司新录用了20名员工,由于6名员工表现较差在试用期内辞退,试用期结束后的表现评定中,辞退的6名员工的表现分即为非随机缺失。51缺失值处理删除法删除观察样本将存在缺失数据的样本删除,从而得到一个完备的数据集在对象有多个属性缺失值、被删除的含缺失值的对象与信息表中的数据量相比非常小的情况下是非常有效的样本很少的情况下,可能导致数据偏离,产生错误的学习结果删除变量当某个变量缺失值较多,且对研究目标影响不大,可以将变量整体删除改变权重当删除缺失数据会改变数据结构时,通过对完整数据按照不同的权重进行加权,可以降低删除缺失数据带来的偏差。52缺失值处理基于填补的方法单一填补均值填补热平台填补冷平台填补K-Means填补期望最大化(EM算法)填补非数值型:众数填补数值型:所有对象的取值均值填补适用范围只能在缺失值是完全随机缺失时为总体均值或总量提供无偏估计缺点此方法使得填补值集中在均值点上,在分布上容易形成尖峰,导致方差被低估调整可根据一定的辅助变量,将样本分成多个部分,然后在每一部分上分别使用均值填补,称为局部均值填补53缺失值处理基于填补的方法单一填补均值填补热平台填补冷平台填补K-Means填补期望最大化(EM算法)填补在完整数据中找到一个与空值最相似的变量,然后用这个相似的值来进行填充优点可以保持数据本身的类型,其变量值与填充前很接近缺点不能覆盖已有数据没有反应的信息54缺失值处理③基于填补的方法单一填补均值填补热平台填补冷平台填补K-Means填补期望最大化(EM算法)填补从过去的调查数据(如前期的调查数据或历史数据)中获得信息进行填补缺点不能消除估计的偏差55缺失值处理③基于填补的方法单一填补均值填补热平台填补冷平台填补K-Means填补期望最大化(EM算法)填补利用辅助变量(即无缺失值的变量),定义样本间的距离函数,寻找与缺失值样本距离最近的无缺失值的n个样本,利用这n个样本的加权平均值来估计缺失数据缺点引入了自相关,容易给后面的分析工作造成障碍56缺失值处理基于填补的方法单一填补均值填补热平台填补冷平台填补K-Means填补期望最大化(EM算法)填补通过数据扩张,将不完全数据的处理问题转化为对完全数据的处理问题,且通过假设隐变量的存在,简化似然方程,将比较复杂的似然函数极大似然估计问题转化为比较简单的极大似然估计问题用估计值替代缺失值参数估计假定2中的参数估计值是正确的,再对缺失值进行估计再估计缺失值57缺失值处理基于填补的方法随机填补随机填补是在均值填补的基础上加上随机项,通过增加缺失值的随机性来改善缺失值分布过于集中的缺陷贝叶斯Bootst

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论