数据挖掘建模-分类方法-方晓萍课件

1、Email:数据挖掘建模 分类方法2013-12-28数学建模的思路与步聚模型准备模型假设模型构成模型求解模型分析模型检验模型应用美赛建模开放性！在合理与简化之间作出折中模型假设针对问题特点和建模目的 作出合理的、简化的假设尽量使问题线性化、均匀化“假设”一定要对后面的建模有用，不作无用之假设！尽量采用简单的数学工具模型构成用数学的语言、符号描述问题发挥想像力使用类比法最好有自己的创新性思路！建模的创造性模型求解各种 数学方法 软件 计算机技术模型分析结果的误差分析统计分析模型对数据的稳定性分析灵敏度分析 等档次模型应用应用于实际问题解决实际问题将数学语言表述的解答“翻译”回实际对象能拓展更佳

2、！建模 方法问题首要原则模型 根据“首要原则模型”建立基本的科学模型，然后建立在各个方面的应用，再用实验数据验证基本的“首要原则模型”，并估计一些难以直接测量或者根本不可能直接测量的参数。首要原则模型 但是，在许多领域，基本的“首要原则模型”往往是未知的，或者所研究的系统太复杂，难以进行数学定型。随着计算机的广泛应用，此类系统生成了大量数据。可以利用这些易得的数据，估计系统变量之间的有效关系，来导出模型。从而变成直接从数据中开发模型，并进行相应的分析。 运用基于计算机的方法（包括新技术），从数据中获得有用知识的整个过程，就叫做数据挖掘。数据挖掘通过数据挖掘分析代词的使用特色，来进行作者辨析数据

3、挖掘识别作者表1 前八十回词项出现次数（频数） 词项我我家我们 吾咱咱们余出现次数5403218071614047词项侬俺你你们你家汝奴出现次数10443006871582词项尔他他们他家伊渠自己出现次数1345066155320503词项自家这此那 彼每各出现次数1252041034292978252397词项谁孰甚什么何如何何妨出现次数659230116656421417词项多少早晚怎么怎样怎出现次数105346431319表2 后四十回词项出现次数（频数） 词项我我家我们 吾咱咱们余出现次数238015402302161词项侬俺你你们你家汝奴出现次数011707336631词项尔他他们他

4、家伊渠自己出现次数3619802362770331词项自家这此那 彼每各出现次数5242233419851329185词项谁孰甚什么何如何何妨出现次数220214731191472词项多少早晚怎么怎样怎出现次数49144872824数据挖掘识别作者1、陈述问题2、搜集数据3、进行数据预处理4、评估模型（挖掘数据）5、解释模型和得出结论数据挖掘过程1、陈述问题2、搜集数据数据挖掘过程. 数据审核. 数据筛选. 数据无量纲化、标准化数据预处理检查数据中的错误找出符合条件的数据无量纲化方法1阈值法阈值即临界值，是衡量事物发展变化的一些特殊指标值，如极大值、极小值（此时又称极值法）、满意值、不允许值、

5、标准值（如平均数）等。阈值法的优点：指标个数及指标的分布无要求；（转换后的数据单项评价值）相对数的性质很明显；数据转换需要的信息量不多。事实上阈值法只利用了极大值或极小值等阈值。但是这种方法丢失了大量的原始信息，因为评价值只参考了阈值。3. 标准化法（1）标准差标准化标准化处理：将变量值转化为数学期望为0，方差为1的标准化数值。 v(i)=(vi-meanv)/sd(v) 经标准化处理后的数值围绕着0上下波动，数值大于0的说明高于平均水平，数值小于0的说明低于平均水平。3. 标准化法（2）小数缩放 小数缩放移动小数点，但仍然保留大多数原始数值。常见的缩放是使值在-1到1的范围内。小数缩放可以表

6、示为等式：V(i)=v（i）/10k k是保证|v(i)|的最大值小于1的最小比例。3. 标准化法（3）最小最大标准化 v(i)=(v(i)-minv(i)/(maxv(i)-minv(i) 其中，特征v的最小值和最大值是通过一个集合自动计算的，或者是通过特定领域的专家估算出来的。1、陈述问题2、搜集数据3、进行数据预处理4、评估模型（挖掘数据）5、解释模型和得出结论数据挖掘过程分类发现某个预测学习功能，将一个数据项分类到几个预定义类中的一个。回归发现某个预测学习功能，将一个数据项映射到一个真实值预测变量上。聚类一个常见的描述性任务，用于确定有限的一组类别或聚类，来描述数据。总结概括发现一个本

7、地模型，来描述变量之间或者数据集或其一部分的特征值之间的重要相关性。变化和偏差检测发现数据集中最重要的变化。数据挖掘的基本任务描述、评价分类、判别预测决策 规划、优化。问 题例：信用风险评价分类问题中银行贷款员需要分析数据，来弄清哪些贷款申请者是安全的，哪些是有风险的（将贷款申请者分为“安全”和“有风险”两类）分类问题 例 对10位应聘者做智能检验。3项指标X、Y和Z分别表示数学推理能力、空间想象能力和语言理解能力。其得分如下，选择合适的方法对应聘者进行分类。应聘者12345678910X28181121262016142422Y29232223292322232927Z28181622262

8、222242424分类问题 根据美国等20个国家和地区的信息基础设施的发展状况进行分类。Call每千人拥有的电话线数；movecall每千人户居民拥有的蜂窝移动电话数；fee高峰时期每三分钟国际电话的成本；computer每千人拥有的计算机数；mips每千人计算机功率（每秒百万指令）；net每千人互联网络户主数。 数据摘自世界竞争力报告1997数据见sasuser.cluli01分类问题分 类分 类俗语说，物以类聚、人以群分。但什么是分类的根据呢？比如，要想把中国的县分成若干类，就有很多种分类法： 可以按照自然条件来分， 比如考虑降水、土地、日照、湿度等各方面； 也可以考虑收入、教育水准、医疗

9、条件、基础设施等指标；既可以用某一项来分类，也可以同时考虑多项指标来分类。 分类问题 如何分类？ 选择什么样的测度指标来分类？ 运用什么方法进行分类？聚类分析 判别分析、Bayes分类决策树分类支持向量机k-近邻算法分类基于关联规则的分类人工神经网络集成学习分类（Bagging + Boosting） 等等分类方法聚类分析聚类分析是研究分类问题的一种多元统计方法。所谓类，就是指相似元素的集合。聚类分析的研究目的 把相似的东西归成类，根据相似的程度将研究目标进行分类。1 什么是聚类分析聚类分析聚类分析的研究对象R型分类-对变量进行分类Q型分类-对样本进行分类聚类分析研究的主要内容如何度量事物之间

10、的相似性 ?怎样构造聚类的具体方法以达到分类的目的? 例 对10位应聘者做智能检验。3项指标X、Y和Z分别表示数学推理能力、空间想象能力和语言理解能力。其得分如下，选择合适的统计方法对应聘者进行分类。应聘者12345678910X28181121262016142422Y29232223292322232927Z28181622262222242424我们的问题是如何来选择样本间相似性的测度指标，如何将相似的类连接起来？一、相似性的测度距离：测度样品之间的亲疏程度。将每一个样品看作p 维空间的一个点，并用某种度量测量点与点之间的距离，距离较近的归为一类，距离较远的点应属于不同的类。相似系数：测

11、度变量之间的亲疏程度2 距离和相似系数（一）、常用的距离明氏距离特别地，当k1时，即为绝对值距离(1) 明氏距离（明考夫斯基距离）令表示样品与的距离 设原始数据为明氏距离当k2时，即为欧氏距离当k时，即为切比雪夫距离123452018104471055325.236.328.911.517欧氏距离切比雪夫距离明氏距离有以下两个缺点： 明氏距离的数值与指标的量纲有关。当各变量的测量值相差悬殊时，常发生“大数吃小数”的现象，为消除量纲的影响，通常先将每个变量进行标准化。 明氏距离的定义没有考虑各个变量之间相关性的影响。年龄收入家庭人口数甲3030001乙4032003(2) 标准化的欧氏距离设原始

12、数据为 由印度著名统计学家马哈拉诺比斯(Mahalanobis)所定义的一种距离，其计算公式为： =(3)马氏距离协方差矩阵马氏距离又称为广义欧氏距离。马氏距离考虑了观测变量之间的相关性。如果假定各变量之间相互独立，即观测变量的协方差矩阵是对角矩阵，此时马氏距离就是标准化的欧氏距离。马氏距离不受指标量纲及指标间相关性的影响 马氏距离（二）变量间相似系数的算法变量和的相关系数： （2）夹角余弦（1）相关系数3 各种聚类方法 系统聚类法 直观，易懂。 快速聚类法（动态聚类法） 快速，动态。 有序聚类法 保序(时间顺序或大小顺序)。（一）系统聚类法系统聚类法的基本思想 先将n个样品各自看成一类，然后

13、规定样品之间的“距离”和类与类之间的距离。选择距离最近的两类合并成一个新类，计算新类和其它类（各当前类）的距离，再将距离最近的两类合并。这样，每次合并减少一类，直至所有的样品都归成一类为止。 系统聚类法的基本步骤：1.计算n个样品两两间的距离 ，记作D= 。2.构造n个类，每个类只包含一个样品。3.合并距离最近的两类为一新类。4.计算新类与各当前类的距离。5.重复步骤3、4，合并距离最近的两类为新类，直到所有的类并为一类为止。6.画聚类谱系图。7.决定类的个数和类。（一）系统聚类法 最短距离法 最长距离法 中间距离法 重心法 类平均法 离差平方和法（Ward法）系统聚类方法： 上述 6 种方法

14、归类的基本步骤一致，只是类与类之间的距离有不同的定义。（一）系统聚类法定义类p与q之间的距离为两类最近样品的距离，即xq1xp2xq2xp1xq3（1）最短距离法设类p与 q合并成一个新类，记为k，则k与任一类r 的距离是pqkr（1）最短距离法例：设抽取5个样品，每个样品观察2个指标 ， ：您每月大约喝多少瓶啤酒， ：您对“饮酒是人生的快乐”这句话的看法如何？观察数据如下，对这5个样品分类。1234520181044710553（1）最短距离法 3.6 10.2 16.12 16.49 9.43 14.87 15.65 6 6.32 2计算5个样品两两之间的距离记为距离矩阵（采用欧氏距离），

15、2. 合并距离最小的两类为新类，按顺序定为第类。3、计算新类与各当前类的距离，得距离矩阵如下：3.6 10.2 16.12 9.43 14.87 6为最小， = 6 9 .43 14.87 4、重复步骤2、3，合并距离最近的两类为新类，直到所有的类并为一类为止。 为最小，=5、6、按聚类的过程画聚类谱系图 45并类距离3127、决定类的个数与类。 观察此图，我们可以把5个样品分为3类，、。x11x21（2）最长距离法定义类p与q之间的距离为两类最远样品的距离，即设类p与 q合并成一个新类，记为k，则k与任一类r 的距离是pqkr（2）最长距离法 3.6 10.2 16.12 16.49 9.4

16、3 14.87 15.65 6 6.32 2计算5个样品两两之间的距离记为距离矩阵（采用欧氏距离），2. 合并距离最小的两类为新类，按顺序定为第类。上例中：3、计算新类与各当前类的距离，得距离矩阵如下：3.6 10.2 16.49 9.43 15.65 6.32为最小， = 6.32 10 .2 16.494、重复步骤2、3，合并距离最近的两类为新类，直到所有的类并为一类为止。 为最小，=5、6、按聚类的过程画聚类谱系图 45并类距离3127、决定类的个数与类。 观察此图，我们可以把5个样品分为3类，、。（3）中间距离法定义类与类之间的距离既不采用两类之间最近的距离，也不采用两类之间最远的距离

17、，而是采用介于两者之间的距离，故称为中间距离法。 rpqk（4）重心法（Centroid)和类与类之间的距离就考虑用重心之间的距离表示。设p与q的重心分别是，则类p和q的距离为将p和q合并为k，则k类的样品个数为它的重心是某一类 r 的重心是，它与新类k的距离是经推导可以得到如下递推公式：设聚类到某一步，类p与 q分别有样品 、个，（4）重心法（Centroid)重心的计算（5）类平均法（Average)定义两类之间的距离平方为这两类元素两两之间距离平方的平均 pq将p和q合并为k，则k类的样品个数为设聚类到某一步，类p与 q分别有样品、个，k类与任一类 r 的距离为（5）类平均法（Avera

18、ge)（6）离差平方和法（Ward法 ） 反映样品之间的差异程度 设变量X的n个样品观察值为：n个样品的离差平方和为：qpk设类p和q分别含有np、nq个样品，其离差平方和分别记为和（6）离差平方和法（Ward法 ）直观上容易想到把两群样品聚为一大群，大群的离差平方和将超过原来两个群的离差平方和之和。 如果将p和q并类得到新类k，则类k的离差平方和为把增加的量记为定义类p和q之间的距离为：设类p和q分别含有np、nq个样品，其离差平方和分别记为和（6）离差平方和法（Ward法 ）可以推得新类 k与任一类 r 的距离：（6）离差平方和法（Ward法 ）最短距离法最长距离法中间距离法重心法类平均法

19、离差平方和法Proc cluster method=选项 data=文件名 outtree=文件名1 standard; var variable-list; id variable; run;Proc tree data=文件名1 horizontal graphics; id variable; run;Method选项single 最短距离法complete 最长距离法median 中间距离法centroid 重心法average 类平均法ward 离差平方和法（Ward法）SAS 程序 为了解我国城镇居民的生活质量，对全国各地区（除内蒙古和西藏）进行聚类分析。选用了4个指标：X1：全年

20、人均消费支出X2：全年人均可支配收入X3：人均居住面积X4：人均公共绿地面积系统聚类案例甘肃青海陕西河南吉林江西黑龙江宁夏山西重庆福建云南江苏四川广西湖南山东湖北海南安徽贵州辽宁新疆河北浙江天津广东上海北京Median Distance012由聚类谱系图，29个地区可分四类： 第一类：北京、上海、广东，生活质量好。 第二类：浙江、天津，生活质量较好。 第三类：河北、新疆、辽宁、贵州、安徽、海南、湖北、江苏、云南、福建、山东、湖南、广西、四川、重庆，生活质量一般。 第四类：山西、宁夏、黑龙江、江西、吉林、河南、陕西、青海、甘肃，生活质量差。 重庆四川广西湖南山东福建云南江苏甘肃青海陕西河南吉林江

21、西黑龙江宁夏山西湖北海南安徽贵州辽宁新疆河北浙江天津广东上海北京Distance Between Cluster Centroids01229个地区可分为四类： 第一类：北京、上海、广东，生活质量好。 第二类：浙江、天津，生活质量较好。 第三类：江苏、云南、福建、山东、湖南、广西、四川、重庆，生活质量一般。 第四类：河北、新疆、辽宁、贵州、安徽、海南、湖北、山西、宁夏、黑龙江、江西、吉林、河南、陕西、青海、甘肃，生活质量差 29个地区可分为四类： 第一类：北京、上海、广东，生活质量好。 第二类：浙江、天津，生活质量较好。 第三类：江苏、云南、福建、山东、湖南、广西、四川、重庆，生活质量一般。

22、第四类：河北、新疆、辽宁、贵州、安徽、海南、湖北、山西、宁夏、黑龙江、江西、吉林、河南、陕西、青海、甘肃，生活质量差 综合以上分析结果和实际情况，29个地区城镇居民的生活质量分为五类比较合适： 第一类：北京、上海、广东，生活质量好。 第二类：浙江、天津，生活质量较好。 第三类：江苏、云南、福建、山东、湖南、广西、四 川、重庆，生活质量一般。 第四类：河北、新疆、辽宁、贵州、安徽、海南、湖北，生活质量较差。 第五类：山西、宁夏、黑龙江、江西、吉林、河南、陕西、青海、甘肃，生活质量差。 基本思想： 选取若干个样品作为凝聚点，计算每个样品和凝聚点的距离，进行初始分类，然后根据初始分类计算其重心，再进

23、行第二次分类，一直到所有样品不再调整为止。（二）动态聚类法第一，选择凝聚点；第二，初始分类；对于取定的凝聚点，视每个凝聚点为一类，将每个样品根据定义的距离向最近的凝聚点归类。第三，修改分类得到初始分类，计算各类的重心，以这些重心作为新的凝聚点，重新进行分类，重复步骤2，3，直到分类的结果与上一步的分类结果相同，表明分类已经合理为止。动态聚类法的基本步骤：（二）动态聚类法用一个简单的例子来说明动态聚类法的工作过程。例如我们要把图中的点分成两类。 （a）空间的群点快速聚类的步骤： 1、随机选取两个点 和 作为凝聚点。 2、对于任何点 ，分别计算 3、若 ，则将 划为第一类，否则划给第二类。于是得图

24、（b）的两个类。 (b) 任取两个凝聚点 (c) 第一次分类快速聚类的步骤：4、分别计算两个类的重心，则得 和 ，以其为新的凝聚点，对空间中的点进行重新分类，得到新分类。 (d) 求各类中心 (e) 第二次分类优点：计算量小，方法简便，可以根据经验，先作主观分类。缺点：结果受选择凝聚点好坏的影响，分类结果不稳定。 （二）动态聚类法例：某商店5位售货员的销售量和教育程度如下表：售货员12345销售量（千件）11688教育程度12320对这5位售货员分类。1）选择凝聚点 1 为最大。可选择 2和 5作为凝聚点。计算各样品点两两之间的距离，得到如下的距离矩阵对于取定的凝聚点，视每个凝聚点为一类，将每

25、个样品根据定义的距离，向最近的凝聚点归类。1 G1 G2 1 3 4得到初始分类为：2）初始分类计算G1和G2的重心：G1的重心（1,1.5），G2的重心（7.33,1.67） G1 G212345得到分类结果：3）修改分类以这两个重心点作为凝聚点，再按最小距离原则重新聚类修改前后所分的类相同，故可停止修改。和。 5个售货员可分为两类Proc fastclus maxcluster= data=文件名 seep=文件名 mean=文件名 out=文件名 ; var variable-list; run;Maxcluster = n快速聚类程序指定所允许的最大分类个数seep= 指定一个SAS数

26、据集，其中包括要选择的 初始凝聚点，可以缺省Mean= 生成一个输出数据集，其中包含每个类的均值和一些统计量Out= 生成一个输出数据集，其中包含原始数据和新变量CLUSTER和DISTANCE冰柱图(icicle)聚类树型图聚类要注意的问题 聚类结果主要受所选择的变量影响。如果去掉一些变量，或者增加一些变量，结果会很不同。聚类之前一定要目标明确。就分成多少类来说，也要有道理。只要你高兴，从分层聚类的计算机结果可以得到任何可能数量的类。但是，聚类的目的是要使各类距离尽可能的远，而类中点的距离尽可能的近，而且分类结果还要有令人信服的解释。这一点就不是数学可以解决的了。聚类的验证如何对聚类算法的结

27、果进行评价？什么是好的聚类结果？什么是不好的聚类结果？聚类的验证1.有效性的“外部”评价将发现的结构与先验结构比较聚类的验证2.有效性的“内部”评价试图确定是否发现的结构本质上适合数据。聚类的验证3.“相对”检验方法 所比较的两种结构要么来自于不同的聚类方法，要么来自于同一个方法但采用不同的聚类参数，例如输入样本的顺序。该检验度量结构的相对优点，但是仍然需要解决选择用于比较的结构的问题。聚类的验证理论和实践应用表明，聚类结果有效性判断的所有方法都具有主观性。在聚类评价方面不存在“黄金法则”，但验证时，需注意如下问题：1.每个聚类算法都会寻找给定数据集合的聚类，无论实际上这些聚类是否存在。因此，

28、在应用聚类算法前，应该按照聚类趋势对数据进行检验，此后应对算法生成的聚类进行验证。2.不存在最佳的聚类算法，因此用户应该对同一数据集应用多种算法。聚类分析是一种探索性的工具，聚类算法的输出仅仅用于提出或者证实某些假设，但不能证明有关自然组织的数据的任何假设。 判别分析是用于判别个体所属群体的一种统计方法，判别分析的特点是根据已掌握的、历史上每个类别的若干样本的数据信息，总结出客观事物分类的规律性，建立判别公式和判别准则。然后，当遇到新的样本点时，只要根据总结出来的判别公式和判别准则，就能判别该样本点所属的类别。 判别分析判别分析判别分析是根据表明事物特点的变量值和它们所属的类，求出判别函数。根

29、据判别函数对未知所属类别的事物进行分类的一种分析方法。不同：判别分析和聚类分析不同的在于：判别分析要求已知一系列反映事物特征的数值变量的值，并且已知各个体的分类（训练样本）。 1、距离判别 2、Fisher判别 3、Bayes判别判别分析1、距离判别法 首先根据已知分类的数据，分别计算各类的重心，计算新个体到每类的距离，确定最短的距离（欧氏距离、马氏距离）判别函数：W(i; x) = d (x, Ai ), 其中d (x, Ai )为待判别对象x到第i类Ai的距离. 判别规则：若W(k; x) = minW(i; x)| i =1, 2, , r , 则xAk . 2、Fisher判别法 利用

30、已知类别个体的指标构造判别式（同类差别较小、不同类差别较大），按照判别式的值判断新个体的类别3、 Bayes判别法 计算新给样品属于各总体的条件概率，比较概率的大小，然后将新样品判归为来自概率最大的总体。判别函数：W(i; x)= pii(x),其中pi为待判别对象xAi的概率,如果没有任何这种附加的先验信息,通常取pi=1/r。i(x)为已知类别Ai的分布密度。判别规则：若W(k; x) = maxW(i; x)|i =1,2, , r,则xAk. 贝叶斯（Bayes）分类算法是一类利用概率统计知识进行分类的算法，如朴素贝叶斯（Naive Bayes）算法。这些算法主要利用Bayes定理来预

31、测一个未知类别的样本属于各个类别的可能性，选择其中可能性最大的一个类别作为该样本的最终类别。由于贝叶斯定理的成立本身需要一个很强的条件独立性假设前提，而此假设在实际情况中经常是不成立的，因而其分类准确性就会下降。为此就出现了许多降低独立性假设的贝叶斯分类算法，如TAN（Tree Augmented Nave Bayes)算法，它是在贝叶斯网络结构的基础上增加属性对之间的关联来实现的。 贝叶斯判别分类 距离判别只要求知道总体的数字特征，不涉及总体的分布函数，当参数和协方差未知时，就用样本的均值和协方差矩阵来估计。距离判别方法简单实用，但没有考虑到每个总体出现的机会大小，即先验概率，没有考虑到错判

32、的损失。贝叶斯判别法正是为了解决这两个问题提出的判别分析方法。SPSS、Matlab等均可进行判别分析。注意：一旦知道了判别函数并确定了判别规则，最好将已知类别的对象代入检验，这一过程称为回代检验，以便检验你的判别函数和判别规则是否正确.聚类分析与判别分析的SPSS过程在AnalyzeClassify下：K-Means Cluster： 观测量快速聚类分析过程Hierarchical Cluster：分层聚类（进行观测量聚类和变量聚类的过程Discriminant：进行判别分析的过程决策树 从数据中生成分类器的一个特别有效的方法是生成决策树。决策树表示法是应用最广泛的逻辑方法。许多决策树归纳算

33、法主要是在机器学习和应用统计文献中出现，它们是通过一组输入输出本样构建决策树的有指导学习方法，是分类和回归的高效的非参数化方法。决策树(Decision Tree) 决策树学习是以实例为基础的归纳学习，是一种描述概念空间的有效的归纳推理办法。从一类无序、无规则的事物（概念）中推理出决策树表示的分类规则。基于决策树的学习方法可以进行不相关的多概念学习，具有简单快捷的优势，已经在各个领域取得广泛应用。决策树(Decision Tree) 决策树是一种树型结构，其中： 每个内部结点表示在一个属性上的测试 每个分支代表一个测试输出 每个叶结点代表一种类别决策树(Decision Tree) 树是由节点

34、和分枝组成的层次数据结构。节点用于存贮信息或知识，分枝用于连接各个节点。树是图的一个特例，图是更一般的数学结构，如贝叶斯网络。决策树是描述分类过程的一种数据结构，从上端的根节点开始，各种分类原则被引用进来，并依这些分类原则将根节点的数据集划分为子集，这一划分过程直到某种约束条件满足而结束。 根结点个子大可能是松鼠可能是老鼠可能是大象在水里会吱吱叫鼻子长脖子长个子小不会吱吱叫鼻子短脖子短可能是长颈鹿在陆地上可能是犀牛可能是河马主要的决策树算法有： ID3、C4.5（C5.0）、CART、PUBLIC、SLIQ和SPRINT算法等。它们在选择测试属性采用的技术、生成的决策树的结构、剪枝的方法以及时

35、刻，能否处理大数据集等方面都有各自的不同之处。 决策树 收集待分类的数据，这些数据的所有属性应该是完全标注的。设计分类原则，即数据的哪些属性可以被用来分类，以及如何将该属性量化。分类原则的选择，即在众多分类准则中，每一步选择哪一准则使最终的树更令人满意。设计分类停止条件，实际应用中数据的属性很多，真正有分类意义的属性往往是有限几个，因此在必要的时候应该停止数据集分裂：该节点包含的数据太少不足以分裂，继续分裂数据集对树生成的目标(例如ID3中的熵下降准则)没有贡献，树的深度过大不宜再分。通用的决策树分裂目标是整棵树的熵总量最小，每一步分裂时，选择使熵减小最大的准则，这种方案使最具有分类潜力的准则

36、最先被提取出来 构造一棵决策树要解决四个问题：决策树分类示例银行贷款员需要分析数据，来弄清哪些贷款申请者是安全的，哪些是有风险的（将贷款申请者分为“安全”和“有风险”两类）？我们需要构造一个分类器来预测类属编号，比如预测顾客属类预测变量目标变量记录样本类标号属性类别集合：Class=“优”，“良”，“差” 决策树的基本原理 根节点叶子节点分裂属性分裂谓词 每一个叶子节点都被确定一个类标号 每一个节点都代表了一个数据集。根节点1代表了初始数据集D其它节点都是数据集D的子集。例如，节点2代表数据集D中年龄小于40岁的那部分样本组成的数据集。子节点是父节点的子集。 决策树分类示例If (年龄40)

37、and (职业=“学生” or职业=“教师”) Then 信用等级=“优”If (年龄40) and (职业!=“学生”and职业!=“教师”) Then 信用等级=“良”If (年龄40) and (月薪3000) Then 信用等级=“优”决策树程序实现要构造一个好的分类器，所需要的训练样数与区域的数量成正比。分类越复杂，需要的区域越多，描述区域的规则也越多，树的复杂度越高。需要更多的训练样本，才能得到成功的分类。决策树的局限性支持向量机 支持向量是指那些在间隔区边缘的训练样本点。 “机（machine,机器）”实际上是一个算法。在机器学习领域，常把一些算法看做是一个机器。支持向量机 支持

38、向量机（SVM，Support Vector Machine）是Vapnik根据统计学习理论提出的一种新的学习方法，它的最大特点是根据结构风险最小化准则，以最大化分类间隔构造最优分类超平面来提高学习机的泛化能力，较好地解决了非线性、高维数、局部极小点等问题。 对于分类问题，支持向量机算法根据区域中的样本计算该区域的决策曲面，由此确定该区域中未知样本的类别。 支持向量机 找到一个超平面，使得它能够尽可能多的将两类数据点正确分开，同时使分开的两类数据点距离分类面最远。支持向量机的主要思想 最佳超平面最优分类面 SVM 是从线性可分情况下的最优分类面发展而来的, 基本思想可用下图的两维情况说明. 图

39、中, 方形点和圆形点代表两类样本, H 为分类线,H1, H2分别为过各类中离分类线最近的样本且平行于分类线的直线, 它们之间的距离叫做分类间隔(margin)。 所谓最优分类线就是要求分类线不但能将两类正确分开(训练错误率为0),而且使分类间隔最大. 推广到高维空间，最优分类线就变为最优分类面。 SVM 是一种有坚实理论基础的新颖的小样本学习方法。它基本上不涉及概率测度及大数定律等,因此不同于现有的统计方法。从本质上看,它避开了从归纳到演绎的传统过程,实现了高效的从训练样本到预报样本的“转导推理”(transductive inference) ,大大简化了通常的分类和回归等问题。支持向量机的主要特点SVM package k-近邻(kNN，k-Nearest Neighbors)算法是一种基于实例的分类方法。该方法就是找出与未知样本x距离最近的k个训练样本，看这k个样本中多数属于哪一类，就把x归为那一类。k-近邻方法是一种懒惰学习方法，它存放样本，直到需要分类时才进行分类，如果样本集比较复