数学实验06判别分析.ppt

判别分析 3.1 判别分析 (discriminant analysis) 某些昆虫的性别只有通过解剖才能够判别 但雄性和雌性昆虫在若干体表度量上有些综 合的差异。人们就根据已知雌雄的昆虫体表 度量（这些用作度量的变量亦称为预测变量 ）得到一个标准，并以此标准来判别其他未 知性别的昆虫。 这样虽非100%准确的判别至少大部分是对的 ，而且用不着杀生。此即判别分析。 判别分析(discriminant analysis) 判别分析和聚类分析有何异同？ 判别分析和聚类分析都是分类. 但判别分析是在已知对象有若干类型和一批 已知样品的观测数据(训练样本)后的基础上 根据某些准则建立判别式.在聚类分析中，人 们一般事先并不知道应该分成几类及哪几类 ，全根据数据确定。 可以先聚类以得知类型,再进行判别. 判别分析例子 数据disc.txt:企图用一套打分体系来描绘企 业的状况。该体系对每个企业的一些指标（ 变量）进行评分。 指标有:企业规模（is）、服务(se)、雇员工 资比例(sa)、利润增长(prr)、市场份额(ms) 、市场份额增长(msr)、流动资金比例(cp)、 资金周转速度(cs)等. 另外，有一些企业已经被某杂志划分为上升 企业、稳定企业和下降企业。 希望根据这些企业的上述变量的打分及其已知的类 别(三个类别之一：group-1代表上升，group-2代表 稳定，group-3代表下降)找出一个分类标准，以对 尚未被分类的企业进行分类。 该数据有90个企业（90个观测值），其中30个属于 上升型，30个属于稳定型，30个属于下降型。这个 数据就是一个“训练样本”。 判别分析例子 Disc.sav数据 1. 根据距离判别的思想 Disc.txt数据有8个用来建立判别标准(或判别 函数)的(预测)变量,另一个(group)是类别 每一个企业的打分在这8个变量所构成的8维 空间中是一个点。这个数据在8维空间有90个 点， 由于已知所有点的类别，可以求得每个类型 的中心。这样只要定义了距离，就可以得到 任何给定的点（企业）到这三个中心的三个 距离。 最简单的办法就是:某点离哪个中心距离最近 ，就属于哪一类。 一个常用距离是Mahalanobis距离。 用来比较到各个中心距离的数学函数称为判 别函数(discriminant function). 这种根据远近判别的思想，原理简单，直观 易懂。为判别分析的基础 1. 根据距离判别的思想 距离判别法 假设有两个总体G1和G2, 如果能够定 义点x到它们的距离D(x,G1)和D(x,G2), 则 如果D(x,G1) 0即D(x,G1)D(x,G2)则 xG2 如果W(x)=0即D(x,G1)=D(x,G2)则待判 当m(1), m(2), S 已知时, 令a= S-1(m(1)- m(2) ) (a1, ap),则 显然W(x)为x1, xp的线性函数, 称为线 性判别函数; a称为判别系数. 当m(1), m(2), S 未知时, 可通过样本来估计: 判别函数为 为来自Gi的样本为(i=1,2) 非线性判别函数:当S(1) S(2)时 这是x的一个二次函数, 按照距离最近原则 ,判别准则仍然为 如果W(x)0即D(x,G1)D(x,G2)则 xG2 如果W(x)=0即D(x,G1)=D(x,G2)则待判 多总体时的线性判别函数:当S(1)=S(k)=S时 记 相应的准则为: 如果对一切ji, Wij(x)0, 则 xGi 如果有某一个Wij(x)=0, 则待判. 当m(i), S(i) 未知时, 可通过样本来估计 2. Fisher判别法(先进行投影) Fisher判别法是一种先投影的方法。 考虑只有两个(预测)变量的判别问题。 假定只有两类。数据中的每个观测值是二维 空间的一个点。见下页图。 这里只有两种已知类型的训练样本。一类有 38个点(用“o”表示),另一类有44个点(用“*”表 示)。按原来变量(横坐标和纵坐标)，很难将 这两种点分开。 -4-20246 -4-3-2-10123 于是就寻找一个方向，下页图上的虚线方 向，沿该方向朝和这个虚线垂直的一条直 线进行投影会使得这两类分得最清楚。可 以看出，如果向其他方向投影，判别效果 不会比这个好。 有了投影之后，再用前面讲到的距离远近 的方法得到判别准则。这种先投影的判别 方法就是Fisher判别法。 2. Fisher判别法(先进行投影) Fisher判别法的数学 练习： 中小企业的破产问题研究 为了研究中小企业的破产模型，选定4个经济指标 ： X1总负债率（现金收益/总负债） X2收益性指标（纯收入/总财产） X3短期支付能力（流动资产/流动负债） X4生产效率性指标（流动资产/纯销售额） 对17个破产企业（1类）和21个正常运行企业（ 2类）进行了调查，得如下资料： 总负债率收益性指标短期支付能力生产效率指标类别 -.45-.411.09.451 -.56-.311.51.161 .06.021.01.401 -.07-.091.45.261 -.10-.091.56.671 -.14-.07.71.281 -.23-.30.22.181 .07.021.31.251 .01.002.15.701 -.28-.231.19.661 .15.051.88.271 .37.111.99.381 -.08-.081.51.421 .05.031.68.951 .01.001.26.601 .12.111.14.171 -.28-.271.27.511 .51.102.49.542 .08.022.01.532 .38.113.27.552 .19.052.25.332 .32.074.24.632 .31.054.45.692 .12.052.52.692 -.02.022.05.352 .22.082.35.402 .17.071.80.522 .15.052.17.552 -.10-1.012.50.582 .14-.03.46.262 .14.072.61.522 -.33-.093.01.472 .48.091.24.182 .56.114.29.452 .20.081.99.302 .47.142.92.452 .17.042.45.142 .58.045.06.132 .04.011.50.71待判 -.06-.061.37.40待判 3.2 判别分析要注意的问题 训练样本中必须包含所有要判别的类型，分 类必须清楚，不能有混杂。 要选择好可能用于判别的预测变量。这是最 重要的。当然，在应用中，选择余地不见得 有多大。 判别分析是为了正确地分类，但同时也要注 意对未知样本的判定不一定总会得到正确的 结果。所以我们需要对错判率进行进一步的 思考和研究。 判别分析的Matlab命令：calssify 附录 费歇(Fisher)判别法 并未要求总体分布类型 工作原理就是对原数据系统进行坐标变 换,寻求能够将总体尽可能分开的方向. 点x在以a为法方向的投影为ax 各组数据的投影为 将Gm组中数据投影的均值记为 有 记k组数据投影的总均值为 有 组间离差平方和为: 这里 组内离差平方和为: 这里 希望寻找a使得SSG尽可能大而SSE