第4章判别分析及MATLAB实现(2013)

1、4.1 距离判别距离判别 及及MATLAB实现实现4.2 Bayes判别判别4.3 判别分析判别分析 总结总结计算与应用数学系计算与应用数学系,中国石油大学（华东）理学院中国石油大学（华东）理学院 丁永臻丁永臻 2013统计方法（判别分析）统计方法（判别分析）:判别分析判别分析在已知研究对象分成若干类型，并已取在已知研究对象分成若干类型，并已取得各种类型的一批已知样品的观测数据，在此基础得各种类型的一批已知样品的观测数据，在此基础上根据某些准则建立判别式，然后对未知类型的样上根据某些准则建立判别式，然后对未知类型的样品进行判别分类。品进行判别分类。距离判别法距离判别法首先根据已知分类的数据，分

2、别计算首先根据已知分类的数据，分别计算各类的重心，计算新个体到每类的距离，确定最短各类的重心，计算新个体到每类的距离，确定最短的距离（欧氏距离、马氏距离）的距离（欧氏距离、马氏距离）FisherFisher判别法判别法利用已知类别个体的指标构造判别利用已知类别个体的指标构造判别式（同类差别较小、不同类差别较大），按照判别式（同类差别较小、不同类差别较大），按照判别式的值判断新个体的类别式的值判断新个体的类别BayesBayes判别法判别法计算新给样品属于各总体的条件概率，计算新给样品属于各总体的条件概率，比较概率的大小，然后将新样品判归为来自概率最比较概率的大小，然后将新样品判归为来自概率最大

3、的总体大的总体 例例 (1989年国际数学竞赛年国际数学竞赛A题题)蠓的分类蠓的分类 蠓是一种昆虫，分为很多类型，其中有一种名为蠓是一种昆虫，分为很多类型，其中有一种名为Af,是能传播花粉的益虫；另一种名为是能传播花粉的益虫；另一种名为Apf,是会传播是会传播疾病的害虫，这两种类型的蠓在形态上十分相似，疾病的害虫，这两种类型的蠓在形态上十分相似，很难区别很难区别. 现测得现测得6只只Apf和和9只只Af蠓虫的触角长度和蠓虫的触角长度和翅膀长度数据翅膀长度数据Apf：(1.14,1.78), (1.18,1.96), (1.20,1.86), (1.26,2.00), (1.28,2.00),

4、(1.30,1.96) ；Af：(1.24,1.72), (1.36,1.74), (1.38,1.64), (1.38,1.82), (1.38,1.90), (1.40,1.70), (1.48,1.82),(1.54,1.82), (1.56,2.08). 试判别以下的三个蠓虫属于哪一类？试判别以下的三个蠓虫属于哪一类？ (1.24,1.8)，(1.28,1.84)，（，（1.4，2.04）第第4章章 判别分析判别分析 判别分析的基本思想是根据已知类别的样本所提判别分析的基本思想是根据已知类别的样本所提供的信息，总结出分类的规律性，建立判别公式和供的信息，总结出分类的规律性，建立判别公式

5、和判别准则，判别新的样本点所属类型。本章介绍距判别准则，判别新的样本点所属类型。本章介绍距离判别分析、离判别分析、Bayes判别分析及其判别分析及其MATLAB软件的软件的实现。实现。 4.1 距离判别分析距离判别分析 4.1.1 判别分析的概念判别分析的概念 在一些自然科学和社会科学的研究中，研究对象在一些自然科学和社会科学的研究中，研究对象用某种方法已划分为若干类型，当得到的一个新样用某种方法已划分为若干类型，当得到的一个新样品数据（通常是多元的），要确定该样品属于已知品数据（通常是多元的），要确定该样品属于已知类型中的哪一类，这样的问题属于判别分析类型中的哪一类，这样的问题属于判别分析.

6、 从统计数据分析的角度，可概括为如下模型：从统计数据分析的角度，可概括为如下模型： 设有设有k个总体个总体 ,它们都是它们都是 p元总体元总体,其数量指标是其数量指标是 1) 若总体若总体 的分布函数是已知，对于任一新的分布函数是已知，对于任一新样品数据样品数据 ,判断它来自哪一个判断它来自哪一个总体总体 。12,kG GG12(,)TpXXXXiG12( ,)Tpxx xx 2) 通常各个总体通常各个总体 的分布是未知的，由从各的分布是未知的，由从各个总体取得的样本（训练样本）来估计。一般，个总体取得的样本（训练样本）来估计。一般，先估计各个总体的均值向量与协方差矩阵。先估计各个总体的均值向

7、量与协方差矩阵。iG原则原则: 1.从统计学的角度，要求判别准则在某种准则从统计学的角度，要求判别准则在某种准则下是最优的，例如错判的概率最小等。下是最优的，例如错判的概率最小等。 2.根据不同的判别准则，有不同的判别方法，根据不同的判别准则，有不同的判别方法，这里主要介绍距离判别和这里主要介绍距离判别和Bayes判别判别 4.1.2 距离的定义距离的定义 1. 闵可夫斯基距离闵可夫斯基距离设有设有n维向量维向量 称称,),(,),(2121TnTnyyyyxxxxniiiyxyxd11|),(绝对距离绝对距离 称称 称称为为n维向量维向量x，y之间的闵可夫斯基距离，其中之间的闵可夫斯基距离，

8、其中 为常数。为常数。niiiyxyxd122)(),(欧氏距离欧氏距离rniriiryxyxd/11)|(),(r(0)r 显然，当显然，当r=2和和1时闵可夫斯基距离分别为欧氏距时闵可夫斯基距离分别为欧氏距离和绝对距离离和绝对距离.(1) 同一总体的两个向量之间的马氏距离同一总体的两个向量之间的马氏距离 其中其中 为总体协方差矩阵，通常取为总体协方差矩阵，通常取 为实对称正定为实对称正定矩阵矩阵. 显然，当显然，当 为单位矩阵时马氏距离就是欧氏距离为单位矩阵时马氏距离就是欧氏距离. 设有设有n维向量维向量 ,则称则称1( , )()()Td x yxyxy为为n维向量维向量x，y之间的马氏

9、距离之间的马氏距离.1212(,) ,(,)TTnnxx xxyyyy2. 马氏距离马氏距离 马氏距离是由印度统计学家马哈拉诺比斯马氏距离是由印度统计学家马哈拉诺比斯(PC Mahalanobis)提出的，由于马氏距离具有统计意义，提出的，由于马氏距离具有统计意义，在距离判别分析时经常应用马氏距离：在距离判别分析时经常应用马氏距离：(4.1.1) (2) 一个向量到一个总体的马氏距离一个向量到一个总体的马氏距离 总体总体G 的均值向量为的均值向量为，协方差矩阵为，协方差矩阵为 .则称则称1( ,G)()()Td xxx为为n维向量维向量x与总体与总体G的马氏距离的马氏距离. MATLAB中有一

10、个命令：中有一个命令：d=mahal(Y,X)，计算，计算X矩阵每一个点（行）至矩阵每一个点（行）至Y矩阵中每一个点（行）的矩阵中每一个点（行）的马氏距离。其中马氏距离。其中Y的列数必须等于的列数必须等于X的列数，但它们的列数，但它们的行数可以不同。的行数可以不同。X的行数必须大于列数。输出的行数必须大于列数。输出d是是距离向量。距离向量。 (4.1.2) (3) 两个总体之间的马氏距离两个总体之间的马氏距离 设有两个总体设有两个总体G1,G2，两个总体的均值向量分别，两个总体的均值向量分别为为 ，协方差矩阵相等，皆为，协方差矩阵相等，皆为,则两个总体之则两个总体之间的马氏距离为间的马氏距离为

11、,12 1121212(G ,G )()()Td 通常，在判别分析时不采用欧氏距离的原因在通常，在判别分析时不采用欧氏距离的原因在于，该距离与量纲有关于，该距离与量纲有关.例如平面上有例如平面上有A,B,C,D四个四个点，横坐标为代表重量（单位：点，横坐标为代表重量（单位：kg），纵坐标代表），纵坐标代表长度（单位：长度（单位：cm），如下页图。），如下页图。 (4.1.3) 这时这时2222510125101101ABCD显然显然 ABCD 如果现在长度用如果现在长度用mm为单位，重量的单位保持不变，为单位，重量的单位保持不变，于是于是A点的坐标为点的坐标为(0,50)，B点的坐标为点的坐标

12、为(0,100)，此时，此时计算线段的长度为计算线段的长度为222250102600100110001ABCD此时，此时，ABCD 这表明欧氏距离有一个缺陷，当向量的分量是不这表明欧氏距离有一个缺陷，当向量的分量是不同的量纲时欧氏距离的大小竟然与指标的单位有关同的量纲时欧氏距离的大小竟然与指标的单位有关.而马氏距离则与量纲无关而马氏距离则与量纲无关. 4.1.3 两总体的距离判别分析两总体的距离判别分析 先考虑两个总体的情况。设先考虑两个总体的情况。设 ， 为两个不同为两个不同的的p元已知总体，元已知总体， 的均值向量是的均值向量是 ， ， 的的协方差矩阵是协方差矩阵是 ， .设设 是一个待判

13、样品，距离判别准则为是一个待判样品，距离判别准则为1GiGii12( ,)Tmxx xx2GiG1,2i 1,2i 112212,( ,)( ,),.,( ,)( ,)xGd x Gd x GxGd x Gd x G若若(4.1.4) 即当即当 到到 的马氏距离不超过到的马氏距离不超过到 的马氏距的马氏距离时，判离时，判 来自来自 ；反之，判来自；反之，判来自 .1Gx1G2Gx2G 由于马氏距离与总体的协方差矩阵有关，所以利由于马氏距离与总体的协方差矩阵有关，所以利用马氏距离进行判别分析需要分别考虑两个总体的用马氏距离进行判别分析需要分别考虑两个总体的协方差矩阵是否相等协方差矩阵是否相等.1

14、.两个总体协方差矩阵相等的情况两个总体协方差矩阵相等的情况 设有两个总体设有两个总体G1,G2，均值分别为，均值分别为 ,协方协方差矩阵相等为差矩阵相等为。考虑样品。考虑样品x到两个总体的马氏距到两个总体的马氏距离平方差：离平方差：,12 22112122111111112221111111112221112211112121212( ,)( ,) ()() ()()22)2()2() ()()12()2TTTTTTTTTTTTTTTd x Gd x Gxxxxxxxxxxxxx112112()2()()TTx其中其中 ，令，令121()2112( )()()TW xx于是距离判别准则为于是距

15、离判别准则为12,( )0,( )0 xGW xxGW x(4.1.6) 由于总体的均值、协方差矩阵通常是未知的，数据由于总体的均值、协方差矩阵通常是未知的，数据资料来自两个总体的训练样本，于是用样本的均值、资料来自两个总体的训练样本，于是用样本的均值、样本的协方差矩阵代替总体的均值与协方差样本的协方差矩阵代替总体的均值与协方差.注意：注意： 若若S1,S2分别为两个样本的协方差矩阵，则在两个总分别为两个样本的协方差矩阵，则在两个总体协方差矩阵相等时，总体的协方差矩阵估计量体协方差矩阵相等时，总体的协方差矩阵估计量112212(1)(1)2nSnSSnn 其中其中n1,n2分别为两个样本的容量

16、分别为两个样本的容量.得到判别法则：得到判别法则：(4.1.11) (4.1.9) matlab判别步骤：判别步骤： 1.计算计算A、B两类的均值向量与协方差阵两类的均值向量与协方差阵;ma=mean(A),mb=mean(B),S1=cov(A),S2=cov(B)2.计算总体的协方差矩阵计算总体的协方差矩阵2nnS)1n(S)1n(S212211 其中其中n1,n2分别为两个样本的容量分别为两个样本的容量.3.计算未知样本计算未知样本x到到A,B两类马氏平方距离之差两类马氏平方距离之差 d=(x-ma)S-1(x-ma)- (x-mb)S-1(x-mb) 4.若若d0,则则x属于属于B类类

17、上述公式可以化简为：上述公式可以化简为：W(x)=(ma-mb)S-1(x-(ma+mb)/2)若若W(x)0，x属于属于G1;若若W(x)=w2(i) disp(第第,num2str(i),个蠓虫属于个蠓虫属于Apf类类); else disp(第第,num2str(i),个蠓虫属于个蠓虫属于Af类类); end;end; 输出结果输出结果： 第第1个蠓虫属于个蠓虫属于Apf类类 第第2个蠓虫属于个蠓虫属于Apf类类 第第3个蠓虫属于个蠓虫属于Apf类类（2）两个总体协方差矩阵不相等的情形）两个总体协方差矩阵不相等的情形 设总体的协方差矩阵不相等分别为设总体的协方差矩阵不相等分别为1,2概率

18、密度概率密度函数为：函数为：1/21/211( )exp()()(2 )|2Tjjjjmjfxxx则基于两正态总体误判损失相等的则基于两正态总体误判损失相等的Bayes判别准则判别准则).()(:);()(:2221222211xdxdGxxdxdGx若若21( )()() ln| 2ln,1,2Tjjjjjjd xxxpj 其中其中 4.2.2 多个总体的多个总体的Bayes判别判别 设有设有k个总体个总体G1,G2,Gk的概率密度为的概率密度为fj(x)各总各总体出现的先验概率为体出现的先验概率为 1.一般讨论一般讨论当出现样品当出现样品 x时时, 总体总体 iG的后验概率的后验概率 1(

19、 )(| )( )iiikjjjp fP Gp fxxx ,1,2, ,kjjjj 1PP Gjkp1 足满Bayes判别准则为判别准则为:若若), 2 , 1)(|(max)|(1kixGPxGPjkji则判样本则判样本 iGx注：当达到最大后验概率的注：当达到最大后验概率的 iG不止一个时，可判不止一个时，可判为达到最大后验概率的总体的任何一个为达到最大后验概率的总体的任何一个.2.多个正态总体的多个正态总体的Bayes判别判别（1）当）当12k时，设 (, ),jmjGN1,2,jk线性判别函数为线性判别函数为 ( )TjjjWbxa x其中其中111,ln,1,2,2TTTjjjjjj

20、bpjk a 基于误判损失相等的基于误判损失相等的Bayes判别准则为判别准则为)(max)(,1xWxWGxjkjii若基于后验概率的基于后验概率的Bayes判别准则为判别准则为)(min)(,212xdxdGxjkjii若21( )()()2ln,1,2,Tjjjjdpjkxxx其中其中 在实际问题中，由于在实际问题中，由于 未知，各总体的训练样本均值未知，各总体的训练样本均值 （2）当）当 1,2, ,jk12,k 不全相等时不全相等时, 设设 (,)jpjjGN则基于后验概率的则基于后验概率的Bayes判别准则为判别准则为)(min)(,212xdxdGxjkjii若其中其中 21(

21、)()()ln2lnTjjjjjjdpxxx12,k 及未知，未知，(1)(2)( ),kxxx，估计估计. S及4.3 4.3 判别分析总结判别分析总结 判别分析方法最初应用于考古学判别分析方法最初应用于考古学, , 例如要根据挖例如要根据挖掘出来的人头盖骨的各种指标来判别其性别年龄等掘出来的人头盖骨的各种指标来判别其性别年龄等. . 近年来近年来, , 在生物学分类在生物学分类, , 医疗诊断医疗诊断, , 地质找矿地质找矿, , 石油石油钻探钻探, , 天气预报等许多领域天气预报等许多领域, , 判别分析方法已经成为判别分析方法已经成为一种有效的统计推断方法一种有效的统计推断方法. .

22、假定需要作出判别分析的对象分成假定需要作出判别分析的对象分成 r 类类, 记作记作A1, A2, , Ar , 每一类由每一类由m个指标的若干个标本确定个指标的若干个标本确定, 即即A1, A2, Ar为已知的分类为已知的分类. 现在问待判断的对象现在问待判断的对象x = (x1, x2, xm)T是属于是属于A1, A2, Ar中的哪一类？这就构成了判别分析问题的基本中的哪一类？这就构成了判别分析问题的基本内容内容. 判别分析判别分析: 判别分析是用于判别个体所属群体的一种统计方判别分析是用于判别个体所属群体的一种统计方法，判别分析的特点是根据已掌握的、历史上每个法，判别分析的特点是根据已掌

23、握的、历史上每个类别的若干样本的数据信息，总结出客观事物分类类别的若干样本的数据信息，总结出客观事物分类的规律性，建立判别公式和判别准则。然后，当遇的规律性，建立判别公式和判别准则。然后，当遇到新的样本点时，只要根据总结出来的判别公式和到新的样本点时，只要根据总结出来的判别公式和判别准则，就能判别该样本点所属的类别。判别分判别准则，就能判别该样本点所属的类别。判别分析是一种应用性很强的统计数据分析方法。析是一种应用性很强的统计数据分析方法。 判别分析的原理判别分析的原理: : 为了能识别待判断的对象为了能识别待判断的对象x = (x1, x2, xm)T是属于已是属于已知类知类A1, A2,

24、Ar中的哪一类？中的哪一类？ 事先必须要有一个一般规则事先必须要有一个一般规则, 一旦知道了一旦知道了x的值的值, 便能便能根据这个规则立即作出判断根据这个规则立即作出判断, 称这样的一个规则为称这样的一个规则为判别规判别规则则. 判别规则往往通过的某个函数来表达判别规则往往通过的某个函数来表达, , 我们把它称我们把它称为为判别函数判别函数, 记作记作W(i; x). 一旦知道了一旦知道了判别函数并确定了判别函数并确定了判别规则，最好将已判别规则，最好将已知类别的对象代入检验，这一过程称为知类别的对象代入检验，这一过程称为回代检验回代检验，以便，以便检验你的检验你的判别函数和判别函数和判别规

25、则是否正确判别规则是否正确.判别分析的主要方法判别分析的主要方法: : 判别分析的主要方法有距离判别方法、费希尔判别分析的主要方法有距离判别方法、费希尔 (Fisher)判别方法、贝叶斯判别方法、贝叶斯(Bayes)判别方法判别方法. 距离判别方法距离判别方法：判别函数判别函数W(i; x) = d (x, Ai ), 其中其中d (x, Ai )为为待判别对象待判别对象x到第到第i类类Ai的距离的距离. 判别规则为若判别规则为若W(k; x) = minW(i; x)| i =1, 2, , r , 则则xAk . 贝叶斯贝叶斯(Bayes)判别方法：判别方法：判别函数判别函数W(i; x

26、) = pi i(x), 其中其中pi为待判别对象为待判别对象xAi的概率的概率, ,如果没有任如果没有任何这种附加的先验信息何这种附加的先验信息, ,通常取通常取pi = 1/r. i(x)为为已知类已知类别别Ai的分布密度的分布密度判别规则为若判别规则为若W(k; x ) = maxW(i; x )| i =1, 2, , r ,则则xAk. Fisher准则分类的模型准则分类的模型: 费歇（费歇（FisherFisher）判别法）判别法是一种线性判别的方法。它的工是一种线性判别的方法。它的工作思路是对原数据系统进行坐标变换，寻求能将总体尽可能作思路是对原数据系统进行坐标变换，寻求能将总体

27、尽可能分开的方向。具体的作法是先引入一个与样本同维的待定向分开的方向。具体的作法是先引入一个与样本同维的待定向量量u u，再将，再将y y取为取为x x坐标的线性组合坐标的线性组合 。而。而u u的的选取，要选取，要使同一类别产生的使同一类别产生的y y尽量聚拢，不同类别产生的尽量聚拢，不同类别产生的y y尽量拉开。尽量拉开。 这样，我们便可将样品这样，我们便可将样品x x到某一类到某一类G G的距离定义为的距离定义为 与与 之间的欧氏距离：之间的欧氏距离： 其中其中c c为为G G的几何中心的几何中心FisherFisher分类的判据为：分类的判据为： 1 1若若 ，则判定义为，则判定义为A A类；类； 2 2若若 ，则判定又为，则判定又为B B类；类； 3