高等数学课件-4判别分析

地学要素的

判别分析方法判别分析与聚类分析

判别分析是判别样品所属类型的一种方法，与聚类分析不同，判别分析的前提是判别的几种类型都是已知的，且每一类型都有一批已知样品。判别分析的主要思想就是用统计方法将待判的未知样品进行类比，以确定待判样品属于哪一类监督分类与非监督分类分类技术监督分类非监督分类因变量－自变量变量的相互关系预测和解释因变量个数变量的结构关系单一因变量存在单一关系变量样本因变量测量尺度主成分分析因子分析数量型非数量型多元回归分析多元判别分析聚类分析两阶段聚类分析对象变量测量尺度数量型非数量型多维尺度分析对应分析地学中的判别分析

判别分析是一种根据某一地学对象的各种特征指标或多种信息来分辨或判别其类型归属问题的多变量统计分析方法，它对某地地学类型的划分和区界的判定具有重大的理论意义和现实意义。地学中判别分析的应用包括判别岩石类型、地层时代、古生物种属、判别沉积相、遥感图像像元的监督分类等地学中的判别分析

已知两个总体A和B，观测指标x1和x2，求得一个新指标可以直接判定新样品来自于那一个总体，此新指标是x1和x2的线性判别函数判别分析及其准则判别分析：

在已知研究对象分成若干类型，并已取得各种类型的一批已知样品的观测数据，在此基础上根据某些准则建立判别式，然后对未知类型的样品进行判别分类。●距离判别法●Fisher判别法●Bayes判别法判别分析及其准则距离判别法：

首先根据已知分类的数据，分别计算各类的重心，计算新个体到每类的距离，确定最短的距离（欧氏距离、马氏距离）判别分析及其准则Fisher判别法：

利用已知类别个体的指标构造判别式，要使判别函数值能充分地区分开地学对象类型，就需要使各类均值之间的差别最大（即使不同类之间的差别最大），而使各类内部的离差平方和为最小（即使同类间的差别最小）。即要求类间（或组间）均值差与类内（或组内）方差之比最大，这样就能把地学对象的类型区分得最清楚判别分析及其准则Bayes判别法：

贝叶斯(Bayes)

准则要求把已知的地学对象的数据分成几类(或几组)，然后计算未知地学对象的类型或区域归属于各已知类型（或组）的概率值，它归属于哪一类的概率最大，就把它划归该类（组）。---最大似然法Fisher准则下两组判别分析

在两组间进行判别的处理方法，基于统计上的Fisher准则，即判别的结果应使两组间区别最大，使每组内部离散性最小。在Fisher准则意义下，确定线性判别函数：x1x2…xp1x11(A)x12(A)…X1p(A)2x21(A)x22(A)…X2p(A)……………n1xn11(A)xn12(A)…Xn1p(A)x1x2…xp1x11(B)x12(B)…X1p(B)2x21(B)x22(B)…X2p(B)……………n2xn21(B)xn22(B)…Xn2p(B)求得y使之能够将A、B两组有效的分开，其中判别系数cj待定Fisher准则下两组判别分析基于统计上的Fisher准则，即判别的结果应使两组间区别最大，使每组内部离散性最小。在Fisher准则意义下，确定线性判别函数：A组判别函数的均值B组判别函数的均值A组离散程度B组离散程度判别分析应使Q最大，F最小，因此Q/F应达到极大值Fisher准则下两组判别分析判别分析应Q最大，F最小，因此I=Q/F应达到极大值图判别系数的确定要使I=Q/F达到极大值，据多元函数极值原理应要求I的一阶偏倒数为0，由此来推导系数c判别系数的确定方程中的β是一个常因子，对方程的解只起到扩大β倍的作用，不影响cj之间的相对比例关系，因而可令β＝n1+n2-2,此方程系数矩阵是两组样品的综合协方差矩阵，右侧是两组变量的均值差综合上式可得一个含有p个方程的线性方程组3、将未知样品的p个指标代入判别函数，求得它的判别函数值y在时，若y>y0则样品归于A组，若y<y0则样品归于B组在时，若y<y0则样品归于A组，若y>y0则样品归于B组判别过程2、使用两者的加权平均值作为判别指标y0求得判别函数后，还要确定判别指标才能对未知样品作判别归类，判别指标的求法如下：1、计算两组样品均值显著性检验及误判率其中马氏距离D2为上述判别是否有效还需进行显著性经验，检验使用的是马氏距离D2为基础构成的统计量：算出的F遵从自由度为p及n1+n2-p-1的F分布，在取定检验水平α以后，若F>Fα(p，n1+n2-p-1),则认为选取的两组指标有显著差别，判别有效；反之，则说明差异不显著，判别无价值Fisher判别示例

取某油田13个油层和11个水层的测井资料以建立该区油、水两组的判别函数、取自然伽马，声波时差、深感应电阻率及冲洗带电阻率为原始指标，同时考虑到油水层的侵入特征、将原始指标换算为岩性系数（x1）、孔隙度（x2）、浸入系数（x3）及含油气饱和度（x4）等四个指标，如表所示，若油层为A组，B组为水层，现求两组判别函数并经验其有效性。计算步骤

1计算各组均值及均值差计算步骤2计算两组的综合协方差矩阵并形成方程组计算步骤

3根据方程Sc＝d解出判别系数为c1=-22.59;c2=-41.31;c3=-0.17;c4=37.1从而得到判别函数为计算步骤

4求各组判别函数的平均值及判别指标计算步骤

5计算马氏距离及统计量F取α＝0.05，查F分布表

F>F0.05(4,19)=2.9,可知结果显著亦可以将判别函数回代，检验结果是否显著Bayes准则下的多组线性判别作判别分析时，许多时候遇到的是要判别多个总体，如根据测井资料判别某一层位是油层、水层还是干层。总体有多个的判别叫多组判别。一般用Bayes准则进行多组线性判别Bayes准则

我们把m维空间Rm，按某种规则划分成互不相交的区域D1，D2，

…，DG，并称其为Rm的一个划分。对于一个给定的样品x=(x1,x2,…,xm)′，贝叶斯(Bayes)的准则是，若x落入Ak的概率最大，则把x判给母体Ak。Bayes判别模型

设有m个总体，第g个总体取得的样品个数为ng(g=1,2,…,m)，每个样品都观测了p个指标，用xgjk表示第g组第j个样品的第k项指标之观测值第一组第二组第m组变量样品Bayes判别模型

现有一新样品Y来自于上述几个总体中的一个，其p项指标值为y1,y2,…,yp那么应将Y归于哪一组？在Bayes意义下建立的判别模型，是要计算Y属于各组的概率p{g/Y}(g=1,2,…,m)，然后比较p{1/Y},

p{2/Y},…,p{m/Y}的大小，最后将Y归于概率较大的那一组。根据Bayes公式，样品Y属于第g组的概率（条件概率）p{g/Y}为：

其中qg为第g组的先验概率，实际中常用样本频率作为它的估计值，即qg=ng/N

(N为全部样品个数）fg(y1,y2,…,yp)是样品Y在第g组的概率密度，要计算p{g/Y}即是求fg(y1,y2,…,yp)

Bayes判别模型

如果m个总体服从正态分布。且各组变量协方差矩阵近似相等。则经过推导可得判别函数如下：

其中

是S的逆矩阵S-1

Bayes判别模型

根据判别函数，可以将未知样品依次代入此公式，若则未知样品属于第G组此外还可以算出样品属于第g组的后验概率Bayes判别计算步骤

1计算每一组各个变量的均值Bayes判别计算步骤2计算各组的离差矩阵Bayes判别计算步骤3计算综合协方差矩阵Bayes判别计算步骤4求S的逆矩阵S-1Bayes判别计算步骤5计算判别函数并对样品Y=(y1,y2,…,yp)作判别归类。按

按此式计算F(Y),找出最大的，如若则Y属于第G组Bayes判别计算步骤

6计算出Y属于每一组的后验概率7将原有的分组样品代入判别函数进行回判，算出判对率，以检验判别的有效性Bayes判别计算示例

除Fisher判别的13个油层及11个水层外，又取得7个油水层的样品资料如下，根据此三组样品建立油层、油水层、水层的判别函数Bayes判别计算示例

1计算每一组各变量的平均值如下Bayes判别计算示例

2计算协方差矩阵S并求出它的逆矩阵S-1Bayes判别计算示例3计算各组判别函数，如下为第一组的判别函数的计算Bayes判别计算示例4将31个样品指标代入各判别函数，将每个样品归于其判别函数值为最大的那一组，看看判对率多大，以第一个样品为例

还可计算出后验概率使用Bayes判别应注意的问题1Fisher准则不仅可应用于两组判别，也可应用于多组判别。Bayes准则要求各组变量服从正态分布，而Fisher准则则无此要求，因此数据服从正态分布时最好采用Bayes判别

2Bayes线性判别要求各组协方差矩阵近似相等，若有显著差异，应采用非线性判别模型，即Bayes二次判别函数

3建立判别函数应有足够多的样品，样品数越多代表性越强时，所得的判别函数越可靠

4用某一地区建立的判别函数原则上只适用于该地区或地质条件相似的地区

5判别函数是否具有较好的判别力，关键在于是否选取了具有强分辨力的变量，应根据专业知识选取合适的变量多组线性逐步判别

判别分析中一般希望考虑尽多的变量来区分各个总体，但变量选的越多所花的人力和物力就越大，同时，引入不重要的变量不能提高判别效果，为此，应对可供分组的变量进行挑选，此时就要用到逐步判别。它仍然使用Bayes线性判别模型逐步判别和逐步回归的思想类似，都采用有进有出的原则，即每一步都进行检验，在把每一个重要的变量引入判别式以后，同时也考虑较早进入判别式的某些变量，如果其重要性随着新变量的引入而丧失，则把它及时地从判别式中删除，使最终的判别式仅保留重要的变量。因此应考虑如何检验变量的判别能力检验多组判别效果的Wilks准则

设多组样品仍为xgjk(g=1,2,…,m;j=1,2,..,ng;k=1,2,…,p),他们来自m个具有相同协方差矩阵的正态总体，现定义检验多组判别效果的Wilks准则

设多组样品仍为xgjk(g=1,2,…,m;j=1,2,..,ng;k=1,2,…,p),他们来自m个具有相同协方差矩阵的正态总体，现定义检验多组判别效果的Wilks准则Wilks统计量U是矩阵W与矩阵T的行列式之比,可以用来验证p个变量区分这m个总体的能力，在单个变量的情况下,U就是组内离差与总离差的比值。U越小对划分m个总体越有利

行列式W和T的值仍然可以用回归那一部分介绍的求解求逆法进行计算,如W矩阵经过第L步变换后的矩阵记为W(l）。则可以最终计算出U。

检验多组判别效果的Wilks准则

最后可以求得一个F统计量

此统计量服从自由度为p(m-1)和β的F分布取定检验水平F后，若求出的F>Fa[p(m-1),β],则认为p个变量对m个总体有分辨力，反之，则认为这p个变量不足以分辨这m个总体引入和剔除变量的标准利用Wilks统计量还可以检验单个变量的判别能力，设经过L步计算，在判别函数中已引入了l个变量，先要考虑未引入的变量xr是否具有显著的判别力，从而决定是否引入，设前l个变量的判别力用U(l)来度量，增加xr后，这l+1个变量的判别能力用U(l+1)来度量，则可推知引入和剔除变量的标准引入标准Ur/(l)表征了已有l个变量又增加xr后引起的U的变化，可以看作变量xr的判别能力的一个量度，它也是一个wilks统计量，其相应的F检验式为若F1>Fa(m-1,N-m-l)，则认为xr的判别能力显著，可以引入判别函数，反之，不应引入。引入和剔除变量的标准剔除标准若经过L步的计算已引入了包括xr在内的l个变量，现考虑xr的判别能力是否显著，从而决定是否应将xr从判别函数中剔除。假定xr是第L步引入的，即前L-1步引入了不包括xr在内的l-1个变量。这就变成了在给定l-1个变量的条件下检验第L步引入的xr的判别能力的问题。那么可以构造出相应的F检验式若F2<Fa(m-1,N-m-l+1)，则xr应被剔除逐步判别的计算步骤

设有m组，第g组有ng个样品，每个样品观测了p个指标，原始数据记为xgjk,表示第g组第j个样品第k个指标的观测值，N表示样品总数一、计算矩阵W与矩阵T(1)计算各变量的分组均值及总均值

（2)计算组内离差矩阵W和总离差矩阵T:逐步判别的计算步骤二、逐步筛选变量。设已进行了L步，在判别式中引入了l个变量，则第L+1步的计算内容如下

(1)计算全部变量的判别力检验量，对未选入的变量xi计算

（2)首先在已选入的变量中，考虑是否有判别力不显著的变量需要剔除，这时可在Uj中找出最大者Ur（它对应的变量判别能力最差），作F检验，计算F2若F2<Fa(m-1,N-m-l+1)，则xr应被剔除,转到第（4）步，对矩阵W和矩阵T作消去r列的变换逐步判别的计算步骤二、逐步筛选变量。设已进行了L步，在判别式中引入了l个变量，则第L+1步的计算内容如下

（3)若F2>Fa(m-1,N-m-l+1)，则xr应被保留，转而应当考虑未选入的变量是否应被引入，于是对未选入的变量找出Ui中的最小者（它对应的变量判别力最强，假定为Ur，作F1检验若F1>Fa(m-1,N-m-l)，则认为xr的判别能力显著，可以引入判别函数，转到步骤（4）进行W和T矩阵的消去变换。反之，则认为没有变量可引入判别函数了。逐步判别的计算步骤（4）矩阵W和T的变换公式，在第L+1步对矩阵W和矩阵T作消去r列变换公式（即矩阵求解求逆变换公式），如下：逐步判别的计算步骤三、计算判别函数和分组判别（1）计算判别函数，设筛选变量计算结束是原矩阵W已经过h次变换而为W(h)=[wkt(h)]，判别函数中引入了D个变量。根据矩阵求解求逆算法可推断，与这D个变量相应的W(h)矩阵中的一个子矩阵恰好是这D个变量的组内离差矩阵的逆矩阵。而且组内离差矩阵与综合协方差矩阵只差一个常因子（N-m），于是根据前节多组判别所得的结果，可以计算各组判别函数逐步判别的计算步骤三、计算判别函数和分组判别（2）分组判别针对未知样品Y，分别代入每一个判别函数FG(Y)，求得最大的一个，即将其归入这一组（3）还可根据前述计算后验概率（4）可以将所有样品回代至检验方程，检验判别函数的有效性逐步判别计算示例