fisher算法及其matlab实现

1、Fisher判别法讲解以及matlab代码实现两类的线形判别问题可以看作是把所有样本都投影到一个方向上，然后在这个一维空间中确定一个分类的阈值。过这个预置点且与投影方向垂直的超平面就是两类的分类面。第一个问题，如何确定投影方向？这里只讨论两类分类的问题训练样本集是X=x1,x2.xn,每个样本是一个d维.一一,11一1222向量，其中第一类w1=X1,X2.Xn1,第二类w2=X1,X2.Xn2o我们要寻求一个投影方向w（w也是一个d维向量），投影以后样本变成：yi=WTXi（y是一个标量），i=1.n在原样本空间中，类均值为:（ps.mi是一个d*1的矩阵，假设每个维度是一个变量值，mi中的

2、每一维度就是这些变量值的均值，如下图所示：第一类样本第一类样本第一类均值第一类均值xlz2ml身高身高150160155体重体重809587.5图1特别注明：有些例子给的矩阵是这样的:地点地点样品号样品号水体水体底泥底泥ASPbASPb甲地甲地12.797.813.8549.624.6712.3122.3147.834.6316.8128.8262.1543.5一5815.2943.254.916.1228.2958.7miXjniXjwii=1,2（一共两类的均值）乙地乙地1L061.222.1820.620.84.063.8527.1303.51L4042.414.37.933.255.1

3、4.4322.454.6图2这里的单个样本是1*d的矩阵，要注意计算的时候将其转置，不然套用日sher算法公式的时候就会发现最后得到的矩阵维数不对。定义各类类内的离散度矩阵为：(类内离散度矩阵其实就是类协方差矩阵，类在多于一个样本，且样本维度1时是一个矩阵)S一(Xj_mi)(Xj-mi)TXjwi(因为，Xj是一个d*1的矩阵，也可称作d维向量，甲也是一个d*1的矩阵,所以最后得到的S一定是一个d*d的矩阵)(在用matlab计算的时候直接用cov(wi)即可得到想要的协方差矩阵， 故直接计算不探究细节时图2可直接cov算协方差，不用根据公式转置来转置去，不过matlab中算的协方差被缩小了

4、(n1-1)倍，计算时Si=cov(w1)*(n1-1)总的类内离散度矩阵：Sw=S1s2类间离散度矩阵定义为:Sb=(mi-m2)(m-m2)T在投影以后的一维空间里，两类的均值分别是;mNiyiyjwiiXjwimii=i,2故类内离散度不再是一个矩阵，而是一个值i”(ymii相yjwi总类内离散度为:Sww二SiiSii类间离散度：2Sbb二(mil-hi)要使得需求的方向投影能在投影后两类能尽可能的分开,聚集，可表示成如下准则，即日sher准则：maxJ(w)=-SbSww将公式代入并通过拉格朗日求极值的方法，可得投影方向：i,、w=Sw(m,-m2)（w是一个d*1的矩阵，或者说亦是

5、一个d维向量）阈值可表小为:1.W0:-2(miim22)最后将待确定样本代入g(x);wTxw0判断g（x）的符号和哪个类相同，确定其属于哪个类别。例子（注意表格中所给的样本维度和公式中变量维度的问题代码已经运行无误而各类内部又尽可能的ABCDEFGH1胃病类型胃病类型铜蓝蛋白铜蓝蛋白蓝色反应蓝色反应乙酸乙酸硫化物硫化物归类归类2228134201113245134104014胃病胃病200167122715170150?S161001672014171501177628120133102629160100510210非胃病非胃病1851155192111701256421216514253

6、21318510S21221422512571415未知样未知样1001171216130100612171S代码:%读取 excel 中特定单元格的数据w12=xlsread(模式识别理论学习胃病分类问题.xls,C2:F16);%分别选取类 1 和类 2、测试样本的数据w1=w12(1:5,:);w2=w12(6:12,:);sample=w12(13:15,:);%计算类 1 和类 2 的样本数r1=size(w1,1);r2=size(w2,1);r3=size(sample,1);%计算类 1 和类 2 的均值(矩阵)m1=mean(w1);m2=mean(w2);%各类类内离散度矩

7、阵(协方差矩阵)s1=cov(w1)*(r1-1);s2=cov(w2)*(r2-1);%总类内离散度矩阵sw=s1+s2;%投影向量的计算公式w=inv(sw)*(m1-m2);%计算投影后的一位空间内，各类的均值y1=w*m1;y2=w*m2;%计算阈值w0=-1/2*(y1+y2);附口类相同符号被归为同类fori=1:r3y(i)=sample(i,:)*w+w0;ify(i)*(w*w1(1,:)+w0)0y(i)=1;elsey(i)=2;endEnd判断得出第一个待测样本属于类 1,第二，三个待测样本属于类 2如果想进一步知道样本矩阵是如何转置得到最后结果的，可看下面这个例子，这

8、个例子没有用到matlab 内置的 cov 协方差函数(用 cov 可以直接用样本数据直接进行矩阵运算，不用转置成样本维度向量)，所以要进行转置后代入 fisher 准则公式求解.3ABCIDEF甲地甲地P12.797.813.8549.6r424.6712.3122.3147.85r34.6316.8128,3262.15643.547,5815,2943.2785I916,122&2958.7乙地乙地11.061.222.1820.6920,84.063.8527.110r301511.401142.414,37.933.21255.14.4322.454.613未知样本未知样本1

9、2.414.37.933.2142k5J4.4322.4r54.6J154.10612.12421.71252.2916x=xlsread(模式识别理论学习污染水域问题.xls,C3:F14);x1=x(1:5,:);x2=x(6:10,:);sample=x(11:12,:);m1=zeros(size(x1,1),1);%求类内离散度矩阵m1=mean(x1,2)m2=mean(x2,2)%求类内离散度矩阵s1=zeros(size(x1,1),size(x1,1);fori=1:size(x1,2)s1=s1+(x1(:,i)-m1)*(x1(:,i)-m1);ends2=zeros(size(x2,1),size(x2,1);fori=1:size(x2,2)s2=s2+(x2(:,i)-m2)*(x2(