Fisher分类算法

1、实验二用身高和/或体重数据进行性别分类的实验一、实验目的1）加深对Fisher线性判别方法原理的理解和认识2）掌握Fisher线性判别方法的设计方法二、实验数据训练样本集FAMALE. TXT50个女生的身高、体重数据MALE. TXT 50个男生的身高、体重数据测试样本集testl.txt 35个同学的身高、体重、性别数据（15个女生、20个男生）test2. txt 300个同学的身高、体重、性别数据（50个女生、250个男生）三、实验内容试验直接设计线性分类器的方法，与基于概率密度估计的贝叶斯分类器进行比较。同时采用身高和体重数据作为特征，用Fisher线性判别方法求分类器，将该分类器应

2、用到训练和测试样本，考察训练和测试错误情况。将训练样本同和求得的决策边界画到图上，IBayes分类器）也画到图上，比较时把以往用Bayes方法求得的分类器（例如结：最小错误率 果的异同。四、原理简述、程序流程图1、Fisher线性判别方法mix, i 1, 2Ni x .首先求各类样本均值向量1S x nil niT, i 1,2然后求各个样本的来内离散度矩阵i *2再求出样本的总类内离散度1根据公式s nilm2再求出一维丫空间中各类样本均值Si P S2求出把xh影到Y的最好的投影方向。Ni y iy, i 1,2,其中yNiinJ 淅2VoNi N2本次实验的分界阈值我们用如下方法得到：

3、最后，将测试样本中的值代入，求出 y,并将其与yO来进行比较来分类。2、流程图求各类样本均 值向量求类内离散度 矩阵用公式求最好 的变换向量W*二维空间向一 维y空间投影一维空间样本 均值求取阈值yO决策判断计算各类样本 的错误率男生错误个数女生错误个数总错误男生错误率女生错误率总错误率2722910. 8%4%9. 67%841216%8%12%1、错误率表格测试结果较好，但测试训练样本五、实验结果分析：用训练样本得到的分类器测试测试样本时错误率低, 时，其错误率较高，测试结果不好。2、Fisher判别方法图像(7769583122901 conj(y)/21990232555621T 58

4、42644471180487/8796093022208 = 030>1111140150160170180190200分析：从图中我们可以直观的看出对训练样本Fisher判别比最大似然Bayes判别效果更好。六、总结与分析本次实验使我们对加深 Fisher判别法的理解。通过两种分类方法的比较，我们对于同 一种可以有很多不同的分类方法，各个分类方法各有优劣，所以我们更应该熟知这些已经 得到充分 证明的方法，在这些方法的基础上通过自己的理解，创造出更好的分类方法。所以模式识别还有很 多更优秀的算法等着我们去学习。七、附录1. fisher, mfunction w, yO=fisher(A

5、A, BB)A=AA'B=BB'kl, ll=size(A);k2, 12=size(B);Ml=sum (AA);M1=MV ;M1=M1/11;%男生均值向量M2=sum(BB);M2=M2'M2412/12;%女生均值向量Sl=zeros (kl, kl) ;% 建立矩阵S2=zeros (k2, k2);for i=l:11SI=S1+(A(:, i)-M1)*(A(:, i)- Ml).');% end for i=1:12男生的类内离散度矩阵S2=S2+(B(:, i)-M2)*(B(:, i)-M2).');%end女生的类内离散度矩阵,先

6、验概率0. 5Sw=0. 5*S1+O. 5*S2;%总类内离散度矩阵行年 V僦邛赚衣版F久h晦簿则函数JF (w)取极大值时的解，也就是d维X空间到1维丫空间的最好 的投影方向for i=l:11Yl(i)=wT(l, 1)*A(1, i)+wT(l, 2)*Ai) ;%求出二维男生样本集映射到一维时的量end for i=l:12Y2=wT(l,i)+wT(l,2)*Bi)求出二维女生样本集映射到一维时的量end ml=sum(Yl)/ll;m2=sum(Y2)/12;y0=(ll*ml+12*m2)/(11+12);2. determine, m%用fisher线性判别函数来判断clcc

7、learAi A2 = textscan (' MALE, txt', ' %f%f');Bl B2=textscan (' FEMALE, txt' , ' %f%f?) ; AA =Al A2;BB = Bl B2;w, yOJ = fisher(AA,BB);wT = w' ; girl = 0; boy = 0; bad = 0; errorgirl = 0; errorboy = 0; error = 0; errorgirlrate = 0; errorboyrate = 0; errorrate = 0;T1 T2

8、= textscan ('test2. txt','TT = T1 T2 ;T = TT，;k3 13 = size(T); for k = 1:50 y(k) = wT*T(:, k); if y(k)>y0 errorgirl = errorgirl+1;else if y(k)<y0girl = girl+1;else bad = bad+1;endendendfor k = 51:300y(k) = wT*T(:, k);if y (k)>y0 boy = boy+1;else if y(k)<y0errorboy = errorboy+

9、1; else bad = bad+1;endend enderrorgirl; errorboy;bad;girl = errorboy+girl; boy = boy+errorgirl;error = errorgir1+errorboy; errorgirlrate = errorgirl/50; errorboyrate = errorboy/250; errorrate = error/13;3. huatu. mAl A2 = textread MALE, txt', ' %f%f');Bl B2 = textread (，FEMALE, txt'

10、,' %f%f，);AA=A1 A2;BB=B1 B2;A=AA'B=BB'Lkl, ll=size(A);k2, 12=size(B);w, y0=fisher (AA, BB);for i=l:11x=A(l, i);y=A(2, i) ;%x 是身高,y 是体重 plot (x, y, ' R.');hold on end for i=l:12 x=y=B(2, i) ; plot (x, y, ' G. ') ; hold on end al=min(A(l, ：) ;% 男生身高最小值 a2=max(A(l, :) ;% 男生身

11、高最大值bl=min(B(l, :) ;%女生身高最小值b2=max(B(l, :) ;%女生身高最大值 a3=min(A(2, :) ;%男生体重最小值a4=max(A(2, :);%男生体重最大值b3=min(B(2, :);%女生体重最 小值b4=max(B(2, :) ;%女生体重最大值if al<bla=al;elsea=bl;%a是所有人中身高最小值end if a2>b2 b=a2;else b=b2;%b是所有人中身高最大值end if a3<b3 c=a3;elsec=b3;%c是所有人中体重最小值 end if a4>b4 d=a4;elsed=b4

12、;%d为所有人中体重最大值 endx=a:O. 01:b;y=(y0-x*w(l, l)/w(2, 1) ; plot (x, y,' B');hold on;%身高体重相关，判别测试样本%手动先验概率Pl=0. 5;P2=0. 5;FA=B;MA=A; a=cov(FA，)*(length(FA)-1)/length(FA); b=cov(MA')*(length(MA)-l)/length(MA);Wl=-l/2*inv(a);W2=-l/2*inv(b);Avel=(sum(FA，)/length(FA) ;Ave2=(sum(MA*)/length(MA)J ; wl=inv(a)*Avel;w2=inv(b)*Ave2;wlO=T/2*Avel' *inv(a)*AvelT/2*log(d