模式识别 (2)

1、模式识别作业作业1：已知四个训练样本 w1=(0,0),(0,1) w2=(1,0),(1,1) 使用感知器固定增量法求判别函数 设w1=(1,1,1,1) k=1 要求编写程序上机运行，写出判别函数，并打出图表。解：程序:function W iters=perceptionclassfy(W1,Pk)x1=0 0 1'x2=0 1 1'x3=1 0 1'x4=1 1 1' Wk=W1;FLAG=0;iters=0;if Wk'*x1<=0 Wk=Wk+x1; FLAG=1;endif Wk'*x2<=0 Wk=Wk+x2; FLA

2、G=1;endif Wk'*x3>=0 Wk=Wk-x3; FLAG=1;endif Wk'*x4>=0 Wk=Wk-x4; FLAG=1;enditers=iters+1;while(FLAG) FLAG=0; if Wk'*x1<=0 Wk=Wk+x1; FLAG=1; end if Wk'*x2<=0 Wk=Wk+x2; FLAG=1; end if Wk'*x3>=0 Wk=Wk-x3; FLAG=1; end if Wk'*x4>=0 Wk=Wk-x4; FLAG=1; end iters=iters

3、+1;endW=Wk;作业2：在下列条件下，求待定样本x=(2,0)T的类别，画出分界线，编程上机。1、 二类协方差相等，2、二类协方差不等。 训练样本号k1 2 31 2 3特征x11 1 2-1 -1 -2特征x21 0 -11 0 -1类别1. 二类协方差相等程序如下： x1=mean(1,1,2),mean(1,0,-1)'x2=mean(-1,-1,-2),mean(1,0,-1)'m=cov(1,1;1,0;2,-1);n=cov(-1,1;-1,0;-2,-1);m1=inv(m);n1=inv(n);p=log(det(m)/(det(n);q=log(1);x

4、=2,0'l=m+n;l1=inv(l);g1=0.5*(x-x1)'*m1*(x-x1)-0.5*(x-x2)'*n1*(x-x2)+0.5*p-qg1 = -64>> (x2-x1)'*m1ans = -32.0000 -16.0000 化简矩阵多项式g1=0.5*(x-x1)'*m1*(x-x1)-0.5*(x-x2)'*n1*(x-x2)+0.5*p-q 其中x1，x2已知，x设为 下面用MATLAB化简，程序如下：>> syms x11;>> syms x22;>> w1=-32*x11+

5、(-16)*x22+0.5*(x1'*l1*x1-x2'*l1*x2)-q,simplify(w1); w1 = - 32*x11 - 16*x22因此分界线方程为- 32*x11 - 16*x22=0，即2. 二类协方差不等>>x1=mean(1,1,2),mean(1,0,-1)'>> x2=mean(-1,-1,-2),mean(1,0,-1)'>> m=cov(1,1;1,0;2,-1);>> n=cov(-1,1;-1,0;-2,-1);>> m1=inv(m);n1=inv(n);>&

6、gt; p=log(det(m)/(det(n)>> q=log(1)>> x=2,0'>> g1=0.5*(x-x1)'*m1*(x-x1)-0.5*(x-x2)'*n1*(x-x2)+0.5*p-qg1<0,则判定属于类。化简矩阵多项式0.5*(x-x1)'*m1*(x-x1)-0.5*(x-x2)'*n1*(x-x2)+0.5*p-q，其中x1，x2已知，x设为，化简到下面用MATLAB化简，程序如下：>> syms x1;>> syms x2;>>w=(12*x1-16

7、+6*x2)*(x1-4/3)+(6*x1-8+4*x2)*x2-(12*x1+16-6*x2)*(x1+4/3)-(-6*x1-8+4*x2)*x2,simplify(w) w = (x1 - 4/3)*(12*x1 + 6*x2 - 16) - (x1 + 4/3)*(12*x1 - 6*x2 + 16) + x2*(6*x1 - 4*x2 + 8) + x2*(6*x1 + 4*x2 - 8) ans = 8*x1*(3*x2 - 8) 因此8*x1*(3*x2 - 8)=-64x1+24x2x1=0,即x1=0，或者x2=8/3，很显然分界线方程为x1=0，因为x2=8/3不能区分类以

8、下是MATLAB绘图程序。>> x1=1;1;2;x2=1;0;-1;plot(x1,x2,'mx','markersize',15);axis(-5,5,-5,5);grid on;hold on>>x1=-1;-1;-2;x2=1;0;-1;plot(x1,x2,'m*','markersize',15);axis(-5,5,-5,5);hold on>>x1=2;x2=0;plot(x1,x2,'mp','markersize',15);axis(-5,5,

9、-5,5);hold on>>x2=-5:0.02:5;x1=0;plot(x1,x2,'b');axis(-5,5,-5,5);>>x1=-5:0.02:5;x2=-2*x1;plot(x1,x2,'-.k');axis(-5,5,-5,5);最终运行结果如下：说明：X点为类的样本点，*点为类的样本点，为待定样本，实直线为二类协方差不等的时候的分界线，点划线为二类协方差相等时的分界线。作业3设有如下三类模式样本集1，2和3，其先验概率相等，求Sw和Sb1：(1 0)T, (2 0) T, (1 1) T2：(-1 0)T, (0 1)

10、T, (-1 1) T3：(-1 -1)T, (0 -1) T, (0 -2) T解：由于本题有三类模式，且三类样本集的先验概率相等，则概率均为1/3。 多类情况的类内散布矩阵，可写成各类的类内散布矩阵的先验概率的加权和，即：其中Ci是第i类的协方差矩阵。这里，有：则类间散步矩阵常写成：其中为多类模式（如共有c类）分布的总体均值向量，即：,c则 因此 作业4 设有如下两类样本集，其出现的概率相等：1：(0 0 0)T, (1 0 0) T, (1 0 1) T , (1 1 0) T2：(0 0 1)T, (0 1 0) T, (0 1 1) T , (1 1 1) T用K-L变换，

11、分别把特征空间维数降到二维和一维，并画出样本在该空间中的位置。解： 将所有这些样本的各分量都减去0.5，便可以将所有这些样本的均值移到原点，即(0,0,0)点。 新得到的两类样本集为：1：(-0.5 -0.5 -0.5)T, (0.5 -0.5 -0.5) T, (0.5 -0.5 0.5) T , (0.5 0.5 -0.5) T2：(-0.5 -0.5 0.5)T, (-0.5 0.5 -0.5) T, (-0.5 0.5 0.5) T , (0.5 0.5 0.5) T解特征值方程,求R的特征值。求得特征值其对应的特征向量可由。求得：1、将其降到二维的情况： 选和对应的变换向量作为变换矩阵，由得变换后的二维模