模式识别 - 模式识别上机作业.doc

模式识别上机作业C-Means算法：程序介绍：输入为分类数目CLassNum以及样本空间Sample，然后进行C均值法分类，其中引用了Dis为自定义求向量之间距离函数，输出每个样本分类结果，以及分类后的每一类样本空间。程序源代码：function CMean(CLassNum,Sample)n=size(Sample);InitialCenter=zeros(CLassNum,n(2);%初始化C个类中心for i=1:CLassNum InitialCenter(i,:)=Sample(i,:)end;a=0;b=0;w=zeros(1,n(1);w1=ones(1,n(1);while w1=w %循环迭代条件w1=w;for i=1:n(1) C=inf; for j=1:CLassNum Dis(i,j)=dis(Sample(i,:),InitialCenter(j,:); %计算矢量之间距离，Dis为自定义求向量之间距离函数 if CDis(i,j), C=Dis(i,j) %找出 d min,记录它的位置 a=i; b=j; end; end; w(i)=b; %分类end;num=zeros(1,CLassNum);for i=1:n(1) for j=1:CLassNum if w(i)=j, num(j)=num(j)+1; %计算每类所含模式个数 end; end;end;InitialCenter=zeros(CLassNum,n(2);%初始化C个类中心CLass=InitialCenter;for j=1:CLassNum for i=1:n(1) if w(i)=j InitialCenter(j,:)=InitialCenter(j,:)+Sample(i,:) %重新分类的类心 end; end; InitialCenter(j,:)=InitialCenter(j,:)/num(j);end;end;j=1;k=1;for i=1:n(1) if w(i)=1, %w1(j,:)=Sample(i,:); j=j+1; %第一类个数 end; if w(i)=2, %w2(k,:)=Sample(i,:); k=k+1; %第二类个数 end;end;w1=zeros(j-1,n(2);w2=zeros(k-1,n(2);j=1;k=1;for i=1:n(1) if w(i)=1, w1(j,:)=Sample(i,:); j=j+1; %第一类个数 end; if w(i)=2, w2(k,:)=Sample(i,:); k=k+1; %第二类个数 end;end;InitialCenterw %分类结果w1 %第一类样本w2 %第二类样本例：输入CLassNum=2;Sample=0 0;0 1 ; 4 4;4 5;5 4;5 5;1 0 %样本空间CMean(CLassNum,Sample)输出：w = 1 1 2 2 2 2 1 %x(i)对应的类别%第一类样本w1 = 0 0 0 1 1 0 %第二类样本w2 = 4 4 4 5 5 4 5 5分类成功感知器算法： 本程序先将训练样本分量增广化及符号规范化。将训练样本增加一个分量1，运用感知器训练算法不断调整权重。 输入样本类数CLassNum以及两类样本Sample1,Sample2，输出权重向量w程序源代码：function Perceptron(CLassNum,Sample1,Sample2);n1=size(Sample1);for i=1:n1(1) ExtendSample1(i,:)=Sample1(i,:) 1; %样本1分量增广化，训练样本增加分量1end;n2=size(Sample2);for i=1:n2(1) ExtendSample2(i,:)=Sample2(i,:) 1; %样本2分量增广化，训练样本增加分量1end;ExtendSample2=-1.*ExtendSample2; %训练样本2乘以-1Sample=ExtendSample1;ExtendSample2;n=size(Sample);w=ones(1,n(2); %增广权矩阵赋初值%w=1 1 1;p=1; %增量p=1d=zeros(1,n(1);while min(d)0, w=w; %分类正确，权重不变 end; if d(i)=0, w=w+p*Sample(i,:); %分类错误，调整权重 end;end;end;w例：输入CLassNum=2;Sample1=0 0;0 1;Sample2=1 0;1 1;Perceptron(CLassNum,Sample1,Sample2);输出w = -3 0 1分界面为结果正确！HK算法： HK算法使用平方误差准则函数，运用最优化技术求得准则函数J关于w与b的极小值点，程序中e(k)等于零种植循环，e(k)大于零继续下步，e(k)各份量均为负值或负的分量停止变为正终止循环，鉴于负的分量停止变为正值也就意味着程序进入死循环，所以我们暂且将循环迭代的次数上限规定为count=100，以免进入死循环 输入为待训练的样本Sample1,Sample2,输出为最终权重矩阵w 源代码：function HK(Sample1,Sample2);n1=size(Sample1);for i=1:n1(1) ExtendSample1(i,:)=Sample1(i,:) 1; %样本1分量增广化，训练样本增加分量1end;n2=size(Sample2);for i=1:n2(1) ExtendSample2(i,:)=Sample2(i,:) 1; %样本2分量增广化，训练样本增加分量1end;ExtendSample2=-1.*ExtendSample2; %训练样本2乘以-1Sample=ExtendSample1;ExtendSample2;n=size(Sample);%求伪逆FInvSample=inv(Sample*Sample)*Sample;e=ones(1,n(1);count=0;%while e=zeros(1,n(1)|max(e)0|count=100, %终止循环条件,e(k)等于零种植循环，e(k)大于零继续下步，e(k)各份量均为负值或负的分量停止变为正终止循环 b=ones(1,n(1);%余量矢量赋初值 p=1;%赋P=1 w=FInvSample*b; e=Sample*w-b; if min(e)0 w=w+p*FInvSample*abs(e); %调整权重 b=b+p*(abs(e)+e); end; count=count+1; %将循环次