模式识别感知器算法求判别函数.doc

精品文档感知器算法求判别函数一、 实验目的 掌握判别函数的概念和性质，并熟悉判别函数的分类方法，通过实验更深入的了解判别函数及感知器算法用于多类的情况，为以后更好的学习模式识别打下基础。二、 实验内容 学习判别函数及感知器算法原理，在MATLAB平台设计一个基于感知器算法进行训练得到三类分布于二维空间的线性可分模式的样本判别函数的实验，并画出判决面，分析实验结果并做出总结。三、 实验原理3.1 判别函数概念直接用来对模式进行分类的准则函数。若分属于1，2的两类模式可用一方程d(X) =0来划分，那么称d(X) 为判别函数，或称判决函数、决策函数。如，一个二维的两类判别问题，模式分布如图示，这些分属于1，2两类的模式可用一直线方程 d(X)=0来划分。其中 (1) 为坐标变量。将某一未知模式 X 代入（1）中： 若，则类； 若，则类； 若，则或拒绝维数=3时：判别边界为一平面。维数3时：判别边界为一超平面1。3.2 感知器算法1958年，(美)F.Rosenblatt提出，适于简单的模式分类问题。感知器算法是对一种分类学习机模型的称呼，属于有关机器学习的仿生学领域中的问题，由于无法实现非线性分类而下马。但“赏罚概念（ reward-punishment concept）” 得到广泛应用，感知器算法就是一种赏罚过程2。两类线性可分的模式类 ，设其中，应具有性质 （2）对样本进行规范化处理，即2类样本全部乘以(1)，则有： （3）感知器算法通过对已知类别的训练样本集的学习，寻找一个满足上式的权向量。感知器算法步骤： （1）选择N个分属于1和 2类的模式样本构成训练样本集 X1 , XN 构成增广向量形式，并进行规范化处理。任取权向量初始值W(1)，开始迭代。迭代次数k=1。（2）用全部训练样本进行一轮迭代，计算WT(k)Xi 的值，并修正权向量。分两种情况，更新权向量的值：1. 分类器对第i个模式做了错误分类，权向量校正为： c：正的校正增量。2. 若分类正确，权向量不变：,统一写为： （4） （3）分析分类结果：只要有一个错误分类，回到（2），直至对所有样本正确分类。感知器算法是一种赏罚过程：分类正确时，对权向量“赏”这里用“不罚”，即权向量不变；分类错误时，对权向量“罚”对其修改，向正确的方向转换3。3.3 感知器算法的流程及框图1、确1定样本：输入向量P、目标向量T。 2、网络大小：根据向量的维数来选择网络规模。 3、初始化：W、b取随机值，范围-1, +1。 4、 网络输出：根据P、W、b来计算网络的输出Y。 5、学习偏差：E=T-Y。 6、新的网络参数：W = W + EPT、 = + E （5）反复训练，直到达到目标，或达到最大的训练次数。图1 感知器算法流程图四、 实验结果与分析 本次实验先产生了三组服从正态分布的样本，通过感知器算法画出了他们的判别函数如图2所示：图2 画出的判别面得到的判别函数分别是: d1=47.2296x1-92.9167x2+20.0000 d2=55.4429x1-80.6872 x2-48.0000 d3=-252.8807x1-224.7119x2 -72.0000通过分析上述实验结果，虽然由于感知器算法是俩俩比较，并且是线性分类，所以第三条判别函数可能会穿过第三类样本，但可以看出判别函数把三类样本两两分开，达到了实验的目的，也掌握了感知器算法的原理。五、 总结 本文通过研究基于感知器算法进行样本分类，用MATLAB语言设计了程序，结果表明该系统基本实现了要求的功能，但系统也存在第三条判别函数不理想的情况，这也是感知器算法无法实验非线性分类的结果，以后学习其他算法后可以改进。参考文献 1夏东盛, 李永涛, 张晓,等. 模式线性可分时的一种单层感知器算法C/ 中国计算机学会第一届全国Web信息系统及其应用学术会议. 2004:29-31. 2刘建伟, 申芳林, 罗雄麟. 感知器学习算法研究J. 计算机工程, 2010, 第7期(7):190-192. 3易中凯. 感知器网络学习算法研究与应用D. 北京理工大学, 2001.附录程序源代码clear;clc;mu1=1 2;S1=0.25 0;0 0.7 ;data1=mvnrnd(mu1,S1,100);mu2=4 6;S2=0.5 0 ;0 0.45 ;data2=mvnrnd(mu2,S2,100);mu3=-5 5;S3=0.7 0;0 0.4 ;data3=mvnrnd(mu3,S3,100);data=data1;data2;data3;%生成三组服从正态分布的样本one=zeros(100,1);one(:,1)=1;X1=data1 one;X2=data2 one;X3=data3 one;%增广矩阵W1=0,0,0;W2=0,0,0;W3=0,0,0;%初始权向量while true counter=0; for i=1:100%对第一组训练样本迭代 d11=W1*X1(i,:); d12=W2*X1(i,:); d13=W3*X1(i,:); if d11d12&d11d13 counter=counter+1; else W1=W1+2*X1(i,:);W2=W2-2*X1(i,:);W3=W3-2*X1(i,:); end end for i=1:100%对第二组训练样本迭代 d21=W1*X2(i,:); d22=W2*X2(i,:); d23=W3*X2(i,:); if d22d21&d22d23 counter=counter+1; else W1=W1-2*X2(i,:);W2=W2+2*X2(i,:);W3=W3-2*X2(i,:); end end for i=1:100%对第三组训练样本迭代 d31=W1*X3(i,:); d32=W2*X3(i,:); d33=W3*X3(i,:); if d33d31&d33d32 counter=counter+1; else W1=W1-2*X3(i,:);W2=W2-2*X3(i,:);W3=W3+2*X3(i,:); end end if counter=300 break endendplot(data(:,1),data(:,2),b.,MarkerSize,6);%绘出三组聚类点hold on;a1=W1(:,1);b1=W1(:,2);c1=W1(:,3);a2=W2(:,1);b2=W2(:,2);c2=W2(:,3);a3=W3(:,1);b3=W3(:,2);c3=W3(:,3);x=linspace(-10,25,1000);y1=-(a1-a3)*x/(b1-b3)-(c1-c3)/(b1-b3);%生成函数y2=-(a2-a1)*x/(b2-b1)-(c2-c1)/(b2-b1);y3=-(a3-a2)*x/(b3-b2)-(c3-c2)/(b3-b2);hold on;plot(x,y1,c,x,y2,r,x,y3,b)%绘出判决面axis(-10 10 -2 10);hold on; grid on;7Toolate为时太晚 Theplanewaslateanddetectiveswerewaitingattheairportallmorning.TheywereexpectingavaluableparcelofdiamondsfromSouthAfrica.Afewhoursearlier,someonehadtoldthepolicethatthieveswouldtrytostealthediamonds. Whentheplanearrived,someofthedetectiveswerewaitinginsidethemainbuildingwhileotherswerewaitingontheairfield.TwomentooktheparcelofftheplaneandcarrieditintotheCustomsHouse. Whiletwodetectiveswerekeepingguardatthedoor,twoothersopenedtheparcel.Totheirsurprise,thepreciousparcelwasfullofstonesandsand!飞机误点了，侦探们在机场等了整整一上午。他们正期待从南非钻石的贵重包裹。几个小时前，有人告诉警察，小偷想偷钻石。当飞机到达时，一些侦探等候在主楼内，另一部分则等在停机坪。两个男人带着包裹下了飞机，进了海关。当两个侦探把住门口，另外两个打开包裹。令他们吃惊的是，那珍贵的包裹里面装的全是石头和沙子！Thebestandtheworst最好的和最差的JoeSandershasthemostbeautifulgardeninourtown.NearlyeverybodyentersforTheNicestGardenCompetitioneachyear,butJoewinseverytime.BillFrithsgardenislargerthanJoes. BillworksharderthanJoeandgrowsmoreflowersandvegetables,butJoesgardenismoreinteresting.Hehasmadeneatpathsandhasbuiltawoodenbridgeoverapool.Ilikegardenstoo,butIdonotlikehardwork.EveryyearIenterforthegardencompetitiontoo,a