模式识别感知器算法求判别函数

1、精品资料欢迎下载感知器算法求判别函数一、实验目的掌握判别函数的概念和性质，并熟悉判别函数的分类方法，通过实验更深入的了解判别函数及感知器算法用于多类的情况，为以后更好的学习模式识别打下基础。二、实验内容学习判别函数及感知器算法原理，在MA TLAB平台设计一个基于感知器算法进行训练得到三类分布于二维空间的线性可分模式的样本判别函数的实验，并画出判决面， 分析实验结果并做出总结。三、实验原理3.1判别函数概念直接用来对模式进行分类的准则函数。若分属于1，2 的两类模式可用一方程d(X ) =0来划分，那么称d(X) 为判别函数，或称判决函数、决策函数。如，一个二维的两类判别问题，模式分布如图示，

2、这些分属于1，2 两类的模式可用一直线方程d(X )=0 来划分。其中d(X )w1x1w2 x2w30(1)x1 , x 2为坐标变量。将某一未知模式X 代入（ 1）中：若 d( X )0 ，则X1 类；若 d( X )0 ，则X2 类；若 d( X )0 ，则X或 X1 或拒绝2维数 =3时：判别边界为一平面。维数 >3时：判别边界为一超平面1 。3.2感知器算法1958 年， ( 美 )F.Rosenblatt提出，适于简单的模式分类问题。感知器算法是对一种分精品资料欢迎下载类学习机模型的称呼，属于有关机器学习的仿生学领域中的问题，由于无法实现非线性分类而下马。但“赏罚概念（rew

3、ard-punishment concept）”得到广泛应用，感知器算法就是一种赏罚过程 2 。两类线性可分的模式类1,2 ，设 d ( X )WTX其中， Ww1 , w2 , , wn , wn 1T ，X x1, x2 , , xn ,1 T 应具有性质d (X ) W T0,若 XX若 X0,1（ 2）2对样本进行规范化处理，即2 类样本全部乘以( 1)，则有：（3）感知器算法通过对已知类别的训练样本集的学习，寻找一个满足上式的权向量。感知器算法步骤：（1）选择 N 个分属于1 和 2 类的模式样本构成训练样本集 X1 , , XN 构成增广向量形式，并进行规范化处理。任取权向量初始值

4、W(1) ，开始迭代。迭代次数k=1 。（ 2）用全部训练样本进行一轮迭代，计算WT(k)Xi 的值，并修正权向量。分两种情况，更新权向量的值：1. 若 W T k X i 0，分类器对第 i 个模式做了错误分类，权向量校正为：W k1 W k cX ic：正的校正增量。2. 若W Tk X i 0，W k 1 W k,分类正确，权向量不变：统一写为：（ 4）（ 3）分析分类结果：只要有一个错误分类，回到（2），直至对所有样本正确分类。感知器算法是一种赏罚过程：分类正确时，对权向量“赏” 这里用“不罚”，即权向量不变；分类错误时，对权向量“罚” 对其修改，向正确的方向转换3 。3.3感知器算法

5、的流程及框图1、确 1 定样本：输入向量P、目标向量T。2、网络大小：根据向量的维数来选择网络规模。3 、初始化： W、 b 取随机值，范围-1, +1。精品资料欢迎下载4、 网络输出：根据P、W、 b 来计算网络的输出Y。5 、学习偏差： E=T-Y。6 、新的网络参数：W? = W + E×PT 、 ? = + E（ 5）反复训练，直到达到目标，或达到最大的训练次数。图 1 感知器算法流程图四、实验结果与分析本次实验先产生了三组服从正态分布的样本， 通过感知器算法画出了他们的判别函数如图2所示：精品资料欢迎下载图 2 画出的判别面得到的判别函数分别是:d1=47.2296x1-9

6、2.9167x2+20.0000d2=55.4429x1-80.6872 x2-48.0000d3=-252.8807x1-224.7119x2 -72.0000通过分析上述实验结果，虽然由于感知器算法是俩俩比较，并且是线性分类，所以第三条判别函数可能会穿过第三类样本，但可以看出判别函数把三类样本两两分开，达到了实验的目的，也掌握了感知器算法的原理。五、 总结本文通过研究基于感知器算法进行样本分类，用MATLAB语言设计了程序，结果表明该系统基本实现了要求的功能，但系统也存在第三条判别函数不理想的情况，这也是感知器算法无法实验非线性分类的结果，以后学习其他算法后可以改进。参考文献1 夏东盛 ,

7、 李永涛 , 张晓 ,等 . 模式线性可分时的一种单层感知器算法 C/ 中国计算机学会第一届全国 Web 信息系统及其应用学术会议 . 2004:29-31.2 刘建伟 , 申芳林 , 罗雄麟 . 感知器学习算法研究 J. 计算机工程 , 2010, 第 7 期(7):190-192.3 易中凯 . 感知器网络学习算法研究与应用 D. 北京理工大学 , 2001.附录程序源代码clear;clc;mu1=1 2;S1=0.25 0;0 0.7 ;data1=mvnrnd(mu1,S1,100);mu2=4 6;S2=0.5 0 ;0 0.45 ;data2=mvnrnd(mu2,S2,100)

8、;mu3=-5 5;S3=0.7 0;0 0.4 ;data3=mvnrnd(mu3,S3,100);精品资料欢迎下载data=data1;data2;data3;one=zeros(100,1);one(:,1)=1;X1=data1 one;X2=data2 one;X3=data3 one;%增广矩阵%生成三组服从正态分布的样本W1=0,0,0;W2=0,0,0;W3=0,0,0;whiletruecounter=0;%初始权向量fori=1:100%对第一组训练样本迭代d11=W1*X1(i,:)' d12=W2*X1(i,:)' d13=W3*X1(i,:)'

9、ifd11>d12&&d11>d13counter=counter+1;elseW1=W1+2*X1(i,:);W2=W2-2*X1(i,:);W3=W3-2*X1(i,:);endendfori=1:100%对第二组训练样本迭代d21=W1*X2(i,:)' d22=W2*X2(i,:)' d23=W3*X2(i,:)'ifd22>d21&&d22>d23counter=counter+1;elseW1=W1-2*X2(i,:);W2=W2+2*X2(i,:);W3=W3-2*X2(i,:);endendfori

10、=1:100%对第三组训练样本迭代d31=W1*X3(i,:)' d32=W2*X3(i,:)' d33=W3*X3(i,:)'ifd33>d31&&d33>d32counter=counter+1;elseW1=W1-2*X3(i,:);W2=W2-2*X3(i,:);W3=W3+2*X3(i,:);endendifcounter=300breakendendplot(data(:,1),data(:,2),'b.', 'MarkerSize',6);%绘出三组聚类点holdon ;a1=W1(:,1);b1

11、=W1(:,2);c1=W1(:,3);a2=W2(:,1);b2=W2(:,2);c2=W2(:,3);a3=W3(:,1);b3=W3(:,2);c3=W3(:,3);x=linspace(-10,25,1000);y1=-(a1-a3)*x/(b1-b3)-(c1-c3)/(b1-b3);%生成函数y2=-(a2-a1)*x/(b2-b1)-(c2-c1)/(b2-b1);精品资料欢迎下载y3=-(a3-a2)*x/(b3-b2)-(c3-c2)/(b3-b2);holdon ;plot(x,y1,'c',x,y2,'r',x,y3,'b'

12、) %绘出判决面axis(-10 10 -2 10);holdon ; gridon ;7 Too late为时太晚The plane was late and detectives were waiting at the airport all morning. They were expecting a valuable parcel of diamonds from South Africa. A few hours earlier, someone had told the police that thieves would try to st eal the diamonds.Whe

13、n the plane arrived, some of the detectives were waiting inside the main building while others were waiting on the airfield. Two men too k the parcel off the plane and carried it into the Customs House.While two detectives were keeping guard at the door, two others opened t he parcel.To their surpri

14、se, the precious parcel was full of stones and sand!飞机误点了，侦探们在机场等了整整一上午。他们正期待从南非钻石的贵重包裹。几个小时前，有人告诉警察，小偷想偷钻石。当飞机到达时， 一些侦探等候在主楼内， 另一部分则等在停机坪。 两个男人带着包裹下了飞机，进了海关。当两个侦探把住门口， 另外两个打开包裹。 令他们吃惊的是， 那珍贵的包裹里面装的全是石头和沙子！The best and the worst 最好的和最差的精品资料欢迎下载Joe Sanders has the most beautiful garden in our town. N

15、early e verybody enters for 'The Nicest Garden Competition' each year, but Joe wins every time. Bill Frith's garden is larger than Joe's.Bill works harder than Joe and grows more flowers and vegetabl es, but Joe's garden is more interesting. He has made neat paths and has built a wooden bridge over a pool.I like gardens too, but I do not like hard work. Every year I ente r for the garden co