实验一感知器网络的训练与应用

1、智 能 信 息 处 理 技术 基 础 实验 报专业班级 电子信息工程1001班学生姓名 潘新南学生学号23指导教师 周春临实验一感知器网络的训练与应用一、实验目的1、掌握感知器网络的基本概念及训练方法；2、掌握感知器网络的基本使用;3、掌握利用Mat lab对感知器网络进行构建与实现的方法。二' 实验原理1、感知器网络模型（1）感知器网络模型的拓扑结构如图1所示：2）感知器网络模型学习算法a、初始化：赋予权值一个较小的随机值错误！未找到引用源。（非零值）；b、将第错误！未找到引用源。个模式错误！未找到引用源。送入输入神经元，并给出理c、计算神经元网络模型的实际输出错误！未找到引用源。；

2、d、根据错误！未找到引用源。与错误！未找到引用源。计算第错误！未找到引用源。条连线的权值增量：e、转b,选取第个样本，直到学完所有输入样本；f、按式g、若，转到b ,否则结束。三、实验内容1、利用Mat lab对感知器网络进行构建与实现（1）Percept1 （简单分类问题）：设计单一感知 器神经元来解决一个简单的分类问题：将4个输入向量分为两类，其中两个输入向量对应的 目标值为1,另两个对应的目标值为0,输入向量为：P=-2 ;,目标向量为：T=1 0 10,源程序如下：P= -2 ; ; T=1 0 1 0 ; plotpv(P, T) ; pause;net=newp (-1 1; -1

3、 1, 1) ; watchon; cI a;plotpv(P, T);I i nehand I e二p I otpc 1, 1) ; E=1 ;net=i n it (net);I i nehand I e=p I otpc 1, 1) ; while (sse (E)net, Y, E=adapt (net, P, T);I inehandIe=pIotpc 1, 1); drawnow; end; pause; watchoff; p=0; ; a=s im(net, p);plotpv(p, a);ThePo i nt二千 i ndobj (gca, type', 'I

4、ine'); set (ThePo i nt, 'Color', red'); ho Id on;plotpv(P, T);p I otpc 1, 1) ; ho I d off;disp(fEnd of perceptl');运行结果如下图所示:(2)Percept2(多个感知器神经元的分类问题)：将上例的输入向量扩充为10组，将输入向量分为4类，即输入向量为：P=;,目标向量为：T=1 110011101;000001111 1,源程序如下：P=；T=1 110011101;000001111 1;plotpv (P, T);net=newp ( 1

5、; 1,2);figure;watchon; cI a;plotpv(P, T);I i nehand I e=p I otpc 1, 1);E=1;net=init (net);I i nehand I e=p I otpc 1, 1);whi le(sse(E)net, Y, E二adapt (net, P, T) ; I i nehand Ie=p Iotpc 1, 1, I i nehand Ie);drawnow; end;watchoff; figure;P=； ； a=sim(net, p) ; plotpv(p, a);hold on;ThePoint=f indobj (gc

6、a, type', 'I ine'); set (ThePoint, 'Color', red');plotpv(P ,T);plotpc1, 1);ho Id off;d i sp ('End of percept2');运行结果如下图所示:（3） Percept3 （输入奇异样本对网络训练的影响）当网络的输入样本中存在奇异样本时（即该样本向量相对其他所有样本向量特别大或特别小），此时网络训练时间将大大增加，如输入 向量为：P= -40; 60,目标向量为：T=1 10 11,源程序如下：P= -40;60;T=1 10 11;

7、pIotpv(P, T) ; net=newp(-40 1 ; -1 50,1);pause;plotpv(P, T);I i nehand I e二p I otpc 1, 1);c I a;plotpv(P, T);I i nehand I e=p I otpc 1, 1);E=1;net=init (net);I i nehand I e=p I otpc 1, 1);while(sse (E)net, Y, E二adapt (net, P, T) ; I i nehand Ie=pIotpc 1, 1, I i nehand Ie); drawnow; end; pause;P=；a=s

8、 im (net,p);plotpv(p, a);ThePo i nt=f i ndob j (gca, type '/line');set (ThePo i nt, 'Color', red'); ho Id on; pIotpv (P,T);piotpcdi, 1)；ho Id off;pause;ax i s (-2 2 -2 2);d i sp ('End of percept3');运行结果如下图所示:在上述网络中由于样本向量相对其他所有样本向量特别大或特别小，故网络训练时间将大大 增加，为解决此问题只需用标准化感知器学习规则训

9、练即可大Ir 、m = 0 0)/ 二印.,大缩短训练时间。原始感知器学习规则的权值调整为： 标准化感知器学习规则的权值调整 为： 编写源程序如下：P= -40; 50;T=1 1 0 0 1; plotpv (P, T);pause;net=newp (-40 1; -1 50,1, 'hardl im', 'learnpn');c I a;plotpv (P, T);I i nehand I e=p I otpc 1, 1);E=1;net=init (net);I i nehand I e=p I otpc 1, 1);while(sse (E)net,

10、Y, E二adapt (net, P, T) ; I i nehand I e=p I otpc 1, 1, I i nehand Ie) ; drawnow;end;pause;P=；a二sim(net,p);plotpv (p, a);ThePoint=f indobj (gca, 'type', 'Iine');set (ThePo i nt, 'Color', red');ho Id on;plotpv (P, T);plotpc1, 1);ho Id off;pause;ax i s (-2 2 -2 2);d i sp (&#

11、39;End of percept4');采用标准化感知器学习规则训练的运行结果如下图所示:p=;输出向量为:4） Percept5 （线性不可分的输入向量）定义向量，输入向量 为：T=1 1 0 0 0;源程序如下:；T=1 10 10; plotpv(P, T) ; net=newp(-1 1 ; -1 1, 1);plotpv(P, T);I i nehand I e=p I otpc 1,);pause;for a=1:25net, Y, E二adapt (net, P, T);I i nehandIe=pIotpc 1, 1, I i nehandIe);drawnow;运行

12、结果如下图所 示：四、实验心得单层感知器仅对线性可分问题具有分类能力故具有一定的局限性，由于它的结构与功能都比较简单，所以在解决实际问题时很少被采用，但在神经网络中具有重要意义，是研究其 他网络的基础，而且较容易学习和理解，适合与作为学习神经网络的起点。在输入奇异样本 时，采用标准化感知器学习规则训练即可大大缩短训练时间。实验二BP网络的训练与应用实验目的：1. .理解基于BP网络的多层感知器的工作原理2. 通过调节算法参数的了解参数的变化对BP多层感知器训练的影响3. 了解BP多层感知器的局限性二实验内容：1.根据实验内容推导出输出的计算公式以及误差的计算公式2,使用Mat lab编程实现B

13、P多层感知器3,调节学习率H及隐结点的个数，观察对于不同的学习率、不同的隐结点个数时算法的收敛 速度4.改用批处理的方法实验权值的收敛，并加入动量项来观察批处理以及改进的的算法对结果 和收敛速度的影响。三.实验原理以及过程的推导1.基本BP算法的多层感知器模型下面所示是一个单输入单输出的BP多层感知器的模型，它含有一个隐层。面对误差和权值的调整过程进行推导对于单样本的输入Xi则隐层的输出：yi=fi (netj)；net j=(xi*v i)输出层的输出:0=f2(net)；net= (w i*y i)变换函数：千1 = f2=x;当网络输出与期望输出不等时，存在输出误差EE= (d-o)2;

14、计算各层的误差：把误差分配到各层以调整各层的权值，所以，各层权值的调整量等于误差E对各权值的负偏导与学习率的乘积，计算得到对权值W和权值V的调整量如下：将上面的式子展开到隐层得：E=1 (d-o) 2= 1 d- f2 (net)="22d-f2 (Wi将上式展开到输入层得：,0 ,i j i WiE二(d-o) =d- f2 (net)=. x221d-f2( J( Vi Xi )/ /I 1 I I调整权值的原则是使误差不断地减小，因此应使权值的调整量与误差的梯度下降成正比, wj=- wj=-W j Vj=- V j计算得到对各权值的调整为： wj = T * (d (1, p

15、) -o (1, p) *y (1, i)A vj= * (d (1, p)-o (1, p)*w (1, i)*y (1, i)*(1-y (1, i)*x(1, p)其中 P 为第 P 个样本:四实验步骤Step 1初始化对权值矩阵W、V赋随机数，将样本模式计数器p和训练次数计数器q置于1,误差E置0, 学习率71设为01内的小数，网络训练后的精度Emin设为一个正的小数；Step 2输入训练样本对，计算各层输出用当前样本Xp、dp对向量数组X、d赋值，用下式计算Y和0中各分量yi=fi (netj)；net j= (xi*v i)0=f2 (net j)；net= (w i*y i)St

16、ep 3计算网络输出误差设共有P对训练样本，网络对于不同的样本具有不同的误差2Step 4计算各层误差信号：各层的误差信号为误差E对各层权值的偏导Step 5调整各层权值 w= T1 *(d(1, p)-0(1, p)*y (1, i) v= * (d (1, p) -o (1, p) *w (1, i)*y (1, i) * (1 -y (1 f i) *x (1, p)Step 6检查是否对所有样本完成一次轮训若PP,计算器P=P+1, q=q+1,返回Step 2,否则转到Step 7Step 7检查网络总误差是否达到精度要求当用Erme作为网络的总误差时，若满足ERME<Emin

17、,训练结束,否则E置0, p置1,返回Step2o单样本训练：每输入一个样本，都要回传误差并调整权值，会导致收敛速度过慢批处理(Batch)训练：根据总误差，计算各层的误差信号并调整权值，在样本数较多时，批训练比单样本训练时的收敛速度快五实验结果 对于单本输入的网络程序如下：function I imoyan;%建立以I imoyan为文件名的m文件cic;x=-4: :4 ;%产生样本j=input('j=');%输入隐结点的个数n=input ('n=')；输入学习率 w=rand(1. j) ;%对权值w赋较小的初值wO二;对权值wO赋较小的初值v=ran

18、d(1, j) ;%对权值V赋 较小的初值v1=rand(1, j);%对权值V1赋较小的初值xO=T;%对阈值xO赋初值y0=7;%对阈值 yO 赋初值 err=zeros (1, 101);wucha=O;erro=;Erme=O; zong= 口； Emin=;d二zeros (1,101) ; %以初值0赋给期望输出for m=1 :101 d(1, m) =*(1, m) +2*x (1, m) *x (1, m) *exp (-x (1, m) *x (1, m) /2) ; % end;。二zeros (1,101) ; netj=zeros (1, j);以 Hermit 多项

19、式产生期望输出net=zeros(1, j) ; y=zeros(1, j) ; p=1 ; q=1;whi Ie q<30000 %设定最大的迭代交数for p=1:101 %计算隐层的输出 for i=1:jnet j (1, i) =v (1, i)*x(1, p)+v1 (1, i)*x0;y (1, i)=1/(1+exp(-netj (1, i);end;o (1, p) =w*y1 +y0*w0+*randn (1,1) ;%计算输出并给输出加上上定的扰动wucha=1 /2*(d (1, p) -o(1, p)*(d (1, p)-o(1, p) ;% 计算误差err (

20、1, p) =wucha ;erro=erro, wucha;for m=1:j;%调整各层的权值w0=w0-n*w0;w(1, m) =w (1, m) +n* (d (1, p) -o (1, p) *y (1, m);v (1, m) =v (1, m) +n* (d (1, p) -o (1, p) *w (1, m) *y (1, m) * (1-y (1, m) *x (1, p);v1 (1, m) =v1 (1, m) +n* (d (1, p) -o (1, p) *w (1, m) *y (1, m) * (1-y (1, m) *x0;end;q=q+1；Erme=O;f

21、or t=1:101;Erme=Erme+err (1,t);err=zeros(1, 101);Erme=sqrt(Erme/101);zong=zong, Erme;if Erme<Emin break;%误差达到允许值时停止迭代end;%输入结果Ermeplot (x, d, '-r')；ho Id on;plot (x, o,'')；xlabel ('Hermit多项式曲线与所构建BP网络输出曲线,)figure (2);plot (zong);xlabel C误差的收敛曲线f）命令窗口的输出如下:Erme =19999Hermit多项式曲

22、线与所构建BP网络输出曲线2.515-3Hemt多项式曲线与所构建6P网络输出曲线误差的收敛曲线如下在原程序的基础上改变中间的一段;命令窗口的输出如下：j=10 n=Erme =q =15757Hermit多项式曲线与所构建BP网络输出曲线误差的收敛曲线如下单样本训练的统计如下学习结率点 数571012对于加入动量项的网络如下：命令窗口的输出如下:j=15 n=Erme 二q 二 6768Hermit多项式曲线与所构建BP网络输出曲线误差的收敛曲线如下：单样本训练的统计如 下结习率点数581012六.问题回答1 .比较单样本训练和批处理训练的区别；答：单样本输入是每输入一个样本就调整一次权值，

23、并计算误差的大小，而对于批处理来 说,是等所有的样本都输入以后再调整权值.当样本较多的时候批处理能获得较快的收敛速 度.2 .根据结果分析增加动量项后算法的变化答：加入动量项后，就等于让权值的收敛方向向着一定的方向进行，由输出的数据可以看 出这一点，对于相同的结点数，相同的学习率，加入动量项后，收速度即迭代次数明显的降低. 3.改变不同参数的BP网络运行情况及结果，并给予相应的结果分析答：改变不同参数，对网络运行情况的影响，可以概括为：随着结点数的增多，收敛的概率 和速度都会相应的有把增加.相应的误差会要小一点.但误差的大小除了取决于结点外，还主要 决定于到达允许误差时的值，所以总误差的值有一

24、定的随机性.对于改变网络的学习率，对来说 小的学习率会使收敛更稳定一点 ，但是速度也会相对地慢一点，大的学习率在一定程度上能 加快收敛的速度，但是稳定性要比小的学习率小的多，换句话说，大的学习率收敛的概率要小得 多，很容易发散，所以说，随着学习的增大，迭代的次数会先减小后增大。大到一定程度进，由 于波动太大。结果就不在收敛。4 .思考：输出层可以采用Sigmoid函数吗为什么答：输出层可以采用的函数很多，从理论上 说，一个函数都是可以应用的，但是如果采用Sigmoid函数的话，占用的内存要比用线性函数 大的多，相对的运行的速度也要比用线性函数慢的多，而对于连续的函数的拟合，输出函数用线 性函数

25、就能很好的解决。5 .试验中遇到的问题和解决方法答：在开始的时候把问题想得太简单，在没有加阈值的情下编出了程序，运行后才发现, 结点数很多，想明白后再阈值加上使程序显得混乱。实验三SOM模型的训练与应用一、实验目的：1、熟悉MATLAB中SOM神经网络工具箱的使用方法；2、了解SOM神经网络各种优化算法的原理；3、掌握SOM神经网络各种优化算法的特点；4、掌握使用SOM神经网络各种优化算法解决实际问题的方法。二、实验内容：从网络结构上来说，SOM网络最大的特点是神经元被放置在一维、二维或者更高维的 网格节点上。下图就是最普遍的自组织特征映射二维网格模型。SOM网络的一个典型特性就是可以在一维或

26、二维的处理单元阵列上，形成输入信号的特征拓扑 分布，因此SOM网络具有抽取输入信号模式特征的能力。SOM网络一般只包含有一维阵列和二维阵列，但也可以推广到多维处理单元阵列中去。下面只讨论应用较多的二维阵 列。输入层是一维的神经元，具有N个节点，竞争层的神经元处于二维平面网格节点上，构成一 个二维节点矩阵，共有M个节点。输入层与竞争层的神经元之间都通过连接权值进行连接，竞争 层临近的节点之间也存在着局部的互联。SOM网络中具有两种类型的权值，一种是神经元对外部输入的连接权值，另一种是神经元之间的互连权值，它的大小控制着神经元 之间相互作用的强弱。在SOM网络中，竞争层又是输出层。SOM网络通过引

27、入网格形成了自组织 特征映射的输出空间，并且在各个神经元之间建立了拓扑连接关系。神经元之间的联系是由它们在 网格上的位置所决定的，这种联系模拟了人脑中的神经元之间的侧抑制功能，成为网络实现竞争 的基础。SOM网络的主要目的是将任意维数的输入转换为一维或二维的离散映射，并且以拓扑有序的方 式自适应实现这个过程。生物学基础实验表明，外界信息对于神经元的刺激并非是单一的，而是以某一细胞为中心的 一个区域；并且刺激强度有强弱之分，大脑神经的刺激趋势和强度呈墨西哥草帽形状；神经元受刺 激的强度以中心最大，随着区域半径的增大逐渐减弱；远离中心的神经元相反会 受到抑制作用。根据这个原理，当某类模式输入时，输出层某节点 （神经元）得到最大刺激而获胜，获胜者以及其周围节点的权值会向着输入模式向量的方向进行修正。随着输入模式的变化，相应获胜神经元也发生变化，网络即通过自组织的方式在大量样本数据的训练下，使得输出层特征图能够反映出输入样本数据的分布情况。SOM网络采用的学习算法为无监督聚类法，它能将任意模式的输入在输出层映射成为一维或二 维离散图形，并保持其拓扑结构不变。学习过程分为三个主要过程，分别是：(1)竞争:对每个输入模式，网络中的神经元计算它们各自的判别函数的值。这个判别函数对神经 元之间的竞争提供基础。具有判别函数最大值的特定神经元成为获胜者。(2)合作：获胜