




版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、2020/11/22,1,第六章 感知器与自适应元件,2020/11/22,2,内容安排 6.1 感知器 6.1 自适应元件,2020/11/22,3,6.1 感知器, 感知器的网络结构 感知器的图形解释 感知器的学习规则 网络的训练 感知器神经网络应用的局限性 感知器神经网络设计实例,2020/11/22,4,感知器是由美国计算机科学家罗森布拉特(F.Roseblatt)于1957年提出的。 单层感知器神经元模型图:,图 感知器神经元模型,2020/11/22,5,F.Roseblatt已经证明,如果两类模式是线性可分的(指存在一个超平面将它们分开),则算法一定收敛。 感知器特别适用于简单的
2、模式分类问题,也可用于基于模式分类的学习控制中。 本节中所说的感知器是指单层的感知器。多层网络因为要用到后面将要介绍的反向传播法进行权值修正,所以把它们均归类为反向传播网络之中。,2020/11/22,6,6.1.1 感知器的网络结构,根据网络结构,可以写出第i个输出神经元(i1,2,s)的加权输入和ni及其输出ai为:,2020/11/22,7,感知器的输出值是通过测试加权输入和值落在阈值函数的左右来进行分类的,即有:,阈值激活函数如图43所示。,2020/11/22,8,6.1 .2 感知器的图形解释,由感知器的网络结构,我们可以看出感知器的基本功能是将输入矢量转化成0或1的输出。这一功能
3、可以通过在输人矢量空间里的作图来加以解释。,感知器权值参数的设计目的,就是根据学习法则设计一条W*P+b0的轨迹,使其对输入矢量能够达到期望位置的划分。,2020/11/22,9,以输入矢量r2为例,对于选定的权值w1、w2和b,可以在以p1和p2分别作为横、纵坐标的输入平面内画出W*P+bw1 p1十w2 p2十b0的轨迹,它是一条直线,此直线以上部分的所有p1、p2值均使w1 p1十w2 p2十b0,这些点若通过由w1、w2和b构成的感知器则使其输出为1;该直线以下部分的点则使感知器的输出为0。 所以当采用感知器对不同的输入矢量进行期望输出为0或1的分类时,其问题可转化为:对于已知输入矢量
4、在输入空间形成的不同点的位置,设计感知器的权值W和b,将由W*P+b0的直线放置在适当的位置上使输入矢量按期望输出值进行上下分类。,2020/11/22,10,图 输入矢量平面图,2020/11/22,11,6.1.3 感知器的学习规则,学习规则是用来计算新的权值矩阵W及新的偏差B的算法。 感知器利用其学习规则来调整网络的权值,以便使该网络对输人矢量的响应达到数值为0或1的目标输出。 输入矢量P,输出矢量A,目标矢量为T的感知器网络,其学习规则为:,2020/11/22,12,如果第i个神经元的输出是正确的,即有:aiti,那么与第i个神经元联接的权值wij和偏差值bi保持不变; 如果第i个神
5、经元的输出是0,但期望输出为1,即有ai0,而ti1,此时权值修正算法为:新的权值wij为旧的权值wij加上输人矢量pj;类似的,新的偏差bi为旧偏差bi加上它的输入1; 如果第i个神经元的输出为1,但期望输出为0,即有ai1,而ti0,此时权值修正算法为:新的权值wij等于旧的权值wij减去输入矢量pj;类似的,新的偏差bi为旧偏差bi减去1。 感知器学习规则的实质为:权值的变化量等于正负输入矢量。,2020/11/22,13,对于所有的i和j,il,2,s;j1,2,r,感知器修正权值公式为:,上述用来修正感知器权值的学习算法在MATLAB神经网络工具箱中已编成了子程序,成为一个名为1ea
6、rnp.m的函数。只要直接调用此函数,即可立即获得权值的修正量。此函数所需要的输人变量为:输入、输出矢量和目标矢量:P、A和T。调用命令为: dW,dBlearnp(P,A,T);,(4-5),2020/11/22,14,6.1.4 网络的训练,感知器的训练过程如下: 输入矢量P的作用下,计算网络的实际输出A,并与相应的目标矢量T进行比较,检查A是否等于T,然后用比较后的误差量,根据学习规则进行权值和偏差的调整; 重新计算网络在新权值作用下的输入,重复权值调整过程,直到网络的输出A等于目标矢量T或训练次数达到事先设置的最大值时训练结束。,2020/11/22,15,感知器设计训练的步骤可总结如
7、下: 1) 对于所要解决的问题,确定输入矢量P,目标矢量T,并由此确定各矢量的维数以及确定网络结构大小的神经元数目:r,s和q; 2) 参数初始化: a) 赋给权矢量w在(-1,1)的随机非零初始值; b) 给出最大训练循环次数max_epoch; 3) 网络表达式:根据输人矢量P以及最新权矢量W,计算网络输出矢量A; 4) 检查:检查输出矢量A与目标矢量T是否相同,如果是,或已达最大循环次数,训练结束,否则转入5); 5) 学习:根据(45)式感知器的学习规则调整权矢量,并返回3)。,2020/11/22,16,6.1. 5 感知器神经网络应用的局限性,首先,感知器的输出只能取0或1。 其次
8、,单层感知器只能对线性可分的向量集合进行分类。,2020/11/22,17,6.1. 6 感知器神经网络设计实例,例1 考虑一个简单的分类问题。 设计一个感知器,将二维的四组输入矢量分成两类。 输入矢量为:P-0.5 -0.5 0.3 0; -0.5 0.5 -0.5 1; 目标矢量为:T1.0 l.0 0 0,,2020/11/22,18,代数求解法,2020/11/22,19,当采用感知器神经网络来对此题进行求解时,网络结构图如图45所示。,由此可见,对于单层网络,网络的输入神经元数r和输出神经元数s分别由输入矢量P和目标矢量T唯一确定。网络的权矩阵的维数为:Wsr,Bs1权值总数为sr个
9、,偏差个数为s个。 在确定了网络结构并设置了最大循环次数和赋予权值初始值后,设计者可方便地利用MATLAB,根据题意以及感知器的学习、训练过程来编写自己的程序。,2020/11/22,20,作业,1. 设P =-1,1,-1,1, -1,1,-1,1; -1,-1,1,1,-1,-1,1,1; -1,-1,-1,-1,1,1,1,1 T = 0 ,1,0 ,0,1,1,0,1 请画出感知器网络结构图,并编写MATLAB程序解该分类问题。 如 T = 0,0,0,0,1,1,1,1; 0,0,0,0,1,1,1,1 请画出感知器网络结构图,并编写MATLAB程序解该分类问题。,2020/11/2
10、2,21,感知器的局限性,由于感知器的激活函数采用的是阀值函数,输出矢量只能取0或1,所以只能用它来解决简单的分类问题; 感知器仅能够线性地将输入矢量进行分类。 感知器还有另外一个问题,当输入矢量中有一个数比其他数都大或小得很多时,可能导致较慢的收敛速度。,2020/11/22,22,6.2 自适应元件, 自适应线性神经元模型和结构 WH学习规则 网络训练 例题与分析 对比与分析,2020/11/22,23,自适应线性元件(Adaptive Linear Element,简称Adaline) ,由威德罗(Widrow)和霍夫(Hoff)首先提出的,它与感知器的主要不同之处在于其神经元有一个线性
11、激活函数,这允许输出可以是任意值,而不仅仅只是像感知器中那样只能取0或1。 它采用的是WH学习法则,也称最小均方差(LMS)规则对权值进行训练。 自适应线性元件的主要用途是线性逼近一个函数式而进行模式联想。,2020/11/22,24,6.2.1 自适应线性神经元模型和结构,图 自适应线性神经网络的结构,2020/11/22,25,6.2.2 WH学习规则,WH学习规则是由威德罗和霍夫提出的用来修正权矢量的学习规则 。 采用WH学习规则可以用来训练一定网络的权值和偏差使之线性地逼近一个函数式而进行模式联想(Pattern Association)。,2020/11/22,26,定义一个线性网络
12、的输出误差函数为:,我们的目的是通过调节权矢量,使E(W,B)达到最小值。 所以在给定E(W,B)后,利用WH学习规则修正权矢量和偏差矢量,使E(W,B)从误差空间的某一点开始,沿着E(W,B)的斜面向下滑行。,2020/11/22,27,根据梯度下降法,权矢量的修正值正比于当前位置上E(W,B)的梯度,对于第i个输出节点有:,或表示为:,2020/11/22,28,为学习速率。在一般的实际运用中,实践表明,通常取一接近1的数,或取值为:,学习速率的这一取法在神经网络工具箱中用函数maxlinlr.m来实现。上式可实现为:,2020/11/22,29,WH学习规则的函数为:learnwh.m来
13、实现,加上线性自适应网络输出函数purelin.m,可以写出WH学习规则的计算公式为: Apurelin(W*P); ETA; dW,dBlearnwh(P,E,h); WW十dW; BB十dB; 采用WH规则训练自适应线性元件使其能够得以收敛的必要条件是被训练的输入矢量必须是线性独立的,且应适当地选择学习速率以防止产生振荡现象。,2020/11/22,30,6.2.3 网络训练,自适应线性元件的网络训练过程可以归纳为以下三个步骤: 1) 表达:计算训练的输出矢量AW*P十B,以及与期望输出之间的误差ETA; 2) 检查:将网络输出误差的平方和与期望误差相比较,如果其值小于期望误差,或训练已达
14、到事先设定的最大训练次数,则停止训练,否则继续; 3) 学习:采用WH学习规则计算新的权值和偏差,并返回到 1)。,2020/11/22,31,采用Matlab进行自适应线性元件网络的训练过程如下:trainwh.m 表达式 A=purelin(W*P,B); E=T-A; SSEsumsqr(E);求误差平方和 for epoch1: max_epoch循环训练 if SSEerr_goal比较误差 epochepoch1; break若满足期望误差要求,结束训练 end dW,dB1earnwh(P,E,lr);修正权值 WW十dW; BB十dB; Apurelin(W*P,B);网络输出
15、 ET-A; SSEsumsqr(E);计算网络误差平方和 end,2020/11/22,32,6.2.4 例题与分析,例1 设计自适应线性网络实现从输入矢量到输出矢量的变换关系。其输入矢量和输出矢量分别为: P1.0 -1.2 T0.5 1.0,2020/11/22,33,wf1.m P1 -1.2; T0.5 1; R,Qsize(P); S,Qsize(T); W,Brands(S,R); max_epoch20;最大循环次数 err_goal0.001;期望误差 1r0.4*maxlinlr(P);最佳学习速率 disp_freq1;设置显示频率 TPdisp_freq max_epo
16、ch err_goal lr;设置参数变量TP W,B,epochs,errortrainwh(W,B,P,T,TP) 进行线性网络权值训练,2020/11/22,34,在随机初始值为:W00.9309;B00.8931的情况下,经过12次循环训练后,网络的输出误差平方和达到0.000949,网络的最终权值为: W-0.2354;B0.7066 实际上,对于上面这个简单的例题,它存在一个精确解,且可以用解二元一次方程的方式将P和T值分别对应地代入方程TW*P十B得:,2020/11/22,35,可解出eT-A0的解为: W-0.2273;B0.7273 由此看出,对于特别简单的问题,采用自适应
17、线性网络的训练不一定能够得到足够精确的解。因为当训练误差达到期望误差值后,训练即被终止。,2020/11/22,36,对于具有零误差的自适应线性网络,即输入/输出矢量对存在着严格的线性关系,此时的自适应线性网络的设计可以采用工具箱中另外一个名为solvelin.m的函数。 W,Bsolvelin(P,T) 然后可用simulin.m函数来检测所设计的网络: Asimulin(P,W,B) 还可以用sumsqr.m函数来求出误差平方和: SSEsumsqr(T-A),2020/11/22,37,例2 现在来考虑一个较大的多神经元网络的模式联想的设计问题。输入矢量和目标矢量分别为:,2020/11
18、/22,38,解:由输入矢量和目标输出矢量可得:r3,s4,q4。所以网络的结构如图所示。,这个问题的求解同样可以采用线性方程组求出,即对每一个输出节点写出输入和输出之间的关系等式。,2020/11/22,39,实际上要求出这16个方程的解是需要花费一定的时间的,甚至是不太容易的。 对于一些实际问题,常常并不需要求出其完美的零误差时的解。也就是说允许存在一定的误差。 在这种情况下,采用自适应线性网络求解就显示出它的优越性:因为它可以很快地训练出满足一定要求的网络权值。,2020/11/22,40,wf2.m P=1 1.5 1.2 0.3; -1 2 3 0.5; 2 1 1.6 0.9; T
19、=0.5 3 2.2 1.4; 1.1 1.2 1.7 0.4; 3 0.2 1.8 0.4; -1 0.1 1.0 0.6; disp_freq=400;中间不显示结果 max_epoch=400; err_goal=0.001; lr=0.9*maxlinlr(P); W=1.9978 0.5959 0.3517; 1.5543 0.05331 1.3660;%初始权值 1.0672 0.3645 0.9227; -0.7747 1.3839 0.3384; B=0.0746; -0.0642; -0.4256; -0.6433; SSEsumsqr(T-purelin(W*P,B);%未
20、训练前误差 fprintf(Before trainihg, sum squared error=g. n, SSE),2020/11/22,41,训练网络 flops(0) tpdisp_freq max_epoch err_goal lr;%设置参数变量tp W, B, epochs,errorstrainwh(W, B, P, T, tp); %进行线性网络权值训练 W显示最终训练权矢量 B显示最终训练偏差矢量 SSEsumsqr(T-purelin(W*P, B);最终误差 显示结果并给出结论 ploterr(errors), fprintf (n After.0f epochs,su
21、m squared e errorg. nn, SSE), fprintf (Training took .0f flops. n, flops), fprintf ( Trained network operates:); if SSEerr_goal disp(Adequately.) else disp(Inadequately.) end end,2020/11/22,42,训练后的网络权值为:,网络训练过程中的误差记录,2020/11/22,43,对于存在零误差的精确权值网络,若用函数solvelin.m来求解,则更加简单如下: wf3.m P1 1.5 1.2 0.3; -1 2
22、3 0.5; 2 1 1.6 0.9; T0.5 3 2.2 1.4; 1.1 1.2 1.7 0.4; 3 0.2 1.8 -0.4; -1 0.1 1.0 0.6; W,Bsolvelin(P,T); Asimulin (P, W, B); SSEsumsqr (T-A) W B end,2020/11/22,44,由此可得零误差的唯一精确解为:,2020/11/22,45,例3 设计训练一个线性网络实现下列从输入矢量到目标矢量的变换:,所给出的输入矢量元素之间是线性相关的:第三组元素等于第二组元素的两倍减去第一组:P32P2P1。,由于输入矢量的奇异性,用函数solvelin.m来设计时
23、网络会产生问题。只有在能够线性地解出问题的情况下,用函数solvelin.m才比较准确。,2020/11/22,46,只要将前面已编写的wf2.m程序中的输入与目标矢量改变一下,并给出(-1,1)之间的随机初始值,即可运行看到本例的结果。 其最终误差在1.04左右,这就是本例题下的最小误差平方和, 而当采用完全线性函数的设计solvelin.m去求解网络权值时,所得到的误差是4.25。 采用WH算法训练出的误差是它的14,由此可见其算法的优越性。,2020/11/22,47,例4 现在假定在上面例题的输入输出矢量中增加两组元素,使其变为 P1.0 1.5 3.0 -1.2 T0.5 1.1 3
24、.0 -1.0 本例题的目的是在于了解自适应线性网络的线性逼近求解的能力。,本例题给出了输入输出对的位置以及网络求解的结果。对于所设置的err_goal0.001, 在循环训练了50次后所得的误差平方和仍然为:SSE0.289。这个值即是本题所能达到的最小误差平方和的值。 当采用线性自适应线性网络求解问题所得到的误差特别大时,可以认为此问题不适宜用线性网络来解决。,2020/11/22,48,图 网络训练结果图,2020/11/22,49,自适应线性网络还有另一个潜在的困难,当学习速率取得较大时,可导致训练过程的不稳定。,例5 输入/目标矢量与例1相同。我们将以不同的学习速率训练两次网络以展现两种不希望的学习速率带来的影响。 以例1为样本, 1)对于第一个尝试,学习速率lr取: 1r1.7*maxlinlr(P); 2)第二个尝试是选用更大学习速率: 1r2.5*m
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 中科院建筑设计研究院有限公司安徽分公司介绍企业发展分析报告
- 鹤岗市人民医院临床研究方案设计考核
- 2025年欧洲光伏发电分布式市场分析报告
- 2025年低空经济「AI自主决策」人才培养与职业发展报告
- 空心微球新材料生产线项目可行性研究报告
- 晋中市人民医院财务部副主任主任竞聘述职与答辩题库
- 2025年低空经济「监管沙盒」跨区域联动试点模式创新报告
- 湘西高端连接器项目可行性研究报告
- 2025年山西TPU产品项目可行性研究报告参考范文
- 2025年科技孵化器项目投资分析及可行性报告
- 2026年中考语文复习:非连续性文本阅读 练习题汇编(含答案解析)
- 全国2025年10月自考(03709)马克思主义基本原理概论试题及答案
- 血清电解质课件
- 三年级语文教学目标与教学设计
- 人工智能技术及应用 第2版 习题及答案
- 太阳能淡化技术
- 新编民航乘务员英语教程 课件 李勇 Unit 1 Briefing -Unit 8 meal and beverage service I
- 四川佰思格新材料科技有限公司钠离子电池硬碳负极材料生产项目环评报告
- 城市管理学(第四版)课件 第12章 城市环境管理
- 国土资源管理业务培训学习个人心得体会三篇
- 地中海贫血护理查房
评论
0/150
提交评论