智能控制技术(神经网络理论基础)PPT演示课件_第1页
智能控制技术(神经网络理论基础)PPT演示课件_第2页
智能控制技术(神经网络理论基础)PPT演示课件_第3页
智能控制技术(神经网络理论基础)PPT演示课件_第4页
智能控制技术(神经网络理论基础)PPT演示课件_第5页
已阅读5页,还剩114页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

第5章神经网络理论基础,模糊控制从人的经验出发,解决了智能控制中人类语言的描述和推理问题,尤其是一些不确定性语言的描述和推理问题,从而在机器模拟人脑的感知、推理等智能行为方面迈出了重大的一步。,1,模糊控制在处理数值数据、自学习能力等方面还远没有达到人脑的境界。人工神经网络从另一个角度出发,即从人恼的生理学和心理学着手,通过人工模拟人脑的工作机理来实现机器的部分智能行为。,2,人工神经网络(简称神经网络,NeuralNetwork)是模拟人脑思维方式的数学模型。神经网络是在现代生物学研究人脑组织成果的基础上提出的,用来模拟人类大脑神经网络的结构和行为。神经网络反映了人脑功能的基本特征,如并行信息处理、学习、联想、模式分类、记忆等。,3,20世纪80年代以来,人工神经网络(ANN,ArtificialNeuralNetwork)研究所取得的突破性进展。神经网络控制是将神经网络与控制理论相结合而发展起来的智能控制方法。它已成为智能控制的一个新的分支,为解决复杂的非线性、不确定、未知系统的控制问题开辟了新途径。,4,神经网络的发展历程经过4个阶段。1启蒙期(1890-1969年)1890年,W.James发表专著心理学,讨论了脑的结构和功能。1943年,心理学家W.S.McCulloch和数学家W.Pitts提出了描述脑神经细胞动作的数学模型,即M-P模型(第一个神经网络模型)。,5.1神经网络的基本概念5.1.1神经网络发展历史,5,1949年,心理学家Hebb实现了对脑细胞之间相互影响的数学描述,从心理学的角度提出了至今仍对神经网络理论有着重要影响的Hebb学习法则。1958年,E.Rosenblatt提出了描述信息在人脑中贮存和记忆的数学模型,即著名的感知机模型(Perceptron)。,6,1962年,Widrow和Hoff提出了自适应线性神经网络,即Adaline网络,并提出了网络学习新知识的方法,即Widrow和Hoff学习规则(即学习规则),并用电路进行了硬件设计。2低潮期(1969-1982)受当时神经网络理论研究水平的限制及冯诺依曼式计算机发展的冲击等因素的影响,神经网络的研究陷入低谷。,7,在美、日等国有少数学者继续着神经网络模型和学习算法的研究,提出了许多有意义的理论和方法。例如,1969年,S.Groisberg和A.Carpentet提出了至今为止最复杂的ART网络,该网络可以对任意复杂的二维模式进行自组织、自稳定和大规模并行处理。1972年,Kohonen提出了自组织映射的SOM模型。3复兴期(1982-1986),8,1982年,物理学家Hoppield提出了Hoppield神经网络模型,该模型通过引入能量函数,实现了问题优化求解,1984年他用此模型成功地解决了旅行商路径优化问题(TSP)。在1986年,在Rumelhart和McCelland等出版ParallelDistributedProcessing一书,提出了一种著名的多层神经网络模型,即BP网络。该网络是迄今为止应用最普遍的神经网络。,9,4新连接机制时期(1986-现在)神经网络从理论走向应用领域,出现了神经网络芯片和神经计算机。神经网络主要应用领域有:模式识别与图象处理(语音、指纹、故障检测和图象压缩等)、控制与优化、预测与管理(市场预测、风险分析)、通信等。,10,5.1.2神经网络的原理神经生理学和神经解剖学的研究表明,人脑极其复杂,由一千多亿个神经元交织在一起的网状结构构成,其中大脑皮层约140亿个神经元,小脑皮层约1000亿个神经元。人脑能完成智能、思维等高级活动,为了能利用数学模型来模拟人脑的活动,导致了神经网络的研究。,11,神经系统的基本构造是神经元(神经细胞),它是处理人体内各部分之间相互信息传递的基本单元。每个神经元都由一个细胞体,一个连接其他神经元的轴突和一些向外伸出的其它较短分支树突组成。轴突功能是将本神经元的输出信号(兴奋)传递给别的神经元,其末端的许多神经末梢使得兴奋可以同时传送给多个神经元。,12,树突的功能是接受来自其它神经元的兴奋。神经元细胞体将接收到的所有信号进行简单地处理后,由轴突输出。神经元的轴突与另外神经元神经末梢相连的部分称为突触。,13,图单个神经元的解剖图,14,神经元由三部分构成:(1)细胞体(主体部分):包括细胞质、细胞膜和细胞核;(2)树突:用于为细胞体传入信息;(3)轴突:为细胞体传出信息,其末端是轴突末梢,含传递信息的化学物质;(4)突触:是神经元之间的接口(104105个/每个神经元)。通过树突和轴突,神经元之间实现了信息的传递。,15,神经元具有如下功能:(1)兴奋与抑制:如果传入神经元的冲动经整和后使细胞膜电位升高,超过动作电位的阈值时即为兴奋状态,产生神经冲动,由轴突经神经末梢传出。如果传入神经元的冲动经整和后使细胞膜电位降低,低于动作电位的阈值时即为抑制状态,不产生神经冲动。,16,(2)学习与遗忘:由于神经元结构的可塑性,突触的传递作用可增强和减弱,因此神经元具有学习与遗忘的功能。决定神经网络模型性能三大要素为:(1)神经元(信息处理单元)的特性;(2)神经元之间相互连接的形式拓扑结构;(3)为适应环境而改善性能的学习规则。,17,5.1.3神经网络的分类目前神经网络模型的种类相当丰富,已有近40余种神经网络模型。典型的神经网络有多层前向传播网络(BOP网络)、Hopfield网络、CMAC小脑模型、ART网络、BAM双向联想记忆网络、SOM自组织网络、Blotzman机网络和Madaline网络等。,18,根据神经网络的连接方式,神经网络可分为两种形式:(1)前向网络如图所示,神经元分层排列,组成输入层、隐含层和输出层。每一层的神经元只接受前一层神经元的输入。输入模式经过各层的顺次变换后,由输出层输出。在各神经元之间不存在反馈。感知器和误差反向传播网络采用前向网络形式。,19,图前馈型神经网络,20,(2)反馈网络该网络结构在输出层到输入层存在反馈,即每一个输入节点都有可能接受来自外部的输入和来自输出神经元的反馈。这种神经网络是一种反馈动力学系统,它需要工作一段时间才能达到稳定。Hopfield神经网络是反馈网络中最简单且应用最广泛的模型,它具有联想记忆的功能,如果将Lyapunov函数定义为寻优函数,Hopfield神经网络还可以解决寻优问题。,21,图反馈型神经网络,22,(3)自组织网络网络结构如图所示。Kohonen网络是最典型的自组织网络。Kohonen认为,当神经网络在接受外界输入时,网络将会分成不同的区域,不同区域具有不同的响应特征,即不同的神经元以最佳方式响应不同性质的信号激励,从而形成一种拓扑意义上的特征图,该图实际上是一种非线性映射。这种映射是通过无监督的自适应过程完成的,所以也称为自组织特征图。,23,Kohonen网络通过无导师的学习方式进行权值的学习,稳定后的网络输出就对输入模式生成自然的特征映射,从而达到自动聚类的目的。,24,图自组织神经网络,25,5.1.4神经网络学习算法神经网络学习算法是神经网络智能特性的重要标志,神经网络通过学习算法,实现了自适应、自组织和自学习的能力。目前神经网络的学习算法有多种,按有无导师分类,可分为有教师学习(SupervisedLearning)、无教师学习(UnsupervisedLearning)和再励学习(ReinforcementLearning)等几大类。,26,在有教师的学习方式中,网络的输出和期望的输出(即教师信号)进行比较,然后根据两者之间的差异调整网络的权值,最终使差异变小。在无教师的学习方式中,输入模式进入网络后,网络按照一预先设定的规则(如竞争规则)自动调整权值,使网络最终具有模式分类等功能。再励学习是介于上述两者之间的一种学习方式。,27,图有导师指导的神经网络学习,28,图无导师指导的神经网络学习,29,最基本的神经网络学习算法:1Hebb学习规则Hebb学习规则是一种联想式学习算法。生物学家D.O.Hebbian基于对生物学和心理学的研究,认为两个神经元同时处于激发状态时,它们之间的连接强度将得到加强,这一论述的数学描述被称为Hebb学习规则,即,30,其中,为连接从神经元到神经元的当前权值,和为神经元的激活水平。Hebb学习规则是一种无教师的学习方法,它只根据神经元连接间的激活水平改变权值,因此,这种方法又称为相关学习或并联学习。,31,2Delta()学习规则假设误差准则函数为:其中,代表期望的输出(教师信号);为网络的实际输出,;为网络所有权值组成的向量:为输入模式:,32,其中训练样本数为。神经网络学习的目的是通过调整权值W,使误差准则函数最小。权值的调整采用梯度下降法来实现,其基本思想是沿着E的负梯度方向不断修正W值,直到E达到最小。数学表达式为:,33,其中,令,则,W的修正规则为,34,上式称为学习规则,又称误差修正规则。,5.1.5神经网络特征神经网络具有以下几个特征:(1)能逼近任意非线性函数;(2)信息的并行分布式处理与存储;,35,(3)可以多输入、多输出;(4)便于用超大规模集成电路(VISI)或光学集成电路系统实现,或用现有的计算机技术实现;(5)能进行学习,以适应环境的变化。,36,5.1.6神经网络控制的研究领域,1基于神经网络的系统辨识将神经网络作为被辨识系统的模型,可在已知常规模型结构的情况下,估计模型的参数。利用神经网络的线性、非线性特性,可建立线性、非线性系统的静态、动态、逆动态及预测模型,实现非线性系统的建模和辨识。,37,(2)神经网络控制器神经网络作为实时控制系统的控制器,对不确定、不确知系统及扰动进行有效的控制,使控制系统达到所要求的动态、静态特性。(3)神经网络与其他算法相结合将神经网络与专家系统、模糊逻辑、遗传算法等相结合,可设计新型智能控制系统。,38,(4)优化计算在常规的控制系统中,常遇到求解约束优化问题,神经网络为这类问题的解决提供了有效的途径。目前,神经网络控制已经在多种控制结构中得到应用,如PID控制、模型参考自适应控制、前馈反馈控制、内模控制、预测控制、模糊控制等。,39,5.2前馈神经网络,前馈神经网络是神经网络中一种典型分层结构,信息流从输入层进入网络后逐层向前传递至输出层。根据前愦网络中神经元转移函数、隐层数以及权值调整规则的不同,可形成具有各种功能特点的神经网络。,单层感知器,1958年,美国心理学家FrankRosenblatt提出一种具有单层计算单元的神经网络,称Perceptron,即感知器。感知器是模拟人的视觉接受环境信息,并由神经冲动进行信息传递。感知器研究中首次提出了自组织、自学习的思想,而且对所能解决的问题存在着收敛算法,并能从数学上严格证明,因而对神经网络的研究起了重要的推动作用。单层感知器的结构与功能都很简单,以至于目前很少被应用来解决实际问题,但它是研究其他神经网络的基础。,40,5.2.1感知器模型,y1,yj,ym,W1,Wj,Wm,x1,x2,xi,xn,单层感知器,处理层,输入层,处理层,m个神经接点,每节点均有信息处理能力,m个节点向外部处理输出信息,构成输出列向量Y。Y=Y1Y2.YjYmT,输入层,感知层,n个神经节点,无信息处理能力,只负责引入外部信息X。X=x1x2xixnT,两层间连接权值用权值列向量Wj表示,m个权向量构成单层感知器的权值矩阵W。,Wj=w1jw2jwijwnjTW=W1W2WjWmT,由神经元数学模型,处理层中任一节点,其净输入netj来自输入层各节点的输入加权和:,离散型单计算层感知器采用符号型转移函数,则j节点输出为:,41,5.2.2感知器的功能,为便于直观分析,现考虑单计算节点感知器的情况:,yj,Wj,x1,x2,xi,xn,w1j,w2j,wij,wnj,j,明显看出:单计算节点感知器实际上就是一个M-P神经元模型。,因为采用符号转移函数,又称符号单元。,下面分三种情况讨论单计算节点感知器的功能:,(1)设输入向量X=x1x2T两个输入分量x1和x2构成一个二维平面,输入样本X可用该平面上一个点表示。,节点j的输出yj为:,则方程,成为二维输入样本空间上的一条分界线。,42,线上方的样本用表示,它们使,的区域都会使yj=1;,线下方样本用表示,它们使,的区域都会使yj=-1.,显然,由感知器权值和阈值确定的直线方程规定了分界线在样本空间的位置,可将输入样本分为两类。,x1,x2,(2)设输入向量X=x1x2x3T,则x1,x2,x3几何上构成一个三维空间。节点j的输出为:,方程,确定的平面成为三维输入样本空间的,一个分界面。把输入样本和正确分两类(对应yj=1和-1),43,(3)推广到n维空间的一般情况,输入向量X=x1x2xnT,则n个输入分量构成几何n维空间。,方程,定义的n维空间超平面,将输入,样本分为2类。,看出,一个简单的单计算节点感知器具有分类功能,其分类原理是将分类知识存储于感知器的权向量(包括阈值)中,由权向量确定的分类判决界面(线),可将输入模式分为两类。,但是,权重系数和阈值一般是不可事先预知的,在初始人为给定的权值和阈值所确定的分界面也不可能将类别正确分开。,只有用足够多的已知其类别的输入样本X,对神经网络进行训练,让神经元通过学习自动地找到那些权重系数和阈值,从而,确定的分界面,才是有实际意义的。,神经元在实现其分类功能以前,必须有学习和训练阶段,在此阶段向神经元送入足够多数量的样本X,并需要指明每个矢量X所属类别。所以这是一种教师指导下的学习。,44,单计算节点感知器实现逻辑运算问题:,逻辑”与”功能:,真值表:,X1x2y00001000111,4个样本,两种输出,0,1,属分类问题,使用单节点感知器,用感知器规则训练,得到连接权及阈值如图:,x1,x2,y,0.5,0.5,0.75,-1,令计算节点净输出为0,得分类判决方程:,0.5x1+0.5x2-0.75=0,该直线方程正确地把两类样本分类.,45,将输出为1的样本点作、输出为0的样本点作表示。按真值表作图,得:,(0,1),(1,0),(1,1),(0,0),x1,x2,0.5x1+0.5x2-0.75=0,该分类线不唯一,取决于具体的权值训练,逻辑”或”功能:,真值表:,X1x2y00001101111,4个样本,两种输出,0,1,属分类问题,46,x1,x2,y,1,1,-0.5,-1,学习训练的w1=w2=1,=-0.5,净输入为0得分类判决方程:x1+x2-0.5=0,(1,0),(1,1),x2,(0,1),(0,0),x1,x1+x2-0.5=0,实现两类样本正确分类,47,例:设计一个感知器神经网络,完成下列分类,以MATLAB编程仿真程序,并画出分类线.,解(1)问题分析,输入向量2个元素,取值范围-1,1;输出向量一个元素,是一个二值节点,取值0或1.可确定单层感知器神经网络结构:一个二维输入向量,一个神经元,神经元转移函数为hardlim(硬限幅函数),(2)程序设计,已知:,p1,p2,a,-1,48,%设计一个感知器神经网络,实现二维向量分类功能clearall;%清除所有内存变量%初始化感知器网络pr=-11;-11;%设置感知器网络输入向量每个元素的值域net=newp(pr,1);%定义感知器网络,一个神经元net.layers1.transferFcn=hardlims;%指定感知层转移函数为对称硬限幅函数%训练感知器网络p=0.5-1;10.5;-10.5;-1-1;%输入向量(训练样本值)t=0110;%目标向量net,tr=train(net,p,t);%训练感知器网络%存储训练后的网络savenet35net,49,%Example35Simclearall;%清除所有内存变量%加载训练后的网络loadnet35net%网络仿真P=0.5-1;10.5;-10.5;-1-1%输入向量(测试样本)a=sim(net,P)%仿真结果%绘制网络的分类结果及分类线v=-22-22;%设置坐标的范围plotpv(P,a,v);%绘制分类结果plotpc(net.iw1,net.b1);%绘制分类线net.iw1%输出权值net.b1%输出阈值,50,51,TRAINC,Epoch0/100TRAINC,Epoch2/100TRAINC,Performancegoalmet.P=0.50001.0000-1.0000-1.0000-1.00000.50000.5000-1.0000a=0110ans=0.50001.5000(权)ans=0(阈值),52,5.2.3感知器的局限性,“异或”问题,真值表:,X1x2y00001101110,4个样本,两种输出,0,1,也是二值分类问题,(1,0),(1,1),x2,(0,1),(0,0),x1,任何直线均不能将两类样本正确分开!,感知器由于净输入为0,确定的分类判决方程是线性方程,因而只能解决线性可分问题的分类,不能解决线性不可分问题.这称为单计算层感知器的局限性.,53,5.2.4感知器的学习算法,感知器采用感知器学习规则进行训练,用t表示学习步的序号,权值看作t的函数.t=0对应学习开始前的初始状态(此时权值为初始值),训练过程如下:,(1)对各初始权值w0j(0),w1j(0),wnj(0),j=1,2m(m为计算层的节点数)赋予较小的非零随机数;,(2)输入样本对Xp,dp,其中Xp=-1x1px2pxnpT,dp为期望输出向量(教师信号),下标p代表样本对的模式序号,设样本集中的样本总数为P,则p=1,2,P;,(3)计算各节点的实际输出yjp(t)=sgnWjT(t)Xp,j=1,2,m.,(4)调整各节点对应的权值Wj(t+1)=Wj(t)+djp-yjp(t)Xpj=1,2,m,学习率,一般取01,用于调整控制速度,太大影响训练稳定性,太小使训练的收敛性变慢.,(5)返回到步骤(2),输入下一对样本,周而复始直到所有样本使感知器的实际输出与期望输出相等(dp-yp=0,p=1,2,P).,54,已经得到证明,如果输入样本线性可分,无论感知器的初始权向量如何取值,经过有限次调整后,总能稳定到一个权向量,该权向量确定的超平面能将两类样本正确分开.,能够将样本正确分类的权向量并不唯一,一般初始权向量不同,训练过程和所得到的结果也不同,但都可满足误差为零的要求.,例.单计算节点感知器有3个输入,现给定3对训练样本:,X1=-11-20Td1=1;X2=-101.5-0.5Td2=-1;X3=-1-110.5Td3=1.,设初始权向量W(0)=0.51-10T=0.1,注意:输入向量中第一个分量x0恒等于-1,权向量中第一个分量为阈值,试训练该感知器网络.,解:第一步,输入X1,WT(0)X1=0.51-10-11-20T=2.5,Y1(0)=sgn(2.5)=1,W(1)=W(0)+d1-y1X1=0.51-10T+0.1(-1-1)-11-20T=0.70.8-0.60T,55,第二步,输入X2,WT(1)X2=0.70.8-0.60-101.5-0.5T=-1.6,Y2(1)=sgn(-1.6)=-1,W(2)=W(1)+d2-y2(1)X2=0.70.8-0.60T+0.1-1-(-1)-101.5-0.5T=0.70.8-0.60T,第三步,输入X3,WT(2)X3=0.70.8-0.60-1-110.5T=-2.1,Y3(2)=sgn(-2.1)=-1,W(3)=W(2)+d3-y3(2)X3=0.50.6-0.40.1T,第四步,返回到第一步,继续训练,直到dp-yp=0p=1,2,3,56,5.2.5多层感知器,单计算层感知器只能解决线性可分问题,多层感知器可解决线性不可分问题.,如,采用两计算层感知器解决”异或”问题:,1,2,3,-1,-1,x1,x2,y1,y2,y3,w11,w12,w21,w22,3,1,2,输出层节点以隐层两节点y1,y2的输出作为输入,其结构也相当于一个符号单元.,隐层两节点相当于两个独立的符号单元(单计算节点感知器).,具有两个计算层感知器,x1、x2构成的平面上,1、2两符号单元确定两条分界直线s1和s2,可构成开放式凸域如图.,(1,0),(1,1),x2,(0,1),(0,0),x1,s1,s2,通过网络训练,调整两直线位置,可使“异或”两类线性不可分样本分别位于该开放式凸域内部和外部。,57,(1,0),(1,1),x2,(0,1),(0,0),x1,s1,s2,1,2,3,x1,x2,y1,y2,w11,w12,w21,3,1,2,y3,y1=0,y2=0,y1=1,y2=1,对隐节点1:s1下面的样本,使其输出为y1=1,而s1上面样本使y1=0;,对隐节点2:s2上面的样本,使其输出为y2=1,而s2下面样本使y2=0;,这样可实现:输入类信息时有,y1=1y2=1,(在凸域内),输入类样本时有,y1=0y2=1,(同时处在s1、s2上方,即s1上面的),和有,y1=1y2=0,(同时处在s1、s2下方,即s2下方的),58,这样,把输出层节点3以隐层两节点y1、y2为输入,经训练,使其具有逻辑“与非”功能,则“异或”问题得以解决。,两个计算层的感知器求解“异或”问题各节点输出情况:,x1x2y1y2y300110010111010111110,实现x1,x2y3,(“异或”逻辑),采用y1,y2y3,(“与非”逻辑),看出:单隐层感知器可以求解异或问题,具有解决线性不可分问题的分类能力。,就单隐层感知器,当输入样本为二维向量时,隐层中每个计算节点确定了二维平面上的一条分界直线。多条直线(隐层中多个节点)经输出节点组合后会构成各种形状凸域(凸域是指其边界上任两点连线均在域内)。,开式凸域,闭式凸域,通过训练调整凸域形状,可将两类线性不可分样本分为域内域外。,59,单隐层节点数增加可以使多边凸域边数增加,从而在输出层构建出任意形状的凸域。如果再增加第二隐层,则该隐层的每节点确定一个凸域,各种凸域经输出节点组合后,会得到任意形状域,分类能力大大提高。,凸域组合的任意形状,已经过严格的数学证明,双隐层感知器足以解决任何复杂分类问题。,另,为提高感知器分类能力,可采用非线性连续函数作为神经元节点的转移函数,使区域边界变成曲线,可形成连续光滑曲线域。,多层感知器从理论上讲可解决线性不可分问题,但从感知器的学习规则看,其权值调整量取决于感知器期望输出与实际输出之差,即:,Wj(t)=dj-yj(t)X,对各隐层节点来说,期望输出无法确定,因而该学习规则对隐层权值不适用。为了改进学习过程,后来提出最小均方、BP算法等。,60,尽管简单的感知器学习算法有局限性,但这种神经元网络模型在神经元网络研究中有重要意义和地位,它提出了自组织、自学习的思想。,简单的感知器给出了单个神经元的学习和运行算法,如果把多个这样的神经元连成一个网络,那么这种网络可能有很强的信息处理能力。,61,自适应线性单元(ADALINE)简介,1962年美国斯坦福大学教授widrow提出一种自适应可调的神经网络,其基本构成单元称为自适应线性单元,ADALINE(AdaptiveLinearNeuron)。,这种自适应可调的神经网络主要使用于信号处理中的自适应滤波、预测和模式识别。,1ADALINE模型,+1,-1,q,y,+,-,w0,w1,w2,wi,wn,x0=-1,x1,x2,xi,xn,LMS算法,模拟输出,二值输出,误差,Widrow-Hoff算法,输入向量X=x0 x1xnT的每个输入分量可以是数字量也可以是模拟量。,ADALINE有两种输出情况:(1)转移函数为线性函数,输出模拟量:,y=f(WTX)=WTX,(2)转移函数为符号函数,输出为双极数字量,q=sgn(y)=,y0-1y0,数值输出情况,ADALINE与感知器的符号单元完全相同,可进行线性分类。,期望输出,62,模拟输出情况,主要实现调节误差手段(如滤波)。由于模拟量输出时的转移函数为线性,故称为自适应线性单元ADALINE。其功能是将ADALINE的期望输出与实际模拟输出相比较,得到一个同为模拟量的误差信号,根据误差信号不断在线调整权向量,以保证在任何时刻始终保持实际输出与期望输出相等(y=d)。从而可将一组输入模拟信号转变为任意期望的波形d.,2ADALINE学习算法,ADALINE学习算法采用widrow-Hoff学习规则,也称LMS(LeastMeanSquare),即最小二乘算法.下面以单个自适应线性单元为例,讨论其学习算法.,权向量调整量W=(d-WTX)X,输出为模拟量时,ADALINE的转移函数为单位线性函数,所以有:y=WTX,定义输出误差=d-y则W=(d-y)X=X,实际修正权系数中,采用输入向量X除以其模的平方,即:,63,看一下误差改变量:,此式表明,永远与符号相反,这意味着在训练中,的绝对值是单调下降的,即y总是不断接近d。因此,LMS算法能保证ADALINE在自适应学习时的收敛性。,下面举例说明LMS算法的学习步骤:,例ADALINE模型,输入向量X=-11.22.7T,d=2.3,=0.6,初始权值赋予随机数W(0)=-10.51.1T,做LMS算法学习。,解:第一步计算初始输出y(0)和初始误差(0),y(0)=WT(0)X=-10.51.1-11.22.7T=4.57(0)=d-y(0)=2.3-4.57=-2.27,64,第二步计算输出y(1)和误差(1),y(1)=WT(1)X=-0.860.3320.722-11.22.7T=3.21(1)=d-y(1)=2.3-3.21=-0.91,第三步计算输出y(2)和误差(2),得y(2)=2.518;(2)=-0.218;继续调整权值,,看到:经两步学习,误差由-2.27降到-0.218;实际输出由初始4.57调整到2.518,大大接近d=2.3,收敛速度很快。,65,ADALINE应用,ADALINE主要应用于语音识别、天气预报、心电图诊断等医学系统、信号处理以及系统辩识等方面。,ADALINE自适应滤波器,延迟,延迟,延迟,x(t),x(t-1),x(t-2),x(t-m),w0,w1,w2,wm,LMS,d(t),y(t),期望输出,滤波输出,x(t)连续信号当前值;x(t),x(t-1)信号各时刻采样值。,对语音波形和控制信号等随时间连续变化的信息,可用其采样后的离散信号序列作为网络的输入。ADALINE滤波器的作用是用期望输出d(t)与实际输出y(t)之间的误差来调整权值,以达到使输入波形x(t)得到期望波形d(t),从而达到滤波的目的。,66,系统辩识(建模),未知系统S,ADALINE滤波器,系统输入xk,系统输出y,yk,y,=y-yk,S未知系统;xk已知输入信号,输入给S和ADALINE滤波器;y未知系统输出,作为ADALINE滤波器期望响应;,ykADALINE滤波器实际输出;=y-yk误差,调节ADALINE滤波器的权值。,通过调节权值wm(m=0,1n),则未知系统S的数学模型可表达为:,如果未知系统是一个稳定时不变系统,输入信号是频谱较宽的白噪声或脉冲,那么wm是可以收敛到定值。这样,未知系统S就可以用此确定的线性模型来描述。,67,ADALINE线性神经网络用于噪声对消,如:医学中对胎儿心率的测量问题,由于胎儿的心率一定会受到母体心率的干扰.而且母亲的心率很强,但与胎儿的心率是互相独立的.存在着如何将母体心率的影响消除的问题;,采用ADALINE的线性神经网络进行噪声对消,可以得到十分满意的结果.,把母体心率、电话中自身的声音作为噪声源n1输入ADALINE中,混有噪声的胎儿心率信号、混有对方声音的信号作为目标响应,通过对消后,系统可以听到清晰的胎儿心率、电话中可以清晰听到来自对方的声音。,再如:电话中的回声对消问题.在电话通话过程中,如果没有回声对消措施,那么,我们自身的声音回声和对方的声音一起传到听筒中,而自身的声音更强,影响通话质量.在工程中还有很多类似问题.,68,对于一个优秀的滤波器,希望通过滤波将信号中的噪声去掉,这对一般的滤波器很难做到。,ADALINE自适应线性网络实现噪声对消原理:,信号源,噪声源,n1,n0,s,S+n0,y,n1,AD,S原始输入信号;n0与s不相关的随机噪声;n1与n0相关的信号;,-系统输出;s+n0为ADALINE期望输出;yADALINE实际输出。,则=s+n0-y,+,-,通过ADALINE滤波调节,可得:,Emin2=Emins2+Emin(n0-y)2,当Emin(n0-y)20时,yn0,其输出为s,则噪声抵消。,69,设传输信号为正弦波信号,噪声信号为随机信号,正弦波信号与随机信号之和为ADALINE神经元的目标向量;输出信号为网络调整过程中的误差信号。现做噪声对消自适应线性神经网络程序实验:,%自适应线性神经网络实现噪声对消clearall;%清楚所有内存变量%定义输入向量和目标向量time=0.01:0.01:10;%时间变量noise=(rand(1,1000)-0.5)*4;%随机噪声input=sin(time);%信号p=noise;%将噪声作为ADALINE的输入向量t=input+noise;%将噪声+信号作为目标向量%创建线性ADALINE神经网络net=newlin(-11,1,0,0.0005);%线性神经网络自适应调整(训练),70,net.adaptparam.passes=70;net,y,output=adapt(net,p,t);%输出信号output为网络调整过程中的误差%绘制信号、迭加随机噪声信号、输出信号的波形holdon%绘制信号波形subplot(3,1,1);plot(time,input,b);xlabel(t,position,10.5,-1);ylabel(信号波形sin(t),fontsize,8)subplot(3,1,2);%绘制迭加随机信号波形plot(time,t,m);xlabel(t,position,10.5,-5);ylabel(随机噪声波形sin(t)+noise(t),fontsize,8)%绘制输出信号波形subplot(3,1,3);plot(time,output,g);xlabel(t,position,10.5,-2);ylabel(输出信号波形y(t),fontsize,8)holdoff,71,网络运行结果如下图:,看出输出信号除含有一定直流分量外,其波形与输入信号波形基本一致,消除了迭加的随机噪声。,72,5.3反馈神经网络,Hopfield网络分为离散型和连续型两种网络模型,分别记作DHNN(DiscreteHopfieldNeuralNetwork)和CHNN(ContinuesHopfieldNeuralNetwork),本章重点讨论前一种类型。,根据神经网络运行过程中的信息流向,可分为前馈式和反馈式两种基本类型。前馈网络的输出仅由当前输入和权矩阵决定,而与网络先前的输出状态无关。,美国加州理工学院物理学家J.J.Hopfield教授于1982年提出一种单层反馈神经网络,后来人们将这种反馈网络称作Hopfield网。,73,1网络的结构与工作方式,离散型反馈网络的拓扑结构,5.3.1离散型Hopfield神经网络,74,(1)网络的状态DHNN网中的每个神经元都有相同的功能,其输出称为状态,用xj表示。,j=1,2,n,所有神经元状态的集合就构成反馈网络的状态X=x1,x2,xnT,反馈网络的输入就是网络的状态初始值,表示为X(0)=x1(0),x2(0),xn(0)T,反馈网络在外界输入激发下,从初始状态进入动态演变过程,变化规律为,75,j=1,2,n(5.1),DHNN网的转移函数常采用符号函数,式中净输入为,j=1,2,n(5.2),对于DHNN网,一般有wii=0,wij=wji。,反馈网络稳定时每个神经元的状态都不再改变,此时的稳定状态就是网络的输出,表示为,76,(2)网络的异步工作方式,(5.3),(3)网络的同步工作方式网络的同步工作方式是一种并行方式,所有神经元同时调整状态,即,j=1,2,n(5.4),网络运行时每次只有一个神经元j进行状态的调整计算,其它神经元的状态均保持不变,即,77,1网络的稳定性,DHNN网实质上是一个离散的非线性动力学系统。网络从初态X(0)开始,若能经有限次递归后,其状态不再发生变化,即X(t+1)X(t),则称该网络是稳定的。,如果网络是稳定的,它可以从任一初态收敛到一个稳态:,5.3.2网络的稳定性与吸引子,78,若网络是不稳定的,由于DHNN网每个节点的状态只有1和-1两种情况,网络不可能出现无限发散的情况,而只可能出现限幅的自持振荡,这种网络称为有限环网络。,如果网络状态的轨迹在某个确定的范围内变迁,但既不重复也不停止,状态变化为无穷多个,轨迹也不发散到无穷远,这种现象称为混沌。,79,网络达到稳定时的状态X,称为网络的吸引子。,如果把问题的解编码为网络的吸引子,从初态向吸引子演变的过程便是求解计算的过程。,若把需记忆的样本信息存储于网络不同的吸引子,当输入含有部分记忆信息的样本时,网络的演变过程便是从部分信息寻找全部信息,即联想回忆的过程。,定义5.1若网络的状态X满足X=f(WX-T)则称X为网络的吸引子。,2吸引子与能量函数,80,定理5.1对于DHNN网,若按异步方式调整网络状态,且连接权矩阵W为对称阵,则对于任意初态,网络都最终收敛到一个吸引子。,定理5.1证明:,定义网络的能量函数为:,(5.5),令网络的能量改变量为E,状态改变量为X,有,(5.6),(5.7),2吸引子与能量函数,81,将式(5.4)、(5.6)代入(5.5),则网络能量可进一步展开为,(5.8),将代入上式,并考虑到W为对称矩阵,有,82,(5.9),上式中可能出现的情况:,情况a:xj(t)=-1,xj(t+1)=1,由式(5.7)得xj(t)=2,由式(5.1)知,netj(t)0,代入式(5.9),得E(t)0。,情况b:xj(t)=1,xj(t+1)=-1,所以xj(t)=-2,由式(5.1)知,netj(t)P,所以有,可见给定样本Xp,p=1,2,P是吸引子。,96,5.4模糊神经网络,97,从

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论