D人工神经网络复习习题

人工神经网络第一章绪论第二章神经网络基础知识第三章监督学习神经网络第四章竞争学习神经网络第五章组合学习神经网络第六章反馈神经网络,第1章绪论1.1人脑与计算机1.2人工神经网络发展简史1.2.1启蒙时期1.2.2低潮时期1.2.3复兴时期1.2.4新时期1.2.5国内研究概况1.3神经网络的基本特征与功能1.4神经网络的应用领域本章小结,第2章神经网络基础知识2.1人工神经网络的生物学基础2.2人工神经元模型2.2.1神经元的建摸2.2.2神经元的数学模型2.2.3神经元的转移函数2.3人工神经网络模型2.3.1网络拓扑结构类型2.3.1.1层次型结构2.3.1.2互连型结构2.3.2网络信息流向类型2.3.2.1前馈型网络2.3.2.2反馈型网络2.4神经网络学习2.4.1Hebbian学习规则2.4.2Perceptron（感知器）学习规则2.4.3(Delta)学习规则2.4.4Widrow-Hoff学习规则2.4.5Correlation（相关）学习规则2.4.6Winner-Take-All（胜者为王）学习规则2.4.7Outstar（外星）学习规则本章小结,第3章监督学习神经网络3.1单层感知器3.1.1感知器模型3.1.2单节点感知器的功能分析3.1.3感知器的学习算法3.1.4感知器的局限性及解决途径3.2基于误差反传的多层感知器BP神经网络3.2.1BP网络模型3.2.2BP学习算法3.2.3BP算法的程序实现3.2.4BP网络的主要能力3.2.5误差曲面与BP算法的局限性3.3BP算法的改进3.4BP网络设计基础3.5BP网络应用与设计实例本章小结,第4章竞争学习神经网络4.1竞争学习的概念与原理4.1.1基本概念4.1.2竞争学习原理4.2自组织特征映射神经网络4.2.1SOM网络的生物学基础4.2.2SOM网(络)的拓扑结构与权值调整域4.2.3自组织特征映射网(络)的运行原理与学习算法4.2.3.1运行原理4.2.3.2学习算法4.2.3.3功能分析4.3自组织特征映射网络的设计与应用4.4自适应共振理论本章小结,第6章反馈神经网络6.1离散型Hopfield神经网络(DHNN)6.1.1网络的结构与工作方式6.1.2网络的稳定性与吸引子6.1.2.1网络的稳定性6.1.2.2吸引子与能量函数6.1.2.3吸引子的性质6.1.2.4吸引子的吸引域6.1.3网络的权值设计6.1.4网络的信息存储容量6.2连续型Hopfield神经网络(CHNN)6.3Hopfield网络应用与设计实例6.4双向联想记忆(BAM)神经网络6.5随机神经网络6.6递归神经网络本章小结,第1章绪论1.1人脑与计算机1.2人工神经网络发展简史1.2.1启蒙时期1.2.2低潮时期1.2.3复兴时期1.2.4新时期1.2.5国内研究概况1.3神经网络的基本特征与功能1.4神经网络的应用领域本章小结,1.2人工神经网络发展简史神经网络的研究可追溯到19世纪末期，其发展历史可分为四个时期。第一个时期为启蒙时期，开始于1890年美国著名心理学家WJames关于人脑结构与功能的研究，结束于1969年Minsky和Papert发表感知器(Perceptron)一书。第二个时期为低潮时期，开始于1969年，结束于1982年Hopfield发表著名的文章“神经网络和物理系统”(NeuralNetworkandPhysicalSystem)。第三个时期为复兴时期，开始于JJHopfield的突破性研究论文，结束于1986年DERumelhart和JLMcClelland领导的研究小组发表的并行分布式处理(ParallelDistributedProcessing)一书。第四个时期为高潮时期，以1987年首届国际人工神经网络学术会议为开端，迅速在全世界范围内掀起人工神经网络的研究应用热潮，至今势头不衰。1.2.1启蒙时期低潮时期复兴时期高潮时期(新高潮)本章小结,第2章神经网络基础知识2.1人工神经网络的生物学基础2.2人工神经元模型2.2.1神经元的建摸2.2.2神经元的数学模型2.2.3神经元的转移函数2.3人工神经网络模型2.3.1网络拓扑结构类型2.3.1.1层次型结构2.3.1.2互连型结构2.3.2网络信息流向类型2.3.2.1前馈型网络2.3.2.2反馈型网络2.4神经网络学习2.4.1Hebbian学习规则2.4.2Perceptron（感知器）学习规则2.4.3(Delta)学习规则2.4.4Widrow-Hoff学习规则2.4.5Correlation（相关）学习规则2.4.6Winner-Take-All（胜者为王）学习规则2.4.7Outstar（外星）学习规则本章小结,2.2人工神经元模型人工神经网络是在现代神经生物学研究基础上提出的模拟生物过程以反映人脑某些特性的计算结构。它不是人脑神经系统的真实描写，而只是人脑神经系统的某种抽象、简化和模拟。神经元及其突触是神经网络的基本器件。因此，模拟生物神经网络应首先模拟生物神经元。在人工神经网络中，神经元常被称为“处理单元”。人工神经元是对生物神经元的一种形式化描述；人工神经元是对生物神经元的信息处理过程进行抽象，并用数学语言予以描述；人工神经元是对生物神经元的结构和功能进行模拟，并用模型图予以表达。,2.2.1神经元的建摸(1/6)目前人们提出的神经元模型已有很多，其中最早提出且影响最大的是M-P模型（1943年由心理学家McCulloch和数学家WPitts首先提出的）。该模型经过不断改进后，形成目前应用广泛的一种神经元模型。关于神经元的信息处理机制，该模型在简化的基础上提出以下6点假定：1、是一个多输入单输出的信息处理单元；2、突触分兴奋性和抑制性两种类型；3、神经元具有空间整合特性和阀值特性；4、输入与输出间有固定的时滞，取决于突触延搁；5、忽略时间整合作用和不应期；6、神经元本身是非时变的，即其突触时延和突触强度均为常数。,2.2.1神经元的建摸(2/6)上述假定，可用图2.5中的神经元模型示意图进行图解表示。,2.2.1神经元的建摸(3/6)如生物神经元有许多激励输入一样，人工神经元也应该有许多的输入信号。图中用xi(i=1,2,n)表示输入数值的大小，它们同时输入神经元j。,j,x1xixn,wnj,wij,w1j,2.2.1神经元的建摸(4/6)生物神经元具有不同的突触性质和突触强度，其影响是使有些输入的作用比另外一些输入更为重要。对模拟神经元的每一个输入都有一个加权系数wij，称为权重值，其正负模拟了生物神经元中突触的兴奋和抑制，其大小则代表了突触的不同连接强度。,j,x1xixn,2.2.1神经元的建摸(5/6)作为基本处理单元，必须对全部输入信号进行整合，以确定各类输入的作用总效果，组合表示输入信号的“总和值”，相应于生物神经元的膜电位。神经元是否激活，决于某一阈值电平，即只有当其输入总和超过阈值时，神经元才被激活而发出脉冲，否则神经元不会产生输出信号。,wnj,wij,w1j,j,x1xixn,f,oj,2.2.1神经元的建摸(6/6)人工神经元的输出也同生物神经元一样仅有一个，如用oj表示神经元j输出。输出与输入之间的对应关系可用某种函数来表示，这种函数称为转移函数，一般都是非线性的。,wnj,wij,w1j,j,x1xixn,2.2.2神经元的数学模型(1/6),我们用一个数学表达式对上述内容可进行抽象与概括。令xi(t)表示t时刻神经元j接收的来自神经元i的信息输入，oj(t)表示t时刻神经元的信息输出，则神经元j的状态可表达为,式中ij输入i输出j间的突触延时；Tj神经元j的阈值；wij神经元i到j的突触连接系数值；f()神经元转移函数。,2.2.2神经元的数学模型(2/6),为简单起见，将上式中的突触延时取为单位时间，则式（2.1）可写为,上式描述的神经元数学模型全面表达了神经元模型的6点假定。1、多输入单输出;(n个输入;1个输出)2、突触分兴奋性和抑制性;(wij可正可负、可大可小)3、有空间整合特性和阀值特性;(求和,Tj)4、输入与输出间有固定的时滞;5、忽略时间整合作用和不应期;6、非时变，即突触时延和突触强度为常数。,2.2.2神经元的数学模型(3/6),输入总和常称为神经元在t时刻的净输入，用,当netjTj时，神经元j才能被激活。oj(t+1)与xi(t)之间的单位时间差代表所有神经元具有相同的、恒定的工作节律，wij与时间无关。为简便起见，后面用到式(2.3)和(2.3)时，常将其中的(t+1)和(t)省略。,2.2.2神经元的数学模型(4/6),式(2.3)还可表示为权重向量和输入向量的点积,其中Wj和X均为列向量，定义为,2.2.2神经元的数学模型(5/6),如果令x0=-1，w0j=Tj，则有-Tj=w0jx0，因此净输入和阈值之差可表示为：,式(2.4)中列向量和的第一个分量的下标均从1开始,而式(2.5)中则从0开始。,2.2.2神经元的数学模型(6/6),采用式(2.5)的约定后,净输入改写为net,与原来的区别是包含了阈值。综合以上各式,神经元模型可简化为,2.2.3神经元的转移函数,神经元的各种不同数学模型的主要区别在于采用了不同的转移函数，从而使神经元具有不同的信息处理特性。神经元的信息处理特性是决定人工神经网络整体性能的三大要素之一，因此转移函数的研究具有重要意义。神经元的转移函数反映了神经元输出与其激活状态之间的关系，最常用的转移函数有以下4种形式。（1）阈值型转移函数（2）非线性转移函数（3）分段线性转移函数（4）概率型转移函数,(1)阈值型转移函数阈值型转移函数采用了图2.6的单位阶跃函数，用下式定义,具有这一转移函数的神经元称为阈值型神经元，这是神经元模型中最简单的一种，经典的M-P模型就属于这一类。,函数中的自变量x代表netj-Tj，即当netj=Tj时，神经元为兴奋状态，输出为1；当时netj0，输出为1；线的另一边netj0，所以输出为1，我们用*表示；线下方，由于net0，所以输出-1,，我们用o表示，见图3.3。,由感知器权值和阈值确定的直线方程，规定了分界线在样本空间的位置，从而也确定了如何将输入样本分为两类。假如分界线的初始位置不能将*类样本同o类样本正确分开，改变权值和阈值，分界线也会随之改变，因此总可以将其调整到正确分类的位置。,3.1.2单节点感知器的功能分析,（2）设输入向量X=(x1,x2,x3)T，则3个输入分量在几何上构成一个三维空间。节点的输出为,则由方程,确定三维空间的一个平面，该平面是一个分界平面。平面上方的样本用*表示，它们使，从而使输出为1；平面下方的样本用o表示，它们使，从面使输出为-1。,同理，由感知器权值和阈值确定的平面方程规定了分界平面在样本空间的方向与位置，从而也确定了如何将输入样本分为两类。,3.1.2单节点感知器的功能分析,（3）将上述两个特例推广到n维空间的一般情况，设输入向量X=(x1,xn)T，则n个输入分量在几何上构成一个n维空间。由方程,定义一个n维空间上的超平面。此平面可以将输入样本分为两类。,通过以上分析可以看出，一个最简单的单计算节点感知器具有分类功能。其分类原理是将分类知识存储于感知器的权向量（包含了阈值）中，由权向量确定的分类判决界面可将输入模式分为两类。,3.1.2单节点感知器的功能分析,用感知器学习规则进行训练，得到的连接权值标在图3.4中。令净输入为零，可得到分类判决方程为,x1x2y000010100111,由图3.5可以看出，该方程确定的直线将输出为1的样本点*和输出为0的样本点o正确分开了。从图中还可以看出，该直线并不是惟一解。,下面研究用单计算节点感知器实现逻辑运算问题。用感知器实现逻辑“与”功能。逻辑“与”的真值表如右：,x1,x2,3.1.2单节点感知器的功能分析,用感知器实现逻辑“或”功能。逻辑“或”的真值表如右。,用感知器学习规则进行训练，得到的连接权值为w1=w2=1，T=0.75，令净输入为零，得分类判决方程为,该直线能把图3.6中的两类样本分外，显然，该直线也不是惟一解。,3.1.2单节点感知器的功能分析,3.1.2单节点感知器的功能分析,例3.1考虑下面定义的分类问题：X1=-1,1T，d1=1；X2=-1,-1T，d2=1；X3=0,0T，d3=-1；X4=1,0T，d4=-1；其中：Xi=x1i,x2iT为样本的输入，di为样本的目标输出（i=1,2,3,4）。能否用单节点感知器能够求解这个问题？试设计该感知器解决分类问题，用以上4个输入向量验证。该感知器分类的正确性，对以下4个输入向量进行分类。X5=-2,0T；X6=1,1T；X7=0,1T；X8=-1,-2T。解：首先将4个输入样本标在图3.7所示的输入平面上，立刻看出，可以找到一条直线将在两类样本分开，因此可以用单节点感知器解决该问题。设分界线方程为：,其中权值和阈值可以用下一节介绍的感知器学习算法进行训练而得到，也可以采用求解联立方程的方法。,3.1.2单节点感知器的功能分析,例3.1考虑下面定义的分类问题：X1=-1,1T，d1=1；X2=-1,-1T，d2=1；X3=0,0T，d3=-1；X4=1,0T，d4=-1；其中：Xi=x1i,x2iT为样本的输入，di为样本的目标输出（i=1,2,3,4）。能否用单节点感知器能够求解这个问题？试设计该感知器解决分类问题，用以上4个输入向量验证。该感知器分类的正确性，对以下4个输入向量进行分类。X5=-2,0T；X6=1,1T；X7=0,1T；X8=-1,-2T。解（续）：取直线上的两个点分别代入方程，如对于本例可取(-0.5，0)和(-0.5，1)，得到：,此方程可有无穷多组解。取w1j=-1，则有w2j=0，Tj=0.5。netj=-x1+0*x20.5分别将4个输入向量代入感知器的输出表达式o=sgn(WTX-T)，可得网络的输出分别为1，1，-1，-1，即感知器的输出和教师信号相符，可以进行正确分类。,3.1.2单节点感知器的功能分析,例3.1考虑下面定义的分类问题：X1=-1,1T，d1=1；X2=-1,-1T，d2=1；X3=0,0T，d3=-1；X4=1,0T，d4=-1；其中：Xi=x1i,x2iT为样本的输入，di为样本的目标输出（i=1,2,3,4）。能否用单节点感知器能够求解这个问题？试设计该感知器解决分类问题，用以上4个输入向量验证。该感知器分类的正确性，对以下4个输入向量进行分类。X5=-2,0T；X6=1,1T；X7=0,1T；X8=-1,-2T。解（续）：分别将58号待分类样本输入设计好的感知器，可以得到感知器的输出分别为1，-1，-1，1；,因此在8个样本中，X1，X2，X5，X8属于一类，X2，X4，X6，X7属于另一类。此外，从图3.8中还可以看出，样本X5，X6的分类不依赖于权值和阈值的选择，而样本X7，X8的分类则依赖于权值和阈值的选择。,X5,X6,X7,X8,3.1.2单节点感知器的功能分析,例3.2考虑以下4类线性可分样本的分类问题：第一类：X1=1,1T，X2=1,2T；第二类：X3=2,-1T，X4=2,2T；第三类：X5=-1,2T，X6=-2,1T；第四类：X7=-1,-1T，X8=-2,-2T；试设计一种感知器网络求解该问题。解：首先画出8个输入样本在平面上的分布，如图3.9(a)所示。图中。,从图中可以看出，可以（用）两条直线将全部样本分为4类：先用一条分界线将8个样本分为两组，即第一、三类为一组，第二、四类为另一组。然后再用一条分界线将四类分开，其结果如图3.9(b)所示。,由于每个感知器中的每个计算节点对应的权值和阈值确定了样本空间的一条线性判决边界，,本例中的感知器应有2个节点。如图3.10所示，对应于样本的期望输出为：第一类：d1=d2=0,0T；第二类：d3=d4=0,1T；第三类：d5=d6=1,0T；第四类：d7=d8=1,1T。可以推知，具有M个节点的单层感知器可对2M个线性可分类别进行分类。,作业P.67题3.1,BP算法的基本思想是，学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本从输入层传人，经各隐层逐层处理后，传向输出层。若输出层的实际输出与期望的输出(教师信号)不符，则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐层向输入层逐层反传、并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号即作为修正各单元权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程，是周而复始地进行的。权值不断调整的过程，也就是网络的学习训练过程。此过程一直进行到网络输出的误差减少到可接受的程度，或进行到预先设定的学习次数为止。,3.2基于误差反传的多层感知器BP神经网络,3.2.1BP网络模型,采用BP算法的多层前馈网络是至今为止应用最广泛的神经网络。在多层前馈网的应用中，以图3.16所示的单隐层网络的应用最为普遍。,习惯将单隐层前馈网称为三层前馈网或三层感知器，所谓三层包括了输入层、隐层和输出层。,x0,y0,x1,xi,xn,W1,Wk,Wl,V1,Vj,Vm,ol,ok,o1,ym,yj,y1,输入层,x0,y0,x1,xi,xn,W1,Wk,Wl,V1,Vj,Vm,ol,ok,o1,ym,yj,y1,X=(x1,xi,xn)T,输入层,输入向量X：,x0,y0,x1,xi,xn,W1,Wk,Wl,V1,Vj,Vm,ol,ok,o1,ym,yj,y1,输入向量：X=(x1,x2,xi,xn)T,输入层,输入层到隐层j之间的连接。,x0,y0,x1,xi,xn,W1,Wk,Wl,V1,Vj,Vm,ol,ok,o1,ym,yj,y1,输入层,Vj=(v1j,vij,vnj)T,输入层到隐层j之间的权值向量Vj：,隐层,x0,y0,x1,xi,xn,W1,Wk,Wl,V1,Vj,Vm,ol,ok,o1,ym,yj,y1,输入层,V1=(v11,vi1,vn1)T,隐层,输入层到隐层1之间的权值向量V1：,x0,y0,x1,xi,xn,W1,Wk,Wl,V1,Vj,Vm,ol,ok,o1,ym,yj,y1,输入层,Vm=(v1m,vim,vnm)T,隐层,输入层到隐层m之间的权值向量Vm：,x0,y0,x1,xi,xn,W1,Wk,Wl,V1,Vj,Vm,ol,ok,o1,ym,yj,y1,输入层,V=(V1,Vj,Vm),隐层,输入层到隐层之间的权值矩阵（由m个权值向量组成）：,y0,x1,xi,xn,W1,Wk,Wl,V1,Vj,Vm,ol,ok,o1,ym,yj,y1,输入层,隐层,隐层神经元的阈值可用加入x0=-1来处理。,Vj=(v0j,v1j,vij,vnj)T,X=(x0,x1,x2,xi,xn)T,x0,y0,x1,xi,xn,W1,Wk,Wl,V1,Vj,Vm,ol,ok,o1,ym,yj,y1,输入层,Y=(y1,yj,ym)T,隐层的输出向量定义为Y：,隐层,x0,y0,x1,xi,xn,W1,Wk,Wl,V1,Vj,Vm,ol,ok,o1,ym,yj,y1,输入层,Y=(y1,yj,ym)T,隐层输出向量Y到输出层k之间的连接。,隐层,输出层,x0,y0,x1,xi,xn,W1,Wk,Wl,V1,Vj,Vm,ol,ok,o1,ym,yj,y1,输入层,Wk=(w1k,wjk,wmk)T,隐层到输出层k之间的权值向量Wk：,隐层,输出层,x0,y0,x1,xi,xn,W1,Wk,Wl,V1,Vj,Vm,ol,ok,o1,ym,yj,y1,输入层,W1=(w11,wj1,wm1)T,隐层到输出层1之间的权值向量W1：,隐层,输出层,x0,y0,x1,xi,xn,W1,Wk,Wl,V1,Vj,Vm,ol,ok,o1,ym,yj,y1,输入层,Wl=(w1l,wjl,wml)T,隐层到输出层l之间的权值向量Wl：,隐层,输出层,x0,x1,xi,xn,W1,Wk,Wl,V1,Vj,Vm,ol,ok,o1,ym,yj,y1,输出神经元的阈值可用y0=-1来处理。,Wj=(w0j,w1j,wij,wmj)T,Y=(y0,y1,y2,yi,ym)T,输入层,隐层,输出层,x0,y0,x1,xi,xn,W1,Wk,Wl,V1,Vj,Vm,ol,ok,o1,ym,yj,y1,输入层,隐层,输出层,输出层的输出向量：,O=(o1,o2,ok,ol)T,x0,y0,x1,xi,xn,W1,Wk,Wl,V1,Vj,Vm,ol,ok,o1,ym,yj,y1,输入层,隐层,输出层,期望的输出向量：,d=(d1,dk,dl)T,x0,y0,x1,xi,xn,W1,Wk,Wl,V1,Vj,Vm,ol,ok,o1,ym,yj,y1,输入层,隐层,输出层,输入向量：X=(x1,x2,xi,xn)T隐层神经元的阈值，可加入x0=-1；隐层输出向量：Y=(y1,y2,yj,ym)T输出层神经元的阈值，可加入y0=-1；输出层输出向量：O=(o1,o2,ok,ol)T期望输出向量：d=(d1,d2,dk,dl)T,输入层到隐层之间的权值矩阵：V=(V1,V2,Vj,Vm)隐层到输出层之间的权值矩阵：W=(W1,W2,Wk,Wl),各个变量之间如何建立联系，来描述整个网络？,3.2.1BP网络模型,3.2.1BP网络模型,双极性Sigmoid函数：,式(3.6)式(3.10)共同构成了三层前馈网的数学模型。,3.2.1BP网络模型,(3.11),式(3.6)式(3.10)共同构成了三层前馈网的数学模型。,3.2.1BP网络模型,?,3.2.2BP学习算法,以三层前馈网为例介绍BP学习算法，然后将所得结论推广到一般多层前馈网的情况。,3.2.2.1网络误差定义与权值调整思路,当网络输出与期望输出不等时，存在输出误差。定义如下,(3.12),3.2.2.1网络误差定义与权值调整思路,进一步展开至输入层有,(3.14),由上式可以看出，网络（的输出）误差是各层权值wjk，vij的函数，因此调整权值可改变误差E。,将以上（输出）误差定义式展开至隐层，有,(3.13),调整权值的原则是使误差不断地减小，因此权值的调整量与误差的负梯度成正比，即,3.2.2.1网络误差定义与权值调整思路,j=0,1,m;k=1,l(3.15a),i=0,1,n;j=1,m(3.15b),式中负号表示梯度下降，常数(0,1)表示比例系数，在训练中反映了学习速率。这类算法常被称为误差的梯度下降(GradientDescent)算法。,在推导过程中，对输出层有j=0,1,m;k=1,l；对隐层有i=0,1,n;j=1,m。vij有多少个？wjk有多少个？,对于输出层，式(3.15a)可写为,3.2.2.2BP算法推导,(3.16a),对隐层，式（3.15b）可写为,(3.16b),对输出层和隐层各定义一个误差信号，令,(3.17a),(3.17b),yj,xi,3.2.2.2BP算法推导,将式(3.16a)的权值调整式改写为,(3.18a),将式(3.16b)的权值调整式改写为,（3.18b),可以看出，只要计算出式(3.18)中的误差信号ok和yj，权值调整量的计算推导即可完成。,下面继续推导如何求ok和yj。,对于隐层，yj可展开为,3.2.2.2BP算法推导,对于输出层，ok可展开为,如何求ok和yj。,(3.19a),（3.19b),下面求式(3.19)中网络(输出)误差对各层输出的偏导。,3.2.2.2BP算法推导,网络(输出)误差对各层输出的偏导。,对于输出层，利用式(3.12)：,对于隐层，利用式(3.13):,可得：,（3.20a),可得:,（3.20b),将以上结果代入式(3.19)，并应用式(3.11)：,E=1/2(d1-o1)2+(dk-ok)2+(dl-ol)2,o1okol,=f(net1)=f(w11y1+wj1yj+wm1ym)=f(netk)=f(w1ky1+wjkyj+wmkym)=f(netl)=f(w1ly1+wjlyj+wmlym),将以上结果代入式(3.19)，并应用式(3.11)：,（3.21a),得到：,（3.21b),至此两个误差信号的推导已完成。,3.2.2.2BP算法推导,将式(3.21)代回到式(3.18)，得到三层前馈网的BP学习算法权值调整计算公式为：,3.2.2.2BP算法推导,将式(3.21)代回到式(3.18)，得到三层前馈网的BP学习算法权值调整计算公式为：,3.2.2.2BP算法推导,容易看出，BP学习算法中，各层权值调整公式形式上都是一样的，均由3个因素决定即：学习率、本层输出的误差信号以及本层输入信号Y(或X)。其中输出层误差信号同网络的期望输出与实际输出之差有关，直接反映了输出误差。而各隐层的误差信号与前面各层的误差信号都有关，是从输出层开始逐层反传过来的。,(3.22b),(3.22b),(3.22b),(3.22b),x0,y0,x1,xi,xn,W1,Wk,Wl,V1,Vj,Vm,ol,ok,o1,ym,yj,y1,j=1,2,m,(3.22b),x0,y0,x1,xi,xn,W1,Wk,Wl,V1,Vj,Vm,ol,ok,o1,ym,yj,y1,j=1,2,m,(3.22a),(3.22b),把计算推广到更多层。,(3.22a),(3.22b),把计算推广到更多层。,(3.22a),(3.22b),把计算推广到更多层。,(3.22a),(3.22b),把计算推广到更多层。,3.2.2.3BP算法的信号流向,BP算法的特点是信号的前向计算和误差的反向传播流向特点，图3.17BP算法的信号流向。,前向过程是：输入信号X从输入层进入后，通过隐层各节点的内星权向量Vj得到该层的输出信号Y；该信号向前输入到输出层，通过其各节点内星权向量Wk得到该层输出O。反向过程是：在输出层期望输出d与实际输出O。相比较得到误差信号o，由此可计算出输出层权值的调整量；误差信号o通过隐层各节点的外星向量反传至隐层各节点，得到隐层的误差信号y，由此可计算出隐层权值的调整量。,作业P.69题3.14BP网络结构如图3.34所示，初始权值已标在图中。网络输入模式为X=-1,1,3T，期望输出为d=0.95,0.05T。试对单次训练过程进行分析，求出：隐层权值矩阵V和输出层权值矩阵W各层净输入和输出：nety、Y和neto、O，其中上标y代表隐层，上标o代表输出层；各层输出的一阶号数f(nety)和f(neto)；各层误差信号o和y；各层权值调整量V和W；调整后的权值矩阵V和W。,作业P.69题3.14BP网络结构如图3.34所示，初始权值已标在图中。网络输入模式为X=-1,1,3T，期望输出为d=0.95,0.05T。试对单次训练过程进行分析，求出：,=？,作业P.693.14BP网络结构如图3.34所示，初始权值已标在图中。网络输入模式为X=-1,1,3T，期望输出为d=0.95,0.05T。试对单次训练过程进行分析，求出：,解：1、,2、,3、计算隐层的净输入和输出，,作业P.693.14BP网络结构如图3.34所示，初始权值已标在图中。网络输入模式为X=-1,1,3T，期望输出为d=0.95,0.05T。试对单次训练过程进行分析，求出：,解：4、计算输出层的净输入和输出，,5、计算输出层的误差信号，,作业P.693.14BP网络结构如图3.34所示，初始权值已标在图中。网络输入模式为X=-1,1,3T，期望输出为d=0.95,0.05T。试对单次训练过程进行分析，求出：,解：6、计算隐层的误差信号,作业P.693.14BP网络结构如图3.34所示，初始权值已标在图中。网络输入模式为X=-1,1,3T，期望输出为d=0.95,0.05T。试对单次训练过程进行分析，求出：,解：7、计算输出层权值调整量W1和W2，,作业P.693.14BP网络结构如图3.34所示，初始权值已标在图中。网络输入模式为X=-1,1,3T，期望输出为d=0.95,0.05T。试对单次训练过程进行分析，求出：,解：8、计算输出层调整后的权值量W1和W2，,作业P.693.14BP网络结构如图3.34所示，初始权值已标在图中。网络输入模式为X=-1,1,3T，期望输出为d=0.95,0.05T。试对单次训练过程进行分析，求出：,解：9、计算隐层权值调整量V1和V2，,作业P.693.14BP网络结构如图3.34所示，初始权值已标在图中。网络输入模式为X=-1,1,3T，期望输出为d=0.95,0.05T。试对单次训练过程进行分析，求出：,解：10、计算隐层调整后的权值量V1和V2，,3.2.3BP算法的程序实现3.2.4BP网络的主要能力BP网络是目前应用最多的神经网络，这主要归结于基于BP算法的多层感知器具有以下一些重要能力。(1)非线性映射能力(2)泛化能力(3)容错能力3.2.5误差曲面与BP算法的局限性3.3BP算法的改进3.4BP网络设计基础3.5BP网络应用与设计实例,第三章小结本章介绍了两种基于监督学习的前馈型神经网络：由线性阈值单元组成的单层感知器和由非线性单元组成的多层感知器以及误差反向传播算法。采用BP算法的多层感知器简称BP网络。学习重点如下：(1)感知器单层感知器只能解决线性可分的分类问题，多层感知器则可解决线性不可分的分类问题。感知器的每个隐节点可构成一个线性分类判决界，多个节点构成样本空间的凸域，输出节点可将凸域内外样本分为两类。(2)标准BP算法BP算法的实质是把一组输入输出问题转化为非线性映射问题，并通过梯度下降算法迭代求解权值；BP算法分为净输入前向计算和误差反向传播两个过程。网络训练时，两个过程交替出现直到网络的总误差达到预设精度。网络工作时各权值不再变化，对每一给定输入，网络通过前向计算给出输出响应。,第三章小结本章介绍了两种基于监督学习的前馈型神经网络：由线性阈值单元组成的单层感知器和由非线性单元组成的多层感知器以及误差反向传播算法。采用BP算法的多层感知器简称BP网络。学习重点如下：(3)改进的BP算法针对标准BP算法存在的缺陷提出许多改进算法。本章介绍了增加动量项法、变学习率法和引入陡度因子法。应用BP网络解决设计实际问题时，应尽量采用较成熟的改进算法。(4)采用BP算法的多层前馈网络的设计神经网络的设计涉及训练样本集设计、网络结构设计和训练与测试三个方面。训练样本集设计包括原始数据的收集整理、数据分析、变量选择、特征提取及数据预处理等多方面的工作。网络结构设计包括隐层数和隐层节点数的选择，初始权值(阈值)的选择等，由于缺乏理论指导，主要靠经验和试凑。训练与测试交替进行可找到一个最佳训练次数，以保证网络具有较好的泛化能力。,第4章竞争学习神经网络4.1竞争学习的概念与原理4.1.1基本概念4.1.2竞争学习原理4.2自组织特征映射神经网络4.2.1SOM网络的生物学基础4.2.2SOM网(络)的拓扑结构与权值调整域4.2.3自组织特征映射网(络)的运行原理与学习算法4.2.3.1运行原理4.2.3.2学习算法4.2.3.3功能分析4.3自组织特征映射网络的设计与应用4.4自适应共振理论本章小结,采用有导师学习规则的神经网络要求对所学习的样本要给“正确答案”，以便网络根据此“正确答案”来判断输出的误差，根据误差的大小改进自身的权值，提高正确解决问题的能力。然而在很多情况下，人在认知过程中没有须知的正确模式，人们获得大量知识常常是靠“无师自通”，即通过对客观事物的反复观察、分析与比较，自行揭示其内在规律，并对具有共同特征的事物进行正确归类。自组织神经网络的无导师学习方式类似于人类大脑中生物神经网络的学习，其最重要特点是通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。这种无导师学习方式，大大拓宽了神经网络在模式识别与分类方面的应用。这种无导师学习方式也称为自组织学习(self-organizedlearning)。,第四章竞争学习神经网络,自组织网络结构上属于层次型网络，有多种类型，其共同特点是：都具有竞争层。最简单的网络结构具有一个输入层和一个竞争层，如图4.1所示。输入层负责接受外界信息并将输入模式向竞争层传递，起“观察”作用，竞争层负责对该模式进行“分析比较”，找出规律以正确归类。自组织网络的自组织功能是通过竞争学习(competitivelearning)来实现的。,第四章竞争学习神经网络,4.1竞争学习的概念与原理4.1.1基本概念4.1.1.1模式、分类、聚类与相似性4.1.1.2相似性测量4.1.1.3侧抑制与竞争4.1.1.4向量归一化不同的向量有长短和方向的区别，向量归一化的目的是将向量变成方向不变长度为1的单位向量。2维和3维的单位向量可以在单位圆和单位球上直观表示。单位向量进行比较时，只需比较向量的夹角。向量归一化按下式进行,（4.3）,式中归一化后的向量用标记。,在竞争学习策略中采用的典型学习规则称为胜者为王（Winner-Take-All）。该算法可分为3个步骤。(1)向量归一化首先将当前输入模式向量X和自组织网络中的竞争层中各神经元对应的内星向量W(j=1，2，m)全部进行归一化处理，得到X和W(j1，2，m)(2)寻找获胜神经元当网络得到一个输入模式向量X时，竞争层的所有神经元对应的内星权向量W(j1，2，m)均与X进行相似性比较。将与X最相似的内星权向量判为竞争获胜神经元，其权向量记为Wj*。测量相似性的方法是对W和X计算欧式距离(或夹角余弦),（4.4）,4.1.2.1竞争学习规则,4.1.2竞争学习原理,4.1.2.1竞争学习规则,(2)寻找获胜神经元,（4.4）,将上式展开并利用单位向量的特点，可得,于是按式(4.4)求最小欧式距离的问题就转化为按式(4.5)求最大点积的问题，而权向量与输入向量的点积正是竞争层神经元的净输入。,从上式可以看出，欲使两单位向量的欧式距离最小须使两向量的点积最大。即,（4.5）,4.1.2竞争学习原理,4.1.2.1竞争学习规则,(3)网络输出与权值调整胜者为王竞争学习算法规定，获胜神经元输出为1，其余输为零。即,（4.6）,只有获胜神经元才有权调整其权向量，调整后权向量为,式中，(t)为学习率，一般其值随着学习的进展而减小。可以看出，当时jj*，对应神经元的权值得不到调整，其实质是“胜者”对它们进行了强侧抑制，不允许它们兴奋。应当指出，归一化的权向量经过调整后得到的新向量不再是单位向量，因此需要对调整后的向量重新归一化。步骤(3)完成后回到步骤(1)继续训练，直到学习率(t)衰减到0。,4.1.2竞争学习原理,4.1.2.1竞争学习规则,竞争学习算法的3个步骤。(1)向量归一化(2)寻找获胜神经元(3)网络输出与权值调整,应当指出，归一化后的权向量经过调整后得到的新向量不再是单位向量，因此需要对调整后的向量重新归一化。步骤(3)完成后回到步骤(1)继续训练，直到学习率(t)衰减到0。,4.1.2竞争学习原理,设输入模式为二维向量，归一化后其矢端可以看成分布在图4.4单位圆上的点，用“O”表示。设竞争层有4个神经元，对应的4个内星向量归一化后也标在同一单位圆上，用“*”表示。,自组织网络的训练样本中只提供了输人模式而没有提供关于分类的指导信息，网络是如何通过竞争机制自动发现样本空间的类别划分呢？,图4.4竞争学习的几何意义,从输入模式点的分布可以看出，它们大体上聚集为4簇，因而可以分为4类。,4.1.2竞争学习原理,4.1.2.2竞争学习原理,自组织网络在开始训练前，先对竞争层的权向量进行随机初始化。单位圆上的是随机分布的。从图4.5可以看出，如果当前输入模式用实心圆表示，单位圆上各点代表的权向量依次同点代表的输入向量比较距离，结果是离得最近的那个点获胜。,从获胜神经元的权值调整式可以看出，调整的结果是使Wj*进一步接近当前输入X。,4.1.2竞争学习原理,4.1.2.2竞争学习原理,调整后，获胜点的位置进一步移向点及其所在的簇。显然，当下次出现与点相像的同簇内的输入模式时，上次获胜的点更容易获胜。,依此方式经过充分训练后，单位圆上的4个点会逐渐移入各输入模式的簇中心，从而使竞争层每个神经元的权向量成为输入模式一个聚类中心。当向网络输入一个模式时，竞争层中哪个神经元获胜使输出为1，当前输入模式就归为哪类。,4.1.2竞争学习原理,4.1.2.2竞争学习原理,例4.1用竞争学习算法将下列各模式分为2类：,解：为作图方便，将上述模式转换成极坐标形式：,竞争层设两个权向量，随机初始化为单位向量：,X1=136.9；X2=1-80；X3=145；X4=1-70；X5=153.1,取学习率0.5，按15的顺序依次输入模式向量，用式(4.7)给出的算法调整权值，每次修改后重新进行归一化。前20次训练中两个权向量的变化情况列于表4.1中。,4.1.2竞争学习原理,4.1.2.2竞争学习原理,例4.1用竞争学习算法将下列各模式分为2类：,4.1.2竞争学习原理,4.1.2.2竞争学习原理,（请仔细看一看表中权向量的变化情况。）,例4.1用竞争学习算法将下列各模式分为2类：,4.1.2竞争学习原理,4.1.2.2竞争学习原理,（请仔细看一看表中权向量的变化情况。能否说明一下变化的过程？）,例4.1用竞争学习算法将下列各模式分为2类：,解(续)：,X1=136.9；X2=1-80；X3=145；X4=1-70；X5=153.1,W1=10；W2=1-180,x5,x1,x4,x3,x2,取学习率=0.5，按15的顺序依次输入模式向量，用式（4.7）给出的算法调整权值，每次修改权值后重新进行归一化。,4.1.2竞争学习原理,4.1.2.2竞争学习原理,t=0,例4.1用竞争学习算法将下列各模式分为2类：,解(续)：,4.1.2竞争学习原理,4.1.2.2竞争学习原理,X1=136.9；X2=1-80；X3=145；X4=1-70；X5=153.1,W1=10；W2=1-180,x5,x1,x4,x3,x2,输入模式向量X1，,获胜神经元是哪个？,t=0,例4.1用竞争学习算法将下列各模式分为2类：,解(续)：,4.1.2竞争学习原理,4.1.2.2竞争学习原理,X1=136.9；X2=1-80；X3=145；X4=1-70；X5=153.1,W1=10；W2=1-180,x5,x1,x4,x3,x2,输入模式向量X1，,获胜神经元是那个？,t=0,例4.1用竞争学习算法将下列各模式分为2类：,解(续)：,4.1.2竞争学习原理,4.1.2.2竞争学习原理,X1=136.9；X2=1-80；X3=145；X4=1-70；X5=153.1,W1=10；W2=1-180,x5,x1,x4,x3,x2,W1获胜。,输入模式向量X1，,获胜神经元是那个？,t=0,例4.1用竞争学习算法将下列各模式分为2类：,解(续)：,4.1.2竞争学习原理,4.1.2.2竞争学习原理,X1=136.9；X2=1-80；X3=145；X4=1-70；X5=153.1,W1=10；W2=1-180,x5,x1,x4,x3,x2,输入模式向量X1，,W1获胜。,获胜神经元是那个？,t=0,例4.1用竞争学习算法将下列各模式分为