最新人工智能教案06章神经网络6.2 前馈型人工神经网络

1、6.2 前馈型人工神经网络如前所述，前馈型人工神经网络是多层排列的，信号由输入层到输出层单向传输的网络模型。与神经网络研究初期提出的感知器模型原理上是完全一样的。由于八十年代提出的Back Propagation 网络学习算法，使之成为当今应用最广泛的一种人工神经网络模型。前馈（亦称前向）型网络结构上是分层的，其信息只能从输入层单元向上传输到它上面一层的单元，然后再向前，一层一层地传输。第一层的单元与第二层所有的单元相连，第二层又与其上一层所有的单元相连。在前馈网络中的神经单元输入与输出的关系，可采用线性阈值传递函数或单调上升的非线性传递函数。6.2.1 线性阈值单元 线性阈值传递函数是前馈网

2、络中最基本的计算单元形式。图6-8 线性阈值单元t6-8_swf.htm它具有n个输入x1,x2,xn，一个输出 ，n个权值w1,w2,wn，且 令X=(x1,x2,xn)T，W=(w1,w2,wn)，则 Y=sgn(WX-)其中 这里要说明一下：（1） xi一般为其它单元的输出，值常取为1, 0.（2） 如果令X=(X,1)T且W=(W,)，则Y=sgn(WX)6.2.2 感知器 感知器（Perceptron）是由美国学者F. Rosenblatt于1957年提出的，它是一个由最简单的线性阈值元件组成的单层（或多层）神经元的神经网络。如右图所示：图6-9 感知器单元模型t6-9_swf.ht

3、m当输入的加权和大于或等于阈值时，输出为1，否则为0。模型假定神经元中间的耦合程度（即加权系数W）可变，这样，该模型可以学习。当它用于两类模式的分类时，相当于在高维样本空间中，用一个超平面将两类样本分开。Rosenblatt给出了相应的学习算法，并证明如果两类模式是线性可分的（指存在一个超平面能够将它们分开），则算法一定收敛，也就是说W一定存在；否则，判定边界会产生振荡。1957年感知器及其学习算法的提出，是人工神经网络研究的重大发现。F. Rosenblatt成功地用其模拟和分析了动物和人的感知、学习能力。可以称为是人类历史上第一个真正的人工神经网络，因为F. Rosenblatt在IBM7

4、04计算机上进行了网络模型模拟，从学习结果上可以看到感知器有能力通过学习达到正确分类的结果，可以也称该模型为一个学习机。感知器学习算法一个神经网络模型的设计包括：决定采用何种网络模型，网络的结构，神经元的传输函数，如果是多层前馈网络要决定网络的层数，各层的神经元个数。接下来就是采用相应的学习算法，进行学习（训练），使其具备预期的功能。学习：神经网络的学习过程就是神经网络参数的设定过程。一个神经元网络结构确定之后，需要对一系列参数（权重、阈值等）进行有效的设定。这个过程叫做学习或训练过程，此时的方法叫学习算法。学习算法_swf.htm这里给出的是单层网络（没有中间层）的学习算法。为方便起见，将阈

5、值（它也同样需要学习）并入权重矩阵W中，令w0=，X向量也相应的增加一个分量x0=-1，这样网络的输出Y由下列公式表示：具体学习算法如下：1). 给定初始值：赋给wi(0)各一个较小的随机非零值，这里wi(t)为t时刻第i个输入上的权值(1in)，w0(t)为t时刻的阈值；2). 输入一样本X=(-1， x1, x2,xn,)和它的希望输出D;3). 计算实际输出4). 修正权重W 其中01用于控制修正速度。 通常不能太大，因为太大会影响wi(t)的稳定，也不能太小，因为太小会使wi(t)的收敛速度太慢。若实际输出与期望的输出值相同时，wi(t)不变；5). 转到2)直到W对一切样本均稳定不变

6、为止。一般神经网络的学习是在学习样本的指导下进行的。不同的学习方法对学习样本有不同的要求。在感知器学习算法中，要求每个学习样本要有已知的标准答案，也称作教师信号。而参数（权值）的修正是根据实际输出值与理想输出值（由教师信号决定）的差值进行。系统参数变化趋于稳定标志着学习进程的收敛。6.2.3 前馈神经网络及BP（反向传播）学习算法可以简单地将前馈神经网络看作是一个多层的感知器。由于该种网络多采用BP学习算法进行训练，有时也被称为BP网络。前馈神经网络模型的输入输出关系与单层感知器完全相同。前一层的输出是下一层的输入。该种网络多采用BP学习算法进行训练， BP学习算法要求神经元模型的传递函数为有

7、界连续可微函数如sigmoid函数。由具有这种传递函数的神经元组成的网络，通过学习可以用一个连续的超曲面（而不仅仅是一个超平面）来完成划分输入样本空间的功能。在输入样本空间复杂的情况下，可根据要求，采用n层网络结构。此时学习后的网络可以以n-1个超曲面构成一个符合曲面，完成复杂的分类任务。弥补了单层感知器的缺陷。在不考虑结果规模的前提下，基于BP算法，依据大量样本通过逐步调整神经元之间的连接权重来构造网络，理论上，多层前馈网络可以模拟任意的输出函数的。即可以完成任意复杂的分类任务。sigmoid函数。形如：注意：理论和实际是有差距的。主要原因有：学习样本不能保证绝对的覆盖整个样本空间；学习过程

8、不能保证一定收敛到系统的全局最小值点；网络的规模的设计没有理论依据，因此不能够保证其容量一定满足该实际应用的需要。前馈神经网络的基本结构如下图所示。 图6-10 前馈神经网络模型前馈模型_swf.htmBP网络不仅有输入层节点、输出层节点，而且还有隐层节点（可以是一层或多层）。对于输入信号，要先向前传播到隐节点，经过转移函数后，再把隐节点的输出信息传播到输出节点，最后给出输出结果。节点的转移函数通常选取S型函数，如这个算法的学习过程，由正向传播和反向传播组成。在正向传播过程中，输入信息从输入层经隐节点单元逐层处理，并传向输出层，每一层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期

9、望的输出，则转入反向传播过程，将误差信号沿原来的连接通路返回，通过修改各层神经元的连接权值，使得误差信号递减至最小。设有含n个节点的任意网络，各节点的转移函数为Sigmoid函数。为简单起见，认为网络只有一个输出y，任一节点i的输出为Oi；并设有N个样本(Xk,Yk)(k=1,2,N)，对某一输入Xk，网络的理想输出为Yk，节点i的输出为Oik，节点j的输入为节点j的输出为使用平方型误差函数其中，为网络的实际输出，定义 于是，考虑如右页所示的两种情况计算jk1) 当j为输出节点时： 2) 当j不是输出节点时：因此， 我们可以采用下式修正权值：BP算法的过程如右图6-11所示：BP算法存在的问题

10、：1) 从数学的角度，神经网络学习是一个非线性优化问题，这就不可避免的存在有局部极小问题；2) 学习算法收敛的速度较慢，尤其是当网络规模达到一定规模之后；3) 网络训练结束，正常运行时，采用的是单向传播的方式，没有反馈机制可提供在线学习；4) 训练样本的顺序有可能影响学习速度和精度，新加入的样本会影响到已经学完的样本。图6-11 BP算法框图t6-11_swf.htmBP学习算法是一个依据梯度下降理论的很有效的算法，许多问题都可由它来解决。BP算法将一组样本的分类问题转变为一个系统非线性优化问题，采用优化中最普遍的梯度下降法，用迭代运算求解神经元之间的连接权值，加入隐层节点使优化问题的可调参数

11、数目增加，从而可得到更精确的解。亲爱的用户：烟雨江南，画屏如展。在那桃花盛开的地方，在这醉人芬芳的季节，愿你生活像春天一样阳光，心情像桃花一样美丽，感谢你的阅读。1、最困难的事就是认识自己。20.10.810.8.202022:4122:41:0510月-2022:412、自知之明是最难得的知识。二二二二年十月八日2020年10月8日星期四3、越是无能的人，越喜欢挑剔别人。22:4110.8.202022:4110.8.202022:4122:41:0510.8.202022:4110.8.20204、与肝胆人共事，无字句处读书。10.8.202010.8.202022:4122:4122:41:0522:41:055、三军可夺帅也。星期四, 十月 8, 2020十月 20星期四, 十月 8,