《生产过程自动化》-20

20.1概述

1.生物神经元系统神经元(即神经细胞)是脑的基本组成单位，从人脑的结构来看，它由大量的(1011~1014个)神经细胞组合而成。这些细胞相互联结，每个细胞完成某种基本功能，如兴奋和抑制，它们并行工作，整体上完成复杂思维活动和信息处理。大多数神经元具有某些结构上的共同特征，通常可以将其分为三个区，即细胞体、树突和轴突.如图20-1所示生物神经元具有以下基本特征。①神经元是一个多输人一单输出系统。②具有非线性的输人一输出特征。③各神经元间传递信号的强度是可变的，且输人信号有兴奋作用和抑制作用之分。④神经元的输出响应取决于所有输入信号叠加综合的结果，当综合输人超过某一闽值时，该神经元被激活，否则将处于抑制状态。下一页返回20.1概述2.人工神经网络的发展简史

1943年，美国心理学家麦卜洛克(W.McCulloch)和数学家皮茨(W.Pitts)根据生物神经元的基本特性，提出了M一P神经元模型，开创了人工神经元研究的新纪元，M-P神经元模型如图20-2所示。其数学表达式为1957年，美国计算机学家罗森布拉特(F.Rosenblatt)提出了著名的感知器(perceptron)模型。1969年，美国麻省理工学院人工智能专家明斯基(M.Minsky)与帕伯特(s.Papert)发表了名为《感知机》的专著。美国物理学家霍普菲尔德(J.Hopfield)在1982年和1984年发表了两篇神经网络的文章。1986年，鲁默哈特(D.Rumelhart)与麦勒阵德(J.McClelland)提出了多层前馈神经网络模型的反向传播学习算法(BackPropagation),即BP网络或BP算法。

1990年3月在北京召开我国首届神经网络学术大会。1991年在南京成立中国神经网络学会。从此，我国的神经网络理论研究与应用进人了一个崭新的发展阶段。上一页下一页返回20.1概述3.人工神经网络模型按以下5个原则进行神经网络的归类按照网络的结构区分，则有前向网络和反馈网络。按照学习方式区分，则有监督学习和非监督学习网络。按照网络性能区分，则有连续型和离散性网络，随机型和确定型网络。按照突触性质区分，则有一阶线性关联网络和高阶非线性关联网络。按对生物神经系统的层次模拟区分，则有神经元层次模型，组合式模型，网络层次模型，神经系统层次模型和智能型模型。图20-3表示了两个典型的神经网络结构。上一页返回20.2感知器

感知器(Perceptron)是由美国学者F.Rosenblatt于1957年提出的，感知器是最早提出的一种神经网络模型，网络的激活函数是线性阂值单元。感知器神经元模型如图20-4所示，该模型有R个输人，并且使用硬限幅传递函数。对于输人为P，输出量为a、日标量为t的感知器，它的学习误差为e=t-a，此时感知器的权值和阈值修正公式为返回20.3多层前馈反向传播神经网络Rumelhart,MeClelland和同事们于1982年成立了一个PDP(并行分布信息处理)小组，研究并行分布信息处理方法，在1985年他们发展了多层前馈网络的学习算法—BackPropagationTrainingAlgorithm(简称B一P算法)，使多层前馈网络的应用与研究取得了重大突破，将B一P算法应用于前馈网络，通常称之为BP网络。

BP神经元模型采用典型的M一P神经元模型，但BP网络中隐层激活函数一般采用S形对数函数，因此输出量是0~1的连续量，它可实现从输如到输出的任意的非线性映射。BP网络的信号传送是由两部分组成，即正向传播与反向传播。它采用一种误差反向传播学习的计算方法。

下一页返回20.3多层前馈反向传播神经网络如图20-5所示的多层前馈网络中，第Q层为输出层，中间各层为隐层。设第α层(α=1,2，...，Q)的神经元个数为nα

，输入到第α层的第i个神经元的连接权系数为Wij(α);该网络的输入输出关系式为：上一页下一页返回20.3多层前馈反向传播神经网络设给定P组输人输出样本利用该样本集首先对BP网进行训练，一也即对网络的连接权系数进行学习和调整，以使该网络实现给定的输人输出映射关系。了解连接权系数的学习方法：设性能指标函数为

(20-4)上一页下一页返回20.3多层前馈反向传播神经网络BP算法中采用最速下降法，即一阶梯度法。从输出层开始依次计算:由于所以下面着重讨论上一页下一页返回20.3多层前馈反向传播神经网络式中，对于第Q一1层有（20-6）上一页下一页返回20.3多层前馈反向传播神经网络

在的表达式中包含了导数项由于转换函数f(·)为s形函数，所以其导数可求，即可得最后，可归纳出BP神经网络的学习算法如下。上一页下一页返回20.3多层前馈反向传播神经网络算法的执行步骤如下。①对权系数Wij置初值，即对各层的权系数Wij置一个较小的非零随机数。②输人一个样本以及对应期望输出。③计算各层的输出。④求各层的学习误差Dij(α)。⑤修正权系数Wij

。⑥当求出了各层各个权系数之后，可按给定品质指标判别是否满足要求。如果满足要求，则算法结束;如果未满足要求，则返回③执行。上一页下一页返回20.3多层前馈反向传播神经网络可以看出BP有如下特征：优点：①具有自适应功能。②具有泛化功能。③具有非线性映射功能。④具有很强的容错性。缺点：①收敛速度慢。②会出现局部极值。③难以确定