第六讲-神经网络

第六章人工神经元计算方法一、引例二、人工神经网络的生物学基础三、人工神经网络概述四、反向传播模型及其学习算法五、应用举例

一、引例

1981年生物学家格若根（W．Grogan）和维什（W．Wirth）发现了两类蚊子(或飞蠓midges)．他们测量了这两类蚊子每个个体的翼长和触角长，数据如下：翼长触角长类别

1.641.38Af1.821.38Af1.901.38Af1.701.40Af1.821.48Af1.821.54Af2.081.56Af翼长触角长类别1.781.14Apf1.961.18Apf1.861.20Apf1.721.24Af2.001.26Apf2.001.28Apf1.961.30Apf1.741.36Af问：如果抓到三只新的蚊子，它们的触角长和翼长分别为(l.24,1.80);

(l.28，1.84)；（1.40，2.04）．问它们应分别属于哪一个种类？

解法一：把翼长作纵坐标，触角长作横坐标；那么每个蚊子的翼长和触角决定了坐标平面的一个点.其中6个蚊子属于APf类；用黑点“·”表示；9个蚊子属Af类；用小圆圈“。”表示．得到的结果见图1图1飞蠓的触角长和翼长一、引例

思路：作一直线将两类飞蠓分开

例如；取A＝（1.44，2.10）和B＝(1.10，1.16)，过AB两点作一条直线：

y＝1.47x-0.017其中X表示触角长；y表示翼长．

分类规则：设一个蚊子的数据为（x,y）

如果y≥1.47x-0.017，则判断蚊子属Apf类；

如果y＜1.47x-0.017；则判断蚊子属Af类．

一、引例

分类结果：(1.24，1.80)，(1.28，1.84)属于Af类；(1.40，2.04）属于Apf类．图2分类直线图

一、引例

•缺陷：根据什么原则确定分类直线？

若取A=(1.46,2.10),B=(1.1,1.6)不变，则分类直线变为y=1.39x+0.071分类结果变为：

(1.24,1.80)，

(1.40,2.04)属于Apf类；

(1.28,1.84)属于Af类

哪一分类直线才是正确的呢？

因此如何来确定这个判别直线是一个值得研究的问题．一般地讲，应该充分利用已知的数据信息来确定判别直线．一、引例

再如，如下的情形已经不能用分类直线的办法：

新思路：将问题看作一个系统，飞蠓的数据作为输入，飞蠓的类型作为输出，研究输入与输出的关系。一、引例

二、人工神经网络的生物学基础人类大脑大约包含有1.4

1011个神经元，每个神经元与大约103～105个其它神经元相连接，构成一个极为庞大而复杂的网络，即生物神经网络。二、人工神经网络的生物学基础神经生理学和神经解剖学的研究结果表明，神经元是脑组织的基本单元，是神经系统结构与功能的单位。二、人工神经网络的生物学基础生物神经元在结构上由：

细胞体(Cellbody)

树突(Dendrite)

轴突(Axon)

突触(Synapse)四部分组成。用来完成神经元间信息的接收、传递和处理。二、人工神经网络的生物学基础生物神经元的信息处理机理

神经元间信息的产生、传递和处理是一种电化学活动。信息的传递与接收二、人工神经网络的生物学基础信息的整合空间整合：同一时刻产生的刺激所引起的膜电位变化，大致等于各单独刺激引起的膜电位变化的代数和。时间整合：各输入脉冲抵达神经元的时间先后不一样。总的突触后膜电位为一段时间内的累积。二、人工神经网络的生物学基础信息输入信息传播与处理信息传播与处理（整合）信息传播与处理结果：兴奋与抑制信息输出二、人工神经网络的生物学基础

突触是神经元之间相互连接的接口部分，即一个神经元的神经末梢与另一个神经元的树突相接触的交界面，位于神经元的神经末梢尾端。突触是轴突的终端。

神经元的功能特性（1）时空整合功能。（2）神经元的动态极化性。（3）兴奋与抑制状态。（4）结构的可塑性。（5）脉冲与电位信号的转换。（6）突触延期和不应期。（7）学习、遗忘和疲劳。二、人工神经网络的生物学基础生物神经网络

由多个生物神经元以确定方式和拓扑结构相互连接即形成生物神经网络。

生物神经网络的功能不是单个神经元信息处理功能的简单叠加。神经元之间的突触连接方式和连接强度不同并且具有可塑性，这使神经网络在宏观呈现出千变万化的复杂的信息处理能力。人工神经网络是集脑科学、神经心理学和信息科学等多学科的交叉研究领域，是近年来高科技领域的一个研究热点。它的研究目标是通过研究人脑的组成机理和思维方式，探索人类智能的奥秘，进而通过模拟人脑的结构和工作模式，使机器具有类似人类的智能。它已在模式识别、机器学习、专家系统等多个方面得到应用，成为人工智能研究中的活跃领域。三、人工神经网络概述人工神经元

模拟生物神经元人工神经网络模拟生物神经网络人工神经网络研究的兴起与发展人工神经网络的研究经历了不少的曲折，大体上可分为四个阶段:

产生时期(20世纪50年代中期之前)

高潮时期(20世纪50年代中期到20世纪60年代末期)

低潮时期(20世纪60年代末到20世纪80年代初期)

蓬勃发展时期(20世纪80年代以后)

神经网络的作用（1）蚂蚁群

一个蚂蚁有50个神经元，单独的一个蚂蚁不能做太多的事；甚至于不能很好活下去．但是一窝蚂蚁；设有

10万个体，那么这个群体相当于500万个神经元（当然不是简单相加，这里只为说明方便而言）；那么它们可以觅食、搬家、围攻敌人等等．（2）网络说话人们把一本教科书用网络把它读出来（当然需要通过光电，电声的信号转换）；开始网络说的话像婴儿学语那样发出“巴、巴、巴”的声响；但经过B－P算法长时间的训练竟能正确读出英语课本中90％的词汇．从此用神经网络来识别语言和图象形成一个新的热潮。神经元的人工模型人工神经网络的组成与结构人工神经网络的组成人工神经网络（简称ANN）是由大量处理单元经广泛互连而组成的人工网络，用来模拟脑神经系统的结构和功能。而这些处理单元我们把它称作人工神经元。人工神经网络（ANN）可看成是以人工神经元为节点，用有向加权弧连接起来的有向图。在此有向图中，人工神经元就是对生物神经元的模拟，而有向弧则是轴突—突触—树突对的模拟。有向弧的权值表示相互连接的两个人工神经元间相互作用的强弱。

神经元的人工模型人工神经元的工作过程对于某个处理单元（神经元）来说，假设来自其他处理单元（神经元）i的信息为Xi，它们与本处理单元的互相作用强度即连接权值为Wi,i=0,1,…,n-1,处理单元的内部阈值为θ。那么本处理单元（神经元）的输入为而处理单元的输出为（9.1.1）（9.1.2）式中，xi为第i个元素的输入，wi为第i个处理单元与本处理单元的互联权重。f称为激发函数或传递函数，它决定节点（神经元）的输出。神经元的人工模型神经元的传递函数(1)阈值型传递函数

1x≥0 f(x)=

0x＜0 阈值型函数又称阶跃函数，它表示激活值σ和其输出f(σ)之间的关系。阈值型函数为激发函数的神经元是一种最简单的人工神经元。神经元的传递函数(2)S型传递函数

S型函数是一个有最大输出值的非线性函数，其输出值是在某个范围内连续取值的。以它为传递函数的神经元也具有饱和特性。神经元的传递函数(3)分段线性转移函数

0x≤0 f(x)= cx

0＜

x≤xc

1xc＜

x

线性分段函数可以看作是一种最简单的非线性函数，它的特点是将函数的值域限制在一定的范围内，其输入、输出之间在一定范围内满足线性关系，一直延续到输出为最大域值为止。但当达到最大值后，输出就不再增大。(4)概率型转移函数温度参数神经元的传递函数人工神经元－信息处理单元人工神经元－信息处理单元信息输入人工神经元－信息处理单元信息传播与处理：加权求和人工神经元－信息处理单元信息传播人工神经元－信息处理单元信息传播与处理：非线性人工神经元－信息处理单元信息输出人工神经网络的分类按性能分：连续型和离散型网络，或确定型和随机型网络。按拓扑结构分：有反馈网络和无反馈网络。按学习方法分：有教师的学习网络和无教师的学习网络。按连接突触性质分：一阶线性关联网络和高阶非线性关联网络。人工神经网络的基本特点

（1）可处理非线性

（2）并行结构．对神经网络中的每一个神经元来说；其运算都是同样的．这样的结构最便于计算机并行处理．

（3）具有学习和记忆能力．一个神经网络可以通过训练学习判别事物；学习某一种规律或规则．神经网络可以用于联想记忆．（4）对数据的可容性大．在神经网络中可以同时使用量化数据和质量数据（如好、中、差、及格、不及格等）．（5）神经网络可以用大规模集成电路来实现．如美国用256个神经元组成的神经网络组成硬件用于识别手写体的邮政编码．网络拓扑结构类型

——层次型结构单纯层次型结构人工神经网络模型网络拓扑结构类型

——层次型结构输出层到输入层有连接人工神经网络模型网络拓扑结构类型

——层次型结构层内有连接层次型结构人工神经网络模型网络拓扑结构类型

——互连型结构全互连型结构人工神经网络模型网络拓扑结构类型

——互连型结构局部互连型网络结构人工神经网络模型网络信息流向类型前馈型网络人工神经网络模型网络信息流向类型反馈型网络人工神经网络模型神经网络学习

神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接近期望的输出。这一过程称为神经网络的学习或训练，其本质是可变权值的动态调整。

神经网络的学习类型：神经网络学习有导师学习(有监督学习)无导师学习(无监督学习)死记式学习神经网络学习反向传播模型及其网络结构反向传播模型也称B-P模型，是一种用于前向多层的反向传播学习算法。之所以称它是一种学习方法，是因为用它可以对组成前向多层网络的各人工神经元之间的连接权值进行不断的修改，从而使该前向多层网络能够将输入它的信息变换成所期望的输出信息。之所以将其称作为反向学习算法，是因为在修改各人工神经元的连接权值时，所依据的是该网络的实际输出与其期望的输出之差，将这一差值反向一层一层的向回传播，来决定连接权值的修改。四、反向传播模型及其学习算法B-P算法的网络结构是一个前向多层网络，如图所示。

四、反向传播模型及其学习算法反向传播网络的学习算法B-P算法的学习目的是对网络的连接权值进行调整，使得调整后的网络对任一输入都能得到所期望的输出。学习过程由正向传播和反向传播组成。正向传播用于对前向网络进行计算，即对某一输入信息，经过网络计算后求出它的输出结果。反向传播用于逐层传递误差，修改神经元间的连接权值，以使网络对输入信息经过计算后所得到的输出能达到期望的误差要求。四、反向传播模型及其学习算法B-P算法的学习过程如下：（1）选择一组训练样例，每一个样例由输入信息和期望的输出结果两部分组成。（2）从训练样例集中取一样例，把输入信息输入到网络中。（3）分别计算经神经元处理后的各层节点的输出。（4）计算网络的实际输出和期望输出的误差。（5）从输出层反向计算到第一个隐层，并按照某种能使误差向减小方向发展的原则，调整网络中各神经元的连接权值。（6）对训练样例集中的每一个样例重复（3）—（5）的步骤，直到对整个训练样例集的误差达到要求时为止。四、反向传播模型及其学习算法在以上的学习过程中，第（5）步是最重要的，如何确定一种调整连接权值的原则，使误差沿着减小的方向发展，是B-P学习算法必须解决的问题。四、反向传播模型及其学习算法B-P算法的优缺点：优点：理论基础牢固，推导过程严谨，物理概念清晰，通用性好等。所以，它是目前用来训练前向多层网络较好的算法。缺点：（1）该学习算法的收敛速度慢；（2）网络中隐节点个数的选取尚无理论上的指导；（3）从数学角度看，B-P算法是一种梯度最速下降法，这就可能出现局部极小的问题。当出现局部极小时，从表面上看，误差符合要求，但这时所得到的解并不一定是问题的真正解。所以B-P算法是不完备的。四、反向传播模型及其学习算法简单网络的B-P算法简单网络假设有P个训练样本，即有P个输入输出对（Ip,Tp）,p=1,…,P,其中

输入向量为

,目标输出向量为（实际上的）

网络输出向量为

（理论上的）

简单网络的B-P算法（p=1,…,P）

（2）

记wij为从输入向量的第j(j=1,…,m)个分量到输出向量的第i(i=1,…,n)个分量的权重。通常理论值与实际值有一误差，网络学习则是指不断地把与比较，并根据极小原则修改参数wij，使误差平方和达最小：记Delta学习规则:

（4）

（3）

表示递推一次的修改量，则有称为学习的速率

简单网络的B-P算法ipm=-1,wim=(第i个神经元的阈值)（5）注：由（1）式，第i个神经元的输出可表示为特别当f是线性函数时

（6）简单网络的B-P算法多层前馈网络

多层前馈网络

（l）输入层不计在层数之内，它有N0个神经元．设网络共有L层；输出层为第L层；第k层有Nk个神经元．假设：(2)设表示第k层第i神经元所接收的信息wk(i,j)表示从第k-1层第j个元到第k层第i个元的权重，表第k层第i个元的输出（3）设层与层间的神经元都有信息交换（否则，可设它们之间的权重为零）；但同一层的神经元之间无信息传输．

(4)设信息传输的方向是从输入层到输出层方向；因此称为前向网络．没有反向传播信息．（5）表示输入的第j个分量．假设：在上述假定下网络的输入输出关系可以表示为：（7）

其中θk(i)表示第k层第i个元的阈值.五、应用举例1问题描述在金属成形过程设计中，需要知道施于工件与模具之间的润滑剂的摩擦特性以及工件材料的流动应力，以优化成形过程。金属环锻压实验是测定介面摩擦特性和材料流动应力的最简单的试验方法。用上界法绘制不同摩擦因素条件下的标定曲线族，曲线自变量为环内径减小的百分比（λ）和环高度缩减的百分比（γ），应变量是摩擦因素（m）和流动应力（σ）。应用举例1用神经网络测定训练样本1600个，四层反向传播网络，分别用2、12、12、2个神经元。学习规则用改进的δ规划。应用举例1应用举例2

已知的两类蚊子的数据如表1：

翼长触角长类别1.781.14Apf1.961.18Apf1.861.20Apf1.721.24Af2.001.26Apf2.001.28Apf1.961.30Apf1.741.36Af目标值0.90.90.90.10.90.90.90.1

翼长