人工神经网络讲.ppt

人工神经网络 Artificial Neural Network,演 讲 者：关凤华 指导教师：赵冬梅 2008年11月11日,主要内容,多层网络的误差逆传播校正方法,人工神经元网络,神经元的数学模型,生物神经元,引言,1,2,3,4,5,1、引言,工业革命以来，人类大量采用机器来减轻人们的体力劳动，并获得巨大效益。同样，人类为了通过使用某种机器来减轻脑力劳动，也一直进行着不懈努力。,20世纪40年代，由于计算机的发明和使用，使人类的文明进入计算机时代，在一定程度上减轻了人们的脑力劳动,神经元网络作为人工智能的一个分支，在近几十年来，受到人们的广泛重视。,智能计算的核心问题是关于人脑功能的模拟问题。目前认为，人类的大脑中的神经元对于人脑的智能起着关键的作用，这些神经元的数量非常多，组成了十分复杂的神经网络。,1、引言,智能的定义,众所周知,人类是具有智能的，因为人类能够记忆事物，能够有目地进行一些活动，能够通过学习获得知识，并能在后续的学习中不断地丰富知识，还有一定的能力运用这些知识去探索未知的东西，去发现、去创新。,粗略地讲，智能是个体有目的的行为，合理的思维，以及有效的适应环境的综合能力。也可以说，智能是个体认识客观事物和运用知识解决问题的能力。,1、引言,感知和认识客观事物、客观世界和自我的能力,感知是智能的基础最基本的能力,通过学习取得经验与积累知识的能力,这是人类在世界中能够不断发展的最基本能力,联想、推理、判断、决策语言的能力,理解知识，运用知识和经验分析、解决问题的能力,这一能力可以算作是智能的高级形式 是人类对世界进行适当改造、推动社会不断发展的能力,这是智能高级形式的又一方面 主动与被动之分。联想、推理、判断、决策的能力是主动的基础。,按照上面的描述，人类个体的智能是一种综合能力。具体来讲，可以包括一下八个方面的能力：,1、引言,通过学习取得经验与积累知识的能力,发现、发明、创造、创新的能力,实时、迅速、合理地应付复杂环境的能力,预测，洞察事物发展、变化的能力,人工智能的定义,人工智能（Artificial Intelligence，AI）最初是在1956年被引入的。它研究怎样让计算机模仿人脑从事推理、设计、思考、学习等思维活动，以解决和处理较复杂的问题，简单地来说，人工智能就是研究如何让计算机模仿人脑进行工作。,2、生物神经元,图2-1 神经元的解剖,在人体内，神经元的结构形式并非是完全相同的；但是，无论结构形式如何，神经元都是 由一些基本的成份组成的。 从图中 可以看出：神经元是由细胞体，树突和轴突三部分组成,2、生物神经元,突触，是一个神经元与另一个神经元之间相联系并进行信息传送的结构。 突触的存在说明：两个神经元的细胞质并不直接连通，两者彼此联系是通过突触这种结构接口的。有时也把突触看作是神经元之间的连 接。,图2-2 突触结构,2生物神经元,目前，根据神经生理学的研究，已经发现神经元及其间的突触有4种不同的行为。神经元的4种生物行为有： 能处于抑制或兴奋状态； 能产生爆发和平台两种情况 能产生抑制后的反冲 具有适应性。 突触的4种生物行为有： 能进行信息综合 能产生渐次变化的传送 有电接触和化学接触等多种连接方式 会产生延时激发。 目前，人工神经网络的研究仅仅是对神经元的第一种行为和突触的第一种行为进行模拟，其它行为尚未考虑。,2生物神经元,2.1神经元的兴奋与抑制 2.2神经元的信息传递及阀值特性 2.3神经元的信息综合特性,图2-3.神经元的兴奋过程电位变化,3神经元的数学模型,从神经元的特性和功能可以知道，神经元是一个多输入单输出的信息处理单元，而且，它对信息的处理是非线性的。根据神经元的特性和功能，可以把神经元抽象为一个简单的数学模型。,3神经元的数学模型,W权矢量（weight vector） X输入矢量（input vector）,3神经元的数学模型,比较常用的是激活函数可归结为三种形式：阀值型、S型和线性型。,激活函数：,阈值型：,3神经元的数学模型,S型（Sigmoid）激活函数,3神经元的数学模型,线性型激活函数,神经元的特点：,是一多输入、单输出元件 具有非线性的输入输出特性 具有可塑性，其塑性变化的变化部分主要是权值（Wi）的变 化，这相当于生物神经元的突触变化部分 神经元的输出响应是各个输入值的综合作用结果 输入分为兴奋型（正值）和抑制型（负值）两种。,4.人工神经网络,人工神经网络（Artificial Neural Network ANN）是对人类大脑系统的一阶特性的一种描述，简单地讲，它是一个数学模型可以用电子线路来实现也可以用计算机程序来模拟，是人工智能研究的一种方法。,人工神经网络的提出：,信息的分布表示 运算的全局并行和局部操作 处理的非线性,人工神经网络的三大特点：,人工神经网络的定义：,人工神经网络是一个并行，分布处理结构，它由处理单元及称为联接的无向信号通道互连而成。这些处理单元(PEProcessing Element)具有局部内存，并可以完成局部操作、每个处理单元有一个单一的输出联接，这个输出可以根据需要被分支成希望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应处理单元的信号，信号的大小不因分支的多少而变化，处理单元的输出信号可以是任何需要的数学模型，每个处理单元中进行的操作必须是完全局部的。也就是说，它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。,4.人工神经网络,4.人工神经网络,按照网络的结构区分，则有前向网络和反馈网络 按照学习方式区分，则有有教师学习和无教师学习网络 按照网络性能区分，则有连续型和离散性网络，随机型和确定型网络 按照突触性质区分，则有一阶线性关联网络和高阶非线性关联网络 按对生物神经系统的层次模拟区分，则有神经元层次模型，组合式模型，网络层次模型，神经系统层次模型和智能型模型。,人工神经网络的分类：,4.人工神经网络,第一种：前馈网络（Feedforward Network）,下面介绍几种常见的神经网络。,表示一个非线性激活函数，每个神经元的激活函数是算子的分量，激活函数是标量，是输入矢量和权矢量之积。 前馈网络没有反馈，可以连成多层网，前馈网络通常是有教师提供信息，提供期望值，可以从误差信号来修正权值，直到误差小于允许范围。,4.人工神经网络,对于输入X（t）仅在初始时刻不为零的情况，这种网络也可以保持有输出信号。所以 ，即 在t0时，输入可以取消或被系统自动保持。如果我们这里只考虑 ，则在t0时，没有输入的情况，可将下一时刻的输出写成： ，为方便起见，也可将网络的输出状态表示成：,第二种：反馈网络,4.人工神经网络,第三种：相互结合型网络 相互结合型网络的结构如图所示，它是网状结构网络，构成网络中的各个神经元都可能相互双相联接，所有的神经元即作输入，同时也用输出。这种网络如果在某一时刻从外部加一个输入信号，各个神经元一边相互作用，一边进行信息处理，直到收敛于某个稳定值为止。,4.人工神经网络,第四种：混合型网络 前面所讲的前馈网络和上述的相互结合型网络分别是典型的层状解构网络和网状结构网络，介于两种网络中间的一种连接方式，如图所示：它是在前馈网络的同一层间各神经元又有互联的结构，所以称为混合型网络。这种在同一层内互联的目的是为了限制同层内神经元同时兴奋或抑制的数目，已完成特定功能。例如：视网膜的神经元网络就有许多这种连接形式。,4.人工神经网络,学习是神经系统的本能，人的神经系统是最发达的，所以人的学习能力也最强。模仿人的学习过程人们提出多种神经网络的学习方法。 有教师学习 无教师学习,4.人工神经网络,神经网络的学习过程：,4.人工神经网络,关于综合误差有各种不同的定义，但本质上都是一致的。这里介绍两种： 第一种：均方根标准误差（Root-mean-square normalized error, RMS误差）,式中： 模式k第j个输出单元的期望值； 模式k第j个输出单元的实际值； M样本模式对个数； Q输出单元个数。,第二种：误差平方和 式中：M样本模式对个数； Q输出单元个数。,神经元网络的学习规则,神经元网络的最大特点就是它具有学习的能力，在学习过程中，主要是网络的连接权的值产生了相应的变化，学习到的内容也是记忆在连接权之中。,令为Wij第i个神经元的第j个输入连接权，这个输入可以是外来的输入信号，也可以试来自其他神经元的输出。学习信号r是Wi和X的函数，有时也包括教师信号di，所以有,权矢量的变化是由学习步骤按时间t，t+1，一步一步进行计算的。在时刻t连接权的变化量为：,其中c是一个正数，称为学习常数，决定学习的速率。,神经元网络的学习规则,离散学习步骤可写成：,从时刻t到下一个时刻（t+1），连接权按下式计算:,其中c是一个正的常数，称为学习常数，决定学习的速率。,Hebb学习规则,权分量用下式调整： 或,当两个神经元同时兴奋时，突触的传递效率加强，那么在人工神经网络中就表现为连接权的增加。以a表示神经元A的激活值（输出），b表示神经元B的激活值，Wab表示两个神经元的连接权，则Hebb学习规则的数学表达式为：,根据Hebb学习规则，学习信号r等于神经元的输出：,感知机（Perceptron）学习规则,这一规则是有监督学习，学习信号是期望值与神经元实际响应之差学习规则如下图所示。,注意：这个规则仅能用于双极二进制神经响应。,感知机（Perceptron）学习规则,在这一规则下，Oi仅当不正确的情况下才进行权调整，误差是学习的必要条件。由于期望值（di）与响应值（ Oi ）均为+1或者-1，所以权调整量为：,这里“”号，,“”号，,当,权值无变化。初始权可为任意值。,Delta学习规则,仅对连续激活函数，并只对有监督学习模型有效。 学习信号为：,误差梯度矢量：,这个学习规则可从Oi与di最小方差得出。,方差：,Delta学习规则,这个规则是与离散感知器学习规则是并行的，可以称为连续感知器训练规则，它可以进一步推广到多层。 一般要求c取较小的值，是在权空间，按负的方向转动权矢量。,梯度矢量分量：,由于最小误差要求权变换是负梯度方向，所以取式,中c正常数。,神经元网络的工作过程：,这里主要介绍两种最常用的形式： 第一种：回想（recall） 自动联想 异联想,第二种：分类（classification） 异联想的一种特殊情况 识别,自动联想过程 异联想过程,分类过程 识别过程,5多层网络的误差逆传播校正方法,误差逆传播校正方法是利用实际输出与期望输出之差对网络的各层连接权由后向前进行校正的一种计算方法。理论上讲，这种方法可以适用于任意多层的网络。,5多层网络的误差逆传播校正方法,为计算方便，我们首先把网络的变量设置如下： 输入模式向量： 希望输出向量： 中间层各单元输入激活值向量： 中间层各单元输出向量： 输出层各单元输入激活值向量： 输出实际值向量： 输入层至中间层的连接权： 中间层至输出层的连接权： 中间层各单元的阈值： 输出层各单元的阈值： 其中,5多层网络的误差逆传播校正方法,激活函数才用S型函数： 激活函数的导数为： 这里的学习规则实际上是一种Delta学习规则，即利用误差的负梯度来调整连接权，使其输出误差单调减少。利用Delta学习规则，应该先求出误差函数的梯度，因此有以下推导过程： 对第k个学习模式，网络的希望输出与实际输出的偏差设为：,5多层网络的误差逆传播校正方法,采用平方和误差进行计算： 按梯度下降原则，中间层至输出层连接权的调整量应为： 展开：,5多层网络的误差逆传播校正方法,利用（4）式可得： 因为输出层第t个单元的激活值为： 输出层第t个单元的输出值为： 由式（2）可得对于输出函数的导数：,5多层网络的误差逆传播校正方法,所以： 因此，由式（6）（7）和（11）可得：,为进一步简化，,所以：,5多层网络的误差逆传播校正方法,同理，由输入层至中间层连接权的调整，仍按梯度下降法的原则进行 ：,同样也可求出阈值的调整量：,为中间层各单元的校正误差,以上的推导仅是针对某一组学习模式进行的，其误差也是某一组的误差。对于全部的输入模式，我们有网络的全局误差E：,BP网络的学习规则与计算方法,输入模式顺传播（输入模式由输入层经中间层向输出层传播计算），这一过程主要是利用输入模式求出它所对应的实际输出 输出误差逆传播（输出的误差由输出层经中间层传向输入层），当这些实际的输出值与希望的输出值不一样时或者说其误差大雨所限定的数值时，就要对网络进行校正。 循环记忆训练（模式顺传播与误差逆传播的计算过程反复交替循环进行） 学习结果判别（判定全局误差是否趋向极小值）。,BP网的学习过程,利用前面求得的对各个连接权和阀值进行校正的数学表达式，可构成BP网络的学习规则。,BP网络的应用举例,“异或”（XOR）问题：例如有一个BP网络，它由输入、中间和输出层这三层构成，如图所示。输入层和中间层各有两个神经元，输出层有一个神经元。先要求训练这一网络，使其具有解决“异或”问题的能力。,首先给网