四、人工神经网络理论简介

人工神经网络理论简介人工神经网络是基于模仿生物大脑结构和功能而构成的一种信息处理系统。由于人工神经网络具有复杂的动力学特性、并行处理机制、学习、联想和记忆等功能，以及它的高度自组织、自适应能力和灵活活性而受到自然科学领域学者和各行业应用专家的广泛重视31。4.1 神经网络的特点 神经网络实际上是由大量简单元件相互连接而成的复杂网络，具有高度的非线性，能够进行复杂的逻辑操作和非线性关系实现的系统。神经网络吸取了生物神经网络的许多优点，因而有其固有的特点32：1、分布式存储信息。其信息的存储分布在不同的位置，神经网络是用大量神经元的连接及对各连接权值的分布来表示特定的信息，从而使网络在局部网络受损或输入信号因各种原因发生部分畸变时，仍然能够保证网络的正确输出，提高网络的容错性和鲁棒性。2、并行协同处理信息。神经网络中的每个神经元都可根据接收到的信息进行独立的运算和处理，并输出结果，同一层中的各个神经元的输出结果可被同时计算出来，然后传输给下一层做进一步处理，这体现了神经网络并行运算的特点，这个特点使网络具有非常强的实时性。虽然单个神经元的结构及其简单，功能有限，但大量神经元构成的网络系统所能实现的行为是极其丰富多彩的。3、良好的容错性与联想记忆功能。神经网络通过自身的网络结构能够实现对信息的记忆。而所记忆的信息是存储在神经元之间的权值中。从单个权值中看不出所存储的信息内容，因而是分布式的存储方式。这使得网络具有良好的容错性，并能进行聚类分析、特征提取、缺损模式复原等模式信息处理工作；又宜于做模式分类、模式联想等模式识别工作。4、对信息的处理具有自组织、自学习的特点，便于联想、综合和推广。神经网络的神经元之间的连接强度用权值大小表示，这种权值可以通过对训练样本的学习不断变化，而且随着训练样本量的增加和反复学习，这些神经元之间的连接强度会不断增加，从而提高神经元对这些样本特征的反应灵敏度。4.2 神经网络的结构与泛化能力4.2.1 神经元模型神经元是人工神经网络的基本处理单元，它一般是一个多输入单输出的非线性元件。一个神经网络的神经元模型描述了一个网络如何将它的输入向量转化为输出向量的过程，实质上体现了网络输入和其输出之间的一种函数关系。通过选取不同的模型结构与激活函数，可以形成各个不同的神经网络，得到不同的输入输出关系式，并达到不同的设计目的，完成不同的任务。所以在利用神经网络解决实际应用问题之前，必须首先掌握神经网络的模型结构及其特性以及对其输出向量的计算。 神经元输出除受输入信号的影响外，同时也受到神经元内部其他因素的影响，所以在人工神经元的建模中，常常还加入一个额外输入信号，称为阈值（或门限值）。如图4-1所示为一个具有R个输入的神经元：图4-1神经元模型示意图神经元的输出表示为：其中，定义表示神经元的输入向量；表示神经元的权值向量；为神经元的阈值；表示神经元的传递函数；为神经元的输出。 4.2.2 神经网络的激活函数激活函数（Activation transfer function）是一个神经元及整个神经网络的核心。网络解决问题的能力与功效除了与网络结构有关，在很大程度上取决于网络所采用的激活函数。激活函数能够控制输入对输出的激活作用；能够对输入、输出进行函数转换；还能将可能无限阈值的输入变换成指定的有限范围内的输出。激活函数通常是有界的、分段可微的函数33，目前最常用的是S型(Sigmoid)函数和双极性函数。S型激活函数具有非线性放大增益，对任意输入的增益等于在输入输出曲线中该输入点处的曲线斜率值。当输入由-增大到零时，其增益由0增至最大；然后当输入由0增加至+时，其增益又由最大逐渐降低至0，并总为正值。利用该函数可以使同一神经网络既能处理小信号，也能处理大信号。因为该函数的中间高增益区解决了小信号的问题，而在伸向两边的低增益区正好适用于处理大信号的输入。一般而言，一个神经网络是线性或者非线性是由网络神经元中所具有的激活函数的线性或非线性来决定的。4.2.3 神经网络的结构只有上亿个生物神经元连接成生物神经网络，才能完成对外部感知信息进行的处理、记忆、学习等。同样，单个人工神经元往往不能完成对输入信号的处理，它要按一定的规则连接成网络，并让网络中每个神经元的权值和阈值按一定的规则变化，才能实现所设计神经网络的功能要求。人工神经网络的连接形式和其拓扑结构多种多样，但总的来说有两种形式，即前馈型神经网络和反馈型神经网络，下面分别介绍两种网络的连接结构和用途34。1 前馈型神经网络一般前馈网络都具有多层结构，至少为三层。第一层为输入层，第二层为隐含层，第三层为输出层。各层的每一个单元的输出都直接与紧接的下一层的各单元的输入端相连，由于层与层之间没有反馈存在，所以按照这种连接方式组成的网络称为前馈网络。一个三层结构的神经网络如图4-2所示。图4-2 三层前馈神经网络示意图输入层的单元作用只是将输入信号送到隐含层各单元的各个输入端，所以它只起到信号输出的作用而不作任何计算。因此如果系统具有R个输入变量，则输入层就应当有R个输入单元，隐含层和输出层单元具有运算功能。输入层单元个数等于输入变量的个数，输出层单元个数等于输出变量个数。但是隐含层单元个数究竟多少最合适，目前理论上而还不能给出准确的回答。但从理论上可以证明：对于一个三层前馈网络，只要选择足够多的隐节点，总可以任意逼近一个光滑的非线性函数。所以隐含节点的节点数的选择可遵照这个原则，逐步由少增多隐含节点，通过仿真实验，直到逼近的非线性函数达到要求的精度为止。从控制的观点看，前馈网络的主要用途在于它的非线性的映射关系能被用来实现非线性系统的建模、辨别和控制。2 反馈型神经网络在反馈网络中所有节点都是一样的，它们之间都可以相互连接（一个节点既接收其它节点来的输入，同时也输出给其它节点），但其结构比前馈神经网络要复杂得多，即从输出到输入具有反馈连接。典型的反馈网络是Hopfield神经网络和Elman神经网络。Hopfield网络又称为联想记忆网络，它常常存储一个或多个稳定的目标向量，当网络输入端输入相似的向量时，这些稳定的目标向量将“唤醒”网络记忆的模式，并通过输出呈现出来。Elman网络是两层反向传播网络，隐含层和输入向量连接的神经元，其输出不仅作为输出层的输入，而且还连接隐含层内的另外一些神经元，反馈至隐含层的输入。由于其输入表示了信号的空域信息，而反馈支路是一个延迟单元，反映了信号的时域信息，所以Elman网络可以在时域和空域进行模式识别。4.2.4 神经网络的泛化能力神经网络的泛化能力用来评价神经网络的有效性。一个神经网络通过学习算法，对已知的样本数据进行学习，学习的目的不是仅仅记住样本数据，而是当新的数据即测试数据出现时，神经网络也能产生准确的输出，其准确度越高，就说明神经网络的泛化能力越强。有关神经网络泛化能力的研究得到了研究人员的高度重视，但至今还未能研究出一套完整的理论来保证神经网络泛化能力。一般来说，影响神经网络泛化能力的因素很多，如网络选取、学习算法、初值的选择等，但以下因素对神经网络的泛化能力是决定性的：逼近对象(系统)的复杂程度。足够的训练数据及训练数据的代表性。神经网络的复杂程度。即网络结构的大小。事实上，这些因素是相互关联的，逼近系统越复杂，就需要越多的学习样本，网络结构也就越复杂。但问题是，神经网络是通用逼近器，而逼近对象的复杂程度是无法预知的，只有后两个问题是神经网络泛化能力研究中应考虑的。因此，这方面的研究包括：定好神经网络结构后，确定训练样本数，以使神经网络的泛化能力最大。已知训练样本数后，确定最佳的网络结构，以使神经网络的泛化能力最大。4.3 神经网络的学习算法神经元网络对信息的处理是由大量的神经元共同完成的，是一种集合的功能；与之相适应的是信息的分布式存储和联想记忆的存取方式。网络由这些不同层次的节点集合组成，信息在节点之间传递，并且由于节点间连接权值的不同而被放大、衰减或抑制。在整个网络系统中，隐含层起着决定性作用。它把输入样本的特征形成更接近于输出模式的概念。神经网络最显著的特征是它对样本的学习能力。学习是一个调整网络参数和结构并把知识反映在分布式的网络结构中的过程。一个训练好的网络代表了一个静态的知识库，该知识库在它的运行阶段可以被重新获取。因此一个神经网络的性能很大程度上取决于它的学习能力。在一般情况下，神经网络通过学习而对自身性能的改善是按照某种预定的度量调节自身参数随时间逐步达到的。对于每个神经网络模型都有与其相关的学习算法，学习算法决定了权值的初值并规定了在学习过程中权值应如何变化以便改善网络的性能。从工程应用的角度看，一个好的学习算法应该具备以下特点：学习鲁棒性。即学习方法必须以如下方式保证鲁棒性：不产生局部极小值、震荡问题、灾难失忆问题、不确定存储和记忆回想问题或者类似的学习困难问题。学习的快速性。即学习方法必须在学习时具有快速性，同时通过少量的样本就可以快速的学习。从工程角度看，一个具有在线学习功能的系统必须能够通过尽量少的样本就能完成快速的学习。学习的有效性。即当提供有限的训练样本时，在学习中该方法应该是计算有效的。学习的泛化能力。即学习后的神经网络能够有较好的泛化能力，而神经网络的结构尽量小。就是说必须尽可能设计出最小的神经网络。神经网络的学习主要分为两大类，即有监督学习和无监督学习两种。其中，有监督学习又可以分为自由网络算法和固定网络算法。前者容许在学习过程中改变网络拓扑结构以及隐含节点数，后者则只改变网络的权值。对算法的考虑主要是收敛速度的快慢、是否收敛到全局最优的情况以及算法的适应性等。神经网络的学习方式（按环境所提供信息的多少）有以下三种35。1 有监督学习如果能提供一组输入输出样本，该样本反映了被逼近对象的固有特性(映射)，那么所谓有监督学习是指基于对该输入输出样本的训练，学习到这组数据所代表的系统特性。在学习过程中，神经网络不断地将实际结果与目标输出进行比较，并根据比较结果或误差，按照一定的规则或算法对网络权值或阈值进行调节，从而使网络的输出逐渐接近目标值。如图4-3所示。图4-3 有监督学习示意图2 无监督学习无监督学习时不需要提供理想的输出值，是一种自组织学习，即网络学习过程完全是一种自我学习的过程，不需要提供学习样本或外界反馈。在学习过程中，网络只需响应输入信号的激励，按照某种规则反复调节网络权值或阈值，直到最后形成某种有序的状态。如图4-4所示。图4-4 无监督学习示意图3 增强型学习增强型学习是有监督学习的特例。外部环境对系统输出结果只给出评价而不是给出正确答案，学习系统通过强化那些受奖励的动作来改善自身性能。如图4-5所示。图4-5 增强型学习示意图此外有些网络根本不需要学习，这些网络的权值在处理问题的过程中根本不随时间变化。但这种网络的权值需要提前设定。Hopfield网络和双向联想记(Bidirectional Memory)网络等都是不需要学习的网络36。4.4 BP神经网络概述Rumelhart，McClelland和他们的同事在1982年成立了PDP小组，研究并行分布信息处理方法，探索人类认知的微结构。1985年发展了BP网络(Back Propagation Network)。4.4.2 BP神经网络的结构BP神经网络是一个具有三层或三层以上的神经网络。上下层之间各种神经元实行权连接，即下层的每一个单元与上层的每一个单元都实现全连接，而每层各种神经元之间无连接。最基本的BP网络是三层前馈网络，即包括：输入层、隐含层和输出层当一对学习样本提供给网络后，神经元的激活值从输入层经各中间层向输出层传播，在输出层的各神经元获得网络的输入响应。接下来，按照减少目标输出与实际输出之间误差的方向，从输出层反向经过各中间层回到输入层，从而逐层修正各连接权值，这种算法称“误差反向传播算法”，即BP算法。随着这种误差逆向的传播修正不断进行，网络对输入模式响应的正确率也不断上升。由于误差反向传播中会对传递函数进行求导计算，BP网络的传递函数要求必须是可微的，常用的传递函数有Sigmoid型的对数、正切函数或线性函数。由于传递函数是处处可微的，所以对于BP网络来说，一方面，所划分的区域不再是一个线性划分，而是一个非线性超平面组成的区域，它是比较平滑的曲面，因而它的分类比线性划分更加精确，容错性也比线性划分更好；另一方面，网络可以严格采用梯度下降法进行学习，权值修正的解析式非常明确。 4.4.2 BP神经网络的学习过程以三层BP网络为例，BP神经网络的学习过程描述如下：假设网络输入向量；网络输出向量；中间层单元输入向量；输出向量；输出层单元输入向量；输出向量；输入层至中间层的连接权，；中间层至输出层的连接权，；中间层各单元的输出阈值，；输出层各单元的输出阈值，；参数。1 初始化。给每个连接权值、阈值与赋予区间(-1,1)内的随机值。2 随机选取一组输入和目标样本、提供给网络。3 用输入样本、连接权和阈值计算中间层各单元的输入，然后用通过传递函数计算中间层各单元的输出。4 利用中间层的输出、连接权和阈值计算输出层各单元的输出，然后通过传递函数计算输出层各单元的相应。5 利用网络目标向量，网络的实际输出，计算输出层的各单元一般化误差。6 利用连接权、输出层的一般化误差和中间层各单元的输出计算中间层各单元一般化误差。7 利用输出层各单元的一般化误差与中间层各单元的输出来修正连接权和阈值。8 利用中间层各单元的一般化误差，输入层各单元的输入来修正连接权和阈值。9 随机选取下一个学习样本向量提供给网络，返回步骤3，直到m个训练样本训练完毕。10 重新从m个学习样本向量中随机选取一组输入和目标样本，返回步骤3，直到网络全局误差E小于预先设定的极小值，即网络收敛。如果学习次数大于预先设定的值，网络就无法收敛。11 学习结束。在以上学习步骤中，步骤7和步骤8完成了网络误差的“反向传播过程”，步骤9和步骤10完成了网络的训练和收敛过程。4.4.3 BP神经网络的设计1输入和输出层的设计输入的神经元可以根据需要求解的问题和数据表示方式确定。如果输入的是模拟信号波形，那么输入层可以根据波形的采样点数目决定输入单元的维数，也可以用一个单元输入，这时输入样本为采样的时间序列；如果输入为图像，则输入单元可以为图像的像素，也可以使经过处理的图像特征。输出层的维数可根据使用者的要求确定。如果将BP网络用做分类器，类别模式一共有m个，那么输出层神经元的个数为m或log2m。2网络层数的设计对于任何在闭区间内的一个连续函数都可以用单隐含层的BP网络逼近，因而一个三层BP网络就可以完成任意的n维到m维的映射。增加层数主要可以更进一步的降低误差，提高精度，但同时也使网络复杂化，从而增加了网络权值的训练时间。而误差精度的提高实际上也可以通过增加隐含层中的神经元数目来获得，其训练效果也比增加层数更容易观察和调整。所以一般情况下，应优先考虑增加隐含层中的神经元数。3隐含层的设计 隐含层的神经元数目选择是一个十分复杂的问题，往往需要根据多次实验确定，因而不存在一个理想的解析式表示。隐含层神经元的数目与问题的要求、输入输出单元的数目都有直接关系。隐单元数目太多会导致学习时间过长、误差不一定最佳，也会导致容错性差、不能识别以前没有看到的样本，因此一定存在一个最佳的隐单元数。设计时，可以考虑首先使隐单元的数目可变，或者放入足够多的隐单元，通过学习将那些不起作用的隐单元剔除，直到不可收缩为止。同样，也可以在开始放入比较少的神经元，学习到一定次数后，如果不成功则再增加隐单元的数目，直到达到比较合理的隐单元数目为止。4 初始权值的选取 由于系统是非线性的，初始值对于学习是否达到局部最小、是否能够收敛以及训练时间的长短的关系很大。一般总是希望经过初始加权后的每个神经元的输入值都接近于零，这样可以保证每个神经元的权值都能够在它们的S型激活函数变化最大之处进行调节。所以，一般取初始权值在(-1,1)之间的随机数。同理，输入样本也同样需要进行归一化处理，使那些比较大的输入落在传递函数梯度大的地方。5学习速率的选取学习速率决定每一次循环训练中所产生的权值变化量。大的学习速率可能导致系统的不稳定；但小的学习速率导致较长的训练时间，可能收敛很慢，不过能保证网络的误差值不跳出误差表面的低谷而最终趋于最小误差值。所以在一般情况下，倾向于选取较小的学习速率以保证系统的稳定性。学习速率的选取范围在0.010.8之间。在神经网络的设计过程中，学习速率的选取与初始权值的选取过程相似。通常需要设置网络几个不同的学习速率分别训练网络，然后通过观察每一次训练后的误差平方和的下降速率来判断所选定的学习速率是否合适。如果下降很快，则说明学习速率合适；若出现振荡现象，则说明学习速率过大。为了减少寻找学习速率的训练次数以及训练时间，通常采用变化的自适应学习速率使网络的训练在不同的阶段自动设置不同的学习速率值。6 期望误差的选取在设计网络的训练过程中，期望误差值也应当通过对比训练后确定一个合适的值，这个所谓的“合适”，是相对于所需要的隐含层的节点数来确定，因为较小的期望误差值是要靠增加隐含层的节点，以及训练时间来获得的。一般情况下，作为对比，可以同时对两个不同期望误差值的网络进行训练，最后通过综合因素的考虑来确定采用其中一个网络。4.5 RBF神经网络概述已有研究表明：在人的大脑皮层区域中，局部调节及交叠的感受野（Receptive Field）是人脑反应的特点。正是基于这一生物学的发现，J.Moody和C.Darken于1989年提出了RBF（径向基函数）神经网络。4.5.1 RBF神经网络的结构RBF神经网络是一种由输入层、隐含层、输出层组成的三层前向神经网络，输入层由输入信号源节点组成，隐含层采用径向基函数作为激励函数，输出层由隐含层神经元线性组合而成。其中径向基函数对输入激励产生一个局部化的响应，即仅当输入落在输入空间中一个很小的指定区域中时，隐含层神经元才作出有意义的响应。由于径向基函数是非线性的，所以从输入神经元到隐含层神经元的变换是非线性的。因此，RBF网络由非线性变换层和线性合并层两部分组成（如图4-6所示)。P1P2Pna1a2am图4-6 RBF网络结构示意图假设一个n输入m输出的RBF网络，隐含层中有L个神经元；则第i个神经元的输出表示为：其中是网络的输入向量，表示欧几里得范数，是RBF的中心值。是隐含层第j个径向基函数的输出，,，是输出层与隐含层之间的连接权值，L是隐含层的神经元个数。从公式4-12可以看出，RBF网络的输出为隐含层节点输出的线性组合，只需求隐含层与输出层之间的连接权值即可确定网络的输出。4.5.2 RBF神经网络的学习过程径向基函数是一类局部分布的对中心点径向对称衰减的非负非线性函数，神经元的输入离中心点越远被激活程度就越低。常用的径向基函数为高斯函数：随着与中心距离的增大，高斯函数是单调递减的，这种呈单调递减性的具有良好的局部特性（只在中心点附近的某一邻域内变化显著，随着与中心点距离的增大，响应值逐渐趋近于零）。通常选用高斯函数作为隐含层节点的激励函数，它有两个主要参数：一个是基函数的中心即对称点C，另一个是基函数的扩展常数，即在多大的区域内会产生明显的输出响应。因此，RBF网络在学习过程中需要确定的参数有三个，即各RBF的中心C和扩展常数以及输出单元的权值。对前两个参数的选择有两种方式。1根据经验选中心，L个中心应具有“代表性”。样本点密集的地方中心点也适当多些。如果数据本身是均匀分布的，则中心也均匀分布，设各中心间距离为d，可选扩展常数。2用聚类方法把样本聚成L类，类中心就作为RBF的中心。RBF函数的中心和扩展常数选定后，输出单元的权值可用最小二乘法直接计算出来。此外，在RBF神经网络中隐含层和输出层所完成的任务是不相同的，因而它们学习的策略也不相同。隐含层是对径向基函数的参数进行调整，采用的是非线性优化策略，因而学习速度较慢。而输出层是对线性权值进行调整，采用的是线性优化策略，所以学习的速度很快。在RBF网络训练中，隐含层神经元数量的确定是一个关键问题，传统的做法是使其与输入向量的元素相等。显然，当输入向量很多时，过多的隐含层单元数是难以让人接受的。改进的方法是从0个神经元开始训练，通过检查输出误差使网络自动增加神经元。每次循环使用，使网络产生的最大误差所对应的输入向量作为权值向量，产生一个新的隐含层神经元，然后检查新网络的误差，重复此过程直到达到误差要求或最大隐含层神经元为止。4.6 GRNN神经网络概述广义回归神经网络（Generalized Regression Neura