（信号与信息处理专业论文）前馈神经网络及其应用研究.pdf

塑堡塑丝塑竺丝苎生旦望壅 摘要 人工神经网络由于其良好的容错性、鲁棒性和泛化能力，已绎广泛的应用 于模式识别、信号和图像处理、函数逼近、系统辨识、自适应控制等诸多领域。 但是目前仍然存在网络的拓扑结构和有效学习算法的设计两个问题没有很好地 解决，从而也就限制了神经网络在实际中的应用。 本论文主要就前馈神经网络( b p 网络) 的原理和应用进行了如下研究： 1 关于如何构造一个性能良好的神经网络： 关于该问题首先从如何提高b p 网络的性能和如何构造一个适合于具体问题 ( 1 ) 由于从b p 算法的推导中可以看出，学习率是对训练速度影响较大的参 数。就这个问题，提出一种变学习率的学习算法。实验证明该算法计算简单， 物理意义明确，且性能也优于普通b p 网络； ( 2 ) 分析了网络激励函数( 重点是周期函数) 的选择对网络性能的影响， 提出一种组合激励函数的网络； ( 3 ) 针对全连接、激励函数为s i g m o i d 函数的单隐层b p 网络模型，提出 一种基于“内部分量”及“内部测量模式”的网络隐层节点动态削减算法。该 算法对于了解网络的内部行为及构筑隐层合适的节点数有一定的参考价值； ( 4 ) 分析了基于b p 算法的小波网络的优缺点。$ 器出基于遗传算法的小波神 经网络，进而提出基于混合学习算法的小波神经网络 2 关于神经网络在模式识别和图像处理中的应用： 主要探讨了大规模复杂性伺题的学习和分类问题。该部分分析了大规模复杂 问题的分解和模块化网络设计的理论；解决了训练后的网络的模式彀麓本扩张 问题；进行了模块化网络设计理论在模式识别和图像处理中的应用研究。下该部 分的具体工作如下： ( i ) 针对已训练后的网络的模式或样本扩张问题，提出了一种新的扩张方 法。该方法通过增加新的子网络模块( 不破坏原有网络结构) 的方法，解决了 在已经训练好的神经网络中增加新的训练样本或增加新的模式问题，使得神经 网络具有继续学习和知识积累能力，又可将全局性的学习问题转化为局部模块 学习，从而使得网络能够不断地进行局部性继续学习以适应新的应用需要； ( 2 ) 针对具有大规模非平衡样本集的分类问题，提出一种解决方案，并就 两类问题样本集的合理分解进行了探讨： ( 3 ) 针对车辆牌照的定位问题，提出一种基于彩色车辆牌照r g b 信息的 神经网络定位方法 ( 4 ) 信息特征 一种基于“信息测度”和图像的灰友 关键词：人工神经网络b p 算法小波分析遗传算法模式扩张信息测度一 前馈神经网络及其应用研究 a b s t r c t a r t i f i c i a in e u r a ln e t w o r k s f a n n lh a sb e e n w i d e l y a n ds u c c e s s f u l l yu s e dt os o l v e v a r i o u s p r o b l e m s i n p a t t e r nr e c o g n i t i o n ，s i g n a l a n d i m a g ep r o c e s s i n g ，f u n c t i o n a p p r o x i m a t i o n ，s y s t e mi d e n t i f i c a t i o n ，a d a p t i v ec o n t r o la n dm a n yo t h e r s ，d u et o i t s e x c e p t i o n a l c h a r a c t e r i s t i c s i n c l u d i n g f a u l t t o l e r a n c e ，r o b u s t n e s s a n d g o o d g e n e r a l i z a t i o na b i l i t y b u tt h e r ea r em a n yp r o b l e m s ，s u c ha sg o o ds t u d ym e t h o da n d t o p o l o g ys t r u c t u r ee t c ，w h i c hh a v en o tb e e ns o l v e d t h i st h e s i s m a i n l y s t r e s s e so nt h e o r e t i c a ls t u d i e sa n d a p p l i c a t i o n s o f f e e d f o r w a r dn e u r a ln e t w o r k s f b p n e t w o r k s ) 1 h o wt oc o n s t r u c tan e u r a ln e t w o r kw h i c hh a sg o o dp e r f o r m a n c e a b o u tt h i s q u e s t i o n ，w ef i r s t l ys t u d y t w oa s p e c t s ：h o wt o i m p r o v e t h e p e r f o r m a n c eo fb pn e t w o r ka n dh o wt oc o n s t r u c t an e tt o p o l o g y s t r u c t u r e ；i n a d d i t i o n ，w ei n t r o d u c ew a v e l e ta n a l y s i sa n dg e n e t i ca l g o r i t h mi n t on e u r a in e t w o r k s a n d a n a l y z e t h e p e r f o r m a n c e s o fw a v e l e tn e u r a in e t w o r k sa n dg e n e t i cn e u r a l n e t w o r k s i nt h i sp a r t ，t h ea u t h o r sw o r ka sf o l l o w s ： ( 1 ) f r o mt h ef o r m u l ao fb pa l g o r i t h m ，w ek n o wt h a tt h el e a m i n gr a t ep l a y sa n i m p o r t a n tr o l ei nt h ep r o c e s so f t r a i n i n g b a s eo nt h ep r i o rk n o w l e d g e ，w ep r o p o s ea n e wl e a r n i n ga l g o r i t h mw i t hav a r i a t i o n a ll e a m i n gr a t e ，w h i c hh a sac l e a rp h y s i c a l m e a n i n g a n di si sp r o p i t i o u st ot r a d i t i o n a lb p a l g o r i t h m ； ( 2 ) w ea n a l y z et h ei n f l u e n c eo fa c t i v a t i o nf u n c t i o no nt h ep e r f o r m a n c eo fa n n a n dp r o p o s ean e w t y p eo f n e u r a ln e t w o r k sw i t hc o m b i n a t i o n a la c t i v a t i o nf u n c t i o n ； ( 3 ) b a s e do nt h ec o n c e p to fi n t e r n a lr e p r e s e n t a t i o n ，ad e s t r u c t i v ea l g o r i t h mo f h i d d e nl a y e rn o d e si s p r o p o s e d t h i sa l g o r i t h mg i v e s c o m ec o n f e r e n c e so ns t u d y i n g t h ei n t e r n a lb e h a v i o ro f a n n ； ( 4 ) t h r o u g ha n a l y z i n gt h ep e r f o r m a n c eo f w a v e l e tn e u r a ln e t w o r kb a s e do nb p a l g o r i t h m ，w ep r o p o s et w ot y p e s o fw a v e l e tn e u r a ln e t w o r kb a s e do ng e n e t i c a l g o r i t h ma n dh y b r i da l g o r i t h m ； 2 t h e a p p l i c a t i o no fa n n i np a t t e r nr e c o g n i t i o na n d i m a g ep r o c e s s i n g i nt h es e c o n dp a r t , t h ea u t h o ra t t e m p t st os t u d yt h ea p p l i c a t i o no fa n na n d m a i n l ys t u d yo ut h o s ep r o b l e m st h a th a v el a r g e - s c a l ea n dc o m p l e xt r a i n i n gs e t s i n t h i sp a r t 。t h ea u t h o r sw o r ka sf o l l o w s ： ( 1 ) b a s e d o nt h er e s e a r c ho f t h et h e o r yi uc h a p t e r5 ，an e wc o n s t r u c t i v el e a r n i n g a l g o r i t h mi sp r o p o s e d b ya l l o w i n gt oa d ds o m en e w a n di n d e p e n d e n ts u b n e t se a c h t i m et ot h eo r i g i n a ln e u r a ln e t w o r kb u tn o td e s t r o y i n gt h eo r i g i n a ls t r u c t u r e ，w ec a n s o l v et h o s ep r o b l e m sw h i c hh a v em o r en e w s a m p l e s o rn e w p a t t e r n s ； ( 2 ) t h o s ep r o b l e m sw h i c hh a v el a r g e s c a l e a n di m b a l a n c e dt r a i n i n gs e ta r e s o l v e db a s e do nt h et h e o r yo fm o d u l e n e t w o r k s ； ( 3 ) i nt h es y s t e mo f t h el o c a t i o no f t h ev e h i c l el i c e n s ep l a t e ，t h ea u t h o rp r o p o s e s an e wm e t h o du s i n ga n n b a s e do nt h ei n f o r m a t i o no f c o l o r f u l i i c e n s ep l a t e r g b ； 前馈神经网络及其应用研究 ( 4 ) al l e wm e t h o do f e d g ed e t e c t i o nb a s e do f fi n f o r m a t i o nm e a s u r ea n da n n i s p r o p o s e d n e ww o r d s ：a r t i f i c i a ln e u r a l n e t w o r k ，b pa l g o r i t h m ，w a v e l e ta n a l y s i s ，g e n e t i c a l g o r i t h m ，p a t t e r ne x p a n d i n g ，i n f o r m a t i o nm e a s u r e l 前馈神经网络及其应用研究 第1 章前言 人的思维主要可概括为逻辑思维和形象思维两种。过去以规则为基础的知 识系统可被认为是致力于模拟人的逻辑思维，而人工神经网络则可被认为是探 索人的形象思维。它在不同程度和层次上模仿人脑神经系统的结构及信息处理、 存储和检索等功能。 近几十年的科学实践告诉我们，人脑不仅是我们所知的最复杂的“机器”， 而且人脑在学习、自适应模式识别、联想和综合抽象能力等方面，远胜于目前 已高度发展的任何计算机。这种令人神往的功能，吸引了许多的心理学家、数 学家和计算机科学家，他们试图研究脑的构造和功能，并为其定模。经过长达 一个世纪的努力，科学家们己建立一些模拟大脑结构与功能的模型。尽管这些 模型与人的大脑的真正的结构和功能还有很大的差距，但由于它们具有自组织 性、自适应性、鲁棒性和自学习性，使它们在实际应用中已表现出了强大的生 命力，是当今人们研究的热点之一，每年都有大量关于神经网络的论文发表。 正因为如此，神经科学受到世界各发达国家的高度重视。在信息处理中，智能 算法也越来越引起人们的关注。 现在的人工神经网络模型只是生物神经系统的一种高度简化后的近似。它 是用大量的简单神经元广泛互连成的一种计算结构，属于自适应非线性动力学 系统，它具有学习、记忆、计算和各种智能处理功能由于神经元之间有着不 同的连接方式，所以组成不同结构形态的神经网络系统是可能的 1 1 人工神经网络的历史 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ) 是一门发展十分迅速的交叉 学科，它涉及到生物、计算机、数学、电子、物理、心理学、认知科学等许多 学科。1 9 4 3 年，m c c u l l o c h 和p i t t s 。1 融合了生物物理学和数学的有关结果，提 出了神经元突触模型中最原始最基本的模型仲模型，这是自w j a m e s 以来， 第一个采用集体并行计算结构来描述人工神经网络及其工作，并证明了m p 模型 可完成任意有限的逻辑运算。1 9 4 9 年，h e b b 0 1 通过对大脑神经细胞、人类学习 行为及条件反射的观察和研究，提出了神经元学习的一般规则h e b b i a n 算 法，指出当两个神经元同时兴奋时。连接权值强度增加，这一思想至今仍为许 多算法所采用，并在最近的生理解剖学中得到了证实。 1 9 5 8 年，f r o s e n b l a t t “1 提出了感知机模型，给出了两层感知机的收敛定 理，建立了第一个真正的人工神经网络模型，之后r o s e n b l a t t 又提出了带有隐 层的三层感知机模型，这是神经网络发展的基础。1 9 6 0 年，b w i d r o w m h o f f 。1 发表了论文自适应开关电路，建立了自适应线性元( k d a l i n e ) 结构，提出了 著名的w i d r o w - h o f f 算法，这种网络用硬件实现，主要用于自适应系统，后来 在此基础上发展了非线性多层自适应网络。但在1 9 6 9 年，m m i n s k e y s p a p e r t “1 发表了( p e r c e p t r o n s 一书，从数学的角度分析了r o s e n b l a t t 的单层 感知器，以一个异或运算的例子，批评了人工神经网络，使人工神经网络的发 前馈神经网络及其应用研究 展走入了低谷。在这期间仍有少数学者继续进行研究，像k o h o n e n 提出的r s o m 网络模型；g r o s s b e r g “1 提出的a r t 网络；k u n i h i k of u k u s h i m a ”1 提出的神经识 别器。 在1 9 8 2 年至1 9 8 6 年的几年时间里，j j h o p f i e l d “o “提出了具有联想记 忆的反馈互连网络，即h o p f i e l d 网络，它首先引用能量函数的概念来分析动态 网络。8 0 年代中期，r u m e l h a r t 等“”提出了反向误差传播模型( b p 算法) 。这就 从反馈网络和多层前馈网络两方面掀起了人工神经网络全球性的研究热潮。其 中最具代表性的有h i n t o n “3 1 的b o l t z m a n n 机和高阶b o l t z m a n n 机，k o h o n e n 【l ” 的s o m 自组织特征映射模型和g r o s s b e r g ”1 的a r t 自适应共振理论，j m o o d y 和 c d a r k e n “”的r b f 径向基函数网络，w e r b o s 的动态b p 网络，以及近年来人们 提出的概率神经网络“”、小波神经网络“”、遗传神经网络“”和基于生物学的多 种模糊( f u z z y ) 人工神经网络“”1 、脉冲耦合神经网络“”、小脑模型神经网络 1 、因素神经网络“，以及与混沌有关的各种神经网络：暂态混沌神经网络1 ： 振荡神经网络”；自发展神经网络o “：流体神经网络“”等等。 目前人工神经网络已进入相对平稳发展时期，理论工作方面处于攻坚战。 在应用方面，正朝着广度和深度方向深入发展，从而在某些方面和某种程度上 推动了理论和方法向前发展。“。这段时期以来，理论和技术以及应用有以下 特点： ( 1 ) 应用领域比过去要广泛的多。 ( 2 ) 神经网络和专家系统相结合已成为重要的发展趋势。 ( 3 ) 理论上的研究主要集中在网络学习和推广能力的探讨。 ( 4 ) 人工神经网络技术与当前新技术相结合。 1 2 人工神经网络的基本原理 人工神经网络是由多个神经元按照一定的排列顺序构成的，其中每一个神 经元如下图所示： 圈i 1 神经元模型 图中- 是输入，m u 1 ) 是连接权重，是神经元的阈值，三表示求和，是激 励函数，y 是输出，则输出y 可表示为： 前馈神经网络及其应用研究 n y ( f ) = 厂 ( - ，z ( r ) 一w 。目) = ， w r ，】 = ll m o 神经元是人工神经网络的基本单元，人工神经元具有多个输入和一个输出， 每一个输入都是前一层神经元的输出，并且每一个输入都有可以改变的权重， 输入加权求和后通过一定的函数关系产生输出。对应于人体生理神经系统的概 念是：神经元的每一输入为相关神经元的轴突输出，输入的权重为本神经元与 相关神经元的突触的联结强度，并且权重的值可正可负，正表示兴奋性突触、 负表示抑制性突触。人工神经元的输出与输入之间的函数关系为一个单调上升 且有界的函数，这是因为在生物体中，神经细胞的脉冲发放率不能无限增大的 缘故。 神经元在输入信号作用下产生输出信号的规律由神经元激励函数给出，这是 神经元模型的外特征。由于神经元激励函数形式的不同，形成了多种多样的神 经元模型。一般而言，神经元激励函数有简单映射、动态系统方程、概率统计 模型和多项式闽值函数模型四类。简单映射是神经网络中各神经元输入与输出 具有一种简单的线性或非线性的函数关系动态系统方程反映了网络的动态特 性，其输入与输出之间具有时延关系。概率统计模型描述神经元输入与输出之 间不存在确定关系，而是一个随机函数。多项式阈值函数模型反映输入信号的 自身相关性，并表征神经元输入与输出之间不但存在着一阶函数关系，而且还 存在着输出与多个输入的乘积的关系 设计训练好的神经网络具有某一类问题的处理能力，但是在训练之前，神 经网络是不具备这种能力的，所以学习训练功能是人工神经网络最重要的特征 之一。 所谓学习就是通过一定的算法或规则来确定人工神经网络内各神经元输入 的权重学习的形式有无监督学习和有教师的监督学习两种。无监督学习就是 预先没有标准的输入输出样本对，而是直接将网络置于“环境”之中，让学习 与工作成为一体，边工作边学习，选定权重初值，由环境使其逐渐改变以使网 络符合环境对于平稳环境，权重的值可以达到稳定这种边学习边工作的方 式与人脑自学习过程十分接近。监督学习是事先给定标准输入输出样本对，通 过标准样本对，确定网络权值，确定好权值的网络就具有了处理这类“环境” 的功能。这种学习方法的网络权值不能随外界环境变化而改变。因此要求这类 网络具有较好的外延性 目前神经网络模型已有几十种，迄今研究和应用最多的是多层前馈神经网 络m l p ( m u l t i p l a y e rp e r c e p t i o n s ) ，其模型如图i 2 所示在这个图中，每个 圆圈代表一个神经网络的节点，这些节点是神经网络的基本构造块。它们有一 个加法器和一个激活函数构成节点之间的连线代表网络输入与输出节点之间 的数据流。一个节点的输入由一个在训练过程中决定的值加权在加法器中求 和，然后通过激活函数送往输出激活函数包括一个偏移量或是一个阈值，它 可以被看作是与输入相联系的值恒为1 的权重图中的网络有一个输入层，负 责信息的输入；一个或多个隐层，负责更多信息处理；一个输出层将处理后的 信息传递出网络。该网络通常采用监督式的学习方法，而b p 算法是最常用的前 前馈神经网络及其应用研究 馈神经网络训练算法。实践证明b p 神经网络具有强大的空间映射能力和逼近能 力，也可以作为模式分类器。我们所做的工作也主要对前馈网络进行的研究。 图1 2 多层前馈神经网络 b p 算法是一种指导式的学习规则，输入层接受输入信息，逐层向前传递， 各隐层通过激励函数对前一层的输出加权和处理，最后由输出层将结果输出。 此结果与目标结果比较，根据误差的大小来反向调节各连接权重，直到符合要 求，详细的数学推导参见文献。“。 1 3 人工神经网络当前的进展和问题 从r u m e l h a r t 等。”提出前馈神经网络的b p 算法以来，人们又掀起了一股对 人工神经网络研究的热潮。1 9 8 8 年，c h u a 和y a n g 1 提出了细胞神经网络( c n n ) 模型，它是一个具有细胞自动机特征的大规模非线性计算机仿真系统；k o s k o ”1 建立了双向联想存储模型( b a m ) ，它具有非监督学习能力。9 0 年代中后期，由于 数学、物理学、脑成像技术和计算机科学的进展使得神经网络模型研究的可能 性和重要性越来越突出，神经网络研究步入了一个新的发展时期，一方面已有 理论在不断深化和得到进一步推广，另一方面，新的理论和方法也从未停止过 其不断开拓的步伐。e d e l m a n 提出的d a r w i n i s m 模型在9 0 年代初产生了很大的 影响。1 9 9 1 年，h a k e n 把协同学引入神经网络，在他的理论框架中，他认为， 认知过程是自发的，并断言模式识别过程即是模式形成过程。后来，我国学者 吴佑寿等人提出了一种激励函数可调的神经网络模型，试图对先验知识加以利 用。1 9 9 4 年，廖晓听”1 关于细胞神经网络的数学理论与基础的提出。带来了这 个领域新的进展。1 9 9 5 年，j e n k i n s 等人研究了光学神经网络( p n n ) ，建立了 光学二维并行互连与电子学混合的光学神经网络系统 鉴于非线性系统控制问题的复杂性，一些学者试图通过神经网络方法来解 前馈神经网络及其应用研究 决此类问题。1 9 9 0 年n a r e n d r a 和p a r t h a s a r a t h y 1 提出了一种推广的动态神经 网络系统及其连接权的学习算法，增强了非线性系统控制的鲁棒性。随着人们 发现人脑中存在着混沌现象，一些科学家进而又提出了混沌神经网络理论。1 9 9 1 年a i b a r a 1 等在前人推导和实验的基础上，给出了一个混沌神经元模型。而k h u a n g 1 从统计力学的角度，a m a r i “从几何的方法，还有人从组合数学的角度 分别对神经网络进行了研究。 1 9 8 7 年，b k o s k o 在文献“2 1 中率先将模糊理论与神经网络有机结合而进行 了较为系统的研究。在这之后短短的几年时间内f n n 的理论及应用获得了飞速 的发展，各种新的f n n 模型的提出以及与其相适应的学习算法的研究不仅加速 了f n n 理论的完善，而且它们在实际中得到了非常广泛的应用，其成果层出不 穷。 应该说，神经网络研究的明天是充满希望的。不过也要看到，其发展还十 分不成熟，神经网络研究能否顺利发展，能否担当起探索人类思维奥秘领头羊 的重任，能否带来2 l 世纪科学的飞速发展。我们认为下述的一些问题是亟待解 决的： ( 1 ) 神经网络的物理实现上要有新的突破，神经网络实用技术也要有新的突破； ( 2 ) 利用神经网络对人脑复杂行为的解释上要能够有所突破，人们开始认识到， 揭示大脑智能之谜的道路比原先设想的要漫长得多，大脑的一些特性，如容错 性、鲁棒性等有其内在的、尚未被完全揭示和深入了解的生物机制，并不能为 人工神经网络所拥有算法的可证实性会受到越来越多的重视。因此。客观而 具有针对性的量化描述将逐步取代类比和充满隐喻的语言 ( 3 ) 与之相关的数学领域也应有所发展，数学证明将结合具体的算法有针对性 地进行，而不是将数学证明游离于算法之外独立进行。 ( 4 ) 神经计算理论的进一步发展目前神经计算的理论工作大部分仍然集中在 联想记亿、感知器和前向网络神经网络系统面临的问题仍然很多，如什么是 最好的体系结构，网络如何程序化，不同类型的网络其功能如何等等 虽然神经网络理论研究有着非常广阔的发展前景，但历来这个领域的研究 就是既充满诱惑又不乏挑战的。没有人能肯定它的发展不会再经受挫折，也没 有人知道一旦成功实现其最终目标会给科技界带来多大的辉煌和巨变。不过， 我们有理由相信，只要我们坚持不懈地努力，来自神经网络理论研究的一些新 理论和新方法必定会给2 l 世纪科学研究带来源源不断的动力。 本论文主要对前馈神经网络( b p 网络) 的原理和应用进行研究。论文的组 织如下：第二章主要讨论了如何构筑一个效果良好的网络的问题，第三章主要 讨论了如何提高b p 网络的性能。第四章主要分析了网络的激励函数的选择对网 络性能的影响并给出了定性的结论论文的第五章不是从网络本身出发，而是 从要解决的问题入手，详细的分析了任务分解和模块化网络的设计原理，并就 训练好的网络的再学习和模式扩张给出了解决的方案基于第五章的分析，第 六章就汽车牌照的定位、识别问题进行了初步的探讨第七章分析了小波神经 网络的性能，并探讨了基于b p 算法、遗传算法和混合算法的小波神经网络。论 文的最后即第八章简要的论述了神经网络在模式识别和图像边缘检测中的应 用。 前馈神经网络及其应用研究 第2 章神经网络拓扑结构的有效构筑 人工神经网络在模式分类、识别、图像处理及信号处理等方面的应用研究 已经取得了巨大成功。但是在应用中仍然存在两个问题没有很好的解决，即人 工神经网络的拓扑结构和有效学习算法的设计。本章我们主要研究如何有效的 构筑网络的拓扑结构，即在处理问题之前或在处理问题的过程中选择一个较理 想的网络结构。 在使用基于b p 算法的神经网络时，必然会遇到选择网络的最佳结构的问题。 传统的前馈神经网络当处理的问题一定时，其拓扑结构是不变的。这就需要在 实际中反复试验，以期取得较好的网络拓扑结构，并且实际中，当问题越来越 复杂时，网络的拓扑结构也会变得越来越复杂。 2 1 网络输入层和输出层的设计 基于b p 算法的神经网络的输入、输出层维数完全根据使用者的要求来设计。 输入层起缓冲寄存器的作用，其节点数取决于数据源的维数，即特征空间的维 数。但是人们在进行模式采集时，总是尽可能的多采集测量数据的多个特征值， 致使样本维数很大样本维数很大首先带来的问题是处理的困难，处理时间的 消耗和费用都会很大，有时直接用于分类甚至是不可能的，即所谓“维数灾难”。 其次，在过多的数据量中，有的可能对刻画事物的本质贡献并不大，甚至可以 说非常微小。这就需要有一个样本空间到特征空间的转化，通过特征提取压缩 样本的维数，在满足识别精度要求的前提下，尽可能的减少处理数据的冗余度， 即尽量做到处理数据的各个特征之问不相关输出层则对具体问题有不同的选 择，如当用于分类问题时，输出层的节点数就是要分成的类别数，即模式空间 的维数；当用于函数逼近或序列预测时，输出层的节点数就只有一个，即函数 的输出值或预测值等等 2 2 网络隐层数和隐层节点数的设计 多层网络中隐节点的连接权值的学习问题解决了之后，网络的拓扑结构学 习问题便迅速成为国际学术界和工程界关注的热点学术界关注这一问题的原 因在于，网络的拓扑简化是实现网络内部表达唯一性的先决条件，而唯一的网 络内部表达方式是迸一步探索智能工作机制的关键；工程界关注这一问题的原 因在于。最简网络招扑结构不仅有利于硬件实现，更有利于网络泛化功能的改 善，而网络的泛化功能是一切基于人工神经网络的预测、诊断和逼近系统正常 工作的关键。 目前所用的神经网络模型最主要的难题是如何确定隐层数和隐层节点数 具体说就是给定了某个任务时，如何选择网络的层数以及每层的节点数到目 前为止，还没有一个通用的理论公式来确定，随着不同问题会有不同的结论 下面我们探讨了目前人们研究的几种网络隐层数和隐层节点数的估算方法，以 前馈神经网络及其应用研究 作为以后使用神经网络的参考。 2 2 1 隐层层数的选择 对于多层神经网络来说，首先是要确定选用几个隐层。1 9 8 8 年c y b e n k o 指 出，当各结点均采用s 型函数时，一个隐层就足以实现任意判决分类问题，两 个隐层则足以表示输入图形的任意输出函数。h e c h t - n i e l s e n “则证明具有单隐 层的、由非线性连接变换函数组成的三层网络，可以任意精度实现任意非线性 输入和输出的映射。但由于上述的先决条件难以满足，导致应用的困难。但是 这些结论对网络的设计还是比较有用的。 学者们经过分析研究，曾得出这样的结论就是具有多个隐层的网络可以获 得任意要求的判决边界以实现分类。然而，经验表明，对小型网络的边界判决 问题，具有两个隐层的网络并不比单隐层网络更优越。所以，目前人们认为二 进制分类或判决边界问题，单隐层网络就足够了。但是，如果要求输出是输入 的任意连续函数，那就要用两个隐层或采用不同的激励函数。有时即使是连续 输出的情况，用单隐层网络也可以满足要求，这取决于问题的性质。要注意， 对于线性可分的情况，隐层是不需要的。 隐层起抽象的作用。即它能从输入提取特征。增加隐层可增加人工神经元 网络的处理能力，但是必将使训练复杂化和训练时间的增加。一般来说，开始 设定一个隐层，然后按需要再增加隐层的数目。 增加人工神经元网络处理能力还有另外一些方法，例如在一个隐层的情况 下采用局域连接型的网络。这种局域连接是模仿大脑的一组神经元的结构，这 些神经元可对视觉输入进行特征鉴别( 如鉴别线或者其他特殊的简便图形) 。在 一层内，多个并行组可用不同类型和不同数目的节点这种结构可使这些并行 组同时提取不同的特征大多数应用不要求有多个组的隐层但是，这种结构 对单隐层的功能有限制的情况，提供了一个有趣的解决办法 2 2 2 隐层内节点数的确定 基于b p 算法的神经网络中各层节点数的选择对网络的性能影响很大，所以， 层内节点数需要进行恰当的选择一般来说，一个多层网络需要多少个隐层， 每层需要多少个节点，这要由网络的用途来决定，但这并非是唯一确定的，因 为采用不同的内部表象时所需要的节点数是不同的，因此对于隐层节点数的 选择是一个十分复杂的问题 根据1 9 9 0 年r c e b e r h a r t 等人在书中指出：“这是一种艺术”，因为 没有很好的解析式表示，可以说隐层单元数与问题的要求，输入输出单元的多 少都有直接的关系根据对隐层节点的几何解释，知道第一隐层的每个节点确 定了一个判决面，它把维输入空间( n 为输入向量的维数) 分为两部分第 二隐层的每个节点又将第一隐含层节点形成的多个判决面组合成凸域空间或者 判决域最后，输出节点又把多个凸域组合成任意形状的判决空间或判决边界 很明显，隐层的节点有些用来提取输入图形的特征，有些则用来完成某些特殊 功能。力图根据任务来确定隐层节点的数目，确实是很困难的，这是因为网络 映射的复杂性和许多成功地完成训练过程的不确定性，目前大多数还是以经验 前馈神经网络及其应用研究 为依据。 对于用作分类的b p 网络。由于b p 网络的隐层单元输入和输出之间是单调 上升的非线性函数，它的输出是一个软函数因此比感知器要求的隐单元数要 少。事实上，隐层单元数太少，网络可能不能训练出来，这是因为使用隐单元 数少时，局部极小就多，或者不“鲁棒”，就是不能识别以前没有看到过的样 本，容错性差，但是，隐层单元数太多又使学习时间过长，误差也不一定最佳， 因此存在一个最佳的隐层单元数，如何求解呢? 下面介绍几种方法，可作参考： ( 1 ) 1 9 8 7 年h e c h t - - n i e l s e n ”在讨论了具有单隐层神经网络的功能之后，提 出隐含层节点的数目为2 n + l ，其中为输入的节点数。 ( 2 ) 1 9 8 7 年r p l i p p m a n n 1 利用他对多层网络功能的几何解释，提出了对 隐层节点数的估算。对于一个图形识别问题，假设输出判别边界是任意的形状， 那么平均来说，由于每个非凸域的输出边界是靠组合第二隐层的两个凸子域形 成的，所以，第二隐层的节点数应为m x 2 ，这里材为输出层的节点数。在 模式分类中，隐层节点数是输入训练模式数的一个函数。例如具有二维输入和 两类输出。在2 0 0 个输入训练模式情况下，l i p p m a n 采用8 个隐层节点获得良好 的效果，就是说，在2 0 0 个模式之后，生成决策区渐渐地获得希望的圆形在 另一个具有6 0 维输入，两类输出和1 9 2 个输入训练模式实验中，r p g o r m a n 和t j s e i n o w s k i “”得到了性能会随着隐层节点数目由6 到1 2 的增加而饱和 的实验结果。假定8 作为实现饱和的节点数并注意到l o g ：2 5 6 = 8 ，由此，人们 可以猜想在上述两个实验中，存在h = i o g ：r 的近似关系，其中珂为隐含单元 数；r 为输入训练模式数 1 9 8 8 年k u a r y c k i 根据其实验发现，在高维输入时，第一隐层对第二隐层的 最佳节点数的比例为3 ：1 例如，由两个隐层的b p 算法的神经网络实现图形 识别时，设输入节点为2 0 和输出节点为8 时，按l i p p m a n n 的关系，第二隐层 的节点数为m 2 = 8 x 2 = 1 6 ，根据k u a r y c k i 的推论，第一隐层的节点数应为 3 ( 肘2 ) = 4 8 ( 3 ) k u n g 等人在实验中确定，观察到对于1 0 维输入和1 0 维输出为了使训练 周期数最小的隐层单元的最优数近似为( t 1 ) ，其中r 是随机生成训练模式的 数目上面所做的这些推测。不包括输入信号维数的作用这里已经表明输入 维数是一个因素并和隐层单元数合在一起定义在输人空间中 s y k u n g 和j n h w a n g 在他们的论文1 中指出每层隐含单元数决定多层 前向神经元网络的空间划分的可分性( 形成区别的能力) 计算的复杂性亦较大 地取决于隐含单元数隐含单元数必须大到足以形成决策区即是如同由给定问 题所要求的复杂程度一样，可是，如果它太大。这些权变得更难于从训练数据 中可靠地得到估计因此。对于有效的学习目的来说利用每层最优数目的隐 层单元是强烈地所希望的为了理解由隐含单元扮演的角色，b p 规则和代数映 射( a p ) 方法联系起来是有用的a p 方法已经在数值分析的文献中得到了很好 前馈神经网络及其应用研究 的研究。 ( 4 ) 近年来，人们经过研究发现，很多问题用单隐层的网络就可得到满意的结 果，下面介绍几种单隐层网络隐层节点的估值方法： 1 9 8 9 年m i r c h a n d i n i 和c a o “ 维输入空间中单隐层网络j 个隐层节点可区 分的最大数由以下的关系给出： m ( j ，n ) = 口，其中c j = 0 ，当j t 时 一k 1 0 故对于特定问题，当给定”和m 是用上式就可确定单隐层网络的隐层节点数。 1 9 9 0 年n e l s o n 和i l l i n g w o r t h 建议单隐层网络的隐层节点数取为4 x 。n 是输入节点数，即特征空间的维数。对于用于图形识别的网络，由于输入维数 较高，一般取隐层节点数为0 0 2 x 。 l i p p m a n 认为最大隐层节点数为m ( n + 1 ) ；k u a r y c h i 认为最大隐层节点数 为m 3 ；a j m a r e n 等人则认为，对小型网络来说，当输入节点数大于输出节 ， 点数时，最佳隐层节点数应为输入和输出节点数的几何平均值( m n ) 7 2 ( 上式 中为输入节点数，肘为输出节点数) 。 有人证明：在有个学习样本的条件下，至多具有个隐层节点的3 层前 向网络便可以实现对学习样本的零误差描述。也就是说，多层前向网络的隐层 节点数存在明确的上限。刘英敏等”1 则证明了对具有局部单调性的含有p 个样 本的训练集，可以用有r ( p 1 ) ，2 个激活函数为s i g m o i d 函数的隐单元的3 层前 向网络以任意小的误差表示，其中i 妒一1 ) 2 i 表示不小于( p i ) 2 的最小整数 不过，我们要注意，当使用较多的隐层节点时，出现局部极小的情况就少- 当使用较少隐层节点时，局部极小的情况增多且网络信息存储能力降低。增加 隐层节点数可以改善网络与训练样本匹配的精确度，但是同时会使分析问题复 杂化，增加训练网络的难度和训练时间，以及出现过拟合( o v e r f i t t i n g ) 现象。 同时增加隐层节点数有可能导致学习过程不稳定，失去综合能力。 以上讨论均对神经网络分类器而言。对于用于函数逼近的b p 网络，隐层节 点数与要逼近的函数的精度和波动情况有关。如要求逼近的精度高或函数在闭 区间上波动厉害，则需要较多的隐层节点当然这只是一种粗略的估计。 k o l m o g o r o v “”在证明单隐层网络可以实现任意连续函数的映射时，提到了隐层 节点的数目，他认为如果一个网络的输入层有个节点，那么隐层有2 n + 1 个 节点就足够了对于用于数据压缩情况下的b p 网络，如编码问题，隐层节点数 与输入节点数之比为其数据的压缩比。 2 2 3 实验 下面我们通过位异或问题来验证上面关于隐层节点数的估算异或问题 前馈神经网络及其应用研究 即奇偶校验问题，具体操作如下：当给定j v 位二进制数时，如果其中有偶数个 l ，则输出结果为o ；否则输出结果为l 。实验中采用的是单隐层b p 网络，学习 率为0 1 ，动量系数取0 8 ，权重的初始范围是 - 1 ，1 ，n = 3 。由于训练样本 有8 个，按我们上面的讨论，隐层节点个数的上界是8 。由于输入节点是3 ，输 出节点是1 ，按h e c h t - - n i e l s e n 的观点，隐层节点的个数应为7 ：按l i p p m a n 的观点，隐层节点的个数应为8 ；按r p g o r m a n 和t j s e i n o w s k i 的观点， 隐层节点的个数应为3 个；按k u a r y c h i 的观点，隐层节点的个数应为9 个：按 a j m a r e 的观点，隐层节点的个数应为2 个；按刘英敏的观点，隐层节点的个 数应为4 个。下面对n = 1 ，9 分别实验之。实验结果分别如表2 1 和图2 1 所 示： 表2 1 训练结果 隐层节点数迭代次数 均方误差 l1 5 0 0 0 00 3 0 1 0 9 7 3 0 0 0 00 0 1 9 0 1 5 2 5 0 0 0 0 0 0 0 0 11 4 5 0 0 0 0 4 0 4 1 2 3 3 2 1 9 3 00 0 1 0 6 7 8 2 6 4 0 00 0 0 0 0 7 4 2 7 3 2 0 0 1 0 6 6 8 4 5 0 0 0 0 0 0 0 1 4 9 5 0 0 00 4 0 4 2 2 2 5 3 0 0 0 00 0 0 0 9 2 0 2 7 4 20 0 1 0 7 0 6 6 4 8 4 8 0 0 0 7 3 1 6 0 0 1 0 6 9 6 7 2 3 8 00 0 0 0 1 0 l 2 1 6 10 0 1 0 6 7 7 8 5 0 0 00 0 0 0 0 3 7 2 5 0 80 0 1 0 6 7 6 9 5 0 0 00 0 0 7 0 4 1 3 90 0 1 0 6