（电磁场与微波技术专业论文）神经网络在缺陷接地结构最优化设计中的应用研究.pdf

摘要 缺陷接地结构( d g s ) 是通过在微波电路底面的金属接地板蚀刻“缺陷”， 改变接地板上的电流分布，从而使整个微波电路在特定频段处表现出禁带特性的 电路结构。对d g s 的分析通常采用f d t d 等方法，虽然这些电磁场数值分析方 法具有计算严格、精度高的特点，但是计算过程复杂、耗时，难以满足日益增长 的d g s 分析和设计要求。 神经网络是模拟人脑的信息处理系统，经过对指定数据集进行训练，可以学 会输入数据和输出数据之间的映射关系。完成训练的神经网络模型对学习范围内 的输入可以迅速准确地得出的输出响应。这一特性使得神经网络在很多领域得到 了广泛的应用。 d g s 的传输系数取决于“缺陷”的尺寸和工作频率，并与之形成非线性映 射，而符合特定条件的神经网络具有对任意非线性映射进行任意精度逼近的能 力，故可建立d g s 的神经网络模型，并将其嵌入优化设计程序中，实现d g s 的 最优化设计。 本文对一种新型组合式非周期性缺陷接地结构( c n p d g s ) 进行优化设计，优 化过程是以该结构电路的神经网络模型为分析单元，以所要求的传输系数为期望 目标，以使误差函数达到极小的“缺陷”结构尺寸为输出，优化过程经单纯形优 化算法寻优实现。为了进一步满足优化设计中对神经网络泛化能力的要求，本文 从神经网络模型的训练方式入手，按照不同尺寸c n p d g s 在一定频率范围内表 现出的频率特性相似性，将训练数据采用两种方法分组，并对各分组进行独立训 练，最后将各分组神经网络输出的合成做为最终输出。与f d t d 方法及实验测试 结果的对比验证了分组神经网络模型具有较好的准确性；与原神经网络输出的对 比显示出分组建模神经网络的泛化能力得到很大提高，极大地缩短了训练所需的 时间，并且充分利用了训练数据。最后应用分组建模的神经网络模型实现了 c n p d g s 的优化设计，仿真结果与实际测试结果的一致性较好，表明了该设计 方法的正确性和有效性。 关键词：组合式非周期性缺陷接地结构神经网络优化设计泛化分组 a b s t r a c t d e f e c t e dg r o u n ds 仃u c t i i r e s ( d o s ) a r ec e r t a i ns t r u c t u r e sw i t ha r t i f i c i a l l ye t c h e d u n i t st h a ta l t e rc u r r e n td i s t r i b u t i o no nt h em e t a l l i cp l a n eo fm i c r o w a v ec i r c u i t ，a n dt h e t r a n s m i s s i o nl i n e sw i t hd g sc o u l db e h a v ec h a r a c t e r i s t i co fp r o h i b i t i o ni n s p e c i a l f r e q u e n c yr a n g e m i c r o w a v ec i r c u i t s l i k ed g sa r e g e n e r a l l ya n a l y z e db y f i n i t e - d i f f e r e n c et i m e - d o m a i n ( f d t d ) m e t h o db e c a u s eo fi t sg r e a tp r e c i s i o n h o w e v e r , t h et i m e - c o n s u m i n gp r o c e s si sd i f f i c u l tt os a t i s f yt h er e q u i r e m e n to fa n a l y s i sa n d d e s i g no f d g s n e u r a ln e t w o r k sa r ei n f o r m a t i o n - p r o c e s s i n gs y s t e m ss i m u l a t i n gh u m a nb r a i n ， a n dt h e yh a v et h e - a b i l i t yt ol e a r nt h ei n p u t - t o o u t p u tr e l a t i o n s h i pa f t e rt r a i n e dw i t h d a t as e t s o n c et r a i n e d ，t h en e u r a ln e t w o r k sc a nm a k ea c c u r a t er e s p o n s et ot h ei n p u t w i t h i nt h el e a r n i n gr a n g ei m m e d i a t e l y , w h i c hb r i n gt h ee x t e n s i v ea p p l i c a t i o no fn e u r a l n e t w o r k si nag r e a tm a n yo fa r e a s a sf o rt h en o n l i n e a rr e l a t i o n s h i pb e t w e e nt h ed i m e n s i o no fe t c h e dd g su n i ta n d t h ec o r r e s p o n d i n gt r a n s m i s s i o nc o e f f i c i e n t ，t h en e u r a ln e t w o r k sc a r ll e a ma n di m i t a t e i tp r o p e r l y s ot h en e u r a ln e t w o r km o d e l so fd g sh a v eb e e nd e v e l o p e da n de m b e d d e d i nt h ep r o c e d u r et or e a l i z et h eo p t i m i z a t i o nd e s i g n t h eo p t i m i z a t i o nd e s i g no fc o m b i n a t o r i a ln o n p e r i o d i cd e f e c t e dg r o u n ds t r u c t u r e s ( c n p d g s ) f e a t u r i n gd u a l - p r o h i b i t i o nb a n di sa c c o m p l i s h e di n t h i sp a p e ra p p l y i n g n e u r a ln e t w o r k s o p t i m a ld e f e c t e dd i m e n s i o n st h a tm i n i m i z et h ee r r o rf u n c t i o na r e o b t a i n e db ys i m p l e xa l g o r i t h ma c c o r d i n gt ot h ed e s i r e dp a r a m e t e r so ft r a n s m i s s i o n c o e f f i c i e n t i no r d e rt oi m p r o v et h eg e n e r a l i z a t i o na b i l i t yo fn e u r a ln e t w o r k si n o p t i m i z a t i o nd e s i g n ，g r o p e dn e u r a ln e t w o r k sh a v ea l s ob e e na p p l i e dh e r e t h e t r a i n i n gd a t aa r ed i v i d e di n t og r o u p si nt w ow a y sb yt h es i m i l a r i t yi nc e r t a i nr a n g ea n d e a c hs u b - n e t w o r kr e c e i v e st r a i n i n gi n d e p e n d e n t l y t h ef i n a lo u t p u tw o u l db eo b t a i n e d s y n t h e s i z i n gt h o s eg r o u p s g r e a ta c c u r a c yo ft h eg r o u p b u i l tn e u r a ln e t w o r k sh a sb e e n v a l i d a t e db yt h ec o m p a r i s o nw i t hb o t hf d t da n de x p e r i m e n t a t i o nr e s u l t s ，a n dt h e c a p a c i t yo fg e n e r a l i z a t i o nh a sb e e ng r e a t l yi m p r o v e d i na d d i t i o n ，t h et r a i n i n gt i m e r e q u i r e dh a sb e e ns h o r t e n e da n dt r a i n i n gd a t ah a v eb e e nm a d et h eb e s tu s eo f f i n a l l y , o p t i m i z a t i o nd e s i g nb a s e do nt h eg r o u p b u i l tn e u r a ln e t w o r k sh a sb e e nc a r r i e do u ta n d t h ec o m p a r i s o n sw i t hs i m u l a t i o na n de x p e r i m e n t a t i o nd e m o n s t r a t et h ec o r r e c t n e s sa s w e l la se f f e c t i v e n e s so ft h i sd e v e l o p e da p p r o a c h k e yw o r d s ：c o m b i n a t o r i a ln o n p e r i o d i cd e f e c t e dg r o u n ds t r u c t u r e s ( c n p d g s ) ，n e u r a ln e t w o r k s ，o p t i m i z a t i o nd e s i g n , g e n e r a l i z a t i o n ，g r o p e d 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得苤盗盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：杏磐 签字同期：2 神年 f 月2 6 目 学位论文版权使用授权书 本学位论文作者完全了解苤洼盘堂 有关保留、使用学位论文的规定。 特授权叁注盘鲎可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) - b 廿 学位论文作者签名：信晷 导师签名： 签字同期：2 。臼年f月z 6 同 墨约司 n 签字日期：跏7 年月矽同 第一章绪论 第一章绪论 神经网络是模拟人脑神经系统结构的信息处理系统，具有学习的特性。经过 对指定数据集进行训练，可以学会输入数据和输出数据之间的映射关系，对输入 数据范围内的其他数据也可迅速得出准确的响应【l 】。若将这一特性应用于特定电 路的分析与设计中，则可在保证结果精度的基础上节省大量计算电路特性所用的 时间【2 】。因此，可以用神经网络模型替代某些计算耗时的数值分析方法实现特定 电路的优化设计。 计算机辅助电路最优化设计利用了计算机快速计算的能力，对电路性能进行 分析，并根据所需指标要求自动修改电路参数，经反复修正直至满足给定要求或 不能继续改进为止，使电路特性达到最优。在优化设计的过程中，设计参数的每 次改变都代表一个具体的电路，即优化设计的过程就是对不同电路反复分析的过 程【”】。这时可以利用神经网络能够快速准确响应的特性，将其嵌入到优化算法 之中以取代原有计算耗时的分析方法，作为电路特性的分析计算单元，实现电路 结构的最优化设计。 光子带隙( p b g ：p h o t o n i cb a n d g a p ) 1 5 , 6 在微波频段又称电磁带隙( e b g ： e l e c t r o m a g n e t i cb a n d g a p ) ，人们在它的基础上发展出了缺陷接地结构( d g s ： d e f e c t e dg r o u n ds t r u c t u r e s ) 。通过对微波电路底面的金属接地板蚀刻“缺陷”，改 变了接地板上的电流分布，从而使整个微波电路在特定频段处表现出禁带特性 7 , 8 1 。而非周期性缺陷接地结构( c n p d g s ：c o m b i n a t o r i a ln o n p e r i o d i cd e f e c t e d g r o u n ds t r u c t u r e s ) 相比于周期性缺陷结构，具有电路尺寸小、结构简单、便于设 计等优点。缺陷接地结构在微波领域有着广泛的应用，可用于实现滤波功能、抑 制功率放大器的高次谐波、实现微带天线的谐波抑制等等p 1 0 1 。 对缺陷接地结构的研究通常采用时域有限差分法等电磁场数值分析的方法 1 1 , 1 2 ，虽然这些方法可以精确分析d g s 的传输特性，研究不同结构尺寸对频率特 性的影响，但是计算复杂耗时。由于在d g s 的计算机辅助设计中需要对不同电路 结构进行反复迭代的分析，显然在优化设计中直接应用这些数值分析方法是不现 实的。本文针对一种具有双阻带特性的c n p d g s ，实现了基于神经网络的该缺陷 接地结构的最优化设计。并且，为了迸一步提高神经网络的泛化能力、缩短训练 时间，根据该c n p d g s 特有的频率特性，采用了分组建模的方法建立了新的神经 网络模型，并进一步实现了基于分组建模神经网络的c n p d g s 最优化设计。计算 机仿真结果与实际测量结果相比吻合良好，验证了本文方法的可行性和有效性。 第一章绪论 1 1 神经网络发展及概述 对于神经网络的理论研究始于1 9 4 3 年美国心理学家w a r r e ns m c c u l l o c h 与数学家w a t e rh p i t t s 的合作，他们首先提出神经元的数学模型，即m p 模型。 这是第一个用数学语言描述人脑信息处理过程的模型，并且他们从原理上证明了 单个神经元可以执行逻辑功能。1 9 4 9 年加拿大心理学家d 0 h e b b 提出了h e b b 学习规则，该规则认为学习过程最终发生在神经元之间的突触部位，突触的联系 强度随着突触前后神经元的活动而变化。h e b b 规则的基本思想至今在神经网络 的研究中仍发挥着重要的作用。1 9 5 8 年计算机科学家f r o s e n b l a t t 基于船模 型，增加了学习机制，提出感知器模型，并证明了感知器收敛定理。这时的感知 器模型虽然简单，却具备了如分布式存储、并行处理、可学习、连续计算等性质， 这是首次将神经网络的理论研究转入了工程实现的阶段，在6 0 年代掀起了神经 网络研究的首次高潮。 对以感知器为代表的神经网络系统的功能进行了深入研究后，m i n s k y 和 p a p e r t 于1 9 6 9 年合著出版了p e r c e p t r o n s 一书，从理论上证明了感知器的 局限性，指出这种模型甚至不能解决简单的“异或”之类的问题。他们的论点极 大地影响了神经网络的研究，同时由于当时没有功能强大的高性能计算机来支持 各种实验，导致许多研究人员对这一研究领域失去信心，人工神经网络的研究进 入了低潮期。但仍有不少学者致力于神经网络的理论研究，提出了各种不同的网 络模型，开展增加网络功能和各种学习算法的研究，为神经网络后继的发展打下 了坚实的基础。 到了8 0 年代，随着个人计算机和工作站计算能力的快速发展和广泛应用， 摆在人工神经网络研究面前的障碍已经逐渐被克服，美国生物物理学家j o h n h o p f i e l d 揭开了人工神经网络研究第二次高潮序幕。他提出了著名的h o p f i e l d 模型，这是一个互连的非线性动力学网络，通过反复运算的动态过程解决问题。 他还引入了“计算能量”概念，给出了网络稳定性判断。1 9 8 6 年，r u m e l h a r t 等 人独立地提出了多层人工神经网络的学习算法b p ( b a c k p r o p a g a t i o n ) 算法， 该算法有力地回答了6 0 年代m i n s k y 和p a p e r t 对人工神经网络的质疑。1 9 8 9 年， h o r n i k 、f u n a h a s h i 和h e c h t n i e l s o n 等人分别独立地给出了多层b p 网络的逼近能 力定理，为神经网络的实际应用建立了理论基础，使神经网络理论和应用逐渐走 向成熟，神经网络迎来了研究和发展的第二个高潮u 3 j 4 。 为了适应神经网络的发展，国际神经网络学会于1 9 8 7 年在美国成立，并决 第一章绪论 定定期召开国际神经网络学术会议。1 9 8 8 年1 月n e u r a ln e t w o r k 创刊，1 9 9 0 年3 月i e e et r a n s a c t i o no nn e u r a ln e t w o r k 问世，这些为神经网络的研究和 发展起了推波助澜的作用。我国于1 9 9 0 年1 2 月在北京召开了首届神经网络学术 大会，并决定以后每年召开一次。1 9 9 1 年在南京成立了中国神经网络学会。2 0 0 6 年8 月，第十六届中国神经网络大会( c n n c 2 0 0 6 ) 在哈尔滨工程大学召开，我国还 将于2 0 0 7 年6 月在南京东南大学举办第四届国际神经网络研讨会( i s n n2 0 0 7 ) ， 届时各国学者将对神经网络在不同领域研究和应用的最新成果进行交流和广泛 的学术讨论。 神经网络由大量称为神经元的处理单元相互连接组成，具有如下特性： 1 并行分布处理：神经网络具有高度的并行结构和并行实现能力，因而具 有较快的总体处理能力，这使快速进行大量运算成为可能。 2 非线性映射：神经网络具有固有的非线性特性，可以充分逼近任意复杂 的非线性关系。这源于其近似任意非线性映射( 变换) 能力。 3 通过训练进行学习：神经网络的学习是通过对数据进行训练来完成的， 经过训练的神经网络具有归纳和联想全部数据的能力，可学习和自适应未知或不 确定的系统。 4 硬件实现：神经网络不仅能够通过软件实现，还可以通过硬件实现并行 处理。有报到提出基于c p l d 和f p g a 的神经网络设计，而且已有神经元和神经网 络芯片问世。 目前，神经网络已经在各种领域得到广泛应用。如模式识别和图像处理、过 程控制和超大规模集成电路布线设计、股票市场预报和职能信息管理、路由选择 和a t m 网络中的呼叫接纳识别控制等等。神经网络与其它传统方法相结合，将推 动人工智能和信息处理技术不断发展。 1 2 微波电路的计算机辅助设计 计算机辅助设计( c o m p u t e ra i d e dd e s i g n ，即c a d ) 是通过计算机把设计 步骤联系起来的一种设计过程，利用了计算机快速计算的能力，并把它与人的创 造性思维能力结合起来。在计算机辅助设计中，人们只需把设计问题用数学模型 进行描述，并将设计过程编制成程序，具体设计则由计算机自动执行。计算机可 按照人们规定的方法在短时间内得出设计结果，并能实现多种设计方案的比较。 计算机辅助设计方法自5 0 年代末提出以后，很快便应用于微波电路的设计， 自7 0 年代以来，微波电路的c a d 设计得到了很大的发展。 第一章绪论 微波电路c a d 的早期仅利用了计算机精确快速的计算能力来处理设计中的 复杂计算问题。后来最优化方法与计算机的自动分析得到了结合，使计算机能够 根据分析结果自动修改电路元件参数，使电路性能达到最优。 微波电路c a d 的基本原理是首先根据电路的设计方案，规定出电路的设计指 标；设计者根据指标进行初步设计，确定初始电路的参数；然后计算机对初始电 路进行分析，计算得出电路的特性指标，并将结果与所规定的设计指标进行比较， 判断误差是否小于容许值。若指标的特性不满足条件，则通过特定的优化方法对 电路参数进行修改并重新分析电路，再将新的结果与预期指标进行比较。重复上 述过程，直至电路特性完全满足规定的指标或不能继续改进为止。 目前，各c a d 软件厂商推出了很多通用和专用的微波电路c a d 软件产品，如 a g i1 e n t 公司的a d s 软件包、m o m e n t u m 仿真软件、a n s o f t 公司的h f s s 等。这些商用 软件的功能包括微波电路的图形输入、电路的仿真和优化及测试仪器接口等，并 有多种电路模型库和元件库可供选择。微波电路c a d 软件也被广泛应用于各种微 波电路的设计，成为微波技术的重要内犁1 5 】。 1 3 缺陷接地结构简介 光子带隙( p b g ：p h o t o n i cb a n d g a p ) 由e y a b l o n o v i t c h 和s j o l l n 在19 8 7 年提 出，是一种周期性的缺陷结构。该结构通过在金属接地板对应微带线的位置打空 或“蚀刻”出特定的周期性图形，使得某一频率范围内的波不能在此周期性结构 中传播。这一概念最初是在光学领域中提出，现已扩展到微波与声波波段。在微 波波段，这种结构称为电磁带隙( e b g ：e l e c t r o m a g n e t i cb a n d g a p ) 。 在对e b g 进行研究的基础上，韩国学者d a l a i m 等人在2 0 0 1 年提出了缺陷 接地结构( d e f e c t e dg r o u n ds t r u c t u r e ，简称d g s ) ，并且通过对该结构等效电路参 数的推导，设计出了应用此结构构成的低通滤波器。与e b g 结构类似，d g s 也 是通过在微带电路的接地板上蚀刻出缺陷图案，改变微带线的分布电感和分布电 容，使得该结构的微带线具有带隙特性。而与e b g 的周期性缺陷结构不同的是， d g s 仅由一个缺陷单元构成( 如图1 1 所示) ，带隙中心频率仅由该缺陷单元的 结构决定。 4 第一章绪论 平面 d g s 图1 1 组合式非周期缺陷接地结构 基于d g s 的带阻特性，应用最多的就是构造滤波器和高阻抗微带线。与传 统方法相比，d g s 滤波器无需外加电路元件，仅靠改变微带线底面接地板的缺 陷结构即可实现带阻。因而这种新型的滤波器具有结构简单、易于实现的优点， 若应用于微波集成电路，可以有效减轻电路重量，减小体积，降低功耗。 近年来，人们对d g s 的研究已深入到微波领域的各+ 2 r 面，比如构造紧致 结构电路、提高天线主瓣增益、抑制表面波和高次谐波、增加功率放大器和振荡 器的输出功率、降低振荡器的相位噪声等。 1 4 本课题的意义 对d g s 结构进行分析的传统工具是f d t d 等数值分析方法，虽然这些方法 具有很好的准确性及稳定性，但是计算过程过于耗时，若在该结构的计算机辅助 设计中进行反复调用，是极为不现实的。而对神经网络进行训练所得到的d g s 模型可以在满足精度要求的条件，提供快速的计算结果。若将神经网络模型应用 于d g s 的优化设计之中，既能充分利用神经网络的学习能力，又可节省大量用 于电路结构分析的时间，进而为微波电路c a d 提供的新的途径。出于此目的， 在本课题的研究中未使用已有商用设计软件，而是以建立神经网络模型的环境为 平台实现最优化设计。 目前，将神经网络模型用于缺陷接地结构电路的优化设计之中并具体实现的 研究还未见报道。 本文的主要工作： 1 针对一种具有双阻特性的新型d g s ，将其神经网络模型做为分析计算单 元嵌入到优化设计的程序中，进而实现了该结构的最优化设计。 2 为了最大限度利用已有数据并迸一步提高神经网络的泛化能力、缩短神 经网络的训练时间，针对该d g s 的特有频率特性，采用了神经网络的分组建模， 第一章绪论 进而在新的神经网络模型的基础上实现了最优化设计。最后将优化设计结果与 d g s 电路实际测量结果对比，得出结论。 第二章神经网络模型的建立 第二章神经网络模型的建立 本章将从神经网络的组成单元神经元开始，介绍前向神经网络的基本结 构，并详细说明b p 网络的训练算法及其改进算法。最后通过对影响神经网络泛 化能力的各种因素的分析，说明在本课题中采用的神经网络分组建模方法的可行 性。 2 1 神经网络的结构 2 1 1 神经元模型 神经元是神经网络的基本组成单元，大量神经元的相互连接构成了神经网 络。一个神经元通常有多个输入，但只有一个输出，这个输出就是对所有输入进 行处理后得到的结果。单个神经元相当于一个多输入单输出的非线性器件。神经 元的数学模型如图2 - 1 所示，主要由以下几部分组成。 p 1 p 2 p 3 ： p r 图2 i 神经元模型 a 咔 1 输入 p 。，p ：，p r 是该神经元的输入，分别来自前一级r 个神经元的输出或者直接 来自外界信号。 2 权值和阈值 w 。，w 2 ，w r 是分别对应于输入p 。，p ：，p r 的网络权值，表示输入与神经元 之间的连接强度：b 为神经元的阈值。神经网络的权值和阈值具有可调性，神经 元乃至神经网络的学习能力正是基于这种动态调节的特性。 3 求和单元 对输入信号的处理由求和单元完成，对输入信号和对应权值加权求和，即 第二章神经网络模型的建立 4 传递函数 胄 ，l = w p f + 6 ( 2 1 ) i = l 厂是神经元的传递函数，用于对求和单元的计算结果进行函数运算，得到神 经元的输出。典型的传递函数有阈值函数、线性函数、s i g m o i d 型函数等。 神经元阈值描述的是神经元的状态：若神经元的加权求和值大于阈值，则神 经元处于兴奋状态，输出由传递函数决定；若加权求和值小于阈值，神经元处于 抑制状态，对输入不予响应。 5 输出 输入信号经神经元加权求和及传递函数作用后，得到最终输出。 a = 厂( 咿+ 6 ) ( 2 2 ) 2 1 2 神经网络的分类 根据网络拓扑结构的不同，可将神经网络分为四种基本类型 1 前向神经网络 前向神经网络中的神经元分层排列，每个神经元仅与前一层神经元相连，输 入层与输出层之间的隐层可以有一层或多层。感知器、线性网络、b p 网络都属 于前向神经网络。 2 层内互连的前向网络 层内神经元相互连接，可将层内神经元分为几组，实现同层神经元的相互制 约。一些自组织竞争型神经网络属于此类型。 3 反馈网络 该类型网络本身是前向的，但存在从输出到输入的反馈回路。 4 互连网络 互连网络又有全互连和局部互连之分。在全互联神经网络中，每个神经元的 输出都与其他神经元相连；在局部互连的神经网络中，则有一些神经元之间没有 互连关系。 、 按照不同的学习类型，可将神经网络的学习算法分为有监督型和无监督型。 有监督型的学习需要正确的输入输出样本，通过一定的学习算法，神经网络自动 修正网络的连接权值和阈值，逐步缩小实际输出与目标输出之间的误差，从而达 到学习的目的。无监督学习仅需要输入数据，通过特定的学习算法，使网络具备 记忆的能力，可以对与输入类似的数据产生输出。 第二章神经网络模型的建立 2 1 3 多层前向神经网络 多层前向神经网络是目前神经网络研究与应用中最基本的网络模型之一，一 般由输入层，输出层和若干隐层组成。相邻两层的神经元两两相连，同层的神经 元之间没有连接，并且前一层神经元的输出即为后一层神经元的输入，每一层神 经元只接收前一层神经元的输出信号。输入信号就是在这样层层递进的基础上前 向传播而通过网络。图2 2 为单隐层前向神经网络的结构图。 输入层隐层输出层 图2 2具有一个隐藏层的前向神经网络结构图 2 1 4b p 神经网络的结构 b p 神经网络是从形式上属于多层前向神经网络，由于权值的调整采用反向传 播( b a c k p r o p a g a t i o n ) 学习算法，因此也将其称为b p 网络。b p 网络常含有一个 或多个隐层，隐层神经元采用可微的单调递增函数，如s i g m o i d 函数l o g s i g 、正 切s i g m o i d 函数t a n s i g 等。若输出层神经元也采用s i g m o i d 型函数，那么整个网络 的输出就被限制在一个较小的范围内；若采用p u r e l i n 型传递函数，则整个网络 的输出可以取得任意值【l 】。理论证明，含有一个隐层的b p 网络如果在隐藏层中使 用s 形激活函数，在输出层中使用线性函数，那么只要隐藏层中有足够的神经元 可用，就可以以任意精度逼近任何连续的函数【16 1 。图2 3 所示为符号标记的三层 神经网络。 9 第二章神经网络模型的建立 图2 3含一个隐层的神经网络 输入向量p 经过输入层的运算，得到输入层的输出： y 1 = f 1 ( 聆1 ) = f 1 ( 形1 p + 6 1 ) ( 2 3 ) 同样，隐藏层的输入向量y 1 和输出层的输入向量y 2 分别经过隐藏层和输出 层的运算，而得到隐藏层的输出y 2 和输出层的输出： y 2 = f 2 ( 胛2 ) = f 2 ( 形2 y 1 + 6 2 ) ( 2 4 ) y 3 = f 3 ( 胛3 ) = f 3 ( 形3 y 2 + 6 3 ) ( 2 5 ) 将式( 2 3 2 5 ) 推广至多层网络，即 y 斛1 = ( 少+ 6 卅1 ) ，聊= 虬，肛l ( 2 6 ) 这里m 是网络的层数。第一层( 即输入层) 神经元从外部接收输入，即y o = p ， 它是等式( 2 6 ) 的起点；最后一层( 即输出层) 神经元的输出是网络的输出， y = y 。 2 2 神经网络的训练 在应用神经网络之前，都必须要对神经网络进行训练，训练是采用一定的训 练算法对特定的训练数据进行学习的过程。训练样本包括输入数据及与输入数据 相对应的期望输出数据。训练过程中，靠不断调整神经网络的权值和阈值，使神 经网络的性能函数达到最小。 误差反向传播( b p 算法) 是b p 神经网络的学习规则，现己成为目前应用最 为广泛的神经网络学习算法。所谓反向传播是指神经网络权值和阈值的调整采用 误差反向传播算法，网络的权值和阈值沿着网络误差变化的负梯度方向进行调 节，最终使网络误差达到极小值或最小值。 1 0 第二章享孛经网络模型的建立 蠢于标准静算法递常具有收敛速度慢、荔陷入局部极小值等缺点，因而爨 现了很多基于b p 的改进算法。这些改进算法主要分为两类：一类是采用启发式 学习算法，通过对性能函数的梯度加以分析而改进算法，包括含动量的梯度下降 法、盘适应学习率梯度下降法等；另一类是采用基于数值优化理论的训练算法， 包括共轭梯度法、高斯一牛顿法和l e v e n b e r g - m a r q u a r d t 方法。 在本课题中，训练神经网络的目的就是能使神经网络模型对输入范围内的非 训练数据亦可得到正确的响应，这就需要进一步提高神经网络的泛化能力。我们 采用b a y e s i a n 歪则讫方法对露终性能误差豳数进簿调整，以此在训练算法上改 进神经网络的泛化能力。 2 2 1 基本b p 算法 在b p 算法中，神经网络的学习过程由正向传播和反向传播组成。在正向传 播过程中，输入信息从输入层经隐层神经元处理后传向输出层，且每层神经元 的状态只影响到下一层神经元状态。如果输基层不能得到凝望输出，都实际输搬 与期望输出之间的误差在允许范围之外，则进入反向传播过程。在反向传播过程 中，误差信号将沿原来的神经元连接通路返回，在返回过程中逐一修改各层神经 元连接的权值和阂值。反复运用这两种过程，直到神经网络的实际输出与期望输 出的误差降到允许范围之内。 在进行训练之前，先要确定神经网络的性能函数。算法输入的样本集合为 扫。， ，扫：，t ： ，切口，龟 ，p 。是网络的输入，f ，是对应的目标输毫。每输入一个 样本，b p 算法便将网络输出与曼标输憋楣比较，以调整飕络的参数( 权僮和阉 值) ，使均方误差最小化。多层网络b p 算法的性能函数为均方误差。 f ( 工) = e e 2 e 】= e 【一y ) 7 ( f 一力】 ( 2 7 ) x 是网络权值和溺值的向量，帮x ：| w | 。 l b j 当用f ( x ) 去近似计算均方误差，用第七次迭代时的均方误差代替均方误差的 期望值时，计算公式如下： 芦( 茗) = p ( 露) 一y ( 露7 章( 露) 一罗f 东) 】= 孝7 ( 意) 譬( 是) ( 2 。8 ) 则在近似均方误差函数下权值和阈值更新为： af 屹( 走+ 1 ) = 屹( 足) 一口素 ( 2 。9 ) 第二章神经网络模型的建立 6 m ( k + 1 ) = b 7 ( k 筹 ( 2 1 0 ) 这里口是学习速度，w ；：! 表示第，z 层的第根神经元对于第f 个元素的权值，b , m 表 示第m 层对于第f 个元素的阈值。 在多层网络中，由于误差不是网络参数的显式函数，因此若要求出上式( 2 9 和2 1 0 ) 中的偏导数，需要使用链式法则。 旦生：竺皇生( 2 1 1 ) 一= 一o l z 1 l ， 8 w z j8 n ? 8 w z j 筹= 筹筹 c 2 m ， 一= 一o 一 ，l ，j 8 b ? a 醒a b ? ? 由于第m 层的网络输入是该层中权值和阈值的显式函数： 因此 定义敏感性 s 所一i ，z ，= w ；：y y + ( 2 1 3 ) = l 皇生：) ，只笪：1 o w l j - 18 b ? 。 s ? = 器 ( 2 1 4 ) ( 2 1 5 ) s ，为，对m 层的输入的第i 个元素变化的敏感性，则式( 2 1 1 ) 和( 2 1 2 ) 可以 简化为： 嚣科矿1 旺，6 ， 娑：s - ( 2 1 7 ) a 6 ， 。 则用敏感性表示的权值和阈值的更新为： 形”( 七十1 ) = w ”( k ) 一”( y ”1 ) 7 ( 2 1 8 ) b ”( k + 1 ) = b ”( k ) 一船”( 2 1 9 ) 可以看出，要得到更新的权值和阈值，需要计算敏感性s ”。利用链式法则， 第二章神经网络模型的建立 得到敏感性的递推关系式 誓o n = ( 尝o n 1 旦a n m + l 泣2 。， m i m j 结合敏感性定义式( 2 1 5 ) 及矩阵形式的链式法则，可以得到敏感性的递推关系 式： 筘= ( 爿r 薯 =一(力”矿1)r矿off = ”) ( 州) 2 _ ：百 = f ( 玎”) ( 形州) 7 s ”1 ( 2 2 1 ) 由式( 2 2 1 ) 可以看出，敏感性从最后一层通过网络被反向传播至第一层： s 一s m 一1 一一j 2 斗j 1 ( 2 2 2 ) 式( 2 2 2 ) 的起点s 吖经推导为： s 村= 一2f ( 7 肘) ( ，一y ) ( 2 2 3 ) 总结以上过程，可将b p 算法的迭代分为三步： 首先将输入通过神经网络向前传播： y o = p y 州兰广( 少+ 6 肿1 ) ，朋= 虬 肛1 y = y 盯 然后将敏感性反向传播： m s = 一2f ( 以m ) ( f y ) - 朋 s ”= f ( ，? ”) ( 形”1 ) 7 s ”1 ，m = m 一1 ，2 ，1 最后更新权值和阈值： 形”( 后+ 1 ) = w ”( 七) 一倦”( y ”一1 ) r b ”( k + 1 ) = b ”( k ) 一筒” ( 2 2 4 ) ( 2 2 5 ) ( 2 2 6 ) ( 2 2 7 ) ( 2 2 8 ) ( 2 2 9 ) ( 2 3 0 ) 第二章神经网络模型的建立 2 2 2 l e v e n b e r g m a r q u a r d t 算法b p 算法的改进算法 在b p 算法的训练过程中，性能函数按照均方误差的梯度下降方向收敛，而 均方误差的梯度曲线存在不少局部和全局最小点，使得神经网络易陷入局部最 小。在误差反向传播的过程中，每次计算都要对网络的所有权值和阈值进行修正 和调整，降低了神经网络整体的收敛速度。 为了克j j 艮b p 算法的缺点，在算法的迭代过程中使用了基于标准数值优化技术 的l e v e n b e r g m a r q u a r d t 优化方法【1 7 1 。这一方法是基于基本b p 改进而来的，并且非 常适合训练性能函数是均方误差的神经网络。 假设f ( x ) 是平方函数之和，即 f ( 工) = 砰( 工) = 1 ，( x ) r ，( x ) ( 2 3 1 ) f = l 其中 v 7 i v 。v ：v 。 - 【e i ie ：i e 。e i 2 e $ i d , o 】( 2 3 2 ) f ( x ) 的梯度为： 。 v f ( x ) = 2 1 7 ( z ) v ( 石) ( 2 3 3 ) 其中，( 工) 为雅可比矩阵 j ( x ) = o v l ( z ) 缸1 o v 2 ( 石) 融l o v ，( 工) 出l o v z ( 工) 舐2 加2 ( x ) o x 2 加( x ) 疵2 根据最优化方法理论，l e v e n b e r g m a r q u a r d t 算法的迭代公式为： x i + l = - j r ( 工女) j ( 工 ) + t ，】一1 ，r ( x i ) 1 ，( 工i ) ( 2 3 5 ) 其中，增加i 项是保证矩阵( j 。，+ ) 的可逆，1 是单位矩阵。 1 对于较大的1 。，式( 2 3 5 ) 可近似化为 x + l 兰工女一二j7 ( x k ) v ( _ ) = x k i 三一v f ( 工) ( 2 3 6 ) tz , u k 与最速下降法的迭代公式_ 卅= t - - a 。g 。相比较，发现当以增加时， l e v e n b e r g m a r q u a r d tb p 算法接近于有小的学习速度的最速下降算法。 2 对于i 为零的时候，l e v e n b e r g m a r q u a r d tb p 算法就变成 x “1 = 一 ，7 ( 工 ) j ( x ) _ 1 j 7 ( 石i ) v ( x i ) ( 2 3 7 ) 1 4 州一峨喇一饥；州一饥 第二章神经网络模型的建立 这是不需计算二阶导数，收敛速度快的高斯一牛顿法。 l e v e n b e r g - m a r q u a r d tb p 算法在开始时候i 取小值。如果某一步不能减小 f ( x ) 的值，则将u 。乘以一个因子0 1 后再重复这一步，最后f ( x ) 会下降，因为 使用的是最速下降方向的- d , 步。如果某一步产生了更小的f ( x ) ，则。在下一 步被除以0 ，这样算法就接近于高斯一牛顿法。 所以，l e v e n b e r g m a r q u a r d tb p 算法具有高斯一牛顿法收敛速度快的优点和 最速下降算法能保证收敛的优点。 2 2 3 b a y e s i a n 正则化方法 在多层神经网络的训练过程中，一个重要的问题就是避免过度拟合【”】，从而 提高神经网络的泛化能力。而b a y e s i a n 正贝u 化方法正是为了提高网络的泛化能 力，依据l e v e n b e r g m a r q u a r d t 优化理论对网络的权值和闽值进行调整，在训练 过程中建立一个由各层输出误差、权值和阈值构成的特殊性能函数，通过调整权 值和阈值，使该参数最小化来达到训练神经网络的目的。 b a y e s i a n 正则化极小化的函数为误差平方与权值平方的线性组合，并同时 修正线性组合，使得训练结束时的网络具有较好的泛化能力。将误差平方与权值 的组合最小化，然后确定正确的组合，以生成泛化性能良好的神经网络。这个过 程就称为b a y e s i a n 正则化。 通常，神经网络的训练性能函数采用均方误差函数e 。，即 e o2 专善( q ) 2