（电磁场与微波技术专业论文）遗传算法在缺陷接地结构神经网络建模中的应用.pdf

中文摘要 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k , a n n ) 和遗传算法( g e n e t i ca l g o r i t h m g 是两种以生物学为基础的现代优化算法，因其优越性而被广泛应用于诸多领 域。本文主要将二者结合用于研究组合式非周期缺陷接地结构的特性。 组合式非周期缺陷接地结构( c o m b i n a t o r i a ln o n p e f i o d i cd e f e c t e dg r o u n d s t r u c t u r e ，c n p d g s ) 是由光子带隙( p h o t o n i cb a n d g a p ，p b g ) 结构发展而来的，它 是在微波电路的接地金属平面上人为地蚀刻出“缺陷”，以改变接地电流的分布， 从而改变传输线的频率特性。对c n p d g s 通常采用f d t d 等电磁场数值分析方 法，这些方法虽然计算严格、精度高，可以精确分析c n p d g s 的传输特性，但 其计算过程复杂、耗时，无法满足对c n p d g s 日益增长的分析和设计要求。 文中首先对遗传算法的各个遗传算子作了改进，并应用改进的遗传算法对神 经网络的初始权值进行优化，形成一种新的算法g ab p ，该算法可以有效地减 少神经网络的训练时间，并且能克服神经网络易陷入局部最小点的困扰。然后采 用m a t l a b 语言编写了遗传算法和神经网络程序，利用g ab p 算法建立了 c n p d g s 的g ab p 模型。最后制作了相应的c n p d g s 的实际电路并进行了测 量。f d t d 计算结果以及实验测量结果和训练成功的g a _ b p 模型的仿真结果一 致性很好，且g ab p 算法大大减少了b p 神经网络的训练时间，这些充分说明 了g ab p 算法的正确性和有效性。 关键词：人工神经网络( a n n ) 遗传算法( g a ) 反向传播算法( b p ) 组合式非周 期缺陷接地结构( c n p d g s ) 优化 a b s t r a c t a r t i f i c i a ln e u r a ln e t w o r k a n dg e n e t i ca l g o d t h m ( g a ) b a s e do nb i o l o g y h a v eb e e nu s e dw i d e l yb e c a u s e0 ft h e i rs u p e r i o r i t y t h i st h e s i sf o c u s e so nt h e a p p l i c a t i o no fa n na n dg at o c o m b i n a t o r i a ln o n p e r i o d i cd e f e c t e dg r o u n d s t r u c t u r e s ( c n p d g s ) d e f e c t e dg r o u n ds t r u c t u r e s g s ) a l ee x p a n d e df r o mt h ep h o t o n i cb a n d g 印( p b g ) s t r u c t u r e s o nt h em i c r o w a v ec i r c u i t sg r o u n dm e t a l l i cp l a n e ，t h ed e f e c t e du n i t sa l e e t c h e da r t i f i c i a l l yi no r d e rt oc h a n g et h eg r o u n dc u r r e n td i s t r i b u t i o na n di n f l u e n c et h e f r e q u e n c yp r o p e r t i e so ft h et r a n s m i s s i o nl i n e s t h es t r u c t u r e so fd g s a r eg e n e r a l l y c a l c u l a t e du s i n ge l e c t r o m a g n e t i cf i e l dn u m e r i c a lv a l u ea n a l y s i sm e t h o d ss u c ha s f i n i t e d i f f e r e n c et i m e d o m a i n ( v d t o ) m e t h o d t h e s em e t h o d sc a np r e c i s e l ya n a l y z e t h ef r e q u e n c yp r o p e r t i e so fd g s ，b u tt h e ya l ec o m p u t a t i o n a l l ye x p e n s i v e i nt h i sp a p e r , g e n e t i co p e r a t o r sa l ei m p r o v e d w eo p t i m i z et h ei n i t i a lw e i g h t so f a n n b yi m p r o v e dg af i r s t l y , a n dan e wa l g o r i t h mg ab pi sf o r m e d t h i sn e w a l g o r i t h mc a nr e d u c et h et r a i n i n gt i m eo fa n n ，a n dt h el o c a ll e a s tp o i n tp r o b l e mo f b pc a nb ei m p r o v e dt o o s e c o n d l y , t h ea n na n dg a p r o g r a mi sd e v e l o p e du s i n g m a t a bl a n g u a g e 。a n dt h eg a _ b pm o d e lo ft h ec n p d g s 奶t ht h ec h a r a c t e r i s t i co f l o w - p a s s h a sb e e nd e v e l o p e d t h ef i l t e r sw i t hc n p d g sa l e d e s i g n e d a n d m a n u f a c t u r e da tl a s t , a n dt h em e a s u r e dr e s u r sa l ea g r e e m e n tw i t ht h er e s u l t so ft h e f i n a lg a _ b pm o d e l i ti ss h o w nt h a tt h eg a _ b pi sv e r yp r e c i s ea n de f f e c t i v e k e yw o r d s ：a r t i f i c i a ln e u r a ln e t w o r k ( a n n ) ，g e n e t i c a l g o r i t h m ( g a ) ，b a c k p r o p a g a t i o na l g o r i t h m ( b p ) ， c o m b i n a t o r i a l n o n p e r i o d i c d e f e c t e dg r o u n ds t r u c t u r e ( c n p d g s ) ，o p t i m i z a t i o n 独创性声明 本人声明所星交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得鑫洼盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：事亏己粕 签字日期：2 叩6 年月9 日 学位论文版权使用授权书 本学位论文作者完全了解鑫鲞盘堂有关保留、使用学位论文的规定。 特授权盘壅盘鲎可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：事之蒴导师签名： 签字日期：彻6 年1 月9 日 乏斓 签字日期：占6 年月罗日 第一章绪论 第一章绪论 1 1 人工神经网络的发展与应用 1 1 1 神经网络的发展概况 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k s ，a n n ) 理论是在现代神经科学研究 的基础上提出的，它反映了人脑功能的若干特性，但并非神经系统的逼真描述， 而只是其简化抽象和模拟，即神经网络是一种抽象的数学模型。出于不同的研究 角度和目的，它可用作大脑结构模型、认识模型、计算机信息处理方式或算法结 构。 现代神经网络开始于美国m cc u u o c h 和p i t t s 的开拓性工作，4 0 年代初， m ec u l l o c h 和p i t t s 结合了神经生理学和数理逻辑的研究描述了一个神经网络 的逻辑演算。他们从信息处理的角度，研究神经细胞行为的数学模型表达，提出 了二值神经元模型，他们的神经元模型假定遵循一种所谓的“有或无” ( a 1 1 o r - n o n e ) 规则，m cc u l l o c h 和p i t t s 证明：如果如此简单的神经元数目足 够多和适当设置突触连接并且同步操作，那么这样构成的网络原则上可以计算任 何可计算函数。这是一个具有重大意义的结果，标志着神经网络和人工智能学科 的诞生。神经网络的第二个重要发展是1 9 4 9 年d 0 h e b b 提出著名的h e b b 学习 规则，他第一次清楚地说明了突触修正的生理学学习规则，即由神经元之间结合 强度的改变来实现神经网络学习的方法。虽然h e b b 学习规则在人们研究神经网 络的初期就已经提出，但是其基本思想至今仍在神经网络的研究中发挥着重要作 用。 近十几年来，许多具备不同信息处理能力的神经网络己被应用于诸多信息处 理领域。神经计算机的研究也为神经网络的研究提供了许多有利条件，各种神经 模拟软件包、神经网络芯片以及电子神经计算机的出现，体现了神经网络领域的 各项研究均取得了很大进展。这不仅给新代智能计算机的研究带来巨大影响， 而且将推动整个人工智能领域的发展。但另一方面，由于问题本身的复杂性，不 论是神经网络原理自身，还是正在努力进行探索和研究的神经计算机，目前都只 处于基础性的起步发展阶段。但可以深信，人类大脑的研究将是新世纪划时代的 挑战，未来的神经网络研究前景令人鼓舞，人工智能定将有长足的发展1 1 4 】。 目前，神经网络的研究可以分为理论研究和应用研究两大方面。 第一章绪论 理论研究可以分为以下两类： ( 1 ) 利用神经生理与认知科学研究大脑思维及智能机理。 ( 2 ) 利用神经科学基础理论的研究成果，用数理方法探索智能水平更高的人 工神经网络模型，深入研究网络的算法和性能( 如稳定性、收敛性、容 错性、鲁棒性等) ，开发新的网络数理理论( 如神经网络动力学、非线 性神经场等) 。 应用研究可以分为以下两类： ( 1 ) 神经网络的软件模拟和硬件实现的研究。 ( 2 ) 将神经网络作为一种解决某些问题的手段和方法，而这些问题利用传统 方法是无法解决的，或者是在具体处理技术上尚存困难。这也是本文的 研究方向。 1 1 2 神经网络的特点 由于计算机在智能化信息处理中具有以下一些局限性：第一，必须不折不扣 地按照人们已经编制好的程序步骤来进行相应的数值计算或逻辑运算，没有主动 学习能力和自适应能力；第二，信息处理方式是集中的、串行的；第三，存储器 的位置( 即地址) 和其中所存储的具体内容无关。因而，有必要进一步了解分析 人脑神经系统信息处理和存储的机理、特征，以寻求一条新的人工神经网络智能 信息处理的途径。 神经网络由许多具有并行运算功能的简单的单元组成，这些单元类似于生物 神经系统的单元。神经网络是一个非线性动力学系统，其特点在于信息的分布式 存储和并行协同处理。虽然每个神经元的机构极其简单、功能有限，但大量神经 元构成的网络系统所能实现的行为却是极其丰富多彩的。和数字计算机相比，神 经网络系统具有集体运算的能力和自适应的学习能力。此外，它还具有很强的容 错性和鲁棒性，善于联想、综合和推广。 神经网络模型各式各样，它们是从不同的角度对生物系统不同层次的描述和 模拟，代表性的网络有感知器、b p 网络、r b f 网络、h o p f i e l d 模型 z - 6 等。利用 这些网络模型可实现函数逼近、数据聚类、模式分类、优化计算【7 1 0 】等功能。 1 1 3 神经网络在微波中的应用 神经网络的研究，从8 0 年代初再次复苏并成为热点以来，发展非常迅速。 理论研究方面，对其计算能力、对任意连续映射的逼近能力、学习理论以及动态 网络的稳定性分析上都取得了丰硕的成果。特别是应用上已迅速扩展到许多领 第一章绪论 域。具体说来有：模式识别和图像处理；通信中的自适应均衡、回波抵消、路由 选择和a t m 网络中的呼叫接纳识别及控制等；控制与优化，如机器人运动控制、 家电控制、半导体生产中掺杂控制、超大规模集成电路布线设计【1 1 】等。 从2 0 世纪9 0 年代以来，在微波工程领域就有了关于人工神经网络应用的报 导。近年来，神经网络作为微波分析、设计和建模的有效的新颖工具，获得了广 泛的认同，越来越多地被应用到微波领域，包括自动阻抗匹配、微带电路设计 【啪l 、微波集成电路分析与优化f 1 4 1 、有源器件与无源部件的建模及电，光互连结 构的建模1 1 5 d 6 】等。神经网络能学习各种无源的( 或有源的) 部件( 电路) 的特性， 对于已经学习过的任务，它能够提供快速、准确的答案。最终训练成功的神经网 络可以作为有效的仿真工具，应用于更高级的设计。与传统的数值分析方法相比， 神经网络在不牺牲准确性的前提下能大大节省仿真时间。与传统的经验模型法相 比，神经网络在应用范围、精度方面都具有明显的优越性。目前在网络结构、训 练算法、知识神经网络及微波神经网络模型库的开发方法方面都取得了许多研究 成果。 1 2 遗传算法简介 遗传算法( g e n e t i ca l g o r i t h m ，g a ) 是一类借鉴生物界自然选择和自然遗传 机制的随机化搜索算法，由美国的j o h nh o l l a n d 教授提出，它尤其适用于处理传 统搜索方法难以解决的复杂和非线性问题，可广泛用于组合优化、机器学习、自 适应控制、规划设计和人工生命等领域。是二十一世纪有关智能计算中的关键技 术之一。 早在2 0 世纪5 0 年代和6 0 年代，就有少数几个计算机科学家独立地进行了 所谓的“人工进化系统”研究，其出发点是进化的思想可以发展成为许多工程问 题的优化工具。早期的研究形成了遗传算法的雏形，如大多数系统都遵循了“适 者生存”的仿自然法则，有些系统采用了基于种群的设计方案，并且加入了自然 选择和变异操作，还有一些系统对生物染色体编码进行了抽象处理，应用二进制 编码。 7 由于缺乏一种通用的编码方案，人们只能依赖变异而非交叉来产生新的基因 结构，早期的算法收效甚微。2 0 世纪6 0 年代中期，j o h nh o l l a n d 在a s f r a s e r 和h j b r e m e r m a n n 等人工作的基础上提出了位串编码技术。这种编码既适用于 变异操作，又适用于交叉操作，并且强调将交叉作为主要的遗传操作。随后， h o l l a n d 将该算法用于自然和人工系统的自适应行为的研究中，并于1 9 7 5 年出版 了其开创性著作“a d a p t a t i o ni nn a t u r a la n d a r t i f i c i a ls y s t e m s ”。以后，h o l l a n d 等 第一章绪论 人将该算法加以推广，应用到优化及机器学习等问题中，并正式定名为遗传算法。 遗传算法的通用编码技术和简单有效的遗传操作为其广泛、成功的应用奠定了基 础。 2 0 世纪8 0 年代中期以来是遗传算法的蓬勃发展期，遗传算法的应用无论是 用来解决实际问题还是建模，其范围都不断扩展，这主要依赖于遗传算法本身的 逐渐成熟。近年来，许多冠以“遗传算法”的研究与h o l l a n d 最初提出的算法已 少有雷同之处，不同的基因表达方式，不同的交叉和变异算子，特殊算子的引用， 以及不同的再生和选择方法，但这些改进方法产生的灵感都来自于大自然的生物 进化【1 7 - 1 8 1 。 目前，遗传算法的研究出现了几个新动向： ( 1 ) 基于遗传算法的机器学习。 ( 2 ) 遗传算法正日益和神经网络、模糊推理及混沌理论等其它智能计算方法相 互渗透和结合。 ( 3 ) 并行处理的遗传算法研究十分活跃，这一研究不仅对遗传算法本身的发 展，而且对新一代智能计算机体系结构的研究都是十分重要的。 ( 4 ) 遗传算法和人工生命正不断渗透，生物的自适应、进化和免疫等现象是人 工生命的重要研究对象。 ( 5 ) 遗传算法和进化规划以及进化策略等进化计算理论日益结合。 遗传算法不依赖问题的具体领域，它提供了一种求解复杂系统优化问题的通 用框架，已被广泛应用于函数优化，自动控制，机器人智能控制，图形处理和模 式识别，人工生命等领域，并已接受了应用领域的不同层次的实践检验，取得了 比理论推断更具说服力的成功。 1 3 组合式非周期缺陷接地结构概述 光子带隙结构( p h o t o n i c b a n d g a p ，p b g ) 对某些频率的电磁波呈现出阻带效应， 使其不能在其中传播。将p b g 的周期形式直接用到微波与毫米波电路中，在接地 金属平面上蚀刻出周期性的“缺陷”( 如图1 1 所示) ，因而使得传输线在一些频 率范围内出现阻带特性，我们将这种结构称为周期性缺陷接地结构( p e r i o d i c d e f e c t e dg r o u n ds t r u c t u r e s ，p d g s ) ，p d g s 结构具有明显的禁带特性，可以用来 改善天线性能、与功率放大器电路结合抑制谐波、增加功率放大器的输出功率和 效率、制作高性能滤波器等。 第一章绪论 图1 1 周期性缺陷接地结构 2 0 0 1 年d a la h n 等人提出了一种新的微带缺陷接地结构，它是非周期性的 d g s ，即在微带背面的金属接地平面上蚀刻出宽与窄结合的d g s 单元( 如图1 2 所示) ，并用场分析的方法导出了该结构的等效电路参数，通过等效电路参数和 电路理论设计了此结构所构成的低通滤波器【1 9 l ；2 0 0 2 年，j u n - s e o kp a r k 等人采 用这种d g s 结构实现了耦合线带通滤波器i 捌。与周期性缺陷接地结构相比，这 一缺陷接地结构在电路尺寸及插入损耗等备方面都具有优越性。在此，可将此种 缺陷接地结构称为组合式非周期性缺陷接地结构( c o m b i n a t o r i a ln o n p c f i o d i c d e f e c t e dg r o u n ds t r u c t u r e c n p d g s ) 。 介质 图1 2 组合式非周期缺陷接地结构 平面上的 组合式非周期性缺陷接地结构与光子带隙结构一样，能够使得特定频率段内 的电磁波完全不能在其中传输，具有明显的禁带特性，从而可以被应用于：抑制 谐波、提高电磁兼容性、改善效率、提高q 值、制作宽带滤波器、宽带反射器、 匹配器、延时线、单向辐射微带天线、雷达或天线的防辐射罩、准光功率合成半 导体集成电路、非互易器件、人身防护天线等方面。 第一章绪论 但c n p d g s 与p b g 结构又有着显著的不同，其中最大的不同之处在于：它 是一种非周期性结构，在介质底面只需蚀刻一到两个单元结构，故能大大的减小 介质板尺寸，从而降低介质损耗和经济成本，便于电路的集成化；另一方面，由 于c n p d g s 的非周期性结构，所以在电路设计方面需要计入的参数少，且在电 路的制作加工过程中，蚀刻缺陷定位尺寸的数量要少的多，同时也避免了周期结 构中由于每个缺陷尺寸的误差对电路特性所带来的影响，因而对工艺精度的要求 较p b g 周期结构要低，便于电路的加工、制作，降低了工艺难度，另外，c n p d g s 结构还能有效的减小波的辐射。所以，这种新型的电路结构在微波电路中有着广 泛的应用前景。 1 4 本课题研究工作及意义 1 4 4 本课题的研究工作 本文所做的主要工作如下： 1 采用时域有限差分法( f d t d ) 程序( 程序采用m a t l a b 与c 语言混合编 写) 计算各种c n p d g s 结构的频率特性，并从中提取样本数据，以此作 为训练神经网络的样本集。 2 对传统的遗传算法进行改进，用改进的遗传算法对神经网络初始权值进 行优化，形成一种新的算法g a _ b p ，并利用m a t l a b 语言编制了相应的 程序。 3 首次将g a _ b p 用于对c n p d g s 特性的分析研究中。通过对c n p d g s 频率特性的深入分析，采用各种有利于优化网络模型的方法，并经过大 量的试验，得出c n p d g s 结构精确的神经网络模型。 4 制作c n p d g s 结构的微带电路，采用s 参数测试仪测试电路的频率特性， 并且将训练成功的神经网络模型仿真结果和f d t d 法的计算结果以及实 验测试结果进行比较，结果证明了g ab p 的有效性。 1 4 5 本课题的实际意义 对c n p d g s 结构的特性进行研究，传统的数值方法( 如f d t d ) 2 1 - 2 2 1 虽然 有很好的稳定性和收敛性，但是计算复杂、耗时，无法满足微波c a d 日益增长 的发展要求。神经网络作为一种新颖的方法，与电磁场数值分析法相比较具有计 算速度快、精度高的优点，可以为各种微波电路提供快速和精确的模型，能极大 地克服电磁场数值分析法耗时的不足。并且具有良好的可移植性，可将其有效地 第一章绪论 应用于更高级的设计分析中。 但是神经网络在具有省时，高效，准确等优点的同时也具有其自身不可克服 的瓶颈，即训练时间长，有可能陷入局部极小点，外推性能差等。 遗传算法是模拟达尔文的遗传选择和自然淘汰的生物进化过程的计算模型， 它是一种基于自然选择和遗传变异等生物机制的全局性概率搜索算法。 本文将遗传算法和神经网络结合，利用遗传算法的全局搜索能力来优化神经 网络的初始权值，从而形成一种新的算法g a _ b p ，该算法可以有效地减少神经 网络的训练时间，并且能克服神经网络易陷入局部最小点的困扰。最后，将这种 新颖有效的方法应用于c n p d g s 滤波特性的分析研究中，+ 建立了具有c n p d g s 结构的微带低通滤波器精确的g ab p 模型，为今后各种复杂微波电路的研究提 供了一种新颖有效的工具。 虽然训练神经网络要花费一定的时间，但是经过训练的神经网络在仿真过程 中速度很快，并且仿真结果和f d t d 法的计算结果以及实验结果的一致性很好， 从而验证了g ab p 的有效性。 第二章神经网络原理及算法 第二章神经网络原理及算法 2 1 人工神经网络基础 2 1 1 神经网络概述 人工神经网络( 心啉) 是对生物神经系统的模拟。生物神经系统是一个高 度组织和相互作用的数量巨大的细胞组织群体，神经细胞也称神经元，是神经系 统的基本单元，它们按不同的结合方式构成了复杂的神经网络，通过神经元及其 连接的可塑性，使大脑具有学习、记忆和认知等各种智能，生物神经元之间相互 连接从而使信息传递的部位成为突触，突触可分为兴奋性的或抑制性的，这取决 于突触前部的“活性”是否能使突触后膜的电位超过神经冲动阈值，复杂的神经 网络就是依靠众多突触所建立的链式通路反馈环路来传递信息，并在神经元之间 建立密切的形态和功能联系。研究表明，生物神经网络的功能决不是单个神经元 生理和信息处理功能的简单叠加，而是一个有层次的、多单元的动态信息处理系 统。它们有其独特的运行方式和控制机制，以接受生物内外环境的输入信息，加 以综合分析处理，然后调节控制机体对环境做出适当的反应。 人工神经网络和生物神经系统之间的对应关系如下图所示： 生物神经系统 神 经元 激活特性 神经元的连接方式 突触的联系强度 特殊的连接权 人工神经网络 网络单元 输入输出特性 网络拓扑结构 连接权的大小 神经元的阈值 图2 1 人工神经网络和生物神经系统间的对应关系 人工神经网络反映了人脑功能的若干特性，其信息处理功能是由网络单元 ( 神经元) 的输入输出特性( 激活特性) 、网络的拓扑结构( 神经元的连接方式) 、 连接权的大小( 突触联系强度) 和神经元的阈值( 特殊的连接权) 等所决定的。 三三 第二章神经网络原理及算法 神经网络在拓扑结构固定时，其学习归结为连接权的变化。 在应用神经网络的过程中，可选用的网络类型很多，例如有多层前馈网( 如 b p 网络) ，回归网( 如h o p f i e l d 网络) ，竞争网( 如h a m m i n g 网络) 。目前理论 最成熟且应用最广泛的是基于反向传播( b a c k - p r o p a g a t i o n ) 算法的无反馈神经 网络( b p 神经网络) 或b p 神经网络的改进形式。 2 1 2 神经元模型 神经元是神经网络的基本单元，一般是多输入单输出的非线性器件，其一般 结构如图2 2 所示： x 1 x 2 x j x n 土田上 图2 2 神经元结构模型 其中，x l , x 2 ，x j ，x n 代表神经元的n 个输入，w t l ，w h 代表输入与神经元 间的连接强度，即权值，b i 为神经元阈值，不论是网络权值还是阈值都是可调的。 正是基于神经网络权值和阈值的动态调节，神经元乃至神经网络才得以表现出某 种行为特性，因此，网络权值和阈值的可调性是神经网络学习特性的基本内涵之 一 求和单元完成对输入信号的加权求和，即 荟x t w i j + 6 f ( 2 1 ) f 表示神经元的传递函数或激发函数，它对于求和单元的计算结果进行函数 运算，得到神经元的输出，即 y ；一f ( u f )( 2 2 ) 第二章神经网络原理及算法 2 2 神经网络的互连模式 根据互连模式的不同，神经网络的神经元之间的连接有以下几种形式： ( 1 ) 前向网络( f e e d f o r w a r d n e u r a l n e t w o r k ) 。前向网络的神经元分层排列， 分别组成输入层，中间层( 也称隐层，可有若干层) 和输出层。每一层 的神经元只接受来自前一层神经元的输入。后面的层对前面层没有信号 反馈。输入模式经过各层次的顺序传播，最后在输出层上得到输出。感 知器和误差反向传播算法所采用的网络均属于前向网络类型。 ( 2 ) 有反馈的神经网络，输出层对输入层有信息反馈。这种网络可以用来存 储某种模式序列。 ( 3 ) 层内有相互结合的前向网络。通过层内神经元的相互结合，可以实现同 一层内神经元之间的横向抑制或兴奋机制。 ( 4 ) 相互结合型网络。这种网络在任意两个神经元之间都可能有连接。信号 在神经元之间反复传递，网络处于一种不断改变状态的动态之中。从某 种状态开始，经过若干次变化，才会达到某种平衡状态。h o p f i e l d 网络 和b o l t z m a n n 机均属于这种类型。 2 3b p 神经网络算法描述 1 9 8 5 年r u m e l h a r t 等提出的e b p ( e r r o rb a c kp r o p a g a t i o n ) 算法，系统地解 决了多层神经元网络中隐层连接权的学习问题，该算法简称为b p 算法。 多层网络的灵活性，早就为神经网络的研究人员所认识：三层网络如果在隐 藏层中使用s 形激活函数，在输出层中使用线性函数，那么只要隐藏层中有足够 的神经元可用，就可以以任意精度逼近任何连续的函数。反向传播算法的提出对 于神经网络具有里程碑式的意义，因为反向传播算法成功地解决了多层网络的学 习训练问题。 2 3 1b p 神经网络的结构 b p 神经网络通常具有一个或多个隐层，其中，隐层神经元通常采用s i g m o i d 型传递函数，而输出层神经元则采用p u r e l i n 型传递函数。图2 3 给出了一个具有 单隐层的b p 神经网络模型。其中输入维数为2 ，隐层含有4 个神经元，采用t a n s i g 作为传递函数，输出层包含3 个神经元，采用p u r l i n e 传递函数。通用近似理论【4 】 第二章神经网络原理及算法 已经证明，具有如图2 3 所示结构的b p 神经网络，当隐层神经元数目足够多时， 可以以任意精度逼近任何一个具有有限间断点的非线性函数。 输入 ， 隐层 输出层 24 1 4 3 1 3 l 、。，一，、，一一 。 y l = t a n s i 9 0 w 1 1 p + b 1 ) y 2 = p u r e l i n ( l w 2 “y + b 2 ) 图2 3 具有单隐层的b p 神经网络 多层网络中某一层的输出将成为其下一层的输入。如图2 2 所示，输入向量 p 经过隐层的运算，得到隐层的输出为： y 1 一t a n s i g ( i w ”p + b 1 、 输出层的输入向量即为隐层的输出y 1 ，从而得到输出层的输出为： y 2 - p u r e l i n ( l w ”y 1 + 6 2 ) ( 2 4 ) 将式( 2 3 2 4 ) 推广至多层网络，即 y 。“一，“( ，l “y 。+ 6 。“) ，m o ，1 ，m 一1 ( 2 5 ) ， 这里 f 是网络的层数，并设第t n 层的神经元的根数为s 。 2 3 2 反向传播算法( b p 算法) b p 网络的学习过程由两部分组成：正向传播和反向传播。当正向传播时， 输入信息从输入层经隐含层处理后传向输出层，每一层神经元的状态只影响下一 层的神经元状态。如果在输出层得不到希望的输出，则转入反向传播，将误差信 号沿原来的神经元连接通路返回。返回过程中，逐一修改各层神经元连接的权值。 第二章神经网络原理及算法 这种过程不断迭代，最后使得信号误差达到允许的范围内。 b p 网络中通常采用具有一定阈值特性的连续可微的s i g r n o i d 函数作为神经 元的激发函数，也可以选用其他类似的非线性函数。 1 性能指数 b p 算法使用的性能函数为均方误差。算法的输入是网络正确行为的样本集 合 p 。t ) 扫：，t ：l ，b 。，t 。j ，切。，t 。 ，这里p 。是网络的输入，t q 是对应的目标 输出。每输入一个样本，便将网络输出与目标输出相比较，b p 算法会调整网络 的参数( 权值和偏置值) 以使均方误差最小化： ，( 力五p 7 孑卜占【f 一刃7 f 一歹) 】 其中，i 是网络权值和偏置值的向量，即 出向量，苫为误差向量。 ( 2 6 ) i 。 习，f 为目标向量，歹为网络输 用f 0 ) 去近似计算均方误差，用第k 次迭代时的均方误差代替均方误差的期 望值： f g ) - i f ( k ) - y ( k ) 1 i ( 七) 一歹 ) 】- 舌7 声驻)( 2 7 ) 则近似均方误差的最速下降算法为： 吧。m t a k ) 川嚣 b 7 ( k + 1 ) l b 7 ( k ) 川嚣 ( 2 8 ) ( 2 9 ) 这里口是学习速度，w 。表示第m 层的第j 根神经元对于第f 个元素的权值， 表 示第m 层对于第i 个元素的偏置值。 2 链式法则 第二章神经网络原理及算法 对于多层网络，误差不是网络参数的显式函数，因此需要使用链式法则来求 出式( 2 8 2 9 ) 中的偏导数。 旦生。坚。生二- 8 w i |a n ；8 w i | a ，a f 跏! 可。两。茸 而因为t l 层的网络输入是该层中权值和偏置值的显式函数： 因此， 定义 ( 2 1 0 ) ( 2 1 1 ) 陀1 2 ) 筹。y ”竖。1 ( 2 1 3 ) 抑0 “7 a b 7 、7 j ，坚 a 玎， ( 2 1 4 ) 为盒对m 层的输入的第f 个元素变化的敏感性，则式( 2 1 0 ) 和( 2 1 1 ) 简化为： 筹i s ，y 尸 一j ，v a w ：i “i 堕。 a 则用敏感性表示的近似最速下降算法为： 形“ + 1 ) 一“ ) 一”( y “) 7 6 ”( 七+ 1 ) 1 6 ”( t ) 一o s 4 ( 2 1 5 ) ( 2 1 6 ) ( 2 i t ) ( 2 1 8 ) v + 4 * ， y 吩 一了箭 - m ， 撑 第二章神经网络原理及算法 其中 ，一塑 8 n “ 3 反向传播算法的迭代过程 b p 算法的迭代过程可以分为三步： 第一步是通过网络将输入向前传播： y o p a f 饥f a f 靓? a f o n s y “- ，“日眵“y 。+ 6 “) ，m 。0 | 工， f 一1 y y 。 下一步是通过网络将敏感性反向传播： m s 。- - 2f ( n ”x t y ) - s 。- f ( ，z 。) ( 形。“) 75 8 ”，m - m 一1 ，2 , 1 最后一步是使用近似的最速下降算法更新权值和偏置值： 形。 + 1 ) - w 。 ) 一船。( ) ，“) 7 b 。( 七+ 1 ) 一6 4 ( ) 一。 ( 2 1 9 ) ( 2 2 0 ) ( 2 2 1 ) 佗2 2 ) ( 2 2 3 ) ( 2 2 4 ) ( 2 2 s ) f 2 2 6 ) 第二章神经网络原理及算法 2 ：4b p 神经网络的设计 2 a 1 训练样本的选择 推广( 或称泛化、联想) 能力是指训练成功的网络对未在训练集中出现( 但 具有同一规律性) 的样本做出正确反应的能力。学习不是简单地记忆已学过的输 入，而是通过对有限个训练样本的学习，学到隐含在样本中的有关环境本身的内 在规律性。如果把学习过程看作一个曲线拟合过程，推广相当于非线性内插，正 确训练的网络即使对训练样本有一点误差，但可对未出现的输入给出正确反应。 相反，若学习了过多样本，就会丧失推广能力，出现所谓过拟合现象。这是因为 学习过多，往往使模型陷于过多反映训练样本的细节特征，而未能学到真正的规 律。为了使尽量少的样本具有尽可能大的推广能力，一般训练样本的选择采用经 验设计方法。 2 4 2b p 神经网络的层数 在分析多层神经网络的学习能力时，神经网络的层数是至关重要的。多层前 向网络的逼近能力【2 3 埘l 可以用通用近似定理说明：总存在一个三层感知器神经网 络，它能近似任意非线性连续的多维函数到任意要求的精度。据此定理可知b p 网络在隐含层使用s 型可微函数，在输出层使用线性函数，只要隐含层中有足够 的神经元，b p 网络就可以实现输入和输出间的任意非线性映射。这为使用神经 网络近似微波结构的特性奠定了理论基础，这些特性可以是物理参数、几何参数 和偏置参数的函数。 增加层数主要可以更进一步降低误差、提高精度，但同时也会使网络复杂化、 增加训练时间，而精度的提高实际上可以通过增加隐含层中神经元的数目来取 得，训练结果也比增加层数更容易观察和调整，所以在建立神经网络模型时应先 考虑增加隐含层中的神经元数，其次在考虑增加网络层数。 2 4 3 隐含层神经元的数目 通用近似定理解决了神经网络层数的问题，但是却没有给出确定神经元数目 的方法。输入神经元和输出神经元的数目分别由输入向量和输出向量的维数决 定。为了建立微波结构的精确神经网络模型，隐藏层需要有适当数目的神经元。 对于给定的模型任务，精确模型所需要的隐藏层神经元的准确数目仍然是有待解 决的闯题。 在神经网络模型的建立过程中，神经元的数目可以通过适应过程来决定，即 第二章神经网络原理及算法 在训练过程中增加或减少神经元的数目，通过比较分析选择一个合适的数目。但 究竟选多少个才合适，理论上并没有明确的规定，实际的做法是比较对比、依靠 经验。神经元太少不能准确的拟合输入输出之间的关系，太多又会出现过拟合， 使推广能力降低，所以要同时兼顾网络的训练误差和推广性能。不能片面追求最 小的训练误差而导致其推广能力差。一般先选择较少的神经元和层数，如果训练 结果不理想，则增加神经元数目，直到找到一个最满意的值。 总体上，隐藏层神经元的数目依赖于问题的非线性程度以及输入、输出向量 的维数。非线性程度高的问题需要较多的神经元，平滑的则需要较少的神经元； 高维数的问题，需要较多的神经元，低维数的问题，需要较少的神经元。 2 4 4 初始连接权值的选取 初始化神经网络的权值参数和偏置值参数，为训练神经网络做准备。依据优 化的理论，初始参数设置为零或者过大，都不利于优化过程。初始权值太大会使 加权后的输入落在激活函数饱和区，导致其导数，- ( d 很小，从而a w 一0 ，使调 节过程几乎停下来，一般取初值为( 1 ，1 ) 之间的随机数。典型情况下，采用 的方法是选择些小的随机值作为初始权值和偏置值，也可以选择多个不同的初 始值以避免算法收敛到局部最小点。 2 4 5 学习速率的选取 学习速率决定每一个循环训练中所产生的权值变化量。大的学习速率可能导 致系统的不稳定；但小的学习速率导致较长的训练时间，可能收敛很慢，不过能 保证网络的误差值不跳出误差曲面的低谷而最终趋于最小误差值。所以在一般情 况下，倾向于选取较小的学习速率以保证系统的稳定性。学习速率的选取范围在 o 0 1 o 8 之间。 和初始权值的选取过程一样，在一个神经网络的设计过程中。网络要经过几 个不同的学习速率的训练，通过观察每一次训练后的误差平方和的下降速率来判 断所选定的学习速率是否合适。如果误差平方和下降很快，则说明学习速率合适， 若误差平方和出现震荡现象，则说明学习速率过大。对于每一个具体网络都存在 一个合适的学习速率。但对于较复杂网络，在误差曲面的不同部位可能需要不同 的学习速率。为了减少寻找学习速率的训练次数以及训练时间，比较合适的方法 是采用变化的自适应学习速率，使网络的训练在不同的阶段自动设置不同学习速 率的大小。 第二章神经网络原理及算法 2 4 6 期望误差的选取 期望误差值应当通过对比训练后确定一个合适的值，所谓“合适”，是相对 于所需要的隐含层的节点数来确定，因为较小的期望误差值是要靠增加隐含层的 节点，以及训练时间来获得的。通常作为对比，可以同时对两个不同期望误差值 的网络进行训练，最后通过综合考虑各方面因素确定采用其中一个网络。 2 5b p 神经网络的局限性和不足 虽然反向传播法得到了广泛应用，但它也存在其自身无法克服的局限与不 足，其主要表现在于它的训练过程的不确定上。具体说明如下： 1 ) 需要较长的训练时间 对于一些复杂的问题，b p 算法可能要进行几小时甚至几天或更长的时间的 训练。这主要是由于学习速率小和本身运算量大所造成。 2 ) 完全不能训练 主要表现在网络出现的麻痹现象上。在网络的训练过程中，当其连接权值调 得过大，可能使得所有的或大部分神经元的连接权总和偏大，这使得激活函数的 输入工作在s 型函数的饱和区，从而导致其导数非常小，从而使得对网络权值的 调节过程几乎停顿下来。为了避免这种现象的产生，一是选取较小的初始权值， 二是采用较小的学习速率，但这又增加了训练时间。 3 ) 局部极小值 b p 算法可以使网络权值收敛到一个解，但它并不能保证所求为误差超平面 的全局最小解，很可能是一个局部极小解。这是因为b p 算法采用的是梯度下降 法，训练是从某起始点沿误差函数的斜面逐渐达到误差的最小值。对于复杂的 网络，其误差函数为多维空间的曲面，就像一个碗，其碗底是最小值点。但是这 个碗的表面是凹凸不平的，因而在对其训练过程中，可能陷入某小谷区，而这 一小谷产生的是一个局部极小值。由此点向个方向变化均使误差增加，以至于使 训练无法逃出这局部极小值。 第三章遗传算法的基本实现技术 3 1 概述 第三章遗传算法的基本实现技术 遗传算法研究的历史比较短，2 0 世纪6 0 年代末期到7 0 年代初期，主要由 美国m i c h i g a n 大学的j o h n - h o l l a n d 与同事、学生们研究形成了一个较完整的理 论和方法，从试图解释自然系统中生物的复杂适应过程入手，模拟生物进化的机 制来构造人工系统的模型。随后经过2 0 余年的发展，取得了丰硕的应用成果和 理论研究的进展，特别是近年来世界范围形成的进化计算热潮，计算智能已作为 人工智能研究的一个重要方向，以及后来的人工生命研究兴起，使遗传算法受到 广泛的关注。 大自然的一切物种经过漫长的演化，能够生存下来的，都形成了自己独特的 生活方式和具有了独特的保护自己的本领以适应其存在的环境，各种生物都被生 活所限定，或者说是被自然优化。生物进化过程的微观表现是他们基因的选择、 交叉、变异的过程。其中基因交叉、变异使优者( 能适应环境者) 被保留下来， 反之，被淘汰。 对于一个求函数最大值的优化问题( 求函数最小值也类同) 。一般可描