（电磁场与微波技术专业论文）知识人工神经网络在电磁工程中的应用.pdf

摘要 取# 于当今高性能快速的电磁工程计算机辅助设计( c a d ) 来说，建立起 精确可靠快速的元器件模型显得十分有必要。近年来，人工神经网络( a n n ) 作为一种快速准确的建模工具在电磁工程领域中引起了广大工程设计者的 极大关注。厂百 本文在人工神经网络建模的基础上引入了可用于复杂的电垡王猩建模的 知识人工神经网络( k b n n ) ，同时提出了两种新型结构的知识人工神经网络： 一种是采用主要元素项分析( p c a ) 作为网络训练数据前处理器的稳健的知 。i识人工神经网络( r k b n n ) ；另一种是含有知识人工神经元的人工神经网络 ( n n k b n ) ，其知识人工神经元的活化函数是由扩展的经验公式构成。 借先，应用r k b n n 建立起了高速数字集成电路( h s d i c ) 共面互连线 结构1 勺频变电阻电感网络计算模型。结果表明：通过在网络中加入p c a 训 练数据| j 处理器，网络训练的效率和稳定性都得到了很大的提高，同时受训 后各r k b n n 模型还具有较强的推广能力。 其次，在训练样本数掘匮乏的情况下，应用n n k b n 建立起了广泛应用 于多：占片封装模块( m c m ) 中带状线间隙的不连续特性网络计算模型。结 果表明带状线间隙不连续特性的n n k b n 模型在保持较高的建模精度下具有 良好的外推特性。 总之，应用本文提出的知识人工神经网络所建立的网络计算模型不仅保 持了电磁数值仿真的精度，而且还可以降低它们对c p u 和内存等硬件的要 求，同时还具有良好的外推特性。因此，通过在网络结构中镶入建模对象先 验知识信息的人工神经网络在高性能快速的电磁工程c a d 中具有很大的应 用潜力。卜1 一。 关键词；厶王进丝堕室a n n ) ，知迟厶 二主自经l 墨盛乏b n n ) ，主要元素项 分析( p c a ) ，知识人工神经元，高速数字集成电路( h s d i c ) ，互连线，多芯片 封装模块( m c m ) ，带状线，过笺扭煎助选出乞a d ) ，建模 。t “。船辩；。潼垂i 撼摇蒜蠢甄醯舔 。 a b s t r a c t f o r t o d a y sh i g hp e r f o r m a n c e a n df a s t e l e c t r o m a g n e t i ce n g i n e e r i n g c o m p u t e r a i d e dd e s i g n ，i ti si n c r e a s i n g l yn e c e s s a r y t om o d e le l e m e n t sa n dd e v i c e s w i t hh i g ha c c u r a c y r e l i a b i l i t ya n de f f i c i e n c y a r t i f i c i a ln e u r a in e t w o r k ( a n n ) r e c e n t l yh a sr e c e i v e de x t e n s i v ea t t e n t i o na saf a s ta n da c c u a t em o d e l i n gt o o ii n e l e c t r o m a g n e t i ce n g i n e e r i n g i nt h i sp a p e r k n o w l e d g e b a s e dn e u r a ln e t w o r k ( k b n n ) i si n t r o d u c e dt o m o d e ls o p h i s t i c a t e de l e c t r o m a g n e t i co b j e c t sb yi n c o r p o r a t i n gp r i o rk n o w l e d g e i n t oa r t i f i c i a ln e u r a ln e t w o r ks t r u c t u r e s t w on o v e lk n o w l e d g e b a s e dn e u r a i n e t w o r ks t r u c t u r e sa r ep r e s e n t e d o n ei st h er o b u s tk n o w l e d g e b a s e dn e u r a i n e t w o r k ( r k b n n ) w i t hp r i n c i p l e c o m p o n e n ta n a l y s i s ( p c a ) a sd a t a p r e p r o c e s s o r f o rn e t w o r k t r a i n i n g t h e o t h e ri st h en e u r a ln e t w o r kw i t h k n o w l e d g e b a s e dn e u r o n s ( n n k b n ) w h e r e e x t e n d e dp r i o rk n o w l e d g ea n a l y t i c f o r m u l a sw o r ka sa c t i v a t i o nf u n c t i o n so f t h en e u r o n s f i r s t l y t h er k b n n i su s e df o rm o d e l i n gt h ef r e q u e n c y d e p e n d e n tr e s i s t a n c e a n di n d u c t a n c ee x t r a c t i o no f c o p l a n a ri n t e r c o n n e c ti nh i g hs p e e dd i g i t a li n t e g r a t e d c i r c u i t s ( h s d i c ) r e s u l t ss h o wt h a tt h en e t w o r kt r a i n i n gp r o c e d u r eb e c o m e s e f n c i e n ta n ds t a b l ew i t hp c aa sd a t ap r e p r o c e s s o ra n dt h ed e v e l o p e dr k b n n m o d e l sa r er o b u s tf o rg e n e r a l i z a t i o n s e c o n d l y t h en n k b n t r a i n e dw i t hi n s u f f i 【c i e n tt r a i n i n gd a t ai sa p p l i e dt o m o d e lt h e d i s c o n t i n u i t y o fn o n s y m m e t r i c a s t r i p l i n e g a pw i d e l y u s e di n m u l t i - c h i pp a c k a g em o d u l e ( m c m ) r e s u l t s s h o wt h a tt h en n k b nm o d e l sa r e g o o d f o re x t r a p o l a t i o nw i t hh i g ha c c u r a c y a l lo ft h e p r o p o s e dm o d e l sn o to n l yp r e s e r v e t h e a c c u r a c y o ft h ee m s i m u l a t i o n s ，b u ta l s os i m p l i f yt h e i rc p ua n dm e m o r yr e q u i r e m e n t s ，a n da tt h e s a m et i m e k e e pg o o de x t r a p o l a t i o nc a p a b i l i t y h e n c e t h e a r t i f i c i a ln e u r a l n e t w o r k si n c o r p o r a t e dw i t hp r i o rk n o w l e d g ei n f o r m a t i o no ft h ep r o b l e m st ob e m o d e l e dh a v e p o t e n t i a lp o w e rf o r t h e h i g hp e r f o r m a n c e a n df a s tc a di n e l e c t r o m a g n e t i ce n g i n e e r i n g k e y w o r d ：a n n ，k b n n ，p c a ，k n o w l e d g e - b a s e d n e u r o n ，h s d i c i n t e r c o n n e c t ，m c m ，s t r i p l i n e ，c a d ，m o d e l i n g u 了科技人学f i | ；ji 论文 第一章引言 随着计算机的快速发展，电磁工程设计技术已经进入了一个全新的发展 时期。原来一些单靠人工难以解决的甚至无法解决的设计课题在采用计算机 辅助设计( c a d ) 之后迎刃而解；而那些费时费力的微波元器件和电路设计 的计算、调整和测量也可以利用计算机进行数值分析或模拟仿真。计算机辅 助设计的出现不仅大大地促进了电磁工程设计技术的深入发展，而且可以大 幅度地缩短产品的设计周期，减少设计人员的繁杂劳动，提高产品质量，降 低成本。相反，为了更进一步地缩短产品设计周期、增强计算机辅助工程设 计的性能，在电磁工程理论方面则需要更深入研究各种微波元器件的电磁特 性，为计算机辅助设计提供精确的、快速的数学模型和物理模型。 到目前为止，微波元器件模型的建立方法基本上采用的是：理论方法、 实验方法和数值方法。理论方法是以元器件的物理原理为基础，根据元器件 的内部结构、材料特性和物理机理，从电磁特性的基本方程( 如泊松方程， 电流连续方程，传输方程等) 出发导出元器件的数学模型或等效电路。这种 模型精确可靠，然而，它的应用受到很大的限制。例如，对一个复杂有耗的 多导体传输线系统，采用理论方法对其进行分析显得十分困难。因此，理论 分析方法只能解决一些简单的规则的电磁结构问题。实验方法则是以物理实 验为基础，将元器件作为一般的网络，测出元器件端口的电磁特性。然后可 以直接将端口的测试数据作为元器件的模型，也可从测试数据中导出元器件 的等效电路模型或数学表达式模型。这种模型不仅无需知道元器件的内部结 构及其各个物理参量，而且还包括了元器件封装结构的寄生参数的影响。可 以浣，通过物理实验测量的方法而建立的模型很真实地反映了一个具体元器 件实际的电磁特性。可是这种方法往往受到人力、物力和财力等等各种各样 的客观条件限制。而且有时为了达到某一指标而不得不制作出各种各样的测 试样品，这不仅造成财力上的巨大浪费，而且延长了产品设计周期。随着计 算机的诞生，数值技术得到了快速的发展。随之电磁工程设计也发生了革命 性的变化，即采用计算机进行电磁工程辅助设计。在当今的高性能电磁工程 计算机辅助设计中，人们已经丌拓了不少的数值技术用来解决各种各样的电 磁工程问题。例如，矩量法( m o m ) 、边界元法( b e m ) 、有限元法( f e m ) 、 有限差分( f d m ) 、时域有限差分法( f d t d ) 、传输线矩阵法( t l m ) 和模 u 丁科技人学颅l ：论空 式匹配法等等。这些数值技术不仅可以用于精确的微波元器件数值建模，而 且可以用于复杂的电磁结构数值仿真。因此，它们在当今电磁工程中已成为 强而有力的设计工具。 尽管数值技术在电磁工程计算机辅助设计中得到了广泛的应用，然而它 们却存在不少的弊端。首先是数值计算时间。例如，对于一个非对称带状线 间隙的f d t d 电磁数值仿真，在奔腾4 5 0 m h z 的个人计算机上一般需要两三个 小时左右；如果对于一个结构稍微复杂一点的电磁结构来说，其电磁数值仿 真时间可能需要数十个小时，甚至是上百个小时。其次是计算机内存占用。 由于电磁数值仿真需要对空自j 进行网格划分，随着计算空间的增大和网格的 精细划分，其占用的计算机内存将成指数增长。此外，数值技术不具备先验 特性，因为它们不能够充分利用前面的相似的仿真结果。例如，如果所需仿 真对象在几何结构尺寸或材料特性上稍有一点变化，那么又得重新进行一次 耗时惊人的数值求解。显而易见，数值方法的这些缺点严重地妨碍了它们作 为快速的计算机辅助设计工具在电磁工程设计中的应用。 于是，一些基于实验测量方法的传统电磁建模技术在快速的电磁工程计 算机辅助设计中又得到了新的发展，例如查询表技术、多维多项式拟合建模 技术等等。因为计算机具有强大的存储记忆功能，所以很容易将元器件的各 种电气特性数据存储起来，然后利用数据库技术可以方便地建立起各种元器 件参数设计查询表。与数值仿真技术相比，查询表具有两大优点：首先是它 可以进行快速地计算机辅助设计，在设计时利用计算机强大的查询功能可以 很快地从查询表中得到所需的设计数据：其次是查询表具有可扩充性，利用 查询表可以很方便地添加新测量得到的或者通过数值仿真得到的各种元器 件设计参数数据。然而，元器件的电气特性往往与多个几何物理参数相关。 所以，用于存储元器件各种设计参数的查询表必定是一个多维的数据表格。 并且，在电磁工程设计中通常要涉及到数量众多的不同型号不同功能的元器 件。为了存储这些元器件各种参数设计数据，不仅需要庞大的数据存储空间， 而且还需要一个功能强大的数据库管理系统。很显然，纯粹利用查询表进行 电磁工程设计，必将付出高昂的代价。相应地，采用多维多项式拟合技术， 则可以在一定程度上解决查询表巨大数据量存储和管理的难题。此外，多维 多项式拟合技术还可以实现各元器件在一定的参数范围内连续建模。不过， 多维多项式拟合建模技术只能为元器件建立起平滑的非线性不强的数学模 型。 近几十年束，一种新型的建模方法人工神经网络模型法引起了广大 电磁工程领域的研究者和设计者的极大关注。这是因为人工神经网络模型【l 2 j 不仅具有强大的非线性映射功能，而且还具有较强的自适应学习能力和快速 ， u 了科技人学坝j 论空 的实时计算能力。从人工神经网络的网络结构来看，它是由许多具有线性或 非线性信息处理功能的人工神经元按照某种结构方式连接而成的拓扑网络。 由于它最初的研究思想是用于对人类大脑神经网络的模拟和仿真，所以称之 为人工神经网络。现在它的应用已经渗入到各个学科领域，例如图像信息处 理、数字信号处理、智能控制以及电磁工程设计等等。在人工神经网络中， 各人工神经元之间的信息传递方式都是通过一组可调的权值和偏置连接起 来的，因此人工神经网络对外界环境具有很强的自适应功能。现已证明：在 一组已知的训练样本和相应的学习规则下，一个含有两层人工神经元的多层 感知器网络可以实现以任意精度来逼近一个任意高阶的非线性连续函数。可 以看出，人工神经网络这一强大的非线性映射功能十分适宜复杂的电磁环境 中各种元器件的电磁建模。同时，人工神经网络如同多维多项式建模一样， 可以在元器件的各个参量范围内实现连续建模。此外，一旦建立了各元器件 的人工神经网络模型，则只需存储网络模型的权值和偏置以及相应的网络模 型结构参数。与查询表相比，人工神经网络模型不需要巨额的数据存储空间， 也不需建立大型的数据库管理查询系统。而且人工神经网络模型还具有快速 的实时计算功能。这也就是说，当给定一组输入参数时，人工神经网络模型 可以很快地得到对应的输出结果。因为一个确定的人工神经网络模型的计算 实质上是一个已知的数学函数运算，而不是一个迭代运算。所以，人工神经 网络这一时间特性是数值仿真方法难以比拟的。j 下是人工神经网络具有这些 优良特性，才使之在电磁工程计算机辅助设计具有广泛的应用前景。例如， 利用h o p f i e l d 人工神经网络实现自动解决电磁工程中的阻抗匹配问题：利用 多层回传网络为m m i c 无源器件( v i a 互连线结构、c p u 电路、螺旋电感等) 进行电磁建模；利用多层回传网络为有源器件h e m t 、f e t 大信号特性建模： 利用多层回传网络为v l s i 互连线结构的传输线特性进行电磁建模等等。 目前，在电磁工程领域中普遍采用的人工神经网络模型多数是一些经典 的多层感知器模型。由于这些模型不具备建模对象的任何先验信息，所以建 模过程中必须获取充足的能够全面体现建模对象特征的训练样本数据，以便 得到高精度的人工神经网络模型。然而，在电磁工程中，训练样本来自于对 建模对象的电磁仿真或实际的物理测量，要产生大量的训练样本数据，必将 付出高代价的成本。甚至有时由于人力、物力和财力的限制，根本不可能实 现这一目的。因此，需要采取适当的措施对传统的人工神经网络模型加以改 进和提高，以便使之能够在较少的训练样本的情况下依然能够保持原有的性 能或者是使之性能得到更进一步的提高。实际上，人们为了各种不同的目的， 对传统的人工神经网络模型做了不少的改进和提高。在这些改进的措施当 中，较为引人注目的是利用知识人工神经网络进行建模。知识人工神经网络 也r 科拙人学倾i ：论史 的基本思想是将所需建模对象的先验知识与传统的人工神经网络相结合，从 而构成一种新型结构的人工神经网络。它既继承了传统人工神经网络各种优 良特性，又吸取了先前所积累的各种先验信息。因此，知识人工神经网络在 复杂的电磁工程设计领域中具有广阔的应用前景。 在本文中，首先简要地介绍了人工神经网络的基本原理、网络结构以及 传统多层感知器网络在电磁工程建模设计中的应用：其次，详细地介绍了本 文所提出的两种知识人工神经网络的网络结构及其建立过程，这两种网络分 别是稳健的知识人工神经网络( r k b n n ) 和基于知识人工神经元的人工神 经网络( n n k b n ) ；最后，分别利用这两种网络建立起了高速数字集成电路 互连线结构的频变电阻电感r k b n n 模型和带状线间隙的不连续特性 n n k b n 模型。 4 u 了科技人学顾i ：论史 第二章人工神经网络 2 1 引言 构造人工神经网络模型的最原始的动机来源于人类对自身大脑智能化 信息处理的生理机能的探索和模拟仿真。人类大脑一个重要的组成部分就是 神经网络，也即生物神经网络。人类大脑的神经网络系统是人从外界接受信 息、处理信息和反馈信息的基础核心。因此，人工神经网络应该是生理学上 真实人类大脑神经网络的结构和功能，以及其若干基本特性的某种理论的抽 象、简化和模拟而构成的一种新型信息处理系统。简而言之，人工神经网络 是大脑神经网络的一个抽象的数学模型。 神经网络的研究由来已久。早在1 8 9 0 年，j a m e s 在心理学一书中就 对人类大脑的神经网络的基本原理给以具体的描述。随后，人们在j a m e s 原 理的基础上对神经网络做了更进一步的研究和探索，使该原理得到了更进一 步的丰富和发展。到目前为止，基本上可以将神经网络的研究分成两派。其 中一派是由生物学家、物理学家和心理学家组成，以给出大脑活动的精细模 型和描述为主要研究目的；另一派是由工程技术人员组成，他们关心的是怎 样利用神经网络的基本原理，来构造解决实际问题的算法，使得这些算法具 有更加有趣、有效、高速和实时的计算能力。从二者的研究领域来看，前者 是以生物神经网络研究为主，后者是以生物神经网络的抽象的数学模型 人工神经网络研究为主。图2 1 1 很形象生动地描绘了它t f f - - 者之间的相互 关系。 真正的人工神经网络的研究开创于美国心理学家m c c u l l o c h 和数学家 p i t t s 二人的合作研究工作。在1 9 4 3 年，他们首次提出了大脑神经元的数学 描述方法，并建立了神经元的第一个数学模型神经元m c c u l l o c h p i t t s 模 型，简称m p 模型f 3 】。此数学模型可以实现一些简单的逻辑判断运算。后来 经过诸多的数学家对此模型的精心整理和抽象，最终发展成为一种有限自动 机理论，再一次展现了神经元m p 模型的理论价值。并且现在绝大部分的人 u 了科技人学倾f 论文 一 一 幽2 1 _ 1 人i ：神经网络与生物神经网络 工神经网络模型基本上都沿袭了神经元m p 模型的结构和思想。因此，这一 模型为后来的人工神经网络系统模型的研究奠定了最基本的理论基础。 虽然神经元m p 模型在一定程度上实现了人类大脑第一个最基本的思维 方式逻辑判断。然而，它并不能解决人类是如何能动地从外界的客观环 境之中进行不断的学习和认识这样一种生理机制。经过心理学家h e b b i a n 对 大脑神经网络的学习和认识机理的详细研究，他于1 9 4 9 年提出了关于大脑 神经网络学习机理的“突触修正假设”，即突触联系效率可变的假设。尽管 这一假设是在3 0 年后才在生物学中得到证实，然而这一假设却为人类大脑 是如何认识客观事物的这一生理规律的研究和探索建立了一个初步的理论 基础并且这一假设已成为现代的人工神经网络训练学习规则研究的一个基 本理论基础_ h e b b 学习规则。 第一个既具有认识学习能力又具有判断能力的人工神经元模型是在 1 9 5 7 年由f r o s e n b | a t t 首次提出并付诸于工程实现，此模型就是有名的神经 元感知器( p e r c e p t r o n ) 。从f r o s e n b l a t t 模拟结果来看，利用突触强化的学 习规律，感知器有能力通过不断地调整突触权值的学习而达到正确地判断和 分类。在当时，世界上有不少的实验室仿效感知器，设计出各种各样的电子 装置。于是，掀起了人工神经网络研究的第一次高潮。 然而，第一次研究高潮持续时问不长。美国著名的人工智能学者m i n s k y 和p a p e r t 在对以感知器为代表的简单神经网络的功能作了深入系统分析和研 究之后，于1 9 6 9 年发表了一本专著感知器。他们在专著中指出，现行的 线性感知器功能是有限的。例如，它无法解决比较复杂的高阶谓词x o r 、对 称性判断和宇称等问题，并且它也不能进行非线性分类。再加上在当时的物 质技术条件下，想找到一个多层网络的有效的学习算法是极其困难的。币是 这种种原因的存在，使得人工神经网络的研究一度进入低谷阶段。 6 u 了科技人学坝f 论史 随着科学理论不断地取得重大突破和生产技术迅猛发展，人们在8 0 年 代末期掀起人工神经网络研究的第二次高潮。这次高潮到来的标志是美国物 理学家j h o p f i e l d 于1 9 8 2 年和1 9 8 4 年在美国科学院院刊上发表的两篇关于 神经网络的论文 4 , 5 1 。在这两篇论文中他提出了一种新型的模仿人脑神经网络 的数学模型h o p f i e l d 网络模型。利用h o p f i e l d 网络的神经计算功能可以 成功地解决许多约束优化问题，例如货郎担问题( t r a v e l i n gs a l e s m a n p r o b l e m ) 。h o p f i e l d 这一研究成果完全突破了以往线性感知器符号逻辑处理 功能，开创了人工神经网络非线性动力学特性的研究。正是h o p f i e l d 网络这 种强大的非线性处理功能的出现，使得人们又重新回到人工神经网络的研究 上。于是出现了人工神经网络研究历史上的第二次高潮，这一高潮一直持续 到今。 在本章中，主要是以人工神经网络应用为目的，简要介绍人工神经网络 的基本概念和原理，这些概念和原理也是后面即将讨论的知识人工神经网络 的理论基础。人工神经网络的应用可以将之分成三大步：首先是人工神经网 络的设计，包括人工神经元的选取和网络的拓扑结构的规划；其次是人工 神经网络的训练，包括训练样本数据的选取原则、训练学习规则和训练方式； 最后是网络投入实际问题中的应用。这个过程极其类似电路设计与制作的过 程，如图2 1 2 所示。 芏 崔 岍 士 魁 瓣 匿 震 _ 网络设计昨二二= 二( 1 堑! ! 塑型| 网络训练| 二 实际应用i ( a ) 人1 ：神经网络设计与应h i ( a ) 电路殴计与麻朋 | 玺| 2 1 2 7 u 于科技人学删i ：论殳 2 2 人工神经元 生物神经元是大脑神经网络最基本的信息处理单元。很显然，人工神经 元就应是人工神经网络结构组成部分的最基本的“元器件”。 2 2 1 人工神经元 图2 - 2 i 给出了一个典型的人工神经元的结构模型。它主要有三个部分组 成：活化函数( a c t i v a t i o nf u n c t i o n ) 、权值( w e i g h t ) 和偏置( b i a s ) 。活化函 数代表了人工神经元信息处理功能，是人工神经元的核心。活化函数不同， 也就意味着人工神经元的功能不同。因此，采用不同的数学函数作为活化函 数，就可以构造出不同功能的人工神经元。这一问题将在后面作详细的讨论a 神经元与神经元之间的突触连接强度就是这旱的权值，它是一个可以进行调 节的参数。而偏置则起到了调节活化函数净输入的作用，在一般情况下，它 x i x 2 幽2 - 2 1典刑的人i ：神经元结构 也是一个可调参数。 假如将人工神经元从其他人工神经元接收到的外界输入信息x l ，x 2 ， x n 用一输入列向量x 来表示，连接权值w l ，w 2 ，w n 用权值行向量，来表 示，偏置用b 来表示，其自身产生的输出信息用y 来表示，则人工神经元输 入输出关系可描述为： y = f ( z ) = f ( w + 工+ b ) 。蠢瓤。纛辘囊遵糕 ( 2 1 ) u 丁科技人学俩i ：论文 由此可以看出，人工神经元实质上是一抽象的数学函数，是用来描述一 组输入输出关系的数学函数。 2 2 2 活化函数 可以说，活化函数基本上决定了人工神经元的特性及其功能。因此，采 用不同数学标量函数作为活化函数，就可以构造出不同功能的人工神经元。 在人工神经元活化函数的研究中，最常用的活化函数有三种： 1 门限函数( t h r e s h o l df u n c t i o n ) 其数学表达式为 ，。) = 亿 z o ( 2 2 ) z 0 门限函数的输出只有两个取值，o 和l 。当来自此人工神经元外界的 所有信息量的加权和再加上偏置所得到的数值大于0 ，则此人工神经 元输出数值1 ，否则输出为0 。在1 9 4 3 年，m c c u l l o c h 和p i t t s 建立 的第一个人工神经元生物神经元的m p 模型就是采用此函数作 为神经元的活化函数。并且，由此函数构造出的人工神经元通过一 定的方式连接起来，可以实现一定的数学逻辑运算。其函数图形见 图2 2 2 ( a ) 。 2 线性函致( 1 i n e a rf u n c t i o n ) 其数学表达式为 ，( z ) = z( z ) ( 2 3 ) 线性函数在( 一m ，m ) 范围内呈现线性变化，其函数图形如图2 - 2 2 ( b ) 所示。 3 s - 型函数( s i g m o i d f u n c t i o n ) s 型函数是目前构造人工神经网络中最常用的活化函数。它是一 个严格单调递增的非线性连续函数，并且它还具有渐近特性。其数 学表达式为 9 ur 科技人学坝i j 论文 ，( z ) = 专( - o o z 生 ( 2 9 ) 其中，n 是训练样本数据的样本数，n w 是网络总的突触链接数，是 检测目标的容许误差( f r a c t i o n o f e r r o r sp e r m i t t e d o n t e s t ) 。 2 样本数据采集方案 在电磁建模中，往往希望用人工神经网络为复杂的电磁问题进行 建模。因此，人工神经网络的输入向量中将含有多个物理参数，并且这 些物理参数与网络的输出物理量之间又具有高度的非线性。这就要求输 入输出的样本数据的获取需要进行大量的多因素的配合试验，从而得到 足够多的训练样本和测试样本。 然而，由于人力、物力、和财力的限制，往往不可能逐个地进行 全面的试验或实际的物理测量。为了解决这一现实的矛盾，要求人们必 须合理地设计和安排试验。其中试验设计为解决这一矛盾提供了一个 具体的方案和措施。试验设计( d e s i g no f e x p e r i m e n t ) 是研究如何萨确 地安排和设计试验的一门统计学科，是著名的统计学家r a f i s h e r 于 1 9 3 5 年提出来的。 利用试验设计方案可以尽可能少的试验次数去获得尽可能的电磁 特征信息，即训练样本数据。然后利用这些训练数据在最大程度上让训 练完毕后的人工神经网络能够较为全面地反映该电磁模型的输入输出 特性。 目| j ，较为常用的试验设计方案有三类：正交试验设计、中心组 合试验设计和随机组合试验设计。每类试验设计的具体方案可查相关的 资料或书籍1 9 1 l 0 “j 。 6 ；。二蠡羹 媛釜誊熬赫 u 了科技人学顺i ：论业 2 4 2 学习规则 学习规则( 1 e a r n i n gr u l e ) 实质上人工神经网络在训练学习过程中不断调 整权值和偏置的一个函数优化算法。其中所提到的人工神经网络的训练学习 过程可以分成两类：一类是在已知一组正确的输入输出训练样本的前提下， 人工神经网络通过这些样本数掘，不断地调整并确定权值和偏簧的学习过 程，称为有导师学习( s u p e r v i s e dl e a r n i n g ) ：另一类是在只有输入训练样本而 没有输出训练样本的前提下，人工神经网络通过这些样本数据，不断地调整 并确定权值和偏冕的学习过程，称为无导师学习( u n s u p e r v i s e dl e a r n i n g ) 。 人工神经网络中最早使用的学习规则是h e b b 学习规则，至今仍在各种人 工神经网络模型中起着很重要的作用。随着人们对人工神经网络研究的深 入，现已提出了不少新的学习规则，例如最4 , - 乘学习规则、w i d r o w - h o f f 学习规则、相关学习规则、w i n n e r - t a k e a l l 学习规则以及内星和外星学习规 则等等。 由于在后面讨论到的知识人工神经网络模型以及各电磁问题的具体人工 神经网络模型，基本上都是使用以最小二乘学习规则为基础的误差回传算 法。因此，下面就这两种算法给以简单地介绍。 1 最小二乘学习规则 最小二乘学习规则( 1 e a s tm e a ns q u a r e ) 又称j 学习规则。它利用 的是样本目标值与网络自身所计算出的输出值之间的均方误差最小原 理而不断地进行调节权值和偏置，其学习训练过程如图2 - 4 1 所示。 现以单层单输出的人工神经网络为例。假设每个样本的目标值记 为d i ，也即期望值，与之对应人工神经网络输出值记为y i ，那么所有样 本的均方误差可以写成如下形式： ，：；芝( 吐叫) ： - l ( 2 1 0 ) 再假设人工神经元所采用的活化函数为连续可微的数学函数他) 。 从图2 - 4 1 可以看出，每个人工神经元的激活值为z = ，x + 6 。于是 可以从2 1 0 式很容易得到每个连接权值的梯度 若一( 小y 朋引_ 川扣，n ( 2 由于均方误差最小原理要求在负梯度上有所改变。所以单个权值的调节 就变成 7 i _ i ，i 。，蠢麟熬蘸麟， u 了科技人学坝l 业 w 。= + t 1 ( d ，- y ，) ，( z ，) x ， ，= 1 , 2 ，。，n ( 2 1 2 ) 如果层中所有的人工神经元所使用的活化函数都相同，那么权值调节可 以表达成便于实现并行处理的向量形式，即 a w ，= + r l ( d ，一_ y ，) ，( z ，h ( 2 1 3 ) 式中t 1 称为学习速率，在函数优化中称为步长因子。选取适当的学习速 率可以得到良好的训练结果。在一般情况下，学习速率应在l 范围中 选取。 最小二乘学习规则首先是由m c c l e l l a n d 和r u m e l h a r t 二人于 1 9 8 6 年引入作为人工神经元网络的训练学习规则的。这个学习规则并 行于离散型感知器学习规则，所以，最小二乘学习规则也可以看成连续 型感知器学习规则。因此，最小二乘学习规则被广泛应用于连续型多层 人工神经网络模型训练之中。 2 误差回传算法 误差回传算法( e r r o rb a c k p r o p a g a t i o na l g o r i t h m ) 是多层人工神经 网络训练学习的一种高效率算法，简称b p 算法。它的出现是人工神经 网络研究与应用中的又一个罩程碑。图2 - 4 2 给出了基于误差反传算法 的人工神经网络模型训练示意结构图。 人工神经网络的训练学习过程实际上是一个人工神经元之间的连 接权值和偏置进行不断地调节变化过程。由于在误差回传算法中，人工 神经元之间的权值和偏置的修j 下总是从最后一层的权值和偏置歼始，利 用误差反向递推求解修币前一层的权值和偏置，直到第一层的权值和偏 置。因此，称此算法为误差回传算法。 误差反向传播 倒2 - 4 2 基丁误差网传算法的人j 神经网络榄刑训练示意幽 u 丁科技人学倾i 埯业 2 4 3 训练模式 人工神经网络的训练模式基本上可以分成两种：单样本模式和批量模式。 下面分别对这两种模式加以简要说明。 1 单样本模式 在单样本模式中，权值和偏置的刷新调整是在每一个训练样本呈 现给人工神经网络之后马上按照一定的学习规则进行，而不是把所有的 训练样本全部呈现给人工神经网络之后再去更新权值和偏置。也就是 说，网络每处理一个训练样本就计算出在该样本所对应的权值和偏置误 差导数，更新权值w j ，和偏置b ，一次。然后，再在这组新权值和偏置的 基础上，依照上砸的方法，处理下一个训练样本，直到该样本集合的最 后一个样本。 2 批量模式 批量模式正好和单样本模式相反，它不是一次只针对一个样本进 行学习训练，而一次针对所有的样本进行学习训练。也就是说。将所有 的训练样本全部呈现给网络，等到计算出整体误差之后，网络再去更新 网络中所有的权值和偏置。然后，在这组新的权值和偏置下，再一次将 所有的训练样本呈现给网络，计算出新的一组整体误差，如果这新的一 组整体误差过大，即达不到误差标准，再重新更新网络中所有的权值和 偏置。直到网络所计算出的整体误差达到预先设定的误差标准为止。这 就是批量模式训练的具体过程。其中，按照这种方式进行权值和偏置更 新的每一个小的学习过程在目前的网络训练中称之为一个回合。一般情 况下，权值和偏置的确定需要若干个回合。 这两种模式各有优缺点。从在线操作的角度来看，单样本模式优于批量 模式。因为它对每一个突触链所需的局部存储量小。再有，若样本按随机的 方式呈现给网络，使用单样本模式更新突触权值及偏置，可以使权值和偏置 空自j 的搜索变为随机的搜索，从而使网络下陷入局部最小点的可能性减少。 然而，单样本模式也有其固有的缺点。单样本模式是一个串行计算过程，比 较费时。 批量模式则可以实现并行计算，而且它还可以提供一个更准确的梯度矢 量估值，减少寻优次数。不过，批量模式占用内存大。尤其在样本集合庞大、 9 也r 科技人学颅i ：论文 内存不足的情况下，利用对全体样本集合定义的价值函数的批量模式难以完 成任务。 实际的应用中，可依据具体的实际情况选择适当的训练模式进行网络训 练。例如，对于需要实时处理的数据，可以采用单样本模式。如果已知所有 训练样本并且具有并行处理条件和足够大的存储空间，可以选择批量处理模 式。 2 5 人工神经网络的应用 人工神经网络的计算可以分成两个过程：一个是权值和偏置进行调整阶 段中的模型训练计算过程，如图2 - 4 1 ；另一个就是权值及偏置确定后的网络 计算过程，也即人工神经网络的应用过程，如图2 5 1 。一旦人工神经网络训 练完毕，将最后所得到的权值和偏簧固化在网络结构之中或者存储起来，那 么就可以将此经过训练后的网络投入实际的应用之中。 实际数据 幽2 5 1 受训斤的人l ：神经网络计算应州示意| 鳘| 计算结果 尽管人工神经网络起源于对人类大脑信息处理的模拟和仿真，然而现在 的人工神经网络应用远远地超出了它原有的应用范围。目| j ，它已广泛应用 于模式识别、信号处理、图像处理、智能自动化等各种工程领域。自8 0 年 代以来。人工神经网络模型又被引入电磁工程领域。例如，利用h o p f i e l d 人 工神经网络实现自动解决电磁工程中的阻抗匹配问题i l 引；利用多层回传网络 为m m i c 无源器件i l 叫( v i a 互连线结构、c p u 电路、螺旋电感等) 进行电 磁建模：利用多层回传网络为有源器件h e m t 、f e t 大信号特性建模；利用 多层回传网络为v l s i 互连线不连续结构 1 4 , 1 5 , 1 6 i 的传输线特性进行电磁建模 h 、。醵馨赫豢漱糍 u 了科拙人学坝i ：论丈 等等。正是由于人工神经网络可以通过选择一些特定功能的人工神经元构成 一个具有高度非线性的网络，并且经过训练好的网络又具有高度的实时性等 特点，因此，人工神经网络在当代电磁工程领域中具有广阔的应用前景。 2 ur 科技人学倾l ：论_ ! = = 第三章知识人工神经网络 3 1 引言 知识人工神经网络( k n o w l e d g e - b a s e da r t i f i c i a ln e u r a ln e t w o r km o d e l ) 是 基于前面传统的人工神经元网络而提出的一种新型的人工神经网络。这种新 型的人工神经网络在结构上基本与传统的人工神经网络相同，它们二者之间 的主要区别在于一些建模性能上的差异。知识人工神经网络主要用于特殊情 况下的网络建模，例如难以获得建模对象充足的训练数据。在这些特殊情况 下，普适的传统人工神经网络的建模性能将会急剧下降。正是由于这个原因， 人们提出了这种新型的人工神经网络，用于解决这些特殊问题。 从前一章所介绍的知识中可以看出，传统的人工神经网络在结构上根本 没有体现出建模对象的特殊性。因此，如果将这种类型的人工神经网络用于 电磁建模，那么其所有的训练和学习信息必须来自子它的训练样本。为了保 证训练后可以直接投入应用的模型具有较高的精度和可靠性，往往在训练时 需要大量的训练样本数据。然而，在电磁工程中，训练样本基本上来自于对 建模对象的电磁仿真或实际的物理测量，要产生大薰的训练样本数据，必将 付出高代价的成本。甚至有时由于人力、物力和财力的限制，根本不可能实 现这一目的。 针对这一问题，为了更好地利用人工神经网络的各种优良特性，的确需 要对传统的人工神经元网络加以改进和提高，使之能够在较少的训练样本的 情况下依然能够保持原有的性能或者使之性能得到更进一步的提高。实际 上，人们为了各种不同的目的，对传统的人工神经网络做出了不少的改进和 提高。在这些改进的措施中，比较引人注目的应是知识人工神经网络。 知识人工神经网络的基本思想是将所需建模对象的先验知识引入传统 的人工神经网络之中，从而构成一种新型结构的人工神经网络。先验知识 ( p r i o rk n o w l e d g e ) 可以是解析方程式、经验公式或已训练好的网络模型。 通常情况下，这些先验知识只是简单地反映了建模对象的输入输出参数的映 射关系，往往它们在所需输入参数的工作范围内准确度不够。例如，在低频 弧；参。i 墨赫豢鬟匪滋 u 了科技大学坝l 娩义 情况下，v l s i 互连线的电阻、电感等电气特性基本上可以看成一个常数来 对待，利用简单的经验公式或解析公式就可以进行电路设计。然而，在高频 的情况下，由于趋肤效应和邻近效应，互连线这些电气特性已不再是一个常 数，那么此时原来使用的简单经验公式或解析公式在高性能的电路设计中已 经不再适用了。这时，如果采用知识人工神经网络为这些互连线结构的电气 特性进行建模，那么那些原有的经验公式和解析公式则可以作为引入网络之 中的先验知识。 在电磁工程中已有一些知识人工神经网络的应用。例如，利用差值或注 入知识人工神经网络为双端口微带线接地v i a s 和数据互连线结构进行建模 1 7 , 1 8 1 9 ；利用开关控制知识人工神经网络为传输线及m e s f e t 管的电气特性 建模等等。 在本章中，首先介绍了到目前为止用于电磁工程建模的几种知识人工神 经网络模型：差值模型、注入模型和开关控制模型。在此之后，主要介绍本 论文所提出的两种新型结构的知识人工神经网络稳健的知识人工神经 网络( r k b n n ) 和含知识神经元的知识人工神经网络小n k b n ) 。 3 2 知识人工神经网络模型 在知识人工神经网络之中，根据先验知识的引入方式不同，可以将当前 用于电磁工程中的知识人工神经网络模型加以区分成差值模型、注入模型和 开关控制模型。下面将分别介绍这三种模型的结构及其特点。 3 2 1 差值模型 所谓差值模型( d i f f e r e n c em o d e l ) 是指在网络模型训练过程中将先知的 近似模型的输出值与严格的数值仿真所获得的准确结果之间的差值作为网 络的训练期望值，输入参数保持不变，如图3 - 2 1 所示。该网络结构是p m