（电路与系统专业论文）基于神经网络的非线性电子器件的建模方法研究.pdfVIP

摘要 本文主要是针对当前电路仿真中非线性电子器件还没有一个通用建模方法的问题， 提出了利用神经网络能够逼近任意非线性连续函数这一优点来建立通用模型的方法。 本文首先介绍了现有的非线性电子器件的建模方法，讨论了这些方法的优缺点。最 后得出：这些方法各有各的局限性，不能作为非线性电子器件建模的通用方法。 然后又对神经网络，尤其是前馈网络中的b p 网络及r b f 网络作了介绍。 最后根据神经网络能够进行函数逼近的特点，提出了基于神经网络的非线性电子器 件的通用建模方法，论文中给出了该方法的总体思路和实现的全过程。并对两种网络在 建模过程中的优缺点进行了比较。 、 经过大量实验，这种先由神经网络逼近函数，再将得出的网络结构用p s p i c e 中的电 路描述语言描述而建立非线性电子器件模型的方法取得了成功。这样我们就找到了一个 对非线性电子器件建模的通用方法，该方法对于电路系统的仿真具有十分重要的意义。 关键词：神经网络、p s p i c e 、建模、非线性 a b s t r a c t a tp r e s e n t t h e r ei s n tag e n e r a lw a yt om o d e ln o n l i i l e 盯e l e c t r o n i cp a r t sa n dt h e b a c k p r o p a g a t i o nn e t w o r k a n dt h er b fn e t w o r kc a na p p r o a c ha n yn o n l i n e a ra n dc o n t i n u o u s f u n c t i o n t h i sp a p e rc o m e so u tb a s e do nt h et w of a c t s f i r s t l y , t h i sp a p e ri n t r o d u c e ss o m em e t h o d sa b o u tm o d e l i n gt h en o n l i n e a rp a r t s a n d d i sc l ：i s s e st h ea d v a n t a g e sa n dd i s a d v a n t a g e so ft h em e t h o d sr e s p e c t i v e l ya n dt h e nd r a wa c o n c l u s i o nt h a ta l lo f t h e s em e t h o d sc a n tb e1 l s e da sag e n e r a lm e t h o d s e c o n d l y ，t h en e u r a ln e t w o r k , e s p e c i a l l yt h eb pn e t w o r ka n dt h er b fn e t w o r k , i s i n t r o d u c e d f i n a l l y , w eg e ta i l e wg e n e r a lm e t h o d w h i c hi sb a s e do i lt h en a 【l r a ln e t w o r k ，t om o d e lt h e n o n i i n e a re l e c t r o m cp a r t s a n dt h i sp a p e ri n t r o d u c e si t sg e n e r a ls c h e m ea n dp r o c e s s c o m p a r i s o n so f t h em e r i ta n ds h o r t c o m i n gb c c w c c nu m g t h e s et w om o d e l i n gm e t h o d sa r ep r e s e n t e d a f t e ran u m b e ro fe x p e r i m e n t s ，t h i ss c h e m e ，a p p r o a c h i n gaf u n c t i o nw i mn e u r a ln e t w o r k a n dd e s c r i b i n gt h en e t w o r kw i t hp s p i c e ，i st e s t e ds u c c e s s f u l l y a n dt h e n , w er e c e i v ea g e n e r a lw a yf o rs e t t i n gu pt h en o n l i n e a re l e c l z o n i cp a r t s t h i sm e t h o dw i l lp l a ya ni m p o r t a n t r o l ei nc i r c u i ts i m u l a t i o n k e yw o r d s ：n e u r a ln e t w o r k 、p s p i e e 、m o d e l 、n o n l i n e a r i i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究 工作及取得的研究成果。据我所知，除了文中特别加以标注和致 谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果， 也不包含为获得东北师范大学或其他教育机构的学位或证书而使 用过的材料。与我一同工作的同志对本研究所做的任何贡献均已 在论文中作了明确的说明并表示谢意。 学位论文作者签看：! 堡：! 塾日期：丝盈：6 ：f 学位论文版权使用授权书 本学位论文作者完全了解东北师范大学有关保留、使用学位 论文的规定，即：东北师范大学有权保留并向国家有关部门或机 构送交学位论文的复印件和磁盘，允许论文被查阅和借阅。本人 授权东北师范大学可以将学位论文的全部或部分内容编入有关数 据库进行检索，可以采用影印、缩印或其它复制手段保存、汇编 学位论文。 ( 保密的学位论文在解密后适用本授权书) 廿挂 学位论文作者签名：望! 兰： 指导教师签名： 日期：趁翌z ；! ：j 日 期j 学位论文作者毕业后去向： 工作单位： 通讯地址： 电话： 邮编： 第一章引言 1 1 电路仿真原理 通用电路仿真模拟程序的一般原理和结构如下图所示： 图1 1 通用电路仿真原理及结构图 在使用仿真程序对电路进行分析之前，必须首先将要分析的电路结构以网表文件的 方式输入绘仿真程序。网表文件输入给仿真程序后，仿真程序提取电路拓扑结构和元器 件参数等内容，形成被分析电路的等效电路。在这一过程中，对于复杂元器件要以其等 效模型替代，因此元器件的模型对于仿真分析的精度有很大影响，一般仿真程序都带有 常用器件的元器件模型库供用户直接调用。建立等效电路后，仿真程序将自动建立电路 的方程或方程组，然后根据网表文件中对电路分析的要求，利用高精度高性能的数值计 算方法求解电路方程或方程组，最后根据网表文件中对输出的要求产生输出结果。输出 结果可以是表格、图形曲线、也可以是数据等。 1 2 已有电子器件建模方法概述 对于非线性电子器件的建模，有如下方法 1 面向对象的电子器件建模方法 主要思路：面向对象设计方法通过采用对象和类的概念，可以构造出模块化的、 可重用的、易扩展、维护性好的软件结构。通过将面向对象思想引入到电路仿真程序 的器件建模机制中，既可以有效地缩短器件模型的开发周期，降低开发成本，又可以 将仿真算法与器件模型有机地分割开来，促进仿真算法的发展，从而有助于得到更加 通用的仿真程序【i 】。 弊端：对于一些与模型库中已存在的模型无关联的器件，该方法不能建立其模型。 2 应用m a t l a b 实现非线性电子器件建模 主要思路：先通过实验测量获取一定的数据，再利用m a t l a b 语言中的有关函数 进行处理，从而得到非线性器件的近似数学模型【2 】。 弊端：已有的利用m a t l a b 对非线性电子器件的建模方法，仅给出了器件的数学 模型的建立方法，根本无法将该模型应用于电路仿真。 1 3 p s p i c e l - 3 1p s p i c e 简介 s p i c e 是s i m u l a t i o np r o g r a mw i t hice m p h a s i s 的缩写，该程序是由美国加利福尼 亚大学柏莱客分校电工和计算机科学系开发的，主要用于集成电路的电路分析程序。由 于程序采用完全开放的政策，甩户可按自己需要进行修改，加之实用性好，薄利的推广， 并又移植到i b m p c ，u n w a x ，r c a 及p d p 等型号计算机上，所以在全世界广为应用。 s p i c e 在1 9 8 8 年已定为美国国家工业标准。 p s p i c e 是s p i c e 电路模拟器家族中的一员，是首先用于i b m p c 机上基于s p i c e 的模拟器。p s p i c e 不仅可以进行直流分析，交流小信号分析，瞬态分析，电路的温度特 性分析；还可以进行统计分析，数字模拟、数模混合模拟；p s p i c e 还建立了模型库，用l i b 语句可直接调用库中各种器件的模型参数及电路的宏模型参数；p s p i c e 还允许用户自己 修改已有的模型参数或器件的方程，即可重复建模。 p s p i c e 程序在3 o o 以后的版本均是用c 语言改写的，5 0 0 以上版本是在w i n d o w s 环境下，并且是一个模拟电路和数字电路的混合仿真软件。 1 3 2p s p i c e 的基本组成 p s p i c e 由如下六个基本程序模块组成： ( 1 ) 电原理图输入程序s c h e m a t i c s p s p i c e 的输入基本上是以电路原理图和网单文件两种形式。以电原理图形式输入比 较简单、直观。电路元器件符号库中备有绘电原理图所需的元器件符号，除了电阻、电 容、电感、晶体管、电源等基本的器件级符号外，还有运放、比较器等宏模型级符号， 以及数字电路的寄存器和各种门等单元符号。用户从符号图形库中调出所需的电路元器 件符号，组成电路图，由原理图编辑器自动将原理图转化为电路网单文件，并标上节点 号，提供给仿真工具进行仿真。如果用户熟悉仿真程序的输入语言，又没有将原理图存 档的需求，也可以直接输入电路网单文件。 ( 2 ) 激励源编辑程序s t i m u l u se d i t o r p s p i e e 中信号源种类较多，尤其是瞬态分析的信号源，有正弦源、脉冲源、指数源、 分段线性源、单频调频源等等。为了方便用户设定这些信号源，p s p i c e 用激励源编辑程 序帮助用户快速地建立输入信号源的波形。 ( 3 ) 电路仿真程序p s p i c e a d 电路仿真程序是p s p i c e 的核心部分。它的仿真功能包括：直流工作点分析、直流 转移特性分析、直流小信号传输函数计算、交流小信号分析、交流小信号噪声分析、瞬 态分析、傅立叶分析、直流灵敏度分析、温度分析、最坏情况分析和蒙特卡罗统计分析 等等。在p s p i c e 4 1 版本以后，该仿真程序具有数字电路与模拟电路的混合仿真能力， 为数模混合电路的仿真提供了方便，但p s p i c e 的优势还是在模拟电路方面。 电路仿真程序接收电原理图输入程序的电路拓扑和元器件参数信息，经过元器件模 型处理形成电路方程，求电路方程的数值解，最后给出计算结果。程序的构成和流程图 如图1 2 所示。仿真结果一般以图形文件( d a t ) 和数据文件( o u t ) 两部分组成。 ( 4 ) 输出结果绘图程序p r o b e p r o b e 程序是p s p i c e 的输出图形后处理软件包。它接受仿真程序输出的绘图文件 ( ，d a t ) ，在屏幕上绘出仿真结果的曲线、波形，还可以硬拷贝到打印外设上。随着 计算机图形功能的不断增强，p c 机上w i n d o w s 的出现，p r o b e 的绘图能力越来越强。 2 i 电路拓扑和元器件参数信息 j ， l元器件模型处理 山 l建立电路方程组 山 f求解电路方程 山 i输出结果 图1 2 电路仿真程序流程 ( 5 ) 模型参数提取程序p a r t s 电路仿真工具的分析精度、可靠性和实用性在很大程度上取决于电路元器件模型及 模型参数的精度。目前主要是依靠模型参数库提供。由于模拟电路的元件种类繁多，且 模型参数库规模有限，p s p i c e 中给出了一个从器件特性中直接提取模型参数的软件包 p a r t s 。这是一个优化提取的程序，根据用户给出的元器件特性或参数初值用曲线拟合等 优化算法，得到参数的最优解。鉴于s p i c e 的半导体器件模型参数很多，例如m 0 s 场 效应管有4 0 6 0 个模型参数，而且是工艺参数，整体提取十分复杂。p a r t s 参数提取程 序只具备最基本的功能。 图l j 电路分析流程图 ( 6 ) 元器件模型参数库 p s p i c e 提供的元器件模型参数库都以u b 的文件形式放在l b 目录中，供仿真程 3 序调用。除了各有分立元件参数库以外，还有集成电路的宏模型库，并提供了一些著名 的器件和i c 生产厂家的专有元器件参数库，例如：二极管库d i o d e l i b ，双极型晶体 管库b i p o l a r l i b ，通用运算放大器库l i n e a r l i b ，晶体振荡器库x t a l l i b ；美国 a n a l o gd e v i c e 公司、h a r r i s 公司等专用i c 宏模型库，以及数字电路7 4 系列、p a l 、g a l 等器件模型参数库等，共计有几十个之多，随着p s p i c e 版本的更新，这个库还在不断 扩大。 用p s p i c e 进行电路分析与设计时，各个程序模块之间的关系和设计流程如图1 3 所示。 1 4 p s p i c e 中已有非线性器件建模方法概述 目前，电路系统仿真中的模型主要有两种物理模型和宏模型【3 1 。 所谓物理模型( p h y s i c a lm o d e l ) ，即是根据电子器件的物理特性建立起来的模型。 由于器件的参数只有通过生产器件的厂家才能获得，因此，电路仿真中，一般不采用此 建模方法。 宏模型( m a c r om o d e l ) 是电路子系统的等效电路，以端点变量对原电路进行精确 的描述。对于非线性电子器件，宏模型的表示方法主要有多项式法、函数法和查表法等， 但这些方法又受到诸多限制： 1 4 1 多项式 受控源允许用非线性多项式表示输入输出的函数关系。其一般格式为： e ( 输入值2 ，输出值 2 ) 该表的输出为( 表达式) 。表达式的值先计算出来，然后再根据该值在表中查找相应的 值，这表本身是由许多对数值所组成的，每对值中第一个值为输入，第二个值为输出， 在两对数值之间的值，程序进行线性内插。这样，在精度要求较高时，查表法亦无能为 力。 人工神经网络所具有的非线性特性、大量的并行分布结构以及学习和归纳能力使其 在诸如函数逼近、建模、时间序列分析、模式识别、信号处理以及控制等方面得到广泛 的应用。尤其面对缺少物理或统计理解、观察数据中存在着统计变化、数据由非线性机 制产生等棘手问题，神经网络能够提供较为有效的解决方法。 所谓函数逼近，就是用输入矢量和相应的输出矢量训练一个网络逼近一个函数。理 论证明：具有s i g m o i d 非线性传输函数的三层神经网络可以以任意精度逼近任何连续函 数。 综上，基于目前还没有一个对非线性电子器件的通用建模方法，神经网络又能很好 地逼近任何传输函数，本文提出了基于神经网络的非线性电子器件的通用建模方法。 4 第二章神经网络原理及学习规则 2 1 神经网络简介 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ，a n n ) ，亦称为神经网络( n e u r a ln e t w o r k s ， n n ) ，是由大量处理单元( 神经元n e u r o n s ) 广泛互联而成的网络，是对人脑的抽象、 简化和模拟，反映人脑的基本特性。人工神经网络的研究是从人脑的生理结构出发来研 究人的智能行为，模拟人脑信息处理的功能。它是根植于神经学、数学、统计学、物理 学、计算机科学及工程等学科的一种技术。 2 1 1 生物神经元模型 在人类大脑皮层中大约有1 0 0 亿个神经元，6 0 万亿个神经突触以及它们的联接体。 单个神经元处理一个事件需要1 0 3 秒，而在硅芯片中处理一个事件只需1 0 4 秒。但人脑 是一个非常高效的结构，大脑中每秒钟每个动作的能量约为1 0 。6 焦耳，而当今性能最 好的计算机进行相应的操作需要1 旷焦耳。 神经元是基本的信息处理单元。生物神经元主要由树突、轴突和突触组成。其结构 示意图如图2 1 所示。 圈2 1 生物神经元模型 其中树突是由细胞体向外伸出的，有不规则的表面和许多较短的分支。树突相当于 信号的输入端，用于接受神经冲动。轴突是由细胞体向外伸出的最长的一条分支，即神 经纤维。相当于信号的输出电缆，其端部的许多神经末梢为信号输出端子，用于传出神 经冲动。神经元之间通过轴突( 输出) 和树突( 输入) 相互联接，其接口称为突触。神 经突触是调整神经元之间相互作用的基本结构和功能单元，最通常的一种神经突触是化 学神经突触，它将得到的电信号转化成化学信号，再将化学信号转化成电信号输出。这 相当于双接口设备。它能加强兴奋或抑制作用，但两者不能同时发生。细胞膜内外有电 位差，约为2 0 一1 0 0 m v ，称为膜电位。膜外为正，膜内为负。 神经元作为信息处理的基本单元，具有如下重要的功能： 1 1 可塑性：可塑性反映在新突触的产生和现有神经突触的调整上，可塑性使神经 网络能够适应周围的环境。 2 1 时空整合功能：时间整合功能表现在不同时间、同一突触上；空问整合功能表 现在周一时间、不同突触上。 3 ) 兴奋与抑制状态：当传入冲动的时空整合结果，使细胞膜电位升高，超过被称 s 为动作电位的阈值( 约为4 0 i n v ) ，细胞进入兴奋状态，产生神经冲动，由轴突输出； 同样，当膜电位低于阈值时，无神经冲动输出，细胞进入抑制状态。 4 ) 脉冲与电位转换：沿神经纤维传递的电脉冲为等幅、恒宽、编码( 6 0 - - l o o m v ) 的离散脉冲信号，而细胞电位变化为连续信号。在突触接口处进行“数模”转换。神 经元中的轴突非常长和窄，具有电阻高、电压大的特性，因此轴突可以建模成阻容传播 电路。 5 ) 突触的延时和不应期：突触对神经冲动具有延时和不应期，在相邻的二次冲动 之间需要一个时间间隔。在此期间对激励不响应，不能传递神经冲动。 6 ) 学习、遗忘和疲劳：突触的传递作用有学习、遗忘和疲劳过程。 2 1 2 人工神经元模型 人工神经网络是由大量处理单元广泛互连而成的网络，是人脑的抽象、简化和模拟， 反映人脑的基本特性。一般来说，作为神经元模型应具备三个要素： 1 具有一组突触或联接，常用表示神经元f 和神经元，之间的联接强度，或称 之为权值。与人脑神经元不同，人工神经元权值的取值可在负值与正值之间。 2 具有反映生物神经元时空整合功能的输入信号累加器。 3 具有一个激励函数用于限制神经元输出。激励函数将输出信号压缩( 限制) 在 一个允许范围内，使其成为有限值，通常，神经元输出的扩张范围在( o ，1 ) 或( 1 ， 1 ) 闭区间。 p l p z ： 所 r 一一一一一一一一一一一一一一1 口 l 一一一一一一一一一一j 一_ i - _ - 、一、_ 输入神经元输出 图2 2 人工神经元模型 一个具有r 个输入分量的神经元如图2 2 所示。其中，输入分量p j 盯= j ，2 ，通过 与和它相乘的权值分量w j 0 = l ，2 ，相连，以w j p 的形式求和后，形成激活函数 同 厂“) 的输入。激活函数的另一个输入是神经元的偏差b 。激活函数厂“j 可取不同的 函数，但常用的激活函数有三种，即阙值函数、分段线性函数和s i g m o i d 函数。 权值彬和输入的矩阵形式可以由矿的行矢量以及p 的列矢量来表示： w = 【w l w 2 m 】 p = p l p 2 p ，】7 神经元模型的输出矢量可表示为： 6 a - - f ( w + 尸+ 6 ) = ，( w ，p ，+ 6 ) j = l 可以看出偏差被简单地加在w * p 上作为激励函数的另一个输入分量。实际上偏差 也是一个权值，只是它具有固定常数l 的输入。在网络的设计中，偏差起着重要的作用， 它使得激活函数的图形可以左右移动而增加了解决问题的可能性。 2 1 3 神经网络的结构 只有上亿个生物神经元连接成生物神经网络，才能完成对外部感知信息进行的处 理、记忆、学习等。同样，单个人工神经元往往不能完成对输入信号的处理，它要按一 定的规则连接成网络，并让网络中每个神经元的权值和闽值按一定的规则变化，才能实 现所设计神经网络的功能要求。人工神经网络的连接形式和其拓扑结构多种多样，但总 的来说有两种形式，即分层型和互连型神经网络。 分层型神经网络的拓扑结构如图2 3 所示，它又分为前向网络和反馈网络嘲。 羽 图2 3 分层型神经阿络的拓扑结构 分层型神经网络将所有神经元按功能分为若干层，一般有输入层、中间层和输出层， 各层顺序相连。因为中间层不直接与外部输入和输出打交道，所以又称为隐层。根据处 理功能的不同，隐层可以有多层( 一般不超过两层) ，也可以没有。 互连型神经网络的拓扑结构如图2 4 所示，其网络的任意两个神经元都相互连接， 构成全互连神经网络；如果不是全部的神经元都彼此相互连接，则构成局部互连神经网 络。 图2 4 互连型神经网络 在人工神经网络发展过程中，对生物神经系统己从不同的角度进行了不同层次的描 述和模拟，提出了各种各样的神经网络模型，其中具有代表性的网络模型有感知器神经 网络、线性神经网络、b p 网络、径向基网络、自组织网络、反馈网络等等。 2 1 4 人工神经网络的应用 人工神经网络所具有的非线性特性、大量的并行分布结构以及学习和归纳能力使其 在诸如函数逼近、建模、时间序列分析、模式识别、信号处理以及控制等方面得到广泛 的应用。尤其面对缺少物理或统计理解、观察数据中存在着统计变化、数据由非线性机 7 制产生等棘手问题，神经网络能够提供较为有效的解决方法。 2 2b p 网络的学习及训练规则 反向传播网络( b a c k - p r o p a g a t i o nn e t w o r k ，简称b p 网络) 是将w - h 学习规则一般 化，对非线性可微分函数进行权值训练的多层网络。 在人工神经网络的实际应用中，b p 网络广泛应用于函数逼近、模式识别分类、数 据压缩等，8 0 一9 0 的人工神经网络模型是采用b p 网络或它的变化形式，它也是前 馈网络的核心部分，体现了人工神经网络最精华的部分。 2 2 1b p 网络模型 b p 神经元模型如图2 5 所示。 p 1 p 2 ： p r 图2 5b p 神经元的一般模型 b p 神经元与其他神经元类似，不同的是b p 神经元的传输函数为非线性函数，最 常用的函数是l o g s i g 和t a n s i g 函数，有的输出层也采用线性函数p u r e l i n 。 b p 网络一般为多层神经网络。由b p 神经元构成的二层网络如图2 6 所示。b p 网 络的信息从输入层流向输出层，因此是一种多层i ；i 馈神经网络。 誊入向量 皇层llltlll晏 ，_ _ 、_ 、厂_ 、 p 、! ! ! ! ! ，、鲨!翌， t 1 1 2 ，s l ； i = l 2 , r k = 1 2 s 2 图2 6 两层b p 神经网络模型 2 2 2b p 网络的学习规则 b p 网络的产生归功于b p 算法的获得。b p 算法属于巧算法，是一种监督式的学习 算法。其主要思想为：对于q 个输入学习样本：一，p ，已知与其对应的输出样本 为：一，p 。学习的目的是用网络的实际输出a 1 , a 2 ，与目标矢量，尹之间 的误差来修改其权值，使a t , ( 1 = l ，z 与期望的，尽可能地接近；即：使网络输出层 的误差平方和达到最小。它是通过连续不断地在相对于误差函数斜率下降的方向上计算 网络权值和偏差的变化而逐渐逼近目标的。每一次权值和偏差的变化都与网络误差的影 响成正比，并己反向传播的方式传递到每一层的。 8 b p 算法是由两部分组成：信息的正向传递与误差的反向传播。在正向传播过程中， 输入信息从输入经隐含层逐层计算传向输出层，每一层神经元的状态只影响下一层神经 元的状态。如果在输出层没有得到期望的输出，则计算输出层的误差变化值，然后转向 反向传播，通过网络将误差信号沿原来的连接通路反传回来修改各层神经元的权值直至 达到期望目标1 6 j 。 为了明确起见，现以图2 6 所示两层网络为例进行b p 算法推导，其简化图如图2 7 所示。 k - l 。2 ，s 2 ； i - - 1 。2 ，。s i ： # 1 2 。f 图2 1 具有一个隐层的两层神经网络简化网络图 1 信息的正向传播 ( 1 ) 隐含层中第f 个神经元的输出为： a l j = 厂1 ( w l f p ，+ b l j ) ，i - - 1 , 2 ，1 爿 ( 2 ) 输出层第k 个神经元的输出为： a 2 i = f 2 ( z w 2 b a l f + b 2 i ) ，k = l 一2 ，s 2 ( 3 ) 定义误差函数为： e ( w ，丑) = ( f 。- a 2 ) 2 2 利用梯度下降法求权值变化及误差的反向传播 ( 1 ) 输出层的权值变化 对从第f 个输入到第k 个输出的权值有： 妣“= 1 老= 1 器器 = r t ( t t a 2 i ) f 2 a l f = r t s “a l ， 其中； 以= 瓴- a 2 ) f 2 = e k f 2 同理可得： e k = t k - a 2 i a b 2 “= 唧舞一叩盖甏 = r l ( t k - a 2 t ) f 2 - - 唬 9 ( 2 1 ) ( 2 2 ) ( 2 3 ) ( 2 4 ) ( 2 5 ) ( 2 6 ) ( 2 7 ) ( 2 ) 隐含层权值变化 对从第，个输入到第，个输出的权值，有： 帆，叫老= 1 啬普蔫 = ，7 ( t k a 2 i ) f 2 w 2 “f l p ，= 峨p ， 其中： ( 2 8 ) ( 2 9 ) 同理可得： a b 2 目= 礁 ( 2 1 0 ) 在m a t l a b 工具箱中，上述公式的计算均已编成函数的形式，通过简单的书写调 用即可方便地获得结果。具体有： 1 ) 对于( 2 1 ) 式所表示的隐含层输出，若采用对数s 型激活函数，则用函数i o g s i g m ； 若采用双曲正切s 型激活函数，则用函数t a n s i g m ： 2 ) 对于( 2 2 ) 式所表示的输出层输出，若采用线性激活函数有p u r e l i n m 与之对应； 3 ) 对于( 2 3 ) 式所表示的误差函数，可用函数s u m s q r m 求之； 7 4 ) 有l e a r n b p m 函数专门求( 2 4 ) ( 2 7 ) ( 2 8 ) 和( 2 1 0 ) 式所表示的输出层以及 隐含层中权值与偏差的变化量： 5 ) 有( 2 5 ) 和( 2 9 ) 式所表示的误差的变化有函数d e l t a l i n m ，d e l t a t a n m 和 d e l t a l o g m 来解决。它们分别用于线性层、双曲正切层和对数层。 3 误差反向传播的流程图与图形解释 误差反向传播过程实际上是通过计算输出层的误差如，然后将其与输出层激活函数 的一阶导数刀相乘来求得j 矗。由于隐含层中没有直接给出目标矢量，所以利用输出层 s 2 的j 酊进行误差反向传递来求出隐含层权值的变化量w 2 蔚。然后计算q = 民w 2 。， k = l 并同样通过将白与该层激活函数的一阶导数，1 相乘，而求得艿f ，以此求出前层权值的 变化量w lf 。如果i ； 面还有隐含层，沿用上述同样方法以此类推，一直将输出误差以 一层一层的反推算到第一层为止。图2 8 给出了形象的解释。 口l 吃 气 k = 1 2 s 2 ：l = i 2 s l ；芦1 2 ， 图2 8 误差反向传播法的图形解释 1 0 材 眈 矗 n h i i p 印 p = 瓯 b p 算法要用到各层激活函数的一阶导数，所以要求其激活函数处处可微。对于对 数s 型激活函数贝疗) = i 之i ，其导数为： 删= 锗= 击c 1 + e - 月- 1 ) = 专( 1 一存) = 八州l m ) 】 对于线性函数的导数有： ，- ( 行) = 雄= l 对于具有一个s 型函数的隐含层，输出层为线性函数的网络，有： f 2 。1 ，厂1 k a ( 1 - a ) 2 2 - 3b p 网络的训练过程 为了训练一个b p 网络，需要计算网络加权输入矢量以及网络输出和误差矢量，然 后求得误差平方和。当所训练矢量的误差平方和小于误差目标，训练即停止，否则在输 出层计算误差变化，且采用反向传播学习规则来调整权值，并重复此过程。当网络训练 完成后，对网络输入一个不是训练集合中的矢量，网络将以泛化方式给出输出结果。 在动手编写网络的程序之前，必须首先根据具体问题给出输入矢量p 与目标矢量t ， 并选定所要设计的神经网络的结构，其中包括以下内容： a 网络的层数；b 每层的神经元数；c 每层的激活函数 理论上已经证明：具有s i g m o i d 非线性传输函数的三层神经网络可以以任意精度逼 近任何连续函数。增加层数主要可以更进一步的降低误差，提高精度，但同时也使网络 复杂化，从而增加了网络权值的训练时间。而误差精度的提高也可以通过增加隐含层中 的神经元数目来获得，其训i 练效果也比增加层数更容易观察和调整。所以一般情况下， 应优先考虑增加隐含层中的神经元数。一般的讲，隐含层中神经元数的选择原则是：在 能够解决问题的前提下，再加上一到二个神经元以加快误差的下降速度即可。 下面就以两层网络为例来叙述b p 网络的训练过程： 在m a t l a b 神经网络工具箱中，只要我们设计好了网络，给定了初始量：如期望 误差e r rg o a l ；最大循环次数m a x修正值的学习速率 等，所有的学习规则和训练_epoch；lr 过程只需用函数t r a i n b p m 来完成，具体格式为 t p = d i s p _ f r e qm a x _ e p o c h e r rg o a l k 】； ( 2 1 1 ) 【w ，b ，e p o c h s ，e r r o r s = t r a i n b p ( w , b ，f ，p , t , t p ) ( 2 1 2 ) 调用此函数后，程序就会自动给出网络训练结果及网络各层神经元权值w 和阈值 b 2 3 径向基神经网络的学习及训练规则 径向基函数( r a d i a lb a s i sf u n c t i o n ，r b f ) 方法是在高维空间进行插值的一种技术。 b r o o m h e a d 和l o v e 在1 9 9 8 年率先使用该技术，提出了神经网络学习的一种新手段。 2 3 。1 径向基网络模型 径向基神经元模型如图2 9 所示。 p l p 2 ： p r r 1 1 r 圈2 9r b f 神经元模型 其输出表达式为 口= ：0 1 w - 1 l 6 ) = 砒0 陟一捌6 ) 式中：r a d b a s 为径向基函数，一般为高斯函数： a ( n ) = r a d b a s ( n ) = d ” 其光滑性好，径向对称，形式简单，有 杪一硎= = ( 矿一p 7 ) 缈一p 7 ) 7 】l ，2 称之为欧几罩得距离。 径向基函数的图形和符号如图2 1 0 所示。 矗 1 0 i 一- - - - - - 、f ，f - - - - 5 f 一 、i 一0 8 3 30 0 8 3 3 刀 图2 1 0 径向基函数的传输特性和符号 ( 2 1 3 ) ( 2 1 4 ) ( 2 1 5 ) 径向基神经网络同样是一种前馈反向传播网络，它有两个网络层：隐层为径向基层； 输出为一线性层，如图2 1 1 所示。 譬人向量 径向基层 箍性层 ，_ _ 、_ 、，、 l 已、! ! ：!里，、! 竺!：垩， l 、一1 1 ：_ j 图2 1 1 径向基函数网络模型 网络的输出为 a l = r a d b a s ( n 1 ) ( 2 1 6 ) a 2 = p u r e l i n ( w 2 a l + b 2 1 ( 2 1 7 ) 以1 = 慨一啡4 b l ( 2 1 8 ) = ( d i a g ( ( w l - o n e s ( s 1 ，1 ) # p ) ( 1 一o n e s ( s l , 1 ) * p ) ) ) “o 5 $ 觇 式中：d i a g ( x ) 表示矩阵向量主对角线上的元素组成的列向量；“胪和“p 分别表示 数量乘方和数量乘积( 即矩阵中各对应元素的乘方和乘积) 。 下面讨论径向基网络的工作特性。从图2 1 0 所示的径向基传输函数可以看出，只有 在距离为0 时，其输出为l ；而在距离为0 8 3 3 时，输出仅为0 5 。假如给定一个输入向 量，径向基神经元将根据各输入向量与每个神经元权值的距离输出个值，那些与神经 元权值相差很远( 距离大) 的输入向量产生的输出值趋于0 ，这些很小的输出值对线性 神经元输出的影响可以忽略；相反，那些与神经元权值相差较小( 距离小) 的输入向量 产生的输出值趋于1 ，从而激活第二层线性神经元的输出权值。换句话说，径向基网络 只对那些靠近( 距离接近于0 的中央位置) 输入权值向量的输入产生响应。由于隐层对 输入信号的响应，只在函数的中央位置产生较大的输出，即局部响应，所以该网络具有 很好的局部逼近能力。 从函数逼近的观点看，若把径向基网络看成是对未知函数的逼近，则任何函数都可 以表示成一组基函数的加权和。在径向基网络中，相当于选择各隐层神经元的传输函数， 使之构成一组基函数逼近未知函数。 2 3 2 径向基网络的创建与学习过程 当r b f 网络的径向基层采用高斯函数时，网络的训练，从理论上说应该确定高斯 函数的数学期望、方差及隐层和输出层神经元的权值和阈值。但从图2 1 l 所示径向基 网络的结构上看，当隐层和输出层神经元的权值与阈值确定后，网络的输出也就确定了。 所以径向基网络的学习，仍然是各网络层权值和阈值的修正过程。 当以n e w r b 创建径向基网络时，开始是没有径向基神经元的，可通过以下步骤，逐 渐增加径向基神经元的数目： 1 以所有的输入样本对网络进行仿真； 2 找到误差最大的一个输入样本； 3 增加一个径向基神经元，其权值等于该样本输入向量的转置；阈值b 为： 件夕 呈i ；j p 面 卜 - 式中：s p r e a d 为径向基函数的扩展系数，默认值为1 0 。合理选择s p r e a d 是很重要的， 其值应该足够大，使径向基神经元能够对输入向量所覆盖的区间都产生响应，但也不要 求大到所有的径向基神经元都如此，只要部分径向基神经元能够对输入向量所覆盖的区 间产生响应就足够了。s p r e a d 的值越大，其输出结果越光滑；但太大的s p r e a d 值会导致 数值计算上的困难。 4 以径向基神经元输出的点积作为线性网络层神经元的输入，重新设计线性网络 层，使其误差最小。 5 当均方误差未达到规定的误差性能指标，且神经元的数目未达到规定的上限值 时，重复以上步骤，直至网络的均方误差达到规定的误差性能指标，或神经元的数目达 到规定的上限值时为止。 1 4 第三章基于神经网络的非线性电子器件的p s p i c e 建模 3 1 选用器件 隧道二极管是一典型的非线性电子器件，其特性曲线如图3 1 所示： 图3 1 隧道二极管特性曲线 考虑p s p i c e 已有的非线性电子器件的建模方法： 1 多项式法。由于隧道二极管的传输特性不能有多项式表示，排除1 2 函数法。隧道二极管作为一典型的非线性电子器件，其传输特性亦不能由某 确定的函数表达式表示出来，亦排除1 3 查表法。对于隧道二极管，在精度要求不太高的条件下或许可行。但由于表本 身是由许多离散的数值组成，在两对数值之间，程序进行线性内插。这样，再精度要求 较高条件下，此方法亦显出了其弊端。 对于这样一个要求苛刻的电子器件，我们发挥神经网络能够逼近有理函数、并能很 好地完成从输入到输出映射的优点，设计并训练一神经网络，使其能够很好地拟合隧道 二极管的传输特性曲线，完成从输入到输出的映射。这样，网络训练完成后，任给一输 入值，网络就会给出准确的相应的输出值。 3 2 总体思路 建此模型的总体思路即是在已知隧道二极管几组输入输出值的前提下，运用 m a t l a b 中的神经网络工具箱，通过实验，选定合适的网络( 包括隐含层神经元数、 传输函数等) ，然后对其训练，当达到误差目标时。网络就会很好地完成从输入到输出 的映射。待网络训练结束，记录权值w 和阈值b 。 根据网络输出表达式a = f ( 2 f w i * x i + b i ) ，建模。考虑网络中神经元为多输入，且输出为 几个输入与权值的和的形式，故可采用多项式受控电压源：其一次项系数即为网络训练 后得出的权值w ，常数项为阈值b ，这样一个神经元模型就建立起来了。依此方法，建 立其余神经元模型，最后将所有的神经元连在一起，即形成了整个网络整体思路如图3 2 所示： 1 5 图3 2 建模总体思路图 3 3 基于b p 网络建模的实现过程 3 3 1 设计并训练b p 网络并得出网络参数 根据“具有s i g m o i d 非线性传输函数的三层神经网络可以以任意精度逼近任何连续 函数”的原则，初步选定此网络为具有一个隐含层一个输出层的结构。经过大量试验。 隐含层的神经元数定为8 。至于各层传输函数，线性传输函数不及s 型传输函数映射效 果好。在训练网络逼近隧道二极管特性曲线时，通过设定相同的较大循环次数，网络训练 完成后通过比较误差，证明对数s 型传输函数要比双曲正切s 型传输函数映射效果好。 给出几组隧道二极管的输入输出值，见表3 1 。 表3 1 已知隧道二极管的输入输出值7 】 v t y ) l ( m a )u l 砸a )u 1l ( m a ) 0 0 0 1 81 3 0 80 3 60 3 7 8 l 0 0 22 6 9 0 0 2 01 0 4 20 3 80 3 7 4 4 0 0 44 1 0 20 2 20 8 3 7 40 4 0 0 4 1 2 7 0 0 64 6 2 l0 2 40 7 5 4 40 4 20 5 0 5 3 0 0 84 4 6 00 2 60 6 5 6 60 4 40 6 3 8 0 o 1 03 8 6 00 2 80 5 7 1 80 4 60 7 9 3 5 0 1 23 0 7 90 3 0 0 5 0 1 30 4 81 1 3 9 0 1 42 3 2 70 3 20 4 4 6 40 5 0 2 6 0 5 0 1 61 7 2 60 3 40 4 0 5 30 5 28 o o o 对网络初始化后，开始对其训练，并可画出结果来观察初始网络是如何接近所期望 训练的输入输出关系。图3 3 ( a ) 一图3 3 ( d ) 给出了网络输出值随训练次数的增加而 变化的过程。每个图中标出了循环次数及当时的误差平方和。 ( ”+ 叶表隧道二极管的特性曲线，”代表网络的输出值) 圈3 3 ( i ) ，练1 0 0 次 图3 3 ( b ) 训练5 0 0 次 表3 2 网络训练完成后的权值及闷值 网络训练完成后的误差平方和为0 0 0 3 3 ，记录各权值w 及阈值b (