（计算机应用技术专业论文）神经网络在仿真建模中的应用研究.pdf

摘要 本丈是在研究仿真及建模理论如识基础上，研究了建模技术的方法 争在建模过程中荐在鳃爨罐，腹南深入研究了磅经网络方法建摸技拳。 丈中从b p 神缀网络模爨理论、神经网络泛化能力评估模型和模糊神经 网络建模方法三个方面研究了仿真建模的神缀网络模型；研究了非线性 建模援拳毒口定燃仿真技术；最后结合实倒分月从仿真申神经网络模型及 学习算法：建模中神经网络模型的改善；非参数回归逡模方法等方面深 入地研究了仿真中神经网络建模技术。从而得出利用神经网络方法在仿 真中建模是一种行之有效的方法，特别是对于非线性复杂系统效聚更佳。 关键诵： 枣经瓣终 线缝 穆奏蕊疆 a b s t r a e t 1 1 1 i sa n i c l ei si nt h er e s e a r c hs i m u l a t i o na n di nt t l em o d e l l i n gt h e o r v 蠹l o w l o 莲g e 岛珏羲d 鑫圭i o 珏，凇ss l u 纛i e d 镪。撙烈圭e l i 凌g 重e d 扭o l o g ym e 氇o da 秘d 妇 d i 衢c u l t ym a te x i s t si nt h em o d e l l i n gp m c e s s ，日1 u s 也o r o u g m yh a ss t u d i e d n e u r a ln e t w o r km e m o dm o d e l i n gt e c h n o l o g y i nt h ea r t i d e 疗o mt h eb p n e u r 越n 娃w o l l 鞋o d d 搬e o kt h en e u r a ln e t w o r ke x l 王d e s 氇e8 b i l i 拉t o a p p r 幽s e 圭b em o d e l 矗| 】dt 量l ef h z z v 撇u r a 重n e t w o r km o d e l i n gm e t b o dt h r e e a s p e c t sh a v es t u d i e d 廿1 es i m u l a t i o nm o d e l l i n gn e u r a ln e t w o r km o d e l ；h a s s t u d i e dn o i 卜l i n o 黻m o d e l i n gt e c h n o l o g ya n d出eq u a l i t a 6 v es i m u l a t i o n t e e 酝o l o g y ；f i n a l l y 龋i 蠢e s 啦ee x 黝p l e 哪躺稔垮f r o m 蚀s i m u l 嬲傩浊 n e u r a ln e t w o r km o d e la n dt h es t u d va 1 窿o r i t h m ：i nm o d e l l i n gn e u r a ln e t w o r k m o d e li m p r o v e m e m ；t h en o m p a r a m e t e rr e t u mm o d e l l i n gm e t h o da n dt h e e x p 科专s y s t e f 珏a 王落 珏ea 娃i 垂至c i a ln e 群a l 秸e 豫母纛s 舀鞋聂e 1 e 疆a s p e 式糕ds oo 珏 、v a l lt h o r o u g h l vh a v es t u d i e di nt h es i m u l a t i o nn e u r a ln e t w o r km o d e l i n g t e c h n 0 1 0 窟y t h u so b t a i n sm ou s en e l l r a ln e t 、v o r km e t h o di nt h es i m l a t i o nt h e m o d e l i 娃gi so n ee 蠖毫c 重i v e 檬e t h o d ，i ss e e i a l l yb e 链e ff e g a r d i n g 氆en 蝴一l i n e 嚣 c o m p i c xs y s t e _ 啦e 蜡宅c t k e yw o r d s ：n e u r a in e 协7 0 r k n o n l i n e a rs i m u l a t i o n m o d e l i n g 。2 第一耄概述 影响仿真系统逼真程发的一个藏要因素是模型的建立。在实际中模 型的实现往往也要求多层次、多样化、多途径。半实物仿真中，有的模 型直接用实物表现；有的模型用严格精确的数学逻辑表迭。而大多数系 统动态过程模鍪鲻需要穰锯执理( 物理、纯学等的定露、定理) 建立模 型。幽于系统非线性、不确定性、复杂性，采用机理建模根本不能完全 复现系统，而往往利用人的知识和经验却能很好地表征这个系统。由此 秀盘，对系统复杂对象避行系统仿真争谔话露，系统嘉在矢量暴蕊模式 的信息数据( 定蹙的、半定量的、定性的) ，它们从不r 角度不同屡次反 映系统的行为，需要建立多层次、多样化的横型。 近年来，人工智能的蓬勃发展，为智能技拳在仿真中的应强提供了 可能挂。一些不确定性复杂系统西建模，可以采用人工智能技术优化模 型，建立模型，将数值模型与非数绒模型融合起来。 对一些无法用传统机理建立模型的系统，可以采用以人的经验和知 识建立镌模壁，帮连行模嬲建模；也可以采簿神经网络馥办法，竭为砖 经网络具有能够任意逼近非线性函数的能力。另外，遗传算法是最新兴 起的智能计算技术，它是借鉴生物祭的自然选择和遗传机制的随机化搜 索算浓。吴有骏囊速度抉处理信惑羹大等特点，运过反复迭戎最终稳够 找到全局最扰解。因此，模糊辨识、神经网络辨识和遗传算法辨识是智 能辨识方法。概括起来讲，智能辨识是利用智能技术把复杂系统的本质 信息不霹层次地浓缩蔽趣应模型类麓撼述影式。人稍逐濒把定控糖理、 智能亿的概念i l 入列辨识领域，最直接的是瓤人工智能如专家系统加到 传统辩识系统的顶层，形成指导协调式的专家辨识；还有把人的经验和 知识，定量计算岛定性推理融合起来盼模糊辨识；把模糊推理网络化的 模翱神经网络辩识等等。这些智髓辫识方法无疑丰富了辨识的方法。这 些方法对于一避不确定、大滞后、非线性复杂系统，是一种有效的辨识 方法。 有菸系统是一个较复杂非线槛过程。以往对琵系统髓建模一簸是基 于机理而推出的非线性模越，也有近似的低阶线性模型。然而，非线性 模型过于复杂，不利于仿真实时性，且两种方法都有巢蝗物理参数难以 获撂戆爨难。嚣毙，我搦进行了毒申缀转络建摸蟹究，研究了造一步提高 神经网络的辨识精度和计算速度，网络的泛化问题，解决了模糊逻辑与 神经网络融合的模糊神经网络建模。 4 l 。l 计篝视德奏方法 2 0 世纪4 0 年代，随着第一台电子计算机的诞生，出砚了一种新的科 学研究方法计算氟仿真( e 。街p h t 。rs i m 娃l 强) 方法哪，帮骨算撩模耘 方法，是指在电子计算机上建立某一现存或虚拟系统的模型，对该系统 的结构和行为进行动态仿真，从中得到研究者所需要信息，并为决蓑过 程提供依据的一葶争礴究方法。诗算瓿仿真方法是仿真方法鳃一静，仿真 方法包括数学仿真、物理仿真和计算机仿真等。经过几十年的发展，计 算机仿真方法已被广泛地应用在工程技术系统、社会缎济系统、人口系 统、人脑系统等众多的领域之中，诗算枫仿真已发展成为一门耪兴的学 爵，诗算机仿真技术的地位日益提鬣。在 9 9 2 年美莓提出的2 2 矮国家 关键技术中，计算机仿真技术就名列其中。圆外更有学者如圣塔菲研究 所的j 0 h nl c a s t i 等人将计算机仿真方法誉为是近代以来的科学方法论 砖又一场革命。 近代以来，襄验方法成为科学方法的核心，但是直接实验方法又有 很大的局限性，于是，仿真方法出现了。而在仿真方法申，物理仿真方 法又有薷致审的缺隆，这拣导致了数学仿真媳发展。在辩学霹究孛，有 些系统可以建立相应的数学模型，如果模型 b 较简单，则可以直接求解。 然而，实际系统往往比较复杂，变豢和关系较多，所建立的数学模型不 售动计算机统无法实际应用。甚至在很多研究系统孛，只罔数学模型不 能描述研究对象。 首先，有些密际研究系统难以用数学模型去描述和求解，必须运用 包含数学部分和规别部分的数学逻辑模型。太爱的社会系统属于这一类。 英次，有垂系统可以簿数学模登去仿真，但模墅黎复杂，计算量菲 常大，如果不借助计算机，则缺乏实际应用价值。有必自然系统属于这 一类。比如天气系统，人类很早就发现了关于其变量之间关系的方程组， 可在离撞琵致蛩雾瓿交理以莆，天气鞭壤仍然很不准确。这正是镯立诗 算机仿真方法的客观必要性。 物理仿真方法的缺陷则在于： 第一，骞些裳际系统太贵重，即使用物褒仿真方法也不合算，如飞 机训练等。 第盎，有些褰际系统危害大，危险性大，无法用物理方法进行良好 仿真，如战争，棱爆炜等。 第三，在j 盖程仿真领域，如缀济，辛主会等系统，物理仿真实验不 可能实现。 第婿，物理仿真方法仍然不能实现系统在完全相同磐件下的霪复实 验。 以上论证说明，就仿真方法而言，计算机的应用使得模型研究的复 杂性和灵活性都获得了质的飞跃。 同时，计算机仿真方法的出现也是可能的。 首先，第一台电子计算机的出现于2 0 世纪4 0 年代。大型高速电子 计算机问世以后，相应的计算机科学与电子技术得到了空前的大发展， 这就给计算机仿真创造了物质基础。 其次，自2 0 世纪4 0 年代以来，系统论、信息论、控制论的出现， 系统科学的发展，相似理论的形成，给计算机仿真提供了理论支持。 我们知道，直接实验由实验者、实验对象和实验手段这三个基本部 分构成，其中实验手段是由实验仪器、设备等客观实在的物理构成。实 验手段的水平，决定着实验者科学认识所能达到的水平。而间接实验是 由实验者、实验手段、实验模型和客观原型这几项构成的。其实验过程 就是实验者借助实验手段作用于仿真客观原型的实验模型，从而获得在 自然条件下难以获得或无法获得的关于客观原型的认识。而计算机仿真 方法作为一种综合理论方法和实验方法的崭新方法，其构成又是怎样的 呢? 在计算机仿真方法中，实验手段主要是指电子计算机，而实验模型 则由两个部分构成。一个是关于客观原型的数学逻辑模型或数学模型， 合称一次模型；一个是由一次模型转变而来的主要由计算机程序组成的 仿真模型。因此，我们可以说，计算机仿真方法由以下5 个部分组成： 实验者、电子计算机、计算机程序模型、一次模型、客观原型。 在计算机仿真方法中，模型兼具实验手段和实验对象的双重性质。 而电子计算机作为实验手段更是有着其不同于一般手段的特殊性。 第一，电子计算机作为人类有史以来最伟大的工具和实验手段，是 人类思维的扩展。以前的工具只是扩展了人类的体力，克服了人类感观 的生理局限；而电子计算机则扩展了人类的脑力，克服了人脑的生理局 限。它有着强大的运算能力和逻辑处理能力，能够编制复杂的程序并模 仿人类的思维过程。新型的大型计算机每秒运算能力早已突破了万亿次， 而强大的指令集更能处理非常复杂的逻辑关系。现代人工智能技术的发 展更是为计算机的应用和发展提供了广阔的空间。这一点是任何其它工 具所不具备的。 第二，电子计算机有着非常丰富的输入和输出设备，这使它具备强 大的信息处理能力。纸带、磁带、磁盘、光盘、扫描仪、显示器、打印 机、绘图仪、投影仪等设备，使得计算机处理信息非常方便，输出的结 果直观、便捷、形象、丰富多彩。随着虚拟现实( v i n u a lr e a l i t y ) 技术的发 展，更出现了头盔显示器、多方位电子墙、大屏幕投影、力反馈手套等 新型设备，可望为仿真提供一个崭新的、逼真的环境。这一点也是其他 工具所不具备的。 6 第三，计算机网络技术的发展和互联网的出现，使得分布式仿真 环境成为可能，这也大大推进了计算机仿真技术的发展。 联系计算机仿真方法5 个构成部分基本活动是：系统建模，二次建 模，编制程序，程序运行和分析。 在这一基础上形成了计算机仿真方法学的3 个分支：仿真建模方法 学；仿真语言构造方法学；仿真试验支撑环境构造方法学。 1 2 建模方法研究 模型与真实世界之间最重要的关系之一就是抽象和映射。抽象过程 是建模的基础。在建立一个数学描述时，首先需要建立几个抽象，即定 义以下几个集合：输入集、输出集、状态变量集。定义了上述集合之后， 再在这些抽象的基础上，建立复合的集合结构，包括一些选定的函数关 系，通常称这个过程为理论构造。 1 2 1 建模应遵循的方法论原则 构造模型对客观系统进行模拟的方法有着悠久的历史几千年前我 国就有了象棋，它便是古代作战系统的模型。2 0 世纪以来，特别是电子 计算机出现以后，建模方法成为了现代科学方法的核心，更是计算机仿 真方法的核心。 模型的分类方法很多，依据表示方式可分为数学模型、物理模型、 物理数学模型、数学逻辑模型等。在计算机仿真方法上，要用到数学 模型和数学逻辑模型。数学模型的建模过程已经讨论得比较多了，也比 较简单，下面着重讨论数学逻辑模型的建模方法。 数学逻辑模型的原型一般是复杂系统，在系统科学的观点看来，这 类系统主要是黑箱和灰箱，如社会系统、经济系统、生物系统可以看作 黑箱，生态系统、环境系统可以看作灰箱，而传统的工程系统一般可以 看作白箱。建模的信息来源一般有3 类：建模的目的、先验知识和试验 数据。对复杂系统的建模来说，缺乏的就是先验知识，因此比较困难。 总的来说，复杂系统的建模应该遵守以下几个方法论原则： 1 、可靠性与简明性的统一 模型的可靠性是指模型应该具有足够的精度，应和系统具有足够的 相似性以满足研究的需要。模型的简明性是指模型应该尽可能简单明了， 便于处理，易于理解。实际建模过程中，两者往往是相互矛盾的。根据 研究的目的，我们应该在满足可靠性的前提下，做到可靠性与简明性的 统一。 2 、归纳法和演绎法相结合 演绎法是一种基于先验知识，通过数学和逻辑演绎来建立系统模型 的建模方法，是一般到特珠。归纳法是一种基于试验数据，从被观测的 系统行为出发建立系统模型的建模方法，是特殊到一般。演绎法适用于 白箱，即工程系统等；归纳法适用于黑箱，即社会系统。经济系统等。 复杂系统是黑箱或介于黑箱和白箱之间的灰箱，因此归纳法格外重 要。但我们同时要认识到，实际研究中完全的黑箱是很少的，并且人的 认识活动是一个动态过程，黑箱在这个过程中也在变灰。因此我们要重 视归纳法和演绎法的结合，充分利用已获得的先验知识，同时大量收集 试验数据，建构一个较为完善的模型。 3 、功能仿真和结构仿真相结合 结构和功能是系统科学的两个范畴。结构是指某个系统范围内元素 联系的内部形式，功能则是一切系统所具有的行为特性，它表现在一定 系统同周围客体、对象和环境的关系上。系统的结构和功能本身是辩证 统一的，不可分割的，功能是一定结构的功能，结构必定表现为某种功 能。一般而言，结构不同，功能就不同，但可能类似。 人工智能研究的最新进展表明，忽视结构仿真的逻辑学派遇到了很 多难以克服的困难，目益受到其他学派的否定。而重视结构仿真的仿生 学派从神经元开始进而研究神经网络模型和脑模型，开辟了人工智能研 究的新道路，特别是1 9 8 6 年b p 算法提出以后，成果不断，日益成为人 工智能研究的主流。这说明，只有重视结构模拟和功能模拟的结合，才 能使复杂系统的仿真取得好的效果。 4 、定性仿真和定量仿真相结合 定性仿真方法，即以非数字手段处理信息输入、建模、行为分析和 结果输出等仿真环节，通过定性模型推导系统的定性行为描述的方法， 是近年兴起的一种仿真方法。相对定量仿真而言，定性仿真能处理更多 形式的信息，人机界面也更为友好，在许多领域有着广泛的应用。特别 是很多工程应用中，用户只需了解系统的定性行为，这时定性仿真显得 更灵活、方便、直观、经济。 但是在复杂系统的仿真中，单纯的定性仿真方法也暴露出了自己的 一8 弱点。复杂系统的定蛙访真会生成数量斑大馥多余嚣为，馕系统解释变 得及其困难。最近的研究表明，当将定量知识引入定幔仿真后，减少了 大量的仿真分支，提高了澈率，优化了结果。这些事实说明，只有将定 往仿真方法争定漫仿真方法有规结合起来，计算热仿真方法才能考长远 的爱展。 1 2 。2 神经网络方法建模 利用现代人工智能技术，将以往对仿真对象单一形式化及定餮化的 建模研究发展到将人、信息、智能鬃成在一个复杂的信息空间中的，定 蛙争定量耪结合，形式侣模登与获知模型热结合砖建模蠛论与方法辑究。 利用人的知识、经验，以及大量实验数据有效地表征仿真对象，解决非 线性、不确定性、复杂性系统的建横问题；研究建立仿真模型数据库和 鞠建可烧讫智巍系统生成技拳，使复杂的人工智3 技术适于实际工程应 用。 近年来，人m 智能，尤其是专黎系统在各个方面的研究取得了令人 瞩目的成就。然蕊专家系统的进一步发展也遇到了一些严重的制约，主 要袁蕊在知识的获取和记忆方式，对新靖玩逶应赡灵活槛以及对输入信 息的容错性方面。但这些制约是由现有专家系统的基于启发式逻辑这一 本质所决定的，因而不可镌通过保留原有的知识存储模式加以突破。在 这方西，人工彝经蕊络提供了一每联蘸戆途器，它酶鼹凌强至关系复杂 的能力，在模式识剐、预报、专家系统等领域都有相关应用。 神经网络通过对经验样本的学习，将专零知识和实例以权值和阈值 鲢形式分枣在鄹络内部，并且毒鬟挣经网络鲢信息保持槛来完成不确定 性推理，较好瓶模拟了专家经验、隶属度计算的推理过程。更为赞要的 是，神经网络具有极强的自学习能力，对于新模式和样本可以通过权值 的改变避行学习、记忆和旁贮，进蕊在后的仿真中能够判断这黪暂的 模式。神经随络作为一静新的智l 化离题求籁模壁，它为仿真系统的建 立提供了一个新的方法【1 w 。 采用神经网络方法1 1 剐建立的系统模型分为两类：一类是输入输出模 藿；另一类是获恣空藏模整。静态耪经甄络可双瘸暴锋为系统戆输入 输出模型，动态神经网络既可用来作为系统的输入一输出模型，又可用作 系统的状态空间模型。 1 、输入输出模型 对于非线挫系统，利用神经网络逶近任意复杂非线姓函数的能力， 建立关于系统输入输出关系的数学校型。一簸罔不同的神经网络分戤表 9 * 示输入和输出关系的非线性函数，当然对不同的模型类型( 即输入输出关 系的非线性函数) ，神经网络的模型也是不同的。表现在网络中隐层的神 经元个数不同，各层之间联接的权值不同以及输出、输入神经元不同。 然后对网络进行训练，即由实际系统的输入、输出样本对，选择适当的 学习算法，确定出中间层神经元的个数及各层之间的权值。 2 、状态空间模型 在经典非线性系统辨识方法中，采用微分方程或传递函数描述系统 的动态特性，虽然表达了系统的输入量和输出量之间的关系，但只描述 了系统的外部特性，不能反映系统内部各物理量的变化。近年来，非线 性系统多被描述成状态空间表达式的形式。状态空间表达式是一阶矩阵 一一向量微分方程组，它描述了系统的输入、输出与内部状态之问的关 系，揭示了系统内部状态的运动规律，反映了控制系统动态特性的全部 信息。 3 、各种网络训练算法 有了合适的神经网络及其结构，还妊须根据要求对它进行训练，因 此随着神经网络的应用越来越广，网络训练的各种学习算法也就不断涌 现。对于静态网络即网络输出与连接权呈线性关系的网络，如r b f 网络、 样条函数网络、正交多项式网络，可采用线性系统优化中最常用的最小 二乘算法，或者各种梯度算法作为学习算法；对于非线性问题，则需要 使用非线性规划的方法，如b p 学习算法、梯度牛顿法、参数估计法等。 至于动态神经网络，如状态反馈神经网络、连续时间递归网络、离散时 间递归网络、以及输出反馈网络，当模型结构确定之后，其学习算法的 优劣直接关系到用神经网络刻划系统的准确性。因此，许多学者对动态 神经网络的学习算法进行了一系列的研究，并且提出了固定点学习、轨 钱学习、动态规划、动态优化方法等算法；对于有反馈的网络，比较典 型的算法有：随时间演化的反向传播算法、实时递归学习算法等，但它 们都有训练时间较长的缺点，e m 算法作为一种用于参数学习的最大似 然估计方法，在训练前馈及有反馈的网络时都能提高学习速度，目前正 成为研究热点。当然由于神经网络的应用广泛，各种各样的改进算法也 层出不穷。 1 0 第二牵仿囊建摸的神经网缝模型豹研究 神经网络模型虽然较多，但应用范围广的并不多。这一章我们将对 蠢秘繁晃骢砖缀瘸络模登，窝b p 跨磐模型及模辍圜络模型加以麓要地 介绍，其中主强描述了在实际中应用最广的b p 网络横裂。 2 1爱囱传播( 8 p ) 神经网络摸壅理论 2 。1 。1b p 神缝网络的弓l 入 阁2 1 是标准的b p 网络模型的拓扑结构1 9 1 ，由三个神经元层次组成， 最下层称为输八层，中阐为隐含层，最上层为榆出层。各层次之间的神 经无形成全秘置连接，藏一层内酶各令礴经无之蠲没有连接。 息 经 输 差 标 输入层第一隐含朦第二隐含层 输出层 嚣一三 嘤2 1b p 斛络拓扑结构示意匿 图2 2 反向传播算法的流程图 下面以两层b p 网络为例对b p 算法进行推导，设输入为x ，输入神 经元有r 个，隐含层内有s 1 个神经元，激活函为n ，权值和阈值分别为 w 1 和b 1 ；输出层内有s 2 个神经对应的激活函数为f 2 ，权值和阈值分别 为w 2 和b 2 ，输出a ，目标矢量为y ： 1 2 1 ) 信息的聪向传递 稳舍层中第i 夸神经元蘸输交a l 为 a l k _ f l ( w l f 爿，+ 6 l ， ，忙1 ，2 ，s 1 ；1 输出层中第k 个神经元的输出a 2 为： a 2 产也( w 2 # 群l ，+ 6 2 ； ，疑l ，2 一，8 l 定义误差函数e 为： 1j 2 觚跆去( 瓦搿2 。) 2 2 ) 剽霜禚寝下降法袋狡篷变纯及误差翡爱商簧獾 输出层的权值和阈值变化： 对从第i 个输入捌第k 令埝虫砖衩侄的囊梯震为 w 2 k i = t 1 旦= n 旦旦堕 挑2 * a 口2 女a w 2 “ 2 2 q ( 一9 2 女 厂2 7 疗l ，2 q 6 埘五 k l 其中： n 一为动量嚣子( q 1 ) 毛= ( 以一口2 i ) ，27 = 矿2 7 = 耽一a 2 t 焉缓可缮：对从第i 令输入裂第k 令输盘砖溺铰砖受移度为 拢一叩蕞叫嚣畿吲即：彬叫民 隐含层的权值务阈饭变化： 对从第j 个输入到第i 个输出的权慎的负梯度有： 。，一一。旦：一。垒墨一堕堕 妇一军两一圩瓦。丽+ 贰 = 蹿( k d 2 ) 厂2 w 2 ，l 盖，= _ 磊舅， 。1 3 ( 2 1 ) ( 2 。2 ) ( 2 3 ) ( 2 4 ) ( 2 5 ) ( 2 6 ) 其中： 毛= 矿l q = 哌w 2 。， 凌理可褥：靖坟第1 个埝入劐第i 令输盘秘阙蕴的受礴度有： 6 1 ，= 叩民 ( 2 7 ) 从上所述可知，b p 算法的学习过程就是一令使误差数最小化的过 程，攀习后的网络在霹怒时使用正确传播公式。 2 。1 2b p 网络的主要缺陷 b p 网络酊理论依据螫蜜，稚导过程严谨，所得公式对称优美，物理 概念清楚，通用性强。但是，人们在使用过程中发现b p 网络也存在许 多不足之妻l = ，主要包话以下尼令方瓣p ： l 、易陷入局部极小值； 2 、学习过程收敛速度慢； 3 、网络的结构难以确定( 包括隐含层数及各隐层节点数始确定) ； 4 、学习样本的数量和质量影响学习效聚( 主要是泛化能力) 争学 习速度。 礞是因为b p 网络自身的缺陷使得其在应用过程中存在一些棘手的 问题，坟而疆天地影嚷了转p 网络瓣透一步发袭务应鞠。在上两的凡点 中，前三者都是b p 网络存在的最引人注目的问题，第三点也是很有研 究价值的一个内容；第四点是一介较难的内容。 2 1 3b p 网络存在缺陷的原因分析 、易陷入妫邦极小缓瓣愿因 b p 网络采用梯度下降法，训练是从某一起始点开始的斜面遂渐达到 误差的最小值。对于复杂的网络，其误差函数为多维空间的曲西，就像 一个辘，其碗底踅最小点。但是这令碗底表齑是篮舀幂乎酶，囤褥在其 训练过程中，可能陷入某一小谷区，而这小谷区产生的是一个局部极小 值，由此点向各方向变化均使误差增加，以萎于使训练无法逃出这一局 部极一l 、值。吴有局部投小麓函数秘线知瑟2 。3 辑示。 1 4 z 图2 3 有多个最小点的函数曲线 2 、学习过程收敛速度慢的原因 导致b p 网络学习过程收敛速度陵的原因主要有以下两个方面： ( 1 ) 、 固定的学习率t l 和惯性因子 b p 网络本质上是优化计算中的梯度下降法，利用误差对权值、阈值 的一阶导数信息来指导下一步的权值调节方向，以求达到最终误差最小。 为保证算法的收敛性，学习率”必须小于某一上界。这就决定了b p 网 络的收敛速度不可能很快。 b p 网络中的学习率”和惯性因子伍是由经验确定的，在训练过程 中保持不变。在接近极小点时，目标函数一般可以用二次函数近似，其 等势面接近椭球面，长轴和短轴分别位于对应的最小特征值b 和最大特 征值b 的特征向量的方向( 如图2 4 ( a ) 所示) ，其大小与特征值的平 方根成反比。当h e s s i a n 阵铲e ( a ) 的条件数( b b ) 比较大时，椭球面很扁， 使得一维搜索沿着狭长谷进行( 如图2 4 ( b ) 所示) 。由于梯度法相邻 两次迭代的搜索方向是正交的，对于很扁的同心椭球族，如果初始点x c u 是h e s s i a i l 阵的特征向量，迭代过程呈现锯齿现象。如果求不出正确的 学习率，则由于最速下降方向的升降方向指向侧而使收敛非常缓慢。 锄雳 图2 4 目标函数的椭球面 1 5 b p 网络执行过程中，权值和阔值每次调罄的幅度，均以一个与网络 误差菇数或其对衩经或鼷佳砖导数大小成正比鲢项暴以毽定致霹予送 行。这样在误薹曲面较平坦处，由于这一编导数值较小，权值和闽值的 调整幅度比较小，以至于霈要经过多次调整才能将误菇函数曲萄降低； 在误燕逝面率较高处，镳导数较大，权值争闽值的调登幅度也较大，以 至在最差函数羧小点附近发生过冲现象，难以收敛翻最小点。 ( 2 ) 、学习过程的“锻饱争”现象 所谓“假饱和”现象，是指在学习过程中误差在一定的时间范闽内， 并不随学习次数的增加而减小，而过了这段时间以后，误差才明显下降 魏琉象，知墨2 5 。 图2 s 有“假饱和”现象的学习过程 虞b p 两络中，初始权值、闽值一般是在一个范围内随机产生的。 输入样本与连接到第一隐舍层的初始权值进行内积运算得到第一臆含层 毒幸经无的总输入，而经非线性函数的作用给斑其输出，谈输出又作为下 一层的输入，照沈直蜀输癍层。输澎层的实鼯输出与强禄输密之差锋为 误差度量的基本项。如果神经元的总输入与闽值相距甚远，由于神经元 具有饱和非线牧特征，使神经元的实际输出鼹么为最大值，要么为最小 值。警秘经元的恶输入编离闽 夔太远对，兢秣为它进入饱争区。娄籍螽 层神缀元的总输入落入饱和区且实际输出与蹲标输出栩矛盾时，为非正 确的饱和，即“假饱和”。这时需要对权值有大的修改黧，而实际上，由 于毙跨导数经怒适于零。导数衩僚修改量很小。因焉学零缓慢。对蕊含 层神缎元也是如此，只不过其误差用误差反向传播计算。学习一盟进入 “假饱和”状态，需要较长的时间才能摆脱这种状态甚至无法摆脱不能找 1 6 到全局最优。 2 1 4 面向仿真建模的b p 算法的改进方法 由于基于数值优化方法的改进算法比基于标准b p 算法的改进算法 要麻烦很多，而且其所用的存储空间也较大，特别是对于一些小型网络 更显得“劳师动众”，使用范围有一定的限制；所以，我们还是在标准b p 算法的基础上进行改进。本文是在动量b p 算法的基础上进行改进的，提 出了两种新的改进算法【2 1 1 2 2 1 。 1 、b p 网络结构的确定 从结构上看，b p 网络是属于典型的前向网络，由输入层、输出层、 和若干隐含层组成，并且一般认为网络是严格分层的，即当且仅当两相 邻层的节点才有可能互联。典型的b p 网络是三层的前馈网络，由输入 层、隐含层和输出层组成。便于说明问题，再次把三层b p 网络的结构 示于图 输入层隐层输出层 图2 6 三层b p 网络结构 ( 1 ) 、输入层节点数的确定 输入层起缓冲存储器的作用，把数据源加到网络上。其节点数目取 决于数据源的维数，及输入特征向量的维数。 对于一个实际问题，特征向量的确定是十分重要的，因为在识别对 象时它是唯一的依据。选择特征向量时，要考虑到应选的特征向量是否 完全描述了事物的本质特征。如果特征向量不能有效地表达事物的特征， 网络经训练后的输出可能与实际有较大的误差。当然，特征向量的选取 并不是维数越多越好。输入特征向量维数的增多，将使网络的计算量指 1 7 数增长，会导致组合爆炸。所以，在选取特征向量时，应从实际出发。 适当地选取最能表现事物本质的那些特征，最好的特征应该具有以下四 个特点： 1 ) 可区别性对不同类别的对象来说，它们的特征值应该具有明显 的差异。 2 ) 可靠性对同类的对象来说，它们的特征值应该比较相近。 3 ) 独立性所用的各特征之间应彼此统计独立。 4 ) 数量少不仅模式识别系统的复杂度随特征的个数迅速增长，而 且用来训练网络的样本数量也随特征的数量呈指数关系增长，在某些情 况下，甚至无法取得足够的样本来训练网络。 所以，确定输入层节点数时关键是弄清正确的数据源，选取适当的 特征。如果数据源中有大量未处理的或虚假的信息数据，那必将妨碍对 网络的正确训练，因此，要删除那些无效的数据，确定数据源的合适数 目。这大体上需要经过四步： 1 ) 确定与应用有关的数据； 2 ) 删除那些在技术上不符合实际的数据源； 3 ) 删除那些不可靠的数据源； 4 ) 开发一个能组合或预处理数据的方法，使这些数据更具有实际意 义。 值得注意的是，神经网络只能处理表示成数值的输入数据，所以经 常需要将外部信息变换或编码。一般将输入数据标度到限定范围 o ，1 。 例如，输入的外部信息是“男”和“女”，可用“1 ”和“o ”表示。在确 定了数据源之后，输入层所需的节点数自然也就确定了。 ( 2 ) 、输出层节点数的确定 输出层节点数的确定，一般采用以下两种方法： 1 ) 当所需输出信息较少时，输出层节点数等于所需信息类别数，m 类的输出用m 个输出单元。每个输出节点对应一个模式类别，即当某输 出节点值为1 ，其余输出节点值为o 时，对应输入为某一特定模式类的 样本。 2 ) 当所需输出信息较多时，用输出节点的编码表示各模式类别，即 m 类的输出只要用l 0 9 2m 个输出单元即可。 ( 3 ) 、隐含层数和层内节点数的确定 在实际应用中，如何确定隐含层和层内节点数，一直是确定前馈网 络结构的重点和难点，这也是一个十分复杂的问题。隐层和隐层单元数 1 8 难以确定，也是b p 网络在拓扑结构上的主要缺陷。根据e b e r h a r t 的书 中的描述，将如何估计隐层神经元数目称为“是一种艺术”。因为到目前 为止，尽管有很多关于这方面的文献及方法，但都没有严格的理论依据， 没有很好的解析式来表示，可以说隐节点数与问题的要求、输入输出节 点的多少都有直接的关系，不同的条件会有不同的结论。 1 ) 隐含层数的确定 对于多数神经网络来说，首先要确定选用几层隐含层。h e c h t n i e l s e n 曾证明了当各节点具有不同的门限时，对于在任何闭区域内的一个连续 函数都可以用一个隐含层的网络来逼近。因而一个三层的b p 网络可以 完成任意的n 维到m 维的映射。19 8 8 年c v b e n k o 指出，当各节点均 采用s i g m o i d 型函数时，一个隐含层就足以实现任意的判决分类问题， 两个隐层则足以表示输入图形的任意输出函数。这个结论对b p 网络隐 层数目的确定具有指导性意义。 隐含层起抽象的作用，即它能从输入提取特征。增加隐舍层可以增 强网络的处理能力，但势必使网络训练复杂化、训练样本数目增加和训 练时间增长。实验结果( 实验一和实验二) 表明，在相同的条件下，具 有两个隐含层的网络的训练次数和训练时间比只有一个隐含层的网络的 训练次数和训练时间都要多。 实验一是对异或问题进行研究。本实验构造的b p 网络中所有隐含 层节点均选用双极性s 型函数、输出层节点选用线性函数。对以下四组 参数作了大量实验；表2 1 中的学习次数和系统误差是随机选取的1 0 组 结果的平均值。表中学习次数的原始数据是： 1 4 7 = f 1 3 5 + 3 5 + 9 0 + 4 7 + 4 5 + 6 0 9 + 2 2 1 + 1 3 7 + 1 1 8 + 3 4 、1 0 ： 2 6 1 = f 1 0 6 + 4 3 + 1 5 l + 1 1 0 + 1 3 3 + 3 6 + 7 9 + 1 4 2 + 3 2 2 + 1 2 5 1 1 0 ： 1 1 6 = f 3 8 + 1 4 2 + 1 4 8 + 4 1 + 1 2 8 + 2 4 4 + 5 5 + 8 9 + 1 2 5 + 1 5 3 v 1 0 ； 1 0 2 = f 1 3 8 + 5 5 + 4 1 + 3 9 + 4 3 + 1 3 3 + 1 6 6 + 3 8 十8 5 + 5 3 1 l o 表2 1 实验对象为x o r 问题( 学习结束条件为m s e 0 0 0 1 ) 动量因 第一隐第二隐 学习率隐层数层节点层节点 学习次 系统 f s e 子数 数数 0 950 9 52232 6 10 0 0 0 9 9 8 0 95 0 9 5 12o1 4 70 0 0 0 9 9 9 0 750 7 52231 16o 0 0 0 9 9 9 0 750 7 5 1 20 10 2 o 0 0 0 9 9 7 一1 9 蜜验二是对一函数遗远问题进行研究。以一个非线性单输入单输出 系统的模壁亿阏题为研究对象。 已知：系统输入为：u ( k ps i n ( 2 k 冗，2 5 0 1 系统输出为：y 仪) 一o 6 s i n + o 3 s i n ( 3 耳u ) 十o 1s i n ( 5 珊) 缓定采样点羹程f 0 ，翅o 。 采用含有一个隐层的三层b p 阐络和两个隐层的婵层b p 网络进行亩i i 练，从训练次数、逼近精度、以及回归分析几个方面潍行了比较。网络 妁传递函数全部采用t 黼s i g 双极性s 型基t 数、训练规则采用带骞动量 项的自适应训绦规则，即矗a i n g d x 。知表2 2 我们将一个隐层的b p 网 络多次实验最麓的结果和两个隐层的b p 网络多次实验最好的结果列于 图2 7 一图2 1 2 。 表2 2 实验对象为函数逼近问题( 学习结采条件为m s e o ，刘神经网络的输出层节点数羁减小。这样，我们就 利用先验知识缩小了神经网络模型的规模，降低了系统的复杂憾。 w3 5 3 2 定性仿真技术 传统意义上的仿真，我们说是定量的，因为它是建立在精确的数学 模型的基础上的，通过将系统的结构和功能表达为精确的数学方程。定 性仿真是建立在基于知识的定性模型的基础之上，通过将系统的内外部 知识和数据集成为一个可推理的“脑”模型，每个变量的取值既有数值的， 也有符号的，最终通过求解该定型模型来获得对系统行为的定性描述。 定性仿真来源于传统的仿真技术，它并不排斥定量方法，实际上并没有 一个纯粹定性的仿真方法。定量仿真实现的是数值计算，而定性仿真实 现的是符号计算。 1 、定性仿真的产生与理论现状 定性仿真1 3 1 ( 0 u a l i t a t i v es i m u l a t i o n ) 是以非数字手段处理信息输入、建 模、行为分析和结果输出等仿真环节，通过定性模型推导系统的定性行 为描述。定性仿真是系统仿真的一个分支，是系统仿真与人工智能理论 交叉产生的新领域。相对于传统的数字仿真，定性仿真有其独到之处： 这种仿真能处理多种形式的信息，有推理能力和学习能力，能初步模仿 人类思维方式，人机界面更符合人的思维习惯，所得结果更容易理解。 同时： 1 1 实际系统由于过于复杂或知识不完备，人们无法构造出系统的精 确模型。 2 ) 客观对象的知识和数据有很大一部分是符号化或语言化的，它具 有模糊性，不确定性等特点，一般很难量化，即使量化了也不适合特定 的研究。 3 ) 由于受计算机和现有算法的限制，用定量方法对复杂系统的仿真 将花费大量的时间和人力，而且很难实现对快速动态系统的实时仿真。 实际上不需要也不可能充分获得精确的数值信息，而只能获得一些本质 的定性知识。定性仿真在对系统抽象的同时，也对时间信息进行了抽象， 使仿真得以廉价快速的实现。 4 ) 人们总是希望得出的结果与思维习惯一致，这就需要一种界面来 进行定量知识和定性知识的相互转化。 5 ) 在相当多的系统中采用了大量的定性模型和定性处理技术、验证、 评价这些模型的有效性，离不开定性仿真。 定性仿真的研究中，美国学者起步较早。7 0 年代后期，美国r o x 实验室的j o l l l ld e e e r 和s e e l vb r o w n 在设计一个电路教学系统时发 现，以常规的数学模型和仿真方法难以使学生很快明白电路的工作过程， 一3 6 而在实际教学中，老师并不是先给出数学公式，而是先讲解电路的工作 原理，采用定性的描述方法，那么是否可以用计算机来模拟这一方法呢? 同样在许多的实际工作中，人们更多的是依靠这种对系统原理性的理解， 而这种理解的基础就是定性知识。很多专家学者开始探索如何在数字仿 真中引入定性知识。 1 9 8 3 年，j o l l nd ek l e e r 和s e e l vb r o w n 发表了有关定性仿真的第一 篇论文a o u a l i t a t i v ep h y s i c sb a s e d0 nc o n n u e n c e ? ，产生了巨大反响，揭 开了定性仿真研究热潮的序幕。美国麻省理工学院的k e n n e t hd f o r b u s 则对定性仿真理论作了全面的总结；1 9 8 6 年美国德州大学的b e n j a r n i n k l l i p e r s 在“q u a l i 诅t i v es 曲u l a t i o n ”一文中提出了动态仿真算法q s i m ， 使定性仿真接近于实用。1 9 8 4 年人工智能杂志第一次出版了关于定性问 题的专集。此后定性问题的研究成为人工智能扣系统建模与仿真领域的 一个热点，许多学者加入到这一研究领域中，产生了大量的研究成果。 1 9 9 1 年，人工智能杂志又出版了有关定性推理的第二本专集，标志着该 领域理论研究逐渐成熟并且向应用领域扩展。9 0 年代以来，该领域的研 究情况可谓方兴未艾，在i e e e 的相关杂志等国际刊物上经常可以看到定 性仿真方面的研究成果。国内该领域的研究起步较晚，目前从事定性理 论研究的仅限于少数院校的少数研究者。 定性仿真产生之后，在理论上出现了百家争鸣的局面，研究者们根 据自己的见解提出了各自的建模和仿真理论。目前，基本可分为三个理 论派别，即模糊仿真方法、基于归纳学习的方法和朴素物理学方法。 2 、定性仿真的应用领域 现在，定性仿真技术与物理、化工、生态、生物、社会等学科相互 渗透、结合，在系统监测、故障诊断、系统行为分析、解释以及预测等 方面发挥着越来越大的作用。 国外文献报导较多而且应用取得成效比较明显的应用领域主要有： 工程和工业过程：电子电路分析和故障诊断；医药和医疗诊断；社会经 济领域。 3 、定性仿真的发展方向 定性仿真目前仍然是新兴的研究领域，很多基础性的理论工作尚待 完善和突破，因此该领域的发展前号十分广阔。对于定性仿真理论，概 括来说，有以下几个发展方向： ( 1 ) 采用定量与定性结合的仿真方法 3 7 由于定性模型中包含系统的不完全知识，定性仿真会产生一些虚假 和二义的多余行为，当实际系统很复杂时，定性仿真产生相当数量的多 余行为，如何有效地减少定性仿真产生的多余行为数，成为当今定性推 理研究的主题。很多研究者纷纷采用定量与定性结合的仿真方法。在定 性仿真中加入相当的定量知识，将定量与定性有机地结合起来，将大大 减少系统的预测行为数，增强定性仿真的生命力。 ( 2 ) 采用模型分解方法 定性仿真走向应用时，往往涉及到规模较大的系统，即使省略某些 细节，模型仍是非常复杂的。所以，定性理论中，必须有处理这种复杂 性的手段。模型分解方法将系统模型分为若干部分，称为部件 ( c o m p o n e n t ) ，系统的联系紧密的变量将集中在一个部件中，并为部件建 立状态，系统的描述将以这种状态为单位，若需要不同部分的变量的事 件对应性，可以通过不同部分之间的连接来产生。并且，仿真算法上也 作了相应的变动，以局部的部件描述为基础的仿真取代了以全局状态为 基础的定性仿真算法。大大提高了模型建立工作的效率和准确性，并降 低了仿真的时间和空间运行代价。 ( 3 ) 采用并行定性仿真方法 当前定性仿真在减少冗余或虚假行为的研究上取得了很大进展，但 同时也带来了一些始料未及的副作用：定性与定量知识的结合，使知识 的表示和推理机制复杂化，数据量明显增加；由于信息不完备，系统的 搜索空间增大，使得定性仿真在一定的情况下比定量仿真的速度更慢； 再者随着定性仿真逐渐走向应用，参数数量的增长使问题的规模成指数 增长，仿真的速度也明显下降。并行定性仿真能较大幅度地提高定性仿 真的效率，因此成为一个新兴的发展方向。 3 8 第四章、仿真中神经网络建模技术研究 4 1 神经网络模型及学习算法 神经网络是一个高度复杂的非线性动力学系统，它由大量的同时也 是简单的处理单元( 或称神经元) 广泛连接而成，它反映了人脑的若干 特性，对人脑功能作了某种简化、抽象和模拟。 从数学