（检测技术与自动化装置专业论文）实时问题求解的递归神经网络模型、仿真及硬件实现.pdf

t h e m o d e i i n g ，s i m u l a t i o na n dh a r d w a r e i m p l e m e n t a t i o no f r e c u r r e n tn e u r a ln e 帆o r k sf o ro n l i n ep r o b l e m ss o l v i n g m 旬0 r ：m e a s u 血gt e c h n o l o g ya n da u t o m a t e de q u i p m e n t n 锄e ：m a w e i m u s u p e r v i s o r ：p r o f c s s o rl ix i a o d o n g ，p r o f e s s o rz h a n g y u n o n g a b s t r a c t i ns c i e n t i f i cr e s e a i ha n d p r a c t i c a la p p l i c a t i o n s ，m a n yp i - 0 b i e n l sc o u l db er e d u c e da s t h em a n l e m a t i c a lp r o b l 锄st h a tr e q u i r es o l 、，i n gi 1 1r e a l t i m e 。s p e c i a l l y m a 廿议洫v e r s i o n a l l dl i n e a u re q u a t i o n sa r ew i d e l ye n c o u l l t e r e d i 1 1 e n g i n e e r i n g ，e g ，i 1 1n l ed e s i g l lo f f e e d b a c kc o n t r o ls y s t e m ，r o b o tm a n j p u l a t o fc o n 仃0 1 p r a c t i c a l s y s t e l l l sa r em o s n yt h e t i m e 。v 哪i n go n e sw l l i c ha r ed y n 锄i c a l l yc h a i 】g h 培o v e rt i m e i no r d e rt oa c c u r a t e l y d e s c r i b em e s es y s t e m s ，i ti sn e c e s s a d rt oe s t a b l i s hm a t l l e m a t i c a lm d d e i so ft i i n e v 哪i n g s y s t e m sa n dt 0s e e ks o l u t i o n st ot h e s em a t l l e m a t i c a lp r o b l e m s t h ed ) ，n a n l i cs y s t e m 印p r o a c hi so n eo f 也em l p o r t a n ta p p r o a c h e sf o rs o l v i l l g r e a l - t h ep r o b l e m s d u et ot l l ei n d 印t hr e s e a r c hi nr e c l 】r r 锄tn e u r a ln e t w o r k s ，n 啪e r o u s d ) r i l a 觚ca n da i l a l o gs o l v e r sh a v eb e e nd e v e l o p e d 锄di i l v e s t i g a t e d t l l en e u r a ld y i l a r n i c 印p r o a c hi s1 1 0 wr e g a r d e da sap o w e r m la l t e m a t i v ef o ro n l i n ec o i n p u t a t i o nb e c a u s eo fi t s p a r a l l e id i s t r i b u t e dn a t u r ea i l dc o i e 1 1 i e n c eo fh a r d w a r ei r i l p l e m e n t a t i o n i nt l l i st l l e s i s ，s e v e r a lf e q u e n t l y e l l c o u n t e r e dr e a l t i m em a t l l e m a t i c a lp r o b l e i i l sa r e i n 仃o d u c e d ，s u c ha so i l l i n em a t r i xi i e r s i o n ，t i i i l e v a r 灿gl i l l e a re q u a t i o i l ss o l v i i l ge f 口正 t h ec o 盯e s p o n d i i l gr e c u r r e n tn 叫a ln e 锕o r k sa r ee x p l o i t e df o rs o l v i i l gs u c hp r o b l e i i l s t h ec o n v e 唱e n c ep r o p e r t i e so ft l l en e u r a li n o d e l sa r ea l l a l y z e d t h em a t l a b s i m u l i i l l c m o d e l i i 冯a n dv e r i f i c a t i o no ft 1 1 en e u r a lm o d e l si sa l s os t u d i e d t h ei i n p l e m e n t a t i o no fr e c l m r e n tn e u 】阻ln e t w o r k sc o n s i s t so fs o f t w a r er e a l 讫a t i o n a 1 1 dh a r d w a r er e a l i z a t i o n 【) u et ot h em 曲s p e e do ff p g a d e v i c e s ，n 肌r a ln e t w o r k sb a s e d o nf p g ac o u l ds o l v em a t h e m a t i c a lp r o b l e i n s 洫r e a l t i m e 1 1 m s ，t 1 1 ef p g ar e a l i z a t i o no f r e c u n e n tn e u r a ln e t w o t k si sh l v e s t i g a t e d t h e 如n c t i o n a ls i i l l u l a t i o na 1 1 dv e r i f i c a t i o no f t 1 1 er e s u l t a n th l lc o d e sa r i ea l s os t u d i e d k e yw o r d s ：r c c u n 饥tn e u r a ln e t 、) i ，o 叱m o d e l i i l g 蛆ds i i n u l a t i o n ，h 卸d w a r ei m p l e m e n t a t i o n ，f p g a i i 第l 章绪论 第1 章绪论 1 1研究背景及意义 控制论的创始人、聃e n e r 曾经指出【l 】：“就其控制行为而言，所有的技术系统都 模拟生物系统，但没有任何一种生物系统是模拟技术系统的”。w i e n e r 称之为“技 术系统”的东西就是我们通常所说的“机器”。从某种意义上说，模拟人的智能行 为，是机器或人工系统模拟生物系统的最高形式；使机器思维，使机器具有智能， 是人工系统模拟生物系统的最高目标【2 】。 1 9 4 3 年，m c c u l l o c h 和p i t t s 归纳总结了生物神经元的基本特性，建立了具有逻 辑演算功能的神经元模型以及这些人工神经元互联形成的网络人工神经网络 【3 1 。他们建立起了著名的阈值加权和模型，简称为m p 模型，发表于数学生物物理 学会刊b u l l e t i no f m a t h e m a t i c a lb i o p h y s i c s 。m p 模型拉开了人工神经网络研究的 序幕。人工神经网络就是在神经细胞的水平上模拟人脑功能的一类仿生算法及其模 型。或者说，人工神经网络是模拟人脑用大量简单的基本单元神经元相互连接 构成的一种自适应非线性信息系统。人工神经网络简称为神经网络。与其他技术系 统相比，神经网络更加明确其对生物系统结构特征和功能特征的模拟。 理论研究及应用表明，神经网络不仅有很好的信息储存能力，还有相当不错的 数据处理能力以及良好的实时性和并行特性。它还可以处理不确定或不知道的系 统，这又是因为神经网络具有自学习和自适应能力。同时其具有很强的信息综合能 力使之能同时处理定量和定性的信息，并能很好地协调多种输入信息关系，适用于 多信息融合和多媒体技术。另外，由于所有定量或定性的信息都等势分布贮存于网 络内的各神经元，故神经网络有很强的鲁棒性和容错性【4 1 。神经网络的以上几个突 出的优点使它近年来引起人们的极大关注。 递归神经网络，或称h o p f i e l d 神经网络，是一类全局互联的全反馈型神经网络， 因此又叫反馈神经网络。它兴起于二十世纪八十年代初h o p f i e l d 等人提出并用硬件 电路实现了用于求解线性规划的一个简单神经网络【5 1 。h o p f i e l d 网络按体系结构和 计算机制划分，可分为离散型h o p f i e l d 网络( d i s c r e t eh o p f i e l dn e u r a ln e 铆o r k ，简 中山人学硕十学位论义 称d h n n ) 和连续型h o p f i e l d 网络( c o m i n u o u sh o p f i e l dn e u r a ln e 似o r k ，简称 c h n n ) 。在递归神经网络中，许多神经元连接成一个互连的神经网络，有些神经元 的输出被反馈到同层或前层的神经元，因此，信号能够双向流动即向正向或反向流 动。递归神经网络在设计时，在网络中记忆一组作为已知模型的稳定平衡点；在预 测时，当把一组预测样本输入网络作为网络的初始值时，网络通过自行运行最终收 敛到所记忆的某个平衡点上，以达到联想记忆或分类的功能。递归神经网络是目前 研究较多和应用非常广泛的一种递归网络，它开辟了神经网络应用于联想记忆和实 时优化计算的新领域，对神经网络研究的复兴起着重大的影响。 实时数学问题求解在科学、工程和社会经济等许多领域中都频繁出现，例如与 矩阵运算相关的问题【6 】【13 1 ，最优化计算【1 4 】。【1 6 1 。它通常是许多问题求解的关键步骤， 例如，自动控制，信号处理 1 8 】【1 9 1 ，模式识别【2 0 】【2 2 】，机器人及其控制【2 】【8 】【9 】【1 4 1 等。 近年来，随着对神经网络的深入研究，开发了大量基于递归神经网络的动力学求解 方法。由于它的并行分布计算特性和硬件实现上的便利，神经网络方法如今被认为 是实时计算的一种强有力的工具。 先前的研究几乎都把时变问题固定在一个时刻上，即把时变问题退化为非时变 问题，然后研究其求解模型，再把这个求解模型应用到实时问题的求解上【8 】【2 l 】【2 3 1 。 这种做法的缺点之一就是，所求得的解并不是当前时刻的，而是对应于前面某一个 时刻的，即具有滞后性。本选题将研究实时问题的直接求解，从而建立实时问题求 解的递归神经网络模型。我们称此类递归神经网络模型为时变神经网络7 】【9 】【1 2 】【2 3 】。 神经网络的实现技术可以分为软件实现和硬件实现。软件实现是在数字计算机 上编制程序，利用其高性能的数学运算，用软件来模拟实现神经网络，不能体现神 经网络广泛并行处理信息的特性，在处理速度上远远不能满足实际应用的要求，特 别是实时应用的要求。微电子技术的快速发展，使越来越多复杂的算法固化为硬件 结构成为可能。使用f p g a ( f j e l dp r 0 伊a m m a b l eg a t ea r r a y ，现场可编程门阵列) 器件设计数字电路，不仅可以简化设计过程，而且可以降低整个系统的体积和成本， 增加系统的可靠性。它们无需花费传统意义下制造集成电路所需大量时间和精力， 避免了投资风险，成为电子器件行业中发展最快的一族【i4 1 。首先，f p g a 器件工作 速度快，一般可以达到几百兆赫兹，基于f p g a 的反馈神经网络可以快速求解数学 问题：另外，f p g a 非常适合于各利- 数学运算，包含大量乘加运算的数字信号处理 算法，用f p g a 实现反馈神经网络系统时，可以利用其并行结构和算术运算的优点。 第1 章绪论 1 2国内外研究现状 1 9 8 2 年美国国家科学院的刊物上发表了著名的h o p f i e l d 神经网络模型的理论 【5 】，t a i l l 【和h o p 6 e l d 还在模拟电路上实现了用于求解线性规划最优化问题的神经网 络 2 4 】，因而引起了巨大的反响。人们重新认识到神经网络的威力以及付诸应用的现 实性。h o p f i e l d 的模型不仅对神经网络信息存储和提取功能进行了非线性数学概括， 提出了动力学方程和学习方程，还对网络算法提供了重要公式和参数，使神经网络 的构造和学习有了理论指导。 二十世纪八十年代，模拟与数字混合的超大规模集成电路制作技术提高到新的 水平，完全付诸实用化，此外，数字计算机的发展在若干应用领域遇到困难。这一 背景预示，向人工神经网络寻求出路的时机已经成熟。在这个时期，m e a d 和c o l l w a y 、 m a l l o w a l d 等人合作，研制一种动物神经系统的电子电路模拟，即硅神经系统，他 们以人的视网膜中锥体细胞的方式来连接一块。s i 芯片【2 5 】。1 9 8 6 年，r u m e m a r t 等人提出了一种前馈型神经计算模型和用于调节该模型神经元联结强度的误差回 传学习算法，即b p 网络，引起学术界极大反响。1 9 8 8 年，c h u a 和y 觚g 提出了细 胞神经网络( c n n ) 模型2 6 】【2 7 1 ，它是一个细胞自动机特性的大规模非线性计算机仿 真系统；k k o 建立了双向联想存储模型b 蝴【2 8 】【2 9 】，它具有非监督学习能力。 二十一世纪初，z h a n g 等人提出了一种求解时变矩阵的逆以及解时变s y l v e s t e r 方程的神经网络【7 】【9 1 【1 2 】【2 1 1 。这种神经网络的设计方法完全不同于传统的神经网络的 设计方法。其所采用的误差函数是矩阵取值的或者向量取值的，而不是传统的标量 误差函数。传统的递归神经网络的设计通常利用最优化方法中的梯度下降法( 亦即 最速下降法) ，首先构造一个标量耗费函数，它的最小点就是问题的解，然后设计 一个算法沿着这个耗费函数的下降方向演变，直到达到最小值。典型的下降方向是 负梯度方向，因而这类神经网络被称为基于负梯度的神经网络【8 】【1 0 】【2 2 】。 值得提出的是，硬件电路用于求解线性方程和简单线性规划问题，在很早以前 就已经得到研究，那时候称为模拟计算机。它的历史可以追溯到二十世纪六十年代 【1 0 】【3 0 】 3 5 1 。随着现代数字计算机的发展，人们发现由于其串行计算的限制，对很多 实时数学问题的求解并不理想，因此又重新回到讨论模拟计算机并行处理解决该类 问题上来。现在随着大规模集成电路的发展以及专用集成电路，学术界又重新掀起 了研究模拟计算机的热潮。研究模拟计算机的关键问题就是实现它的并行计算问 中山人学硕士学位论文 题，而神经网络就是这样一种有着并行特性的自适应非线性系统。二十世纪九十年 代后，随着大规模集成电路的发展，神经网络的硬件实现被越来越多的研究【3 6 】。【3 9 】。 并且有学者还提出神经计算机的概念。要真正实现神经计算机，则神经网络芯片设 计与生产技术必须有实质性的进展。目前，在单片上集成数千个神经元的制作技术 已经没有困难。但是神经网络硬件设计和理论研究相比，要落后很多【删。因此，这 也是神经网络研究的重要方向之一。 神经网络虽已在许多领域应用中取得了广泛的成功，但其发展还不十分成熟， 还有一些问题需进一步研究。 神经计算的基础理论框架以及生物机理方面的研究仍需深入。这方面的工作虽 然很困难，但为了神经网络的进一步发展却是非做不可的。 除了传统的多层感知机、径向基函数网络、自组织特征映射网络、自适应谐振 理论网络、模糊神经网络、循环神经网络之外，一些新的模型和结构很值得关 注，例如最近兴起的脉冲神经网络( s p i l ( i n gn e u r a ln e 似o r k ) 【4 。】和支持向量机 ( s u p p o r tv e c t o rm a c l l i n e ， s v m ) 【2 0 】【3 9 】【4 2 】【4 3 1 。 监督学习仍有很多值得研究的问题，但应该认识到非监督学习具有很大的潜力。 相对于监督学习来说，由于非监督学习的研究起步较晚，其研究空间更大。 神经网络用于控制还有许多问题值得研究：现行的学习算法收敛速度低，存在 局部最优问题；分布式并行处理方式的网络内部机理并不清楚，选 x 第2 章软件环境和e d a 技术 的交互性，使得对工程人员本身计算机操作与编程的熟练程度的要求降到了最低， t 程人员可以把更多的精力放到理论和技术的创新上。 斟2 1m a t l a b 摹本界厕 针对控制逻辑的开发，协议栈的仿真等要求，t h em a t h w o r k s 公司在s i m u l i n k 平台上还提供了用于描述复杂事件驱动系统的逻辑行为的建模仿真工具一一 s t a t e n o w ，通过s t a t e n o w ，用广日j 以用图形化的方式描述事件驱动系统的逻辑行为， 并无缝的结合到s i m u l i n k 的动态系统仿真一| 1 。 在m a t l a b s i i l l u l i n k 基本环境之上，t h em a t h w o r k s 公司为j j ，j 提供了丰富 的扩展资源，这就是大量的t o o l b o x 和b l o c k s e t 。从1 9 8 5 年推出第1 个版本以后的 近二十年发展过程中，m a t l a b 已经从单纯的f o n r a n 数学函数库演变为多学科， 多领域的函数包，模块库的提供者。 此外，m a t l a b 集成开发环境中还加入了连接t 程实现的桥梁实时代码 生成工具r e a l t i m ew o r k s h o p ( r t w ) 。r e a l t i m ew o r k s h o p 使用户可以直接将 s i m u l i n l ( 框图模型转化为实时标准c 代码，进而为快速原型系统、半物理仿真系统 或者产品提供设计输入。 2 1 2 交互建模与仿真工具s i m u l i n k s i m u l i n l ( 是基于m a t l a b 平台的一个进行动态系统建模、仿真和综合分析的 集成软件包，它可以处理的系统包括线性系统、非线性系统；离散、连续和混合系 9 第2 章 软件环境和e d a 技术 捕获，因此用户不用太担心r t l 的质量。用户维护的是s m l 址模型，无需通读 代码来理解整个系统【5 6 】。2 2e d a 技术与e d a 软件 电子设计自动化( e l e c 仃o i l i cd e s i g l l a u t o m 撕o n ，e d a ) 技术是利用计算机自动 完成电子系统的设计。它以高性能的计算机作为工具，在e d a 软件平台上，再根据硬件描述语言h d l 完成的设计文件，自动地完成逻辑编译、化简、分割、综合 及优化、鬟引川萋萄刽t剖 刮妥i 季 奏墓薹量萎薹驻堕蒿零掣歪草哇j 剥两羹塑羹蓄朝掣影墅萋j 鞭攀毫耄萋 陷量j 精单介绍孺渤萋誉妻哺吲萋，忧纠，翟蔓羲雾錾雾冀查翼薷蒌。蘸目蕊萝条 薹型丽纠划糕蓄曼；燮萋雾矍囊篡委霎雾鏊垂薹划；杰季奏薹薹妻室塞蓁羹鐾| 薹 ! 季奏薹| 雾委萋蓁 及f p g a 技术。 2 1仿真与建模工具m a t l a b m a t l ab 产品家族是美国t h em a t h w o r k s 公司开发的用于概念设计、算法开 发、建模仿真、实时实现的集成环境【5 1 】【5 2 1 。由于其完整的专业体系和先进的设计开 发思路以及使用方法上的简单便利，使得m a t l a b 在多种领域都有广阔的应用空 间，特别是在其主要应用方向科学计算、建模仿真以及信息、信号处理系统的 设计开发上已经成为行业内的首选工具，全球现有上千万的使用者5 2 】【5 3 】。在本设计 中，采用了其最新的版本，即m a t l a bi 也0 0 8 a ( m a t l a b7 6 0 ) 【5 l 】。图2 1 显示 了m a t la b 的基本窗口，其中包括了m a t l a b 的命令窗口( c o m m a l l dw i n d o w ) 、 工作空间(w o r k s p a c e ) 和菜单栏等。 2 1 1m a t l a b 功能简介 在m a t l 墟产品家族中，m a t l a b 工具箱是整个体系的基座，它是一个语言 编程型( m语言) 开发平台，提供了体系中其他工具所需要的集成环境( 比如m 语言的解释器) 。同时由于m a t l a b 对矩阵和线性代数的支持使得工具箱本身具 有强大的数学计算能力。m a t l a b 产品体系的演化历程巾最重要的一个体系变更 是引入了s 好 中山大学硕上学位论文 2 ) 将产生的激励加入到被测试模块并观察其输出响应。3 ) 将输出响应与期望值进 行比较，从而判断设计的正确性。 2 2 4 e d a 综合工具s y n p l i f y s y n p l i 矽是s y n p l i c 时公司提供的针对f p g a 和c p l d 实现的逻辑综合工具。 综合是将设计好的h d l 代码，图形代码和原理图转变成逻辑单元的技术。逻辑综 合是指将寄存器传输级的结构描述转化为逻辑层的结构描述，以及将逻辑层的结构 描述转化为电路的结构描述。同与硬件执行和物理布线非常接近的物理综合相比， 逻辑综合是更高层次的综合技术。本设计中使用了s y n p l i c i 妙s y n p l i f 3 ，p r 09 0 2 对部 分递归神经网络h d l 代码进行逻辑综合。s y n p l i 矽p r 0 对于大容量低价格的f p g a 而言，有着比较快的综合速度和非常好的综合能力。 2 3 硬件描述语言v h d l 和v e r i i o gh d l e d a 的关键技术之一是要求用形式化方法来描述数字系统的硬件电路【5 7 】 5 9 1 。 硬件描述语言h d l ( h a r d w a r ed e s c 邱t i o nl a n g u a g e ) 在电子设计自动化中扮演着重 要的角色。它与传统的基于电路原理图的设计方法相比，使用h d l 进行设计具有 许多优点。首先，通过使用h d l ，设计者可以在非常抽象的层次上对电路进行描述； 其次，通过使用h d l ，设计者可以在设计周期的早期对电路的功能进行验证，由于 能够在设计初期发现和排除绝大多数的设计错误，因此大大降低了在设计后期的门 级网表或物理版图上出现错误的可能性，避免了设计过程的重复，显著地缩短设计 周期：最后，使用h d l 进行设计类似于编写计算机程序，带有文字注释的源程序 便于开发和修改。随着数字电路复杂性的不断增加以及e d a 工具的日益成熟，基 于硬件描述语言的设计方法已经成为大型数字电路设计的主流。 v h d l 具有强大的行为描述能力，从而被称为系统设计领域最佳的硬件描述语 言。v h d l 语言在硬件设计领域的作用将与c 和c + + 在软件设计领域的作用一样， 并将成为数字系统设计领域中所有技术人员必须掌握的一种语言。d l 语言中有 各种程序包，非常适合于乘法器、加法器等运算单元的实现。 v e m o gh d l 语言是目前应用最广泛的硬件描述语言之一，它最早由g a t e w a y 设计自动化公司于二十世纪八十年代提出，于1 9 9 5 年成为i e e e l 3 6 4 标准。v 耐l o g h d l 语言是在应用最为广泛的c 语言基础上发展起来的，因此，它与c 语言有许 1 4 茎! 童鏊堡墅堕塑里里垒垫查 多相似之处，并继承和借鉴了c 语言的多种操作符和语法结构。针对硬件设计， v e r i l o gh d l 语言有很多优势【5 7 】【删： 与d l 相比，v e m o gh d l 语言最大的优点就是易学易用，通过学习和使用， 可以在短时间内掌握该语言。并且描述硬件单元的结构简单且易读。 v e r i l o gh d l 语言的功能强，可以满足各个层次设计人员的需要，从高层的系统 描述到底层的版面设计，都能很好地支持。 绝大多数流行的综合工具都支持v e r i l o gh d l ，这是v e m o gh d l 成为设计者首 选语言的重要原因之一。 由于v e r i l o gh d l 巨大的优越性，使得它广泛流行。在美国、日本等国家，v e m o g h d l 也一直是使用最为广泛的硬件描述语言，在国内，v e r i l o g 的应用群体也在扩 大，越来越多的人使用该语言进行设计和仿真【5 7 】例。 2 4 f p g a 特点和设计流程 f p g a 是f i e l dp r o 掣a m m a b l eg a t ea r r a y 的缩写，即现场可编程门阵列，它是复 杂高密度p l d 器件的一种，是在p a l ，g a l ，e p l d 等可编程器件的基础上进一步发 展的产物，它作为专用集成电路( a s i c ) 领域中的一种半定制电路而出现的，既解 决了定制电路的不足，又克服了原有可编程器件门电路数有限的缺点。自1 9 8 5 年 ) ( i l 血公司推出第一片中大规模f p g a 至今，f p g a 已经历了2 0 年的历史。在这二 十年中，可编程器件有了惊人的发展：从最初的1 2 0 0 门，到今天的超过百万门。 目前f p g a 的品种很多，有l i p 的x c 系列、t i 公司的t p c 系列、a l t e r a 公司的f i e x 系列等。使用f p g a 器件设计数字系统电路的主要优点有【5 7 】：设计灵 活、增大功能密集度、缩短设计周期、降低成本等。 f p g a 设计大体分为设计输入、功能仿真( 前仿真) 、综合、实现、时序分析 与仿真( 后仿真) 、下载验证等六个步骤。f p g a 的设计方法一般采用的是自顶向 下设计法【5 7 】 6 l 】，简单地说，就是采用可完全独立于芯片厂商及其产品结构的描述语 言，在功能级对设计产品进行定义，并结合功能仿真技术对设计描述的逻辑功能进 行测试模拟以确保设计的正确性。与具体电路没有关系，仿真过程不涉及具体器件 的硬件特性，如延迟特性。在功能定义完成后，利用逻辑综合技术，把功能描述转 换成某一具体结构芯片的网表文件，输出给厂商的布局布线器进行布局布线。布局 中山大学硕_ i 学位论文 布线结果还可返回同一仿真器，进行时序的验证，以保证布局布线所带来的门延时 和线延时不会影响设计的性能。如果以上的所有过程，包括编译、综合、布线适配 和功能仿真、综合后仿真、时序仿真都没有发现问题，即满足原设计要求，就可以 将适配器产生的配置下载文件通过编程器或下载电缆载入目标芯片中。 自顶向下设计方法具有如下几点优越性：首先，功能描述可完全独立于芯片结 构，在设计的最初阶段，设计可不受芯片结构的约束，集中进行产品设计，避免了 传统方法所带来的重新设计风险；其次，设计的规模大大提高，简单的语言描述即 可完成复杂的功能；最后，芯片选择灵活。 1 6 第3 章递归神经网络及其仿真和建模 第3 章递归神经网络及其仿真和建模 实时计算问题在科学、工程和社会经济等许多领域中都频繁出现，例如与矩阵 运算相关的问题6 】【13 1 ，最优化计算【1 4 1 。它通常是许多问题求解的关键步骤，例如， 自动控制【17 1 ，信号处型1 8 】【1 9 】，模式识别2 0 】【2 2 】，机器人及其控制2 】【8 】【9 】【1 4 1 等。基于动 力学系统的递归神经网络方法是一种非常重要的并行计算方法，能够有效地解决矩 阵运算问题【8 】【9 】【1 2 】【2 5 】。近年来，随着对神经网络的深入研究，开发了大量基于递归 神经网络的动力学求解方法。由于它的并行分布计算特性和硬件实现上的便利，神 经网络方法如今被认为是实时计算的一种强有力的工具【2 5 】【3 2 】【6 4 1 。 本章将研究实时问题的递归神经网络求解模型及其基于m 棚，a bs i l n u l i l l l 【的 建模和仿真技术。首先将给出几类常见的实时问题求解的数学描述，推导出相应的 递归神经网络求解模型，给出相关的网络收敛性和鲁棒性的理论分析，并给出各个 递归神经网络模型框图，在此基础上进行m a ，a b 的仿真以及s i n l u l i n k 的建模和 仿真验证。另外还给出几个仿真实例，验证了递归神经网络用于实时问题求解的有 效性以及关于收敛性分析的正确性。 3 1问题描述及背景知识 本节介绍几类科学和工程领域经常遇到的实时数学问题，如时变矩阵求逆问 题，时变线性方程组求解，二次规划问题求解等，并给出通用的数学描述。最后介 绍本文所使用的几类神经网络激励函数及其m a t ia b 编程实现。 3 1 1 矩阵求逆问题 自上世纪八十年代以来，很多研究都把注意力放在构造矩阵运算的快速算法上 面。一般来说，数值算法的最小计算复杂度通常与矩阵维数的立方成正比【6 5 】【6 6 1 。所 以，当这种串行处理算法应用到维数较大的矩阵实时求解问题时就显得效率不高。 有鉴于此，有学者曾提出复杂度与矩阵维数平方成正比的数值算法【6 5 】【6 7 】来解决这类 矩阵问题。然而，结果也同样未尽人意，如求解一个6 0 0 0 0 维矩阵逆运算需要约一 第3 章递归神经网络及其仿真和建模 对它的求解可以采用一些更有效的方法。二次规划问题的标准形式为 4 】： n l i n h i l i z e 厂( x ) = 工1 阿k 2 + 9 1 x s u b i e c tt o 氏= d 。 血6 ( 3 - 5 ) 孝一js 善+ 其中，系数矩阵缈为正定型或半正定型( 甚至是全零矩阵) ，从而凸二次规划 和线性规划问题都可以使用上式描述。 线性规划以及二次规划问题的求解是数学规划和工业应用等领域中一个重要 课题。由于一些非线性规划问题转化为求解一系列的二次规划问题，因此对二次规 划的算法研究很早就引起人们的重视。 3 1 4 神经网络激励函数 神经网络的激励函数也称作传输函数、激活函数。神经网络设计中一般都会考 虑使用激励函数，本章中探讨了以下四种神经网络激励函数。 1 1 线性激励函数( l i n e a ra c t i v a t i o nf u n c t i o n ) 厂 ) = “( 3 6 ) 2 ) 双极s 形激励函数( b i p o l a rs i g m o i da c t i v a t i o nf u n c t i o n ) m ) = 蔫，黜 ( 3 7 ) 3 1 幂激励函数( p o w e ra c t i v a t i o nf u i l c t i o n ) 厂 ) = 甜p( 3 - 8 ) 其中p 3 为奇数。 4 ) 幂s 形激励函数( p o w e rs i g m o i da c t i v a t i o nf u n c t i o n ) p ，川1 m ) 2 1 掣生丛塑，其它 ( 3 。9 ) 【1 一e x p ( 一孝) 1 + e x p ( 一善“) 。 其中孝2 ，p 3 且p 为奇数。 神经网络设计中，还可以使用其它类型的激励函数。另外，其它类型的激励函 数也可以由上面四种类型函数组合而成。 1 9 3 1 5 激励函数的m a t l a b 实现 因为激励函数在接下来的各种递归神经网络的m a t l a b 仿真中都需要，本节 将先探讨四种激励函数的m a t l a b 编程。事实上，由于m a t l a b 函数的输入参 数可以是矩阵，这些函数也适用于激励函数阵列。关于激励函数阵列，可参看下节。 线性激励函数厂似) = “的矩阵变换阵列厂( e ) = e 为： 缺省参数f = 4 的双极s 形激励函数阵列厂( ) 的m a t l a b 实现为： 缺省参数p = 3 的幂激励函数变换阵列厂( ) 为： 公式( 3 9 ) 中定义的缺省参数为孝= 4 和p = 3 的幂s 型激励函数变换阵列厂( ) 可 以通过下面的m a t l a b 程序代码实现。 利用m a t l a b 所特有的矩阵运算功能，上面的幂s 型激励函数变换阵列厂( ) 还可以作如下更简洁高效的编程实现。 在上面函数中，m a t l 蛆会根据用户输入参量个数( n a r g m ) 多少来调用相应 2 0 第3 章递归神经网络及其仿真和建模 程序代码或者函数。通过使用多个输入参数和m a t l a b 的“n a r g i i l ”例程函数，我 们能够实现各种不同参数值的激励函数阵列。 3 2 梯度法神经网络求逆 传统的递归神经网络设计很多都采用负梯度方法【1 3 】( 18 1 ，亦即最速下降法。负梯 度法源于求解最优化问题，在工程和科学计算领域应用非常广泛。本节中，基于负 梯度法思想，我们推导常数矩阵求逆的递归神经网络模型，并分析其收敛性和鲁棒 性。最后将得到梯度法神经网络应用于时变矩阵的实时求逆问题。 3 2 1 网络模型推导 依据负梯度法思烈8 】【1 8 】【2 1 】1 2 2 】【2 3 】，我们分几个步骤来推导和设计用于矩阵求逆的 梯度法神经网络。首先，由( 3 1 ) ，构造基于矩阵范数的标量误差函数： 占( x ) = 知剃一钏2 ( 3 1 0 ) 为了使上述误差减小，可使用经典的负梯度方法，因此我们可以得到如下误差 函数负梯度方向作为下降方向 一挈：一彳r ( 朋一，) ( 3 - 1 1 ) 一一= 一月月 一，l 1l i a x 、。、 因此可得到基于负梯度思想的递归神经网络模型如下 托) _ - 厂警一( 舢h ) ( 3 - 1 2 ) 其中参数y 0 决定网络的收敛速度，在电路实现中，7 可由电容系数倒数或电 感系数给出。如果条件允许，理论上y 取值越大越好。 最后，如果考虑使用非线性激励函数，则梯度法神经网络模型如下： 霄( f ) = 一厂彳r 芦( 么x ( f ) 一，)( 3 13 ) 其中网络初始值x ( 0 ) ：= k r “4 ，网络状态x ( f ) r ”对应于常数矩阵 彳r 嗍的真实逆彳。同经典的线性梯度法神经网络模型( 3 1 2 ) 一样，网络参数 ， 0 用来调节非线性梯度法神经网络模型( 3 1 3 ) 的收敛率。在( 3 1 3 ) 式中，厂( ) 表 示一组由刀刀个激励函数厂( ) 构成的矩阵变换阵列【8 】【9 】【2 l 】【2 3 】，即 2 i 第3 章递归神经网络及其仿真和建模 程序代码或者函数。通过使用多个输入参数和m a t l a b 的“n a r g i i l ”例程函数，我 们能够实现各种不同参数值的激励函数阵列。 3 2 梯度法神经网络求逆 传统的递归神经网络设计很多都采用负梯度方法【1 3 】( 18 1 ，亦即最速下降法。负梯 度法源于求解最优化问题，在工程和科学计算领域应用非常广泛。本节中，基于负 梯度法思想，我们推导常数矩阵求逆的递归神经网络模型，并分析其收敛性和鲁棒 性。最后将得到梯度法神经网络应用于时变矩阵的实时求逆问题。 3 2 1 网络模型推导 依据负梯度法思烈8 】【1 8 】【2 1 】1 2 2 】【2 3 】，我们分几个步骤来推导和设计用于矩阵求逆的 梯度法神经网络。首先，由( 3 1 ) ，构造基于矩阵范数的标量误差函数： 占( x ) = 知剃一钏2 ( 3 1 0 ) 为了使上述误差减小，可使用经典的负梯度方法，因此我们可以得到如下误差 函数负梯度方向作为下降方向 一挈：一彳r ( 朋一，) ( 3 - 1 1 ) 一一= 一月月 一，l 1l i a x 、。、 因此可得到基于负梯度思想的递归神经网络模型如下 托) _ - 厂警一( 舢h ) ( 3 - 1 2 ) 其中参数y 0 决定网络的收敛速度，在电路实现中，7 可由电容系数倒数或电 感系数给出。如果条件允许，理论上y 取值越大越好。 最后，如果考虑使用非线性激励函数，则梯度法神经网络模型如下： 霄( f ) = 一厂彳r 芦( 么x ( f ) 一，)( 3 13 ) 其中网络初始值x ( 0 ) ：= k r “4 ，网络状态x ( f ) r ”对应于常数矩阵 彳r 嗍的真实逆彳。同经典的线性梯度法神经网络模型( 3 1 2 ) 一样，网络参数 ， 0 用来调节非线性梯度法神经网络模型( 3 1 3 ) 的收敛率。在( 3 1 3 ) 式中，厂( ) 表 示一组由刀刀个激励函数厂( ) 构成的矩阵变换阵列【8 】【9 】【2 l 】【2 3 】，即 2 i 第3 章递归神经网络及其仿真和建模 性暖。且其指数收敛率s 网络设计参数y 和矩阵奄a 的最小特征值的乘积 或正比关系o 2 ) 当使甬双极s 形激励函数时相较子使甬线性激励函数的情况。在误差区 闯一6 。趴c 卜、赴内神经网络( 3 一1 3 ) 具有更快的收敛特性。这是因为误差 信号e 口= 泌一i 、。在该区间内被双极s 形函数放大7 o 3 ) 当使码幂激励函数时，相较于使甬线性激励函数的情况，在误差区间 卜0 卜心，诚内，梯度法神经觋络0 一1 3 ) 具有更快的收敛特性。这也是因 为( 3 - 1 3 、串误差信号e l 吣= v 镊吣一l 、；在该区间内被幂激励函数放大了。 小从2 ) 和3 ) 司得劲，当使甬幂s 形激动函数( 3 - 9 ) 时相较于使用线性激励 函数的情况。梯度法神经网络( 3 1 3 ) 在卜。吣都具有更快的收敛性o 在通常的仿真验证或着电路实现梯度法神经网络模型( 3 1 2 ) 和( 3 1 3 ) 时，往往假 设其处于理想条件下。然而，实际硬件实现中常有误差存在，例如，线性激励函数 的实现结果由于电路噪声可能看起来就像一个双极s 形函数或是分段线性函数，这 种现象可能是因为运算放大器有限的增益和频率相关性而产生。一般而言，如果激 励函数的非精确实现得到的还是严格单调递增的奇函数，则梯度法神经网络( 3 1 3 ) 保持其收敛性。 除了激励函数的非精确实现，梯度法神经网络的模型实现还可能存在另外两种 实现误差。一种是矩阵彳的微小扰动，如神经网络数字电路实现中的截断误差或者 舍入误差。此时，受扰动的神经网络模型变为 j ( f ) = 一7 ( 4 + ) r 歹( ( 彳+ ) x ( f ) 一，) ( 3 1 5 ) 其中加性扰动项色满足i i 忙万，了万 o 。第二种是由于神经网络动力学方程 的非精确实现而产生的模型实现误差。此时，梯度法神经网络模型变为 j ( f ) = 一y 4 r 厂( 似( f ) 一，) + 工( f ) ( 3 1 6 ) 其中，i l 工( 圳乞，了乞o ，v f o ，佃) 。分析这些可能出现的神经网络实现 误差对梯度法神经网络的影响，可得到下面的理论结果【8 1 【9 1 【2 1 1 。 惫题3 3 ：考患带有扰动项的梯度法神经网络( 3 1 s 1 和带有模型实现误差的梯度 法神经网络( 3 1 。以下结果我立 1 ) 对于东扰动的梯度法神经网络( 3 一l s 、。若矩阵a 七k 。仍然为非奇异方阵。鼬。 雯耋羹 荔薹薷曼霪薹妻薹菱冀霎薹羹 熏裂堑萄妻雾喜荔、鞣残醵羹霪慈摧垤羹蔷善髫攀茎霎薹姜驰4 萼妻 季i i i 。霞翼型吲：要 互餮残铂嚆白囊嘉萋浮童墨薹彭缓薹要缀壁i 雾。萎 囊霎熏雾垂寨萋蓁| 蓁| 箜薷奏雾薹堑薹豢篓薹蠢蠢薹藿曩缝霎鹾该囊羁；i ；i 二墼蚕嚣叁茴冀露i 霎留 舄为矗兰髦藿筌互傺雾簿i 营琵彰缫霸豁纠筮嚣缪叁雾醪琵辫；琶弱薹，弼袅翼 嚣扬东墓i 霞爵麓鋈篓疆癯缓弱嚣羹箭蓊蓊彰薹鹜彭弦；骂基需疆彩藏荔旌篓绣 搓；籀即影纽羹动摹召霪t 囊磋彩蒯垂冀雏孩鲐蠹务鋈镉塞蓁耋； 耋；薹；薹耋涟塑霎篓篓 譬未品= | | | | 墓鬟i i i ；i | i i ；| | | | | | | | | | | | | | | | i ；矗髀紧门| | 型衍l l 耋1 i n r u - 重羹 h | | 埔| 刖毫耋。乏季善i 垂。j j 二蠢一奏姜? 囊? 囊粪