（计算数学专业论文）求解两类线性问题的神经网络.pdf

求解两类线性问题的神经网络 王婧 摘要变分不等式与互补问题具有广泛的应用背景，一直是优化领域中的重 要研究课题变分不等式问题广泛地出现在信号和图像处理、系统识别、滤波设 计、自动控制、经济科学、运输科学、运筹学、非线性分析等领域，并且数学、物 理和工程领域的许多问题都可以转化为它作为变分不等式问题的特殊形势，互 补问题广泛地应用于工程物理、经济与交通平衡等领域，特别地，约束优化问题 的最优化条件也常为一互补问题，因此得到了广泛的研究 在许多实际应用中，变分不等式与互补问题往往要求实时求解，然而传统的 数值迭代方法，由于计算时间依赖问题的规模、结构以及所采用的算法，因而很 难满足实时性的要求基于电路实现的人工智能神经网络是处理高维、稠密结构 问题的一个可行方法由于内在的动态本质和电路实现的潜在能力，神经网络能 够采用集成电路等硬件来实现因此，神经网络比传统的优化算法能更快的求解 优化问题，并且建立神经网络来实时求解优化问题具有实际意义 本文研究了一类线性变分不等式问题以及水平线性互补问题根据文中问题 解的特点，分别给出了求解它们的神经网络模型，建立了网络模型的平衡点与原 问题的解之间的关系，严格证明了这些网络的稳定性与收敛性，特别是指数稳定 性数值实验还表明这些网络不仅可行，而且有效 全文共分三部分 第一部分简述了变分不等式与线性互补问题的意义及其研究现状，以及神经 网络的基本特征、研究进展和相关的基本理论知识，并概括了本文的主要工作 第二部分考虑了一类线性变分不等式问题，提出了求解它的一个射影神经网 络，运用l y a p u n o v 稳定性理论、射影理论和l a s a l l e 不变原理，构造恰当的能量 函数，给出了确保该模型稳定和有限时间收敛的三个充分条件，并在适当的条件 下，证明了该模型的指数稳定性该模型结构简单，易于硬件实现，可用来求解 非单调的问题 第三部分根据水平线性互补问题的内在特点，通过构造新的向量，给出了实 时求解水平线性互补问题的具有单层结构的神经网络，并且建立了网络平衡点与 原问题解之间的关系最后运用l y a p u n o v 稳定性理论，严格证明了网络的稳定 性和收敛性，以及在适当的条件下的指数稳定性与已有模型相比，该模型复杂 性较低，规模仅是原问题的一半，有限时间收敛并且可求解非单调的互补问题 因此，该模型适合硬件实现 关键词：线性变分不等式；水平线性互补问题；神经网络；收敛性； 稳定性；指数稳定性；有限时间收敛 n e u r a ln e t w o r k sf o rt w ok i n d so fl i n e a r p r o b l e m s w 妇gj i n g a b s t r a c t ：v 撕a t i o n a li l l e q u a l i 锣锄d 啪p l 咖e n t 缸i 够p m b l e h 撼a r et h ei m _ p o r t a n tr e 8 e 盯曲t o p i 璐i nt h eo p t i m i z a t i o np r o b l e m s t h e yh a v ea 埘d e ra p p l i c 扣 t i o ni nm a 町f i e l d s ，s i l c h8 ss i g n a lp r o c e 胬i 岛盯s t 锄i d e n t i 矗c a t i o ，m t e rd e s i g n ， r o b o tc o n t r o l ，e c o n o m i cs c i e n c e ，t r a n s p r o t a t i o ns c i e n c e ，o p e r a t i o n a lr e s e a f 出，a n d n o n l i n e a r8 n a j y s i sf i e l d s ，m e a w h i l e ，m 甜l yp r o b l e i 璐i nm a t h e m a t i c s ，p h y s i c s ，8 n d e n 西n e e r i n g 呦b ef o 聊u l a t e d 鹪i t a 8as p e c i a lc a s eo f ，c o m p 】彻e n t 撕姆p r o b _ l e i ni n v o l v 鹤i l lt h ee n 舀n e e r i n gp h y s i 嘴，e ( ：0 n d 珊l ya n dt h et r a 瑚p o r t a t i o nb a l a i l c e a n ds oo n ，t b e ) 7t l s u 础ba p p e a ri nn i eo p t i m o za _ i o nc o d i t i o no f t h ea n a l y s i so ft h e o p t i m o z a t i o np r o b k m 证t hr e s t r i c t i 叨，s oi tg e t 柚甑t e n s i 、，er e s e a r 西 b m a i 】yp r a c t i c a la p p l i c a t i o 璐，哦l - t i m e8 0 1 u t i o l l so ft h e 、嘶a t i o n a li n e q u a l i t y a n d m p l e m e n t a r i 锣p r o b l e ma 糟d e s i r e d h 铘旧v e r ，t r a d i t i o n a la | g o r i t h l i l sa r e 玮d t s u i t a b l ef o rar e a l - t i m ei m p l e l e n t a 土i o no nt h ec o m p u t e rs i n c et l i er e q u i r e dc o m p l l t i n gt i m ef b fas o l u t i o ni s 掣它a t l yd e p 衄d e n to nt h ed i m e n s i o n 粕dt h es t n l c t u r eo f t h ep m b l 咖，a n dt h ec o m p l 碰够o ft h eu s e da l g o r i t h m 0 n ep r o m i s i n ga p p r o a c l lt o h a n d l et h e s ep r o b l e m sw i t hh i g hd i m 黜i o n 锄dd s t n l c t u r ei st oe m p l ，a n i f i c i a l n e u r a ln e 拥r o r kb a s e dc i 州ti m p l e m e n t a t i o n b e c a u s eo ft h ed y n 锄i cn a 七u r ea n d t h ep o t e n t i a lo fe 】e c t r o i ci m p l 锄e n t a t i o n ，i l e u r a ln e t w o r k sc a nb ei m p l e m e n t e d p 1 1 y s i c a l l yb yd e s i 弘a 舡 dh a r d 咖es u c ba sa p p l i c 8 c i o n s p 槐i l i ci n t e g r a t e dc i r c u i t s w h e r et h e p u t a t i o n a lp r o d l l r ei st r 珂yd i s t r i b u t e d 粕di l lp a r a l l e l t h e r e 五d r e ， 乞h en e u r a ln e t w o r ka p p m a c hc a n 鲥v eo p t i m i z a t i o np r o b l e 坞i nm n i l i n gt i m 荡a t t h eo r d e ro fm 婚l i t u d e 姗l c hf 缸妇t h a nc o n v e n t i o n a lo p t i i i l i z a t i o na l g o r i t h i 璐瓣 c i l t e do ng e n e r 罅p u r p 0 8 ed i 百t a lc o m p u 钯r s ，粕di tj so fg r e a ti n t e r e s ti np r a c t i o et o d i 黼i o ps o m en e u r a ln e “旧f km o d e l 8 i nt h i st h 箦i s ，w eo o n s i d e rad a 鼹l j n a e rv a r i a t i o n a li n e q i u a l i t yp r o b l e ma n d t h eh o r i z o n t a ll n e a rc o m p l e m e n t a r i t yp m b l 咖a 。c d r d i n gt ot h ei n h e f e n tp m p e n i e 8 o ft h e i rs o l u t i o l l 8 ，t h en e m a ln e t w o r k sf b rt h 嘲a 舱p r e s e n t e dr e s p e c t i v d i y a n d t h er e l a t i o n s h i pb 帆nt h es o l u t i 0 1 1 8o ft h eo r i g i n a lp r o b l e m 8a n dt h ee q u i l i b r i u m p o i n t so ft h en e u r a ln e t w o r l 【sa r ed i s c l l s s e d m e a n w h i l e ，t h es t a b i l i 瓴鹤p e c i a l l y i i i 船y m p o t i c8 t a b i h t ya n de x p o n e n t i a l8 t a b i l i t y0 ft h e 辩n e t w o r l 【sa r es t r i c t l yp r o v e d ； s o m ei l l u s t r a t i v ee ) 【啪p l e 8s b wt h ef 毫a s i b i l i 钾a i l de 丹e c t i v e n e s s o ft h e s en e t w o r k s t h ef u l lt 吐i sd i v j d e di n l dt h r e ed a f t s t h e 丘r 8 tp 砌乞s u m r i z 鹪t h es i g n i f i c a n c ea n dd e v e l o p 瑚蚓吐o ft h ec o n c e r n e dp r o b _ l 哪s ，t h eb 勰i cd h a r a c t e r i s t i c e so ft h en e u r a ln e h 曙k 。a n d 双) mf l l n d l e n t a lt h e o r i 圈 f i n a l l yt h ep f i m 射_ yw o r k 8i nt h i st h 鹤i sa 糟8 h o w e d i nt h es e c o n dp a r t ，w ec o n s i d e ra | d n do fl i n e a rv 葛i r i a t i o n a li 联掣a l i t yp r o b k m ， a n dp r e s e n ta p r 町e c t i o nn e u r a ld e t w o r kf o ri t w i t ht h ea i do ft h ep r o j e c t i o nt h e o m s t a b i l i t yt h e 0 巧粕dk 8 a l l ei n v a f i a i l ts e tt h e o r e m ，t h en e u r a ln 悯ki 8s h o 砒t 0 b es t a b l ei nn 【es e n 8 eo fl y a p u n o v 越1 dt h r e es u m d e n tc o n d i t i o 璐a r ep r 嘶d e dt o e n s u r en l e6 n i t 争t i m ec o n v 盯g e n c eb yd e 6 n gas l l i t a b l ef u n c t i o n f i n a l l ye x p o n e n t i a u s t a b l i t yo ft h ep f o p o s e di l e 钾帕r kj 8a l s o8 h o w n i nt h et h i r dp a r t ，b a s e do nt h ei n h e r e n tp r o p e r t i 酷o fh o f i z o n t a l1 i n e a rc o m p b m e n t a r i t yp r o b l d n s ，t h i sp 印e rp r e 鲫鼢an e u r a ln e t w o r kw i 啦ao n e - l a y 矸s t r u c t u r e f 研s o l 、，i n gad a s so fh o r i z o n t a ll i n e a ro o n l p l e m e n t a r i t yp r o b l e li nr e 胡一t i m eb yi n - t r o d u c i n gt h en e wv e c t o r s w 毡s h o wt h a tt h ep r o p 0 8 e dn e u r a ln e t w o r ki ss t a b l e i nt h es c n s eo fi 御u n o v a n dw i l lc o n v 珂g et oa n 【a c te q l l i l i b 哦u mp o i n ti nf i n i t e t i m e f u r t h e r m o r e ，g i o b a le x p o n e n t 汹s t a b i l i t yo ft h ep r 叩0 8 e dn e u r a ln e t w 0 r kj 8 a l s os h o 髓u n d e rm i l de o n m t i o i l s t h es i z eo ft 瞎p r o p o f 蜘日e u r a ln e 细r ki so 玎】y h a l fo ft h eo r i 百n a lp r o b l e m ，a n di th a sal o wc o m 4 e ) i t y f i n i t e _ t i m e n v e r g e n o e a n dc a nb e 印p l i e dt os o l v es o m en o n m o n o t o n ec o m p l e l n e n t 撕t yp r o b k m 8 - 飘l 璐 t h ep r o p o s e dn e u r 虹n e t w o r ki sr n o r es u i t 8 b l ef o rp a r a l k di m p l e m e n t a t i o nb yu s m g s i m p l eh a l f d w a r eu n i t s k e yw o r d s ：l i n e a rv a r i a t i o n a lj n e q u a l i t y ； h o r i z o n t a l1 i n e a rc o m p 】e m e n t 8 r i t yp r o b l e m s ； n e u r a ln e t w o r k ； c o n v e r g e i - c e ；s t a b i l i t y ；e x p o n e n t i a ls t a b i l i t y ； f i n i t e - t i m ec o n v e r g e n c e l v 学位论文独创性声明 本人声明所呈交的学位论文是我在导师的指导下进行的研究工作及取得的研究 成果尽我所知，除文中已经注明引用的内容外，论文中不包含其他个人已经发表 或撰写过的研究成果，也不包含为获得陕西师范大学或其它教育机构的学位或证书 而使用过的材料，对本文的研究做出重要贡献的个人和集体，均已在文中作了明确 说明并表示谢意 作者签名：至盛日期：型1 2 丛矽 学位论文使用授权声明 本人同意研究生在校攻读学位期间沦文工作的知识产权单位属陕西师范大学 本人保证毕业离校后，发表本论文或使用本论文成果时署名单位仍为陕西师范大 学，学校有权保留学位论文并向国家主管部门或其它指定机构送交论文的电子版和 纸质版；有权将学位论文用于非赢利目的的少量复制并允许论文进入学校图书馆、 院系资料室被查阅；有权将学位论文的内容编入有关数据库进行检索；有权将学位 论文的标题和摘要汇编出版， 作者签名：兰盛日期：2 互乙丝卫 第一章绪论 1 1引言 优化问题广泛的出现在经济计划，工程设计、生产管理、交通运输，国防等重 要领域，它与信号处理、系统识别、滤波设计，函数逼近、回归分析和自动控制等 科学技术领域密切相关研究优化问题的特性、寻求其解的计算方法，是许多学 者和工程技术人员普遍关注的问题。也是最优化这门学科主要解决的问题【1 ，2 】 变分不等式问题和互补问题作为有着广泛应用背景的优化问题，一直是优化 领域中的重要研究课题变分不等式问题作为一类重要的优化问题，其理论出现 于2 0 世纪6 0 年代，它在工业，金融，经济、社会，理论科学和应用科学领域都 有广泛的应用几十年来，其理论和求解方法已经得到深入的研究用变分不等 式的思想和技巧求解科学领域中的许多问题是非常有效的途径，而且，对于许多 线性和非线性问题，变分不等式理论提供了一类直接、简单、有效的处理方法 变分不等式问题可分为线性变分不等式问题和广义变分不等式问题两大类其 中，本文所考虑的一类线性变分不等式问题包括线性互补问题( q = z j p i z 0 ) ) 和线性方程组( q = j p ) ，而且许多重要的平衡问题和优化问题，如线性与二 次规划，广义线性与二次规划【3 】等问题，都能转化为它阻6 】因此线性变分不等 式问题在许多科学，经济和工程技术等领域都有重要的应用( 见p 6 】及其参考文 献) 互补问题来源于工程物理、力学，运筹学和经济领域，在经济平衡。非协作 竞赛、交通分配等问题中有着重要应用，而且与变分不等式问题，双线性规划向 题和非线性方程有着紧密地联系互补问题也可分为线性互补问题和非线性互补 问题两大类其中，线性互补问题在接触力学，结构力学等工程领域以及市场平 衡，交通平衡和n a s h 平衡点问题中有着重要的作用f 7 ，8 】 线性互补问题有不同形式的推广，广义线性互补问题是线性互补问题的重要 推广一类是f e m a n d e s 等人【9 】提出的广义线性互补问题，他是在线性互补问题 的基础上增加一个不等式约束以及对其中一个变量加上非负约束得到该问题包 括线性互补问题和混合线性互补问题，而且它在双线性规划、两层规划和全局规 划中有重要作用另一类是g o w d a 【l o 】提出的广义线性互补问题，水平线性互补 问题、垂直线性互补问题、混合线性互补问题以及y e 【1 1 】提出的广义线性互补问 题均可表示为它的形式 因此，对这两类问题的研究具有一定的实际意义和理论价值【9 ，1 0 ，1 2 】下面 对这两个问题的研究现状进行具体分析，求解方法分别在第二，第三章给出 1 2 变分不等式问题的研究进展 对于如下的变分不等式 6 6 1 ；找向量t + r ，l ，使得 g ( 钍) q ，阻一g ( u + ) 】r f ( 仳) o ，甘q ，( 1 2 1 ) 在过去几十年中，许多数值方法被应用于求解该类变分不等式以及相关的优化问 题，其中最重要的是基于w i e n e r - h o p f 方程的射影算法，它对于求解变分不等式 问题的近似解是非常有效的射影算法的主要思想是利用射影概念，建立变分不 等式问题和不动点问题的等价关系，从而利用w i e n e r - h o p f 方程求解这种等价 关系在研究求解变分不等式的射影算法中具有重要意义但是射影算法的收敛性 要求算子强单调并且是l i p s c h i t z 连续的由于限制条件太强，使一大类问题不能 用这种方法求解，这就激发人们去改进射影算法或选用其它方法求解变分不等式 问题根据双射影理论，外梯度法通过在每次迭代增加一个预测和一个射影来克 服这个困难，因此，该方法也称为预估校正法它的收敛性只要求原问题有解， 算子单调且l i p s c h i t z 连续但当算子不是l i p s c h i t z 连续或l i p s c h i t z 常数不知道 时，外梯度法则需要类似于a 瑚i j o 线性搜索技巧在每一次迭代中用一个新的射 影来计算步长，这就使运算量加大为克服这些困难，文献【1 5 ，2 3 4 】给出了若 干改进的射影算法和外梯度法但上述方法都是序列迭代法，由于其计算时间依 赖问题的规模和维数，因此很难满足实时性要求，而且迭代法只能得到问题的近 似解 自h o p f i e l d 和t a n k 【1 3 ，1 4 】首次提出求解线性规划的一个神经网络以来，用神 经网络求解优化问题得到了深入的研究，并取得了一些重要的成果【1 5 - 2 7 】特别 的，对于变分不等式问题，根据优化理论和射影方法，n i e 眩等在 3 5 】中提出了一 个求解常义变分不等式的射影神经网络，但是【3 6 】指出。文献【3 5 】中保证网络稳 定性的条件太强，而且在实际中很难验证【3 6 】进一步分析了该网络的稳定性， 但是其全局渐进稳定性要求变分不等式问题的解集有界以保证所给的l y a p 咖o 、r 函数的水平集有界而且，该文中指数稳定性条件也太强f 3 7 j 对该网络的稳定 性也进行了研究文中分三种情况用三个不同的l y a 衄吖函数严格证明了该网络 的指数稳定性文献【2 4 - 2 6 】还研究了具有非线性约束的变分不等式的神经网络， 其中【2 4 】研究了具有线性和上下界约束的变分不等式，f 2 5 1 研究了具有不等式和 等式约束的变分不等式，【2 6 】研究了具有不等式，等式和上下界约束的变分不等 2 式根据优化理论，上述几个问题均可等价转化为常义变分不等式，利用射影技 巧，【2 垂2 6 】构造了上述几个问题的神经网络，并在适当的条件下证明了这些网络 的稳定性和收敛性 特别的，当g ( 曲= 1 l ，且f ( u ) = m u + 吼其中m j p “，口印，f 司题( 1 2 1 ) 就转化为本文所研究的一类线性变分不等式问题，该线性变分不等式问题作为问 题( 1 2 1 ) 的特例，可用文献【6 3 】中的网络来求解，但在文献【6 3 1 以及研究射影动 力系统的文献f 6 4 】中可以看到，用这些网络模型来求解该线性变分不等式问题， 为保证网络的稳定性，或者要求矩阵是对称半正定的，或者要求矩阵，一m 是非奇异，且存在正定对称矩阵w 使得矩阵( j 一肘) t 是对角矩阵这些条件 太强，并不是对所有的该类问题都适用，因此本文在此基础上又给出了一个新的 网络来解这类问题 1 3 线性互补问题的研究进展 g o w d a 在文献f l o 】中提出了如下广义线性互补问题( 董 戚e n d e dl c p ，简称 x l c p ) ；找向量( z ，可) 兄2 n 使其满足 矿暑，= o ， 彳z 一j ( z ，) o ( 1 3 1 ) 其中m ，尼“是给定的矩阵，k 是尼”中的一个非空多面集( p 0 1 y h e d r a l s e t ) 该问题包括水平线性互补问题、垂直线性互补问题、混合线性互补问题以 及y e 提出的广义线性互补问题( 1 l 】，从而得到了较为深入的研究【2 ，1 1 ，1 2 ，3 8 - 4 2 】 g o w d a f l o 】将其转化为如下双线性规戈! l 问题： m 。m m 铭8 z 。弘 ( 1 3 2 ) s u m e d t o m z 一暑，k ，( z ，暑，) o 、 显然( z ，们j p 是x l c p 的一个解，当且仅当它是( 1 3 2 ) 的一个解且最优值为 零当 m ，n ) 满足x 一行充分性时，文中证明了双线性规划的k k t 点是x l c p 的解m a i 堰鹄a r i 柚【3 8 】研究了x l c p 中k = l z + g ，z 席) 的情形，当矩阵 m 1 在集合k 的对偶退化锥上是c o p 耐t i 、，e 时，证明了双线性规划( 1 ，3 2 ) 的 k k t 点是x l c p 的解对= g 玑g 硝。”，g 尉 的情形，文中给出了 一个求解( 1 3 2 ) 的序列线性规划算法( s e q u e n t i a ll i n e a rp r o f 舢i n ga l g o r i t h m ) ， 其子问题是： m 打。 v ，( z ，掣) r ( 让，耖) l g f “一g t ，9 ，( t ，口) o )( 1 3 3 ) 3 其中，( z ，们= g 该算法结构简单且有限步终止，然而，子问题( 1 3 3 ) 可能 无解，从而导致算法失败s o l o d o v 【3 9 】给出了保证( 1 3 2 ) 的k k t 点是x l c p 解 的另外两个充分条件。并且还考虑了将x l c p 重组为约束和无约束优化问题的形 式，但没有给出具体的算法 当k = 口 时，该问题就成为本文所要研究的水平线性互补问题h l c p 由 此可见，水平线性互补问题是问题( 1 3 1 ) 的特例由于h l c p 是线性互补问题 l c p 的种推广，而且它包括二次规划，在电子工程中有着广泛的应用另外， 它在研究线性规划和凸二次规划问题的可行与菲可行内点算法方面起着重要的作 用，因此得到了多方面的研究当h l c p 中 a ，b ) 为列单调时，s z n a j d e r 【4 3 】指 出它等价于单调的线性互补问题l c p ，从而求解单调线性互补问题的方法可以应 用到单调h l c p 中) 【i u 阻l 给出了求解它的光滑高斯牛顿法，m a n g 髓a r i 矩【3 8 】 给出了一序列线性规划法文献【4 5 ，4 6 】采用了可行与非可行内点算法来求解虽 然这些方法可获得h l c p 的解，但它们属于传统的序列式迭代法，并不能实时并 行求解研究表明，大规模并行处理结构和人工神经网络算法比传统的数值方法 有着许多计算上的优势文献f 4 7 】通过引入新的向量 i 牙= ( a + b ) 一1 b 扛+ 暑) + ( a + 且) 一1 口， i 雪= ( a + b ) o a 扛+ 暑) 一( a + b ) - 1 q ， 给出了求解它的神经网络，但只针对问题为单调的情形文献【4 8 】也给出了求解 它的神经网络。但要求矩阵 a ，b ) 满足岛性质本文将会继续研究用神经网络 来求解水平线性互补问题下面将对神经网络作简单的介绍 1 4 神经网络的基本特征及其研究进展 以非线性大规模并行分布处理为主流的神经网络的研究在最近几年取得了引 人注目的进展，引起了包括计算机科学、人工智能，认知科学、信息科学、微电 子学、自动控制与机器人、脑神经科学等学科与领域内的科学家的巨大热情和广 泛兴趣人们普遍认为它将使电子科学和信息科学等产生革命性的变革，并将促 使以神经计算机为基础的高技术群的诞生和发展【4 9 】 神经网络是在现代神经科学研究成果的基础上提出的有大量处理单元( 神经 元、处理元件、电子元件，光电元件等) 广泛互联而成的网络它反映了人脑功能 的基本特征，是人脑的某种抽象、简化与模拟网络的信息处理由神经元之间相 互作用来实现；知识与信息的存贮表现为网络元件互联间分布式的物理联系；网 4 络的学习和识别决定于各神经元连接权系的动态演化过程因此其主要特征为连 续系统非线性动力学、网络的全局作用、大规模并行分布处理及高度的鲁棒性和 学习联想能力f 4 9 1 在许多工程和科学技术领域，特别是高科技领域中，往往要求实施求解大规 模与超大规模优化问题尤其当问题中含有随时间变化的参数时，实施求解显得 尤为重要由于传统的序列式迭代法受到数字计算机的限制及其计算时间依赖于 问题的规模和结构，因此很难满足实时性要求为解决这一问题，人们将神经网 络引入了这一领域【1 3 ，2 3 】实际上，是一个具有高度非线性的超大规模连续时间 动态系统，同时也是一种自组织、自适应，自学习的非线性网络它具有大规模 并行处理、分布式存贮和高度的容错能力；其算法具有极快的收敛速度和很好的 稳定性因此神经网络被认为是求解大规模与超大规模的线性与非线性优化问题 的一个非常的有效途径【4 9 】 自j j h o 曲e l d 【1 3 】于1 9 8 5 年提出了用于求解线性规划的著名的h o p f i e l d 人 工神经网络模型以来，用神经网络求解优化问题得到了广泛的研究各种求解 线性、非线性规划以及数学规划的神经网络模型应运而生其中，k e n n e d y 和 c h u a 【2 3 】利用梯度法与罚函数法给出了解非线性规划的一个神经网络；应用梯度 法和射影方法，b o u z e r d o r m 和p a t t i s o n 2 0 】提出了一个解有界约束的二次优化问 题的神经网络；利用梯度法与s 硒t d l e d - c 印a d t o r 技术，r d d r i g u e z _ v 如q u e z 等f 5 0 】 提出了一类解优化问题的神经网络；基于对偶理论与射影方法，x i a 等f 2 7 ，5 1 ，5 2 】 提出了解二次规划问题的几种神经网络，并总结了设计全局收敛的优化神经网络 的一般性方法；l i a n g 和g a o 等f1 8 ，2 4 ，3 7 ，5 3 ，5 4 】提出了解变分不等式和凸二次 极小极大问题的神经网络，并对网络的稳定性给出了严格的理论证明 从优化的观点来看，现有的求解优化问题的神经网络模型大体上可分为两类 【5 5 】：一类是基于梯度的神经网络模型这类模型可通过罚函数法将约束最小化问 题重组为无约束优化问题，或通过非线性互补函数( 或n c p 函数) 将互补问题重 组为无约束优化问题，然后让网络为无约束优化问题目标函数的负梯度；另一类 是投影梯度的神经网络，主要是通过对约束最小化问题和互补问题求其最优性条 件来构造因此，建立这些网络模型可通过以下两种方式； 1 ) 先构造适当的能量函数，使能量函数的最小点恰为所求问题的解，然后让 网络为能量函数的负导数( 梯度) ； 2 ) 先构造适当的网络，然后选择适当的能量函数，使能量函数的最优点恰为 网络的平衡点 目前，优化神经网络主要围绕能否求出原问题的精确解，是否全局收敛和结构 5 简单便于电路实现三大问题研究因此，从硬件实现来讲，以较好的神经网络，其 结构应相当简单；从计算性能来讲，一个较好的神经网络应该是渐进( 或全局) 稳 定的，不含变量参数而且它的平衡点是精确的或近似最优解从数学观点来说， 这些特征与设计网络模型的所采用的优化技术密切相关【5 6 】 本文基于最优化、微分方程组的稳定性理论和l a s a u e 不便原理，应用上述 两种方法给出求解一类线性变分不等式和水平线性互补问题的新的神经网络模 型，并严格证明这些网络模型的稳定性和收敛性，从而使这些模型不仅可行而且 有效 1 5微分方程稳定性理论与l a s a l k 不变原理 考虑非线性自治系统。 o 一 豢= ，( z ) ，z 彤或者z g 舻，t o ， ( 1 5 1 ) 其中，( o ) = 0 ，( z ) 是连续的并且满足初值问题存在惟一性定理的条件为方便， 不失一般性，我们假定z = o 是系统( 1 5 1 ) 的平衡点 记系统( 1 5 1 ) 的满足初值条件z ) = 护 t o ) 的解为z ( t ；钿，扩) 定义1 。5 1 姚 o 和如o ，若存在6 = 6 ( e ) o ，使得当i 妒l i o ( o ，水平集伽 舻i y ( ) z 是有界的 定理1 5 6 5 9 】设函数9 ：dc 舻一冗1 在凸集d ocd 是可微的那么， 当且仅当存在一个常数m o ，使得 9 ( 暑) 一g ( z ) 2 v 9 ( z ) ( 暑，一卫) + m 0 可一z 0 2 ，比，! ，。d 0 ， 成立，口在d 0 上是一致凸的( v 9 ( 茹) 表示函数9 ( $ ) 在z 点的梯度) 1 6 本文的主要工作 本文考虑了一类线性变分不等式问题与水平线性互补问题，分别给出了求解 他们的神经网络主要有以下两方面的工作t 第一，本文所考虑的该类线性变分不等式作为变分不等式的特例，仍可用已 有的射影神经网络来求解，但与已有的结果相比，本文所提出的新的射影神经网 络，条件更为简单，使用范围更广通过构造适当的能量函数，给出了确保新模 型稳定和有限时间收敛的三个充分条件，并在适当的条件下，证明了该模型的指 数稳定性新模型结构简单，易于硬件实现，可用来求解非单调的问题数值试 验表明该网络不仅有效而且可行 第二，基于水平线性互补问题的内在特点，构造了求解它的一个具有一层结 构的新的神经网络，理论结果表明，该网络是l y a p l l n 稳定的，并且其轨线有 限时间收敛到该网络的一个的精确平衡点进一步证明了，在适当的条件下该网 络是全局指数稳定的与已有的神经网络相比，新模型的结构简单，它的规模只 有原问题的一半，并且新模型还可以用来求解非单调的互补问题因此该神经网 络易于硬件实现，数值实验还表明，该网络是有效可行的 与传统数值方法相比，本文所给出的模型不含参数，而且可用电路实现，能 够实时并行求解文中所研究的阅题 8 第二章求解一类线性变分不等式的一个射影神经网络 2 1 引言 给定矩阵m 留“和向量g 形，考虑如下线性变分不等式：找向量 矿丑严使得 ( z z ) t ( f z + g ) o ，、，z q ， ( 2 1 1 ) 其中q = 扛j 限s 毛，t = 1 ，2 ，n ) ( 某些或一毛可为+ ) 线性变分不等式是变分不等式问题的一个基本形式，它包括线性互补问题 ( q = 扛舻i z o ) 和线性方程组= 形) ，而且许多重要的平衡问题和优化问 题，如线性与二次规划，广义线性与二次规划【3 1 等问题，都能转化为它阻6 】因 此问题( 2 1 1 ) 在许多科学、经济和工程技术等领域都有重要的应用( 见p 5 ，2 2 】及 其参考文献) 近年来，应用神经网络求解优化问题得到了广泛的研究，并取得了 很好的成果【1 8 ，2 5 ，2 7 ，3 5 ，3 7 ，5 1 】特别地，文【1 8 ，2 7 ，3 5 ，3 7 ，5 l 】中的模型可用来求解 ( 2 1 1 ) 尽管全局射影动力系统【1 8 ，3 5 ，3 7 】及其推广模型【5 1 】的结构简单，适合于 硬件实现，然而其稳定性条件较强，且对单调非对称的映射并一定收敛【1 8 ，3 5 ，3 7 】 此外，文【2 7 】中的模型具有很好的稳定性，但其结构复杂，而且需要选择网络参 数因此本章基于一新的射影方程，提出了求解( 2 1 1 ) 的一个射影神经网络构 造适当的l y a p l l n o 、，函数，详细地讨论了该模型的稳定性和有限时间收敛性给 出了确保其稳定和收敛的三个充分条件，并在适当的条件下，证明了其指数稳定 性新模型结构简单，可用来求解非单调的问题( 见第三节倒l 一2 ) 模拟实验表 明，该模型不仅可行，而且有效 假定问题( 2 1 1 ) 有解用| j 0 表示欧氏范数；忙晒= ( ，d z ) ；k i 。( m ) 和凡( 肘) 分别表示对称矩阵m 的最小和最大特征值；d _ 1 表示非奇异矩阵 d 的逆矩阵；射影算子忍：j p q 定义为，昂( z ) = 叼n l i 娶忙一圳，其中 p n = 【p 0 ( z t ) ，) ，昂) n 玮( ) = n l i n 氐，m 麟协，屯) 贮2 网络模型与稳定性分析 本节，首先将问题( 2 1 1 ) 转化为一等价的射影方程，然后构造求解它盼神经 网络模型，并详细地讨论其动态行为 9 设d = 疵凹 西，疵，矗 为正定对角阵，则矿是问题( 2 1 1 ) 的解当且仅 当矿= d ! ，+ ，且旷是如下问题的解： 0 一d 矿) 7 ( m d 旷+ g ) o ，v z q 众所周知，圹是上述问题的解当且仅当 d 旷= 只l ( d 旷一m d 圹一g ) ( 2 2 1 ) 因此求解阅题( 2 ，1 1 ) 的神经网络可定义为： ，一 等= 一p 陋一d - 1 只1 ( d z m d z q ) 】， ( 2 2 2 ) u m 其中p 0 为设计参数显然当d 为m 阶单位阵时，系统( 2 2 2 ) 变为全局动力 系统 1 8 ，3 5 ，3 7 j 因此( 2 2 2 ) 可以看作为全局动力系统的推广此外，易知神经网 络( 2 2 2 ) 可用简单的硬件实现，其电路实现包括简单的加法器，放大器，n 个积 分器和n 个逐段激励函数 由问题( 2 1 1 ) 和方程( 2 2 1 ) 的解的关系。易得网络( 2 2 2 ) 的平衡点与问题 ( 2 1 1 ) 的解的如下结果， 引理2 2 1 设甜为系统( 2 2 2 ) 的平衡点集，则i ) 若z q ，则d z 是问题 ( 2 1 1 ) 的解；i i ) 若z 是问题( 2 1 1 ) 的解，则d - 1 z 阱 为了讨论系统( 2 2 2 ) 的稳定性与收敛性，首先给出如下的引理， 引理2 2 2 设a = 击凹 a 1 ，a 2 ，k 为任一正定对角阵，则有 k p n ( z ) f a 【p n ( z ) 一掣1 o ，比彤，! ，q ( 2 2 3 ) n 证明由b p n 0 ) 】孤( z ) 一鲥= 九k 一晶慨) 】 p n 伍) 一鼽】易证( 2 2 3 ) 当m d 对称时，我们有如下关于神经网络( 2 2 2 ) 的稳定性结果 定理2 2 1 若m d 对称半正定，则神经网络( 2 2 2 ) 是l y 印u n 0 、r 稳定的，并 且话o 舻，当设计参数p 足够大时。两络( 2 2 2 ) 的轨线z ( t ) ( z ( o ) = ) 在有限 时间内到达即中的一个点特别地，当饼= 矿) 时，神经网络( 2 2 2 ) 是全局 渐近稳定的进一步，若m d 对称正定，则神经网络( 2 2 2 ) 全局指数稳定于它 的惟一平衡点矿 证明由( 2 2 3 ) 可知，射影算子昂( ) 是非扩张的因此映射z d _ 1 p n ( d z m d z 一口) 是l i p s d l i t z 连续的从而v 一舻，系统( 2 2 2 ) 在【0 ，+ o o ) 上存在以 z o 为初值的惟一解z ( t ) ( z ( o ) = 护) 考虑函数 1 一 h ( z ，矿) = 去 一z + ) 了1 ( d + ，d ) 忙一矿) ( 2 2 4 ) 1 0 其中矿彤，并且由( 2 2 2 ) 得 积陬d ，矿1 三二篇二冀嚣端轨卅，仁z 固一一尸陋( ) 一d _ 1 童( ) 】t 徊+ 肘d ) p ( f ) 一z j ，o ， ”1 其中叠( t ) = 岛【d z ( f ) 一m d z ( ) 一q 】另一方面，由引理2 ，2 1 ( i ) ，d 矿n 分别将 壮= d z m d z g ，t ，= d 矿和u = d 矿一m d 矿一口，t ，=