（计算数学专业论文）两类非线性变分不等式的神经网络.pdf

两类非线性变分不等式的神经网络 毕红梅 摘要变分不等式可看作为求解优化问题、平衡问题以及与它们相联系的问 题的一致框架，并且广泛地出现在信号和图像处理、系统识别、滤波设计、自动 控制、经济科学、运输科学、运筹学、非线性分析等领域特别地，数学、物理和 工程领域的许多问题都可以转化为它在许多科学和工程技术领域中，往往要求 实时求解变分不等式，由于计算时间依赖问题的规模和结构以及所采用的算法， 传统数值方法并不能满足实时性要求基于电路实现的人工智能神经网络足处理 高维，稠密结构问题的一个可行的方法由于内在的动态本质和电路实现的潜在 能力，神经网络可以用集成电路等硬件等实现因此，神经网络比传统优化算法 能更快地求解优化问题，并且建立神经网络来实时求解变分不等式问题具有实际 意义 基于优化理论。射影理论，本文考虑了两类新的非线性变分不等式，分别提 出了求解它们的神经网络，应用微分方程组的稳定性理论和l a s a l l e 不变原理严 格证明了这些网络的各种渐近行为，包括稳定性、收敛性和指数稳定性用数值 实例说明了这些网络的可行性 全文分三部分第一部分简单概述了变分不等式的意义及研究现状、射影理 论，微分方程组的稳定性理论和l a s a l l e 不变原理等基本理论 第二部分讨论了如下一类非线性变分不等式问题：找向量( 扛+ ) t ，( 旷) t ) 丁 k k ，使 l ( p t ( y ) + z + 一y + ，z 一。+ ) 0 ，v z k ，p 0 ， l ( r t ( x ) + y 一z + ，z y + ) 0 ，v z k ，7 0 ， 其中是实h i l b e r t 空间中的闭凸子集，t ：k 一日的映射，提出了求解它的 一个神经网络模型： 面d u a ( i 一- - 脚p k ( y 川- - p t ( y ) ；) 其中a 0 是设计参数在映射弱强制的条件下，严格证明了该网络是l y a p u n o v 稳定的，并且渐进收敛于原问题的一个精确解此外，在适当的条件下证明了该 模型的指数稳定性 第三部分考虑了如下一类非线性隐式变分不等式问题：找向量矿k ，使 ( t ( x ，z + ) ，z z ) 0 ， i x k ， i 其中是实h i l b e r t 空间中的闭凸子集，t ：k k ，日的映射根据问题的 结构特点，构造了求解它的神经网络，建立了网络模型的平衡点与原问题解之间 的关系，并证明了网络模型的稳定性和收敛性 关键词：变分不等式；神经网络； 收敛性；稳定性；指数稳定性 i i n e u r a ln e t w o r k sf o rt w ok i n d so fn o n l i n e a r i a t i o n a l i n e q u a l i t i e s h o n g m e ib i a b s t r a c t ：v a r i a t i o n a li n e q u a l i t i e s ( v i ) c a nb ev i e w e da sau n i f o r mf r a m e w o r k o fo p t i m i z a t i o np r o b l e m s ，e q u i l i b r i u mp r o b l e m sa n dt h er e l a t e dp r o b l e m s i ta r i s e s i nw i d ef i e l d si n c l u d i n gs i g n a lp r o c e s s i n g ，s y s t e mi d e n t i f i c a t i o n ，f i l t e rd e s i g n ，r o b o t c o n t r o l ，e c o n o m i cs c i e n c e ，t r a n s p r o t a t i o ns c i e n c e ，o p e r a t i o n a lr e s e a r c h ，n o n l i n e a r a n a l y s i sf i e l d s ，a n d s oo n i np a r t i c u l a r ，m a n yp r o b l e m si nm a t h e m a t i c s ，p h y s i c s ，a n d e n g i n e e r i n gc a n b ef o r m u l a t e da si t i nm a n ys c i e n t i f i ca n de n g i n e e r i n ga p p l i c a t i o n s ， r e a l t i m es o l u t i o n so ft h ev a r i a t i o n a li n e q u a l i t i e sa r ed e s i r e d h o w e v e r ，t r a d i t i o n a l a l g o r i t h m sa r en o ts u i t a b l ef o rar e a l t i m ei m p l e m e n t a t i o no nt h ec o m p u t e rs i n c e t h er e q u i r e dc o m p u t i n gt i m ef o ras o l u t i o ni sg r e a t l yd e p e n d e n to nt h ed i m e n s i o n a n dt h es t r u c t u r eo ft h ep r o b l e m ，a n dt h ec o m p l e x i t yo ft h eu s e da l g o r i t h m o n e p r o m i s i n ga p p r o a c ht oh a n d l et h e s ep r o b l e m sw i t hh i g hd i m e n s i o na n dd e n s es t r u c - t u r ei st oe m p l o ya r t i f i c i a ln e u r a ln e t w o r kb a s e dc i r c u i ti m p l e m e n t a t i o n b e c a u s eo f t h ed y n a m i cn a t u r ea n dt h ep o t e n t i a lo fe l e c t r o n i ci m p l e m e n t a t i o n ，n e u r a ln e t w o r k s c a nb ei m p l e m e n t e dp h y s i c a l l yb yd e s i g n a t e dh a r d w a r es u c ha sa p p l i c a t i o n s p e c i f i c i n t e g r a t e dc i r c u i t sw h e r et h ec o m p u t a t i o n a lp r o c e d u r ei st r u l yd i s t r i b u t e da n di n p a r a l l e l t h e r e f o r e ，t h en e u r a ln e t w o r ka p p r o a c hc a ns o l v eo p t i m i z a t i o np r o b l e m si n r u n n i n gt i m e sa tt h eo r d e r o fm a g n i t u d em u c hf a s t e rt h a nc o n v e n t i o n a lo p t i m i z a t i o n a l g o r i t h m se x e c u t e do ng e n e r a l p u r p o s ed i g i t a lc o m p u t e r s ，a n di ti so fg r e a ti n t e r e s t i np r a c t i c et od e v e l o ps o m en e u r a ln e t w o r km o d e l sw h i c hc o u l dp r o v i d ear e a l t i m e s o l u t i o nf o rv a r i a t i o n a li n e q u a l i t yp r o b l e m s b a s e do no p t i m i z a t i o nt h e o r y , p r o j e c t i o nt h e o r y , w ep r e s e n tn e u r a ln e t w o r k s f o rs o l v i n gt h et w ok i n d so fv a r i a t i o n a li n e q u a l i t i e s m e a n w h i l e ，a s y m p t o t i cb e h a v - i o r si n c l u d i n gs t a b i l i t y , c o n v e r g e n c ea n de x p o n e n t i a ls t a b i l i t yo ft h e s en e t w o r k sa r e s t r i c t l yp r o v e db yt h es t a b i l i t yt h e o r yo fo r d i n a r yd i f f e r e n t i a le q u a t i o na n dl a s a l l e i n v a r i a n tt h e o r y s o m ei l l u s t r a t i v ee x a m p l e ss h o wt h ep e r f o r m a n c eo ft h ep r o p o s e d n e t w o r k s t h et h e s i si sd i v i d e di n t ot h r e ep a r t s t h ef i r s tp a r ti si n t r o d u c t i o n ， t h e r ea r es i g n i f i c a n c ea n dd e v e l o p m e n to fv i ，a n ds o m ef u n d m e n t a lt h e o r i e s ，s u c h a so p t i m i z a t i o nt h e o r y , p r o j e c t i o nt h e o r y , s t a b i l i t yt h e o r yo fo r d i n a r yd i f f e r e n t i a l e q u a t i o na n dl a s a l l ei n v a r i a n tt h e o r y i i i i nt h es e c o n dp a r t ，w ec o n s i d e rt h ef o l l o w i n gn o n l i n e a rv a r i a t i o n a li n e q u a l i t y ( s n v i ) p r o b l e m ：t of i n d 矿，y + k s u c ht h a t l ( p t ( y ) + 矿一y ，z 一矿) 0 【( 7 t ( z ) + y + 一z + ，z 一矿) 20 地k ，p 0 论k ，y 0 w h e r ehi sar e a lh i l b e r ts p a c e ，ki san o n e m p t yc l o s e dc o n v e xs u b s e to fh ，a n d t ：k _ hi sa n ym a p p i n g b a s e do nt h en e c e s s a r ya n ds u f f i c i e n tc o n d i t i o n so f t h es o l u t i o n ，an e wn e u r a ln e t w o r ki sd e f i n e da sf o l l o w s ： 面d u = 一a x - p ：( y - p t ( u ) ) ) w h e r ea0i ss c a l i n gp a r a m e t e r t h ep r o p o s e dn e u r a ln e t w o r ki ss h o w nt ob e g l o b a l l yc o n v e r g e n t ，g l o b a l l ya s y m p t i t i c a l l ys t a b l ea n dg l o b a l l ye x p o n e n t i a l l ys t a b l e u n d e rm i l dc o n d i t i o n s t h en e wm o d e lh a ss i m p l es t r u c t u r ea n dc a nb ei m p l e m e n t e d i nh a r d w a r e i nt h et h i r dp a r t ，w ec o n s i d e rac l a s so fn o n l i n e a ri m p l i c i tv a r i a t i o n a li n e q u a l i t y ( n i v i ) p r o b l e m ：f i n d 矿ks u c ht h a t ( t ( x ，$ ) ，z z + ) 0 ，、，z k ， w h e r ehi sar e a lh i l b e r ts p a c e ，ki san o n e m p t yd o s e dc o n v e xs u b s e to fh ，a n d t ：k _ hi sa n ym a p p i n g b a s e do nt h ep r o p e r t yo ft h ep r o b l e m w ep r e s e n t an e u r a ln e t w o r kt os o l v ei t t h e nt h er e l a t i o n s h i pb e t w e e nt h ee q u i l i b r i u mp o i n t o ft h en e t w o r ka n dt h es o l u t i o no ft h ep r o b l e mj se s t a b l i s h e d a n dt h es t a b i l i t ya n d c o n v e r g e n c eo ft h ep r o p o s e dn e u r a ln e t w o r ka r es h o w n k e yw o r d s ：v a r i a t i o n a li n e q u a l i t y ； n e u r a ln e t w o r k ；c o n v e r g e n c e ；s t a - b i l i t y ；e x p o n e n t i a ls t a b i l i t y i v 学位论文独创性声明 本人声明所呈交的学位论文是我在导师的指导下进行的研究工作及取得的研究 成果尽我所知，除文中已经注明引用的内容外，论文中不包含其他个人已经发表 或撰写过的研究成果，也不包含为获得陕西师范大学或其它教育机构的学位或证书 而使用过的材料对本文的研究做出重要贡献的个人和集体，均已在文中作了明确 说明并表示谢意， 作者签名：e l 期： 学位论文使用授权声明 本人同意研究生在校攻读学位期间论文工作的知识产权单位属陕西师范大学 本人保证毕业离校后，发表本论文或使用本论文成果时署名单位仍为陕西师范大 学，学校有权保留学位论文并向国家主管部门或其它指定机构送交论文的电子版和 纸质版；有权将学位论文用于非赢利目的的少量复制并允许论文进入学校图书馆、 院系资料室被查阅；有权将学位论文的内容编入有关数据库进行检索；有权将学位 论文的标题和摘要汇编出版 作者签名；日期： 第一章绪论 1 1 引言 变分不等式问题是一类重要的优化问题，其理论出现于2 0 世纪6 0 年代，它 在工业、金融、经济、社会、理论科学和应用科学领域都有广泛的应用几十年 来，其理论和方法已经得到深入的研究用变分不等式的思想和技巧求解科学领 域的许多问题是非常有效的途径，而且，对于许多线性和非线性问题，变分不等 式理论提供了一类直接、简单、有效的处理方法在许多工程和科学技术领域， 特别是高科技领域中，往往要求实时求解大规模与超大规模优化问题基于数字 计算机的传统方法，由于计算时间依赖于问题的规模与结构，因而很难满足实时 性要求由于神经网络是一种自组织、自适应、自学习的非线性网络，它具有大 规模并行处理、分布式存贮和高度的容错能力，其算法具有极快的收敛速度和很 好的稳定性，因此神经网络被认为是求解大规模与超大规模的线性与非线性优化 问题的一个非常有效的途径 1 9 8 4 年j j h o p f i e l d 提出著名的人工神经网络模型1 1 】并于1 9 8 5 年应用于 求解优化问题 2 , 3 1 他的开创性的研究不但有力地推动了神经网络的研究，而且 开拓了神经网络优化计算的新途径，因此引起了许多学者的关注 目前，优化神经网络主要围绕能否求出原问题的精确解，是否全局收敛和结 构简单便于电路实现三大问题研究因此，从硬件实现来讲，一个较好的神经网 络，其结构应相当简单；从计算性能来讲，一个较好神经网络应该是渐近( 或全 局) 稳定的，不含变量参数而且其平衡点是精确或近似最优解；从数学观点来说， 这些特性与设计网络模型所采用的优化技术密切相关 通常，建立神经网络的方法有两种； 第一种是先构造适当的能量函数，使能量函数的最小值点恰为所求问题的 解，然后让网络为能量函数的负导数( 梯度) 第二种是先构造适当的网络，然后选择适当的能量函数，使能量函数的最优 点恰为网络的平衡点 本文基于最优化理论、射影理论、微分方程组的稳定性理论和l a s a l l e 不变 原理，分析了广义射影神经网络的稳定性，并给出了求解广义变分不等式和一类 常义单调线性变分不等式问题的新的神经网络模型，从理论上严格证明了新模型 的各种稳定性，特别是渐近稳定性数值实例同时表明这些网络的可行性和有效 性 1 1 2 变分不等式问题的基本结论 变分不等式问题 4 1 为：找向量矿q ，使 阻一仳+ 】t f ( u + ) 0 ，v u q ，( 1 2 1 ) 其中f 是形。到自身的连续映射，q 彤是非空闭凸集它包括变量变分不等 式( f ( u ) = ) ，非线性互补问题( q = “j p i 牡o ) ) 和非线性方程组( f l = 钟) 定义1 2 1 【s 1设t ：k 日的映射若存在常数c 0 ，使对任一u k ， 均有 ( 钍一钍+ ) r 【t ( u ) 丁( + ) 】2c t ( ) 一t ( 札) 1 1 2 ， 则称t ( 札) 在u 点强制 定义1 , 2 2 n设t ：k 一日的映射若存在常数芦 0 使对任一“，秒k ， 均有 ( 牡一口) r 【t ( u ) 一t ( u ) 】u l l - 一训1 2 ， 则称t ( 仳) 在k 上强单调 定义1 2 3 n 设t ：k 日的映射若存在常数1 0 ，均有 0 一秒) 丁( ，( z ) 一t ( 可) j 2 一，y f f z z i f 2 ，比，y ，z k 则称t 在k 上1 偏松弛单调 定义1 2 4 n设t ：k k 日的映射若存在常数l 0 均有 i i t ( x ，o ) 一t ( y ，z ) l i l i l z 一i |比，y ，z k ， 则称丁关于第一变量局部l i p s c h i t z 连续( l i p s c h i t z 常数为三) 定义1 2 5 设q 尼是一非空闭凸集，向量 在q 上的射影算子p n ( ) 定 义为 忍( 口) a r g r o i n 。f f u t ，l f ( 1 2 2 ) 定义1 2 6 设札( ) 和钍+ 分别为一神经网络的输出轨线和平衡点若存在时 间丁b ，当t 功时，有u ( t ) = 札，则称该神经网络有限时间收敛 定理1 2 1 1 7 1 仳+ 是变分不等式问题( 1 2 1 ) 的解当且仅当 u = 忍心一n f ( 牡+ ) 1 ，( 1 2 3 ) 其中n 是正常数，尸n ( ) ：j 一q 是射影算子 2 定理1 2 2 1 2 1 设q 形是一非空闭凸集，玮( ) 是q 上的射影算子，则有 陋一只l ( 乱) ，【只1 ( 钍) 一v 】0 ，v u t p ，v q ，( 1 2 4 ) | i ( “) 一( ) 0 l i 让一v i i ，v u ，t ，形( 1 2 5 ) 定理1 2 3 1 7 1 设u + 是问题( 1 2 1 ) 的解，则 ( f ( ) 一f ( u 4 ) + ( 札一珏4 ) 】t e ( 钍) - 1 ie ( u ) i | 2 + 一u + ) t 【f ( ) 一f ( “+ ) 】 其中e ( u ，q ) = u 一只1 沁一o f ( “) 】 1 3微分方程稳定性理论与l a s a l l e 不变原理 考虑非线性自治系统： m ；= ，( z ) ，z j 矿或者z g 舻，t 20 ， ( 1 3 1 ) 其中f ( 0 ) = 0 ，s ( x ) 是连续的并且满足初值问题存在惟一性定理的条件为方便， 不失一般性，我们假定z = 0 是系统( 1 3 1 ) 的平衡点 记系统( 1 3 1 ) 的满足初值条件z ( t o ) = z o ( t t o ) 的解为z ( t ；t o ，护) 定义1 3 1v e 0 和t o 0 ，若存在6 = 6 ( t o ，e ) 0 ，使得当i i z o | | o ( 0 ，水平集p r “l v ( x ) f ) 是有界的 1 4 神经网络的基本特征及其研究进展 以非线性大规模并行分布处理为主流的神经网络的研究在最近几年取得了引 人注目的进展，引起了包括计算机科学，人工智能认知科学、信息科学、微电 子学、自动控制与机器人、脑神经科学等学科领域内的科学家的巨大热情和广泛 兴趣人们普遍认为它将使电子科学和信息科学等产生革命性的变革，并将促使 以神经计算机为基础的高技术群的诞生和发展【l l 】 4 在许多工程和科学技术领域，特别是高科技领域中，往往要求实时求解大规 模与超大规模优化问题尤其当问题中含有随时间变化的参数时，实时求缌显得 尤为重要由于传统的序列式迭代法受到数字计算机的限制及其计算时间依赖于 问题的规模和结构，因此很难满足实时性要求为解决这一问题，人们将神经网 络引入了这一领域f 2 ，1 2 1 神经网络是在现代神经科学研究成果的基础上提出的有大量处理单元( 神经 元、处理元件、电子元件、光电元件等) 广泛互联而成的网络它反映了人脑功能 的基本特征，是人脑的某种抽象、简化与模拟网络的信息处理由神经元之间相 互作用来实现；知识与信息的存贮表现为网络元件互连间分布式的物理联系；网 络的学习和识别决定于各神经神经元连接权系的动态演化过程因此其主要特征 为连续系统非线性动力学、网络的全局作用、大规模并行分布处理及高度的鲁棒 性和学习联想能力f 1 1 1 实际上，神经网络是一个具有高度非线性的超大规模连续时间动态系统，同 时也是一种自组织、自适应、自学习的非线性网络它具有大规模并行处理、分 布式存贮和高度的容错能力；其算法具有极快的收敛速度和很好的稳定性因此 神经网络被认为是求解大规模与超大规模的线性与非线性优化问题的一个非常有 效途径1 1 1 】 1 9 8 5 年j j h o p f i e l a 2 1 在这方面作出了开创性的工作，提出了著名的h o p f i d d 人工神经网络模型，并引起了神经网络在优化问题应用中的广泛研究各种求解线 性、非线性以及数学规划的神经网络模型应用而生其中，k e n n e d y 和c h u a 1 2 利用梯度法愈与罚函数法给出了解非线性规划的一个神经网络；利用梯度法与 s w i t c h e d - c a p a c i t o r 技术，r o d r i g u e z - v a z q u e z 等【1 3 】提出了一类解优化问题的神 经网络；基于对偶理论与射影方法，x i a 等【1 4 - 1 6 】提出了解线性与二次规划问题 的几种神经网络，并总结了设计全局收敛的优化神经网络的一般性方法；l i a n g 和g a o 等 1 7 - 2 2 】提出的解变分不等式和凸二次极大极小问题的神经网络，并对 网络的稳定性给出了严格的理论证明但对该论文中提出的两类非线性变分不等 式问题，据我所知，没有采用神经网络求解的文献 1 5 变分不等式问题的研究进展 在过去几十年中，许多数值方法被应用于求解变分不等式和相关的优化问 题，其中最重要的是基于w i e n e r - h o p f 方程的射影算法，它对于求解变分不等式 问题的近似解是非常有效的射影算法的主要思想是利用射影概念，建立变分不 5 等式问题和不动点问题的等价关系，从而利用w i e n e r - h o p f 方程求解这种等价 关系在研究求解变分不等式的射影算法中具有重要意义但是射影算法的收敛性 要求算子强单调且是l i p s c h i t z 连续的由于限制条件太强，使一大类问题不能 用这种方法求解，这就激发人们去改进射影算法或选用其它方法求解变分不等式 问题根据双射影理论。外梯度法通过在每次迭代增加一个预测和一个射影来克 服这个困难，因此，该方法也称为预估一校正法它的收敛性只要求原闸题有解， 算子单调且l i p s c h i t z 连续但当算子不是l i p s c h i t z 连续或l i p s c h i t z 常数不知道 时，外梯度法则需要类似于a r m i j o 线性搜索技巧在每一次迭代中用一个新的射 影来计算步长，这就使运算量加大为克服这些困难，文献 7 ，2 3 - 2 9 i 给出了若干 改进的射影算法和外梯度法 与广义变分不等式相关的有广义w i e n e r - h o p f 方程【3 0 ，3 ”s h i 3 2 1 和r o b i n - s o n 2 3 从不同角度研究了w i e n e r - h o p f 方程和广义变分不等式的关系利用射影 技巧，通常可以将变分不等式转化为等价的w i e n e r - h o p f 方程，而w i e n e r - h o p f 方程为求解变分不等式问题提供了一个有效的算法结构n o o r 等 3 4 ，3 5 】和 n o o r ，r a s s i a s 3 6 1 通过修正的w i e n e r - h o p f 方程分析了求解广义变分不等式的 预估一校正型算法，并在文献【3 4 - 3 6 】中证明了该算法的有效性但是上述方法都 是序列迭代法，由于其计算时间依赖问题的规模和维数，因此很难满足实时性要 求，而且迭代法只能得到问题的近似解 自h o p f i e l d 和t a n k1 2 , a l 首次提出解线性规划的一个神经网络以来。用神经网 络求解优化问题得到了深入的研究，并取得了一些重要的成果 1 5 , 1 7 , 加, 2 5 , 3 卜4 5 1 例 如，k e n n e d y 和c h u a 【4 3 】利用梯度法与罚函数法给出了解非线性规划的一个神 经网络，然而该网络的平衡点仅仅对应于非线性规划问题的近似解应用梯度法 与射影方法，b o u z e r d o r m 和p a t t i s o n 【4 0 】提出了一个解有界约束的二次优化问 题的神经网络，此网络在目标函数严格凸的条件下，通过适当地选择权矩阵就能 指数稳定于唯一最优解此外，根据优化理论和射影方法，f 4 6 】给出一个求解具 有上下界约束的非线性凸规划问题神经网络，并证明了在目标函数凸的条件下， 该网络一致渐近稳定地收敛于原问题的一个精确最优解对于常义变分不等式问 题，f r i e s z 等【4 7 】提出一个射影神经网络求解它，但是【4 8 】指出，文献【4 7 】中保 证网络稳定性的条件太强，而且在实际中很难验证【4 8 】进一步分析了该网络 的稳定性，但是其全局渐近稳定性要求变分不等式问题的解集有界以保证所给的 l y a p u n o v 函数的水平集有界而且，该文中指数稳定性条件也太强 【2 1 】对该 网络的稳定性也进行了研究文中分三种情况用三个不同的l y a p u n o v 函数严格 证明了该网络的指数稳定性文献 1 7 ，4 4 ，4 5 还研究了具有非线性约束的变分不 6 等式的神经网络，其中【17 】研究了具有线性和上下界约束的变分不等式，【4 4 】研 究了具有不等式和等式约束的变分不等式，【4 5 】研究了具有不等式、等式和上下 界约束的变分不等式根据优化理论，上述几个问题均可等价转化为常义变分不 等式，利用射影技巧，【1 7 ，4 4 ，4 5 】构造了上述几个问题的神经网络，并在适当的 条件下证明了网络的稳定性和收敛性 上述神经网络适用于求解常义变分不等式及相应的优化问题，然而讨论用神 经网络求解求解该文提出的两类非线性变分不等式的文献较少，f r i e s ze ta l 【4 7 提出了全局射影动力系统，其结构简单适合于硬件实现尽管当影射单调对称时， 该系统渐近数稳定2 1 ，4 s ，但对单调的非对称影射，其收敛性并不能保证，而且 对强制影射，并未讨论其有限时间收敛性文f 4 9 1 建立了求解线性和非线性约束 的变分不等式的一个简单的神经网络尽管该模型在较弱的条件下是稳定的，然 而由于其需要整个空间上的某种弱单调性而限制了其应用基于上述考虑及该问 题的内在特性，本文提出了求解它的神经网络 1 6 本文的主要工作概述 本文考虑了v e r m a 5 ，6 1 提出的两类非线性变分不等式问题，主要有两方面的 工作： 第一，考虑了v e r m a 5 】提出的一类新的非线性变分不等式，提出了求解它的 一个神经网络模型在映射弱强制的条件下，严格证明了该网络是l y a p u n o v 稳 定的，并且渐进收敛于原问题的一个精确解此外，在映射强单调的条件下证明 了该模型的指数稳定性 第二，考虑了v e r m a 6 提出的一类非线性隐式变分不等式，提出了求解它的 一个神经网络模型在映射关于任一变量偏松弛单调的条件下，严格证明了该网 络是l y a p u n o v 稳定的，并且渐进收敛于原问题的一个精确解。此外，在映射关 于任一变量强单调的条件下证明了该模型的指数稳定性 7 第二章一类新的非线性变分不等式的神经网络模型 2 1 引言 考虑如下一类非线性变分不等式问题 5 】：找向量( ( 2 7 + ) r ，( 矿) r ) r k k ，使 ( p t ( y + ) + z 。旷，z 叫+ ) o ，v x ，p o ，阻1 ) i ( 7 t ( x 4 ) + y + 一z + ，z y + ) 0 ，v z k ，一y 0 ， 、。 其中k 是实h i l b e r t 空间中的闭凸子集，t ：k 日的映射根据问题的结构 可以看出，该问题的解与p 和7 的取值有关显然当7 = 0 时，问胚( 2 11 ) 变为 常义变分不等式：找向量z + k ，使 ( t ( x + ) ，x x 4 ) 之0 ，比k ， 当k 为闭凸锥时，问题( 2 1 1 ) 变为非线性互补系统：找向量( ( 矿) t ，( 矿) 7 ) ? k k ，使 j ( p t ( y 4 ) + 矿y ，矿) 0 ， 比k ，p o ， ( 2 1 2 1 i ( 7 t ( x 4 ) + y 一茹+ ，y + ) 0 ， v x k ，7 o ， ( r ( z ) r ，t ( y + ) r ) r k + xk + 当k 为闭凸锥且7 = 0 时，问题( 2 1 1 ) 变为常义互补问题 z k ，t ( x ) k + ，( t ( x 4 ) ，z 。) 20 ，( 2 1 3 ) 其中k + = ，h ：( ，z ) o ，v x ) 所以问题( 2 1 1 ) 是常义变分不等式、 互补问题等的一个重要推广，而且许多优化问题，如非线性规划、极大极小问题 等都可以转化为它因此如何求解它具有重要的理论价值和实际意义特别地， 在许多工程技术领域内，常常要求实时并行求解变分不等式尽管文 5 】提出了 求解该问题的一个数值方法，但由于其计算时间依赖于问题的规模和维数，因而 并不能实时求解然而基于电路实现的神经网络，由于其大规模并行处理、分布 式存储等优点，具有很多实时应用近年来，应用神经网络求解优化问题已取得 一些很好的成果 2 l ，4 7 ，4 8 】f r i e s ze t8 j 【4 7 】提出了全局射影动力系统，其结构简 单适合于硬件实现尽管当影射单调对称时，该系统渐近数稳定 2 l ，4 8 j ，但对单 调的非对称影射，其收敛性并不能保证，而且对强制影射，并未讨论其有限时间 收敛性文1 4 9 】建立了求解线性和非线性约束的变分不等式的一个简单的神经网 8 络尽管该模型在较弱的条件下是稳定的，然而由于其需要整个空间上的某种弱 单调性而限制了其应用基于上述考虑及问题( 2 1 1 ) 的内在特性，本文提出了求 解它的神经网络在影射强制条件下，证明了其l y a p u n o v 稳定性和有限时间收 敛性，并且在适当条件下，证明了其指数稳定性 为叙述方便，假定集合q = ( ，y t ) r k ki ( ，y t ) t 是问题( 2 1 1 ) 的 解集 毋用l f 表示欧氏范数对任意向量钍k ，用表示其转置向量 p n ( 牡) = a r g m i n 一移0 为从舻到q 上的射影算子 口n 如果相应的动力系统分别是l y a p u n o v 稳定的、渐近稳定的和指数稳定的， 则称神经网络分别是l y a p u n o v 稳定的、渐近稳定的和指数稳定的 2 2 神经网络模型与稳定性分析 本节首先给出问题( 2 1 1 ) 解的充要条件，然后建立求解它们的神经网络 由( 1 2 4 ) ，易证如下引理 引理2 2 1 ( ( 矿) r ，( 圹) r ) r q 当且仅当 矿= 斥晦。p t ( y + ) 】，( 2 到 【矿一攻陋一，y r ( 矿) 】， 。7 其中尸k ( z ) 和p k ( 可) 分别表示向量z 和y 在k 上的射影 引理2 2 1 表明问题( 2 1 1 ) 的解可由系统( 2 2 ，1 ) 得到为叙述方便，记缸= ( z t ，y t ) r ，e ( u ) = 牡一段。k u f ( u ) l ，其中 f c “，= ( 乏芝；) = ( ，i 二：等 豸) 则求解问题( 2 1 1 ) 的神经网络定义为： 面d u 一旭一a ( ；一- 眦p k ( y 卅- - p t ( y ) ；) ( 2 2 固 其中a 0 是设计参数 由引理2 2 1 知，网络( 2 2 2 ) 的平衡点恰为问题( 2 1 1 ) 的解 下面，首先讨论微分方程( 2 2 2 ) 初值问题解的存在惟一性，然后给出其稳定 性定理 9 引理2 2 2 m 设矿q ，则 ( f ( u ) 一f ( u ) + 一矿) 】t e ( u ) - i ie ( u ) 1 1 2 + 一u + ) r 【f ( 乱) 一f ( u ) 】 定理2 2 1若t 在包含k 的集合上局部l i p s c h i t z 连续，且在( 矿，y ) 处 强制( 以模p 强制，p o ) ，则当m a x p ，y ) s 舡时，v u o k k ，系统( 2 2 2 ) 在陋o ，+ o o ) 上存在以护为初值的惟一连续解u ( t ) ( u ( t o ) = u o ) ，并且v t t o ， u ( t ) k k 证明因为丁在包含k 的集合上局部l i p s c h i t z 连续，故e ( u ) 在k k 上局部l i p s c h i t z 连续从而网络( 2 2 2 ) 存在惟一连续解u ( t ) ( u ( t o = 札o ) ，且其最 大存在区间为肛o ，r ) 因为阻一嘞。x ( 牡) t 【蜀r 。k ( 札) 尸k 。k ( “一f ( u ) ) 0 ，所以 勃u 一攻州删1 2 =2 一尸k 。( ) 】丁d u ( t ) d t = 一2 a 【u 一尸k 。k ( t 正) 】丁e ( u ) =2 a 阻一p k 。k ( u ) 】t p k 。k ( “一f ( 钍) ) 一p k 。( 让) 】 一2 a i l 札一p k 。k ( 钍) 1 1 2s 一2 a i f 一p k 。( ) 1 1 2 因此v t t o ，t ) ，0 i l u p k 。( ) 1 1 2 l l u o 一& 。k ( ) | 1 2 = 0 从而v t 弘o ，r ) ， 批( t ) kx k 下证7 = + o o 因为 ( 一+ ) t f ( u ) 一f ( 札4 ) 】去| | f ( ) 一f ( u ) 1 1 2 + 去 2 p ( y 一矿) r i t ( ) 一t ( 可) 】一矿i it 白) 一t ( 矿) | 1 2 ) + 去 2 7 一矿) t p ) 一t ( ) 】一矿l t ( z ) 一t ( z + ) 1 1 2 ) 去i f ( “) 一f ( u + ) l 【2 所以f ( ) 关于模1 2 强制从而 幽霉业：一2 a ( u - u * ) r e ( 钍) d t 7、。 一2 a e ( u ) 1 1 2 一( 札一珏+ ) 丁【f ( ) 一f ( u + ) 】 + 【f ( “) 一f ( u ) 】t e ( 札) 一al le ( u ) 旷0 ， v t20 ( 1 ) 因此集合 “( t ) it o t o 和6 o ，使得当t f o ，7 - ) 时，j i e ( u ( t ) ) l 6 由( 4 ) 得 u ( t ) 一n + 1 1 2 i l u o 一札1 1 2 一a l ie ( “0 ) ) 1 1 2 ，t j 0 i l u o 一“+ j j 2 一a 6 r ， v t f 令a = l i 牡。一矿0 2 ( 6 r ) ，则对任意的t 丁，恒有( t ) 矿1 1 2 ；0 因此对任意的 t 丁，钍( t ) 兰t + 定理2 2 3 设t 在k 上强单调( 强单调模o t o ) ，并且在包含k 的开 凸集d 上连续可微若丁在k 上l i p s c h i t z 连续( l i p s c h i t z 常数为l ) ，贝当 m a x p ，y ) 2 a l 2 时，v u o kxk ，系统( 2 2 2 ) 指数收敛于问题( 2 1 1 ) 的惟 一解 证明因为t 在k 上l i p s c h i t z 连续，且在k 上强单调，所以 1 1 v u ，v = ( ( 一) r ，( 矿) 丁) t k k ，有 ( u 一”) 1 【f ( u ) 一f ( u ) 】 = “一一旷扩，( 苦二身二墨二男端翁戮) 一i i ( x 一一) 一( y y ) 1 1 2