（应用数学专业论文）求解优化问题的神经网络方法.pdf

摘要 十九世纪八十年代，h o p f i e l d 和t a n k 提出用人工神经网络方法求锵线性规划问题，从 此以后，这一领域的研究和应用得到了越来越多的关注对比传统的优化算法，人工神经网 络方法具有更多的优点，如收敛速度快( 有时甚至可以达到指数收敛速度) ，可以硬件实现和 实时控制等为了应用人工神经网络求解优化问题，它必须是一个完全稳定的网络，即网络 的所有输出轨线必须收敛到一个稳定的平衡点或者平衡点集因此，研究此类优化神经网络 的稳定性和收敛性是非常必要的 受系统扰动思想的启发本文提出了一种构造延时优化神经网络的方法，借助l a s a l l e 不变 原理及l y a p u n o v 泛函方法，研究和证明了两类延时优化神经网络的全局稳定性和收敛性 数值仿真结果显示出此类神经网络比无延时神经网络具有更好的收敛性。 具体地，本文的研究内容及创新之处如下： 一、对于某些约束优化问题，由于其往往对应一类变分不等式或者投影方程，因此我们 建立了投影神经网络系统在第二章中，借助能量函数和分析方法，我们研究了此类神经网 络系统的全局收敛性，并且用它来求解某些非单调的变分不等式和投影方程我们的理论结 果改进和推广了以前的结论 二、借助系统扰动的思想，我们提出了两类延时优化神经网络：延时l a g r a n g i a n 神经网 络系统和延时投影神经网络系统在第三章中，应用l a s a l l e 不变原理、l y a p u n o v 泛函和线 性矩阵不等式方法，我们研究了这两类延时优化神经网络系统的全局收敛性和全局指数稳定 性，并且用它们求解某些约束优化问题另外，通过数值仿真我们比较了这两类优化神经网 络的收敛性，发现对于某些优化问题，延时神经网络具有更好的收敛性和更快的收敛速度 关键词：最优化问题，神经网络，稳定性，全局收敛性，全局指数稳定，线性矩阵不等式， l y a p u n o v 泛函，l a s a l l e 不变原理 a b s t r a c t i n1 9 8 0 s ，h o p f i e l da n dt a n kp r o p o s e dan o v e la r t i f i c i a ln e u r a ln e t w o r kf o rs o l v i n gl i n e a r p r o g r a m m i n gp r o b l e m s f r o mt h e no n ，m o r ea n dm o r ea f f e c t i o nh a sb e e np a i di nr e s e a r c h a n da p p l i c a t i o no fs u c ha r e a c o m p a r i n gw i t ht r a d i t i o n a lo p t i m i z a t i o na l g o r i t h m s ，a r t i f i c i a l n e u r 甜n e t w o r kt e c h n i q u eh a sm o r em e r i t s ，s u c ha sf a s t e rc o n v e r g e n c er a t e ( e v e na c h i e v i n g e x p o n e n t i a lc o n v e r g e n c er a t es o m e t i m e s ) ，h a r d w a r ei m p l e m e n t a t i o na n dr e a l t i m ec o n t r o le t c i no r d e rt oa p p l yt h ea r t i f i c i a ln e u r a ln e t w o r kt os o l v eo p t i m i z a t i o np r o b l e m s ，i ti sr e q u i r e d t ob eac o m p l e t es t a b l en e t w o r k n a m e l y , a l li t so u t p u tt r a j e c t o r i e sm u s tc o n v e r g et oas t a b l e e q u i l i b r i u mp o i n to ra l ls t a b l ee q u i l i b r i u mp o i n t ss e t t h e r e f o r e ，i ti si n d i s p e n s a b l et os t u d y t h es t a b i l i t ya n dc o n v e r g e n c eo ft h i sc l a s so fo p t i m i z a t i o nn e u r a ln e t w o r k i nt h i sp a p e r ，m o t i v a t e db yt h ei d e ao fs y s t e mp e r t u r b a t i o n ，w ep r o p o s e dam e t h o do f c o n s t r u c t i n gt h ed e l a y e do p t i m i z a t i o nn e u r a ln e t w o r k ，b yl a s a l l ei n v a r i a n c ep r i n c i p l ea n d l y a p u n o vf u n c t i o n a lm e t h o d ，w es t u d i e da n dp r o v e dt h eg l o b a ls t a b i l i t ya n dc o n v e r g e n c eo f t w oc l a s s e so fd e l a y e do p t i m i z a t i o nn e u r a ln e t w o r k s t h en u m e r i c a ls i m u l a t i o nr e s u l t sm a n i l e s tb e t t e rc o n v e r g e n c et h a nt h a tw i t h o u td e l a y s c o n c r e t e l y , t h em a i nr e s u l t sa n do r i g i n a l i t yo ft h i sp a p e ra r es h o w na sf o l l o w s ： f i r s t l y , w ec o n s t r u c t e dt h ep r o j e c t e dn e u r a ln e t w o r ks y s t e mf o rs o m ec o n s t r a i n e do p t i m i z a t i o np r o b l e m s ，w h i c hc o r r e s p o n dt oac l a s so fv a r i a t i o n a li n e q u a l i t yo rp r o j e c t i o ne q u a t i o n s o m e t i m e s i nc h a p t e r2 ，b yu s i n ge n e r g yf u n c t i o n sa n da n a l y s i sm e t h o d s ，w es t u d i e dt h e g l o b a lc o n v e r g e n c eo fs u c hn e u r a ln e t w o r ks y s t e m ，a n dg a v ei t sa p p l i c a t i o nt os o l v i n gs o m e n o n m o n o t o n ev a r i a t i o n a li n e q u a l i t i e sa n dp r o j e c t i o ne q u a t i o n s t h eo b t a i n e dr e s u l t si m p r o v e d a n de x t e n d e dt h ep r e v i o u so n e s 。 s e c o n d l y , b a s e do nt h ei d e ao fs y s t e mp e r t u r b a t i o n ，w ep r o p o s e dt w oc l a s s e so fd e l a y e d o p t i m i z a t i o nn e u r a ln e t w o r k s ：d e l a y e dl a g r a n g i a nn e u r a ln e t w o r ka n dd e l a y e dp r o j e c t e dn e u r a ln e t w o r k i nc h a p t e r3 ，b yl a s a l l ei n v a r i a n c ep r i n c i p l e ，l y a p u n o vf u n c t i o n a la n dl i n e a r m a t r i xi n e q u a l i t y ( l m i ) m e t h o d s ，w ep r o v e dt h eg l o b a lc o n v e r g e n c ea n dg l o b a le x p o n e n t i a l s t a b i l i t yo ft h e s et w oc l a s s e so fd e l a y e do p t i m i z a t i o nn e u r a ln e t w o r k sa n da p p l i e dt h e mt os o l v e s o m ec o n s t r a i n e do p t i m i z a t i o np r o b l e m s i na d d i t i o n ，a c c o r d i n gt ot h en u m e r i c a ls i m u l a t i o n s ， 1 l w ec o m p a r e dt h ec o n v e r g e n c eo ft h e s et w oc l a s s e so fn e u r a ln e t w o r k sa n dc o n c l u d e dt h a tt h e n e u r a ln e t w o r kw i t hd e l a y sh a sb e t t e rc o n v e r g e n c ep r o p e r t i e sa n df a s t e rc o n v e r g e n c er a t ef o r s o m eo p t i m i z a t i o np r o b l e m s k e y w o r d s ：o p t i m i z a t i o np r o b l e m ，n e u r a ln e t w o r k ，s t a b i l i t y , g l o b a lc o n v e r g e n c e ，g l o b a l e x p o n e n t i a ls t a b i l i t y ，l i n e a rm a t r i xi n e q u a l i t y ( l m i ) ，l y a p u n o vf u n c t i o n a l ，l a s a l l ei n v a r i a n c e p r i n c i p l e 一、学位论文独创性声明 独创性声明及使用授权的说明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标明和致谢的地方外，论文中不包含其他人已经发表或撰写过 的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材料。与我 一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 = 、关于学位论文使用授权的说明 签名日期： 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印 件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质 论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布( 包括刊 登) 论文的全部或部分内容论文的公布( 包括刊登) 授权东南大学研究生院办理。 签名 导师签名日期： 第一章绪论 1 1 概述和本文的主要工作 数学规划是应用数学中很重要的一个分支，已经广泛应用到了许多科学和工程领域，如 经济、社会问题，图像和信号处理问题等在许多工程和科学应用中，我们需要得到优化问题 的实时解然而，当所处理的问题很复杂时，用传统的优化算法可能需要很长的计算时间， 有时这些计算时间是我们所不能允许的一个有效而实用的实现实时优化的方法是采用人工 神经网络( a r i t i f i c i a ln e u r a ln e t w o r k ，简称a n n ) 技术人工神经网络是在对人脑组织结构 和运行机理认识理解的基础之上模拟其结构和智能行为的一种工程系统由于它具有大规模 并行计算的能力，并且突破了传统的以线性处理为基础的数字电子计算机的局限，因此它是 实时求解最优化问题的一条非常有效的途径 上个世纪8 0 年代，h o p f i e l d 和t a n k 叭【2 l 第一次提出了用神经网络方法解决线性规划 问题自此，一些学者提出了许多优化神经网络并将它们应用到解决线性和非线性规划问题 中 3 j 一【鲫例如，k e n n e d y 和c h u a 3 ) 采用梯度方法和罚方法构造了一类求解非线性规划问 题的神经网络；基于梯度方法和投影方法，b o u z e r d o u m 和p a t t i s o n 【4 】提出了一类神经网络 用来求解带边界约束的二次规划问题；x i a 等人根据对偶方法和梯度方法提出了几类神经网 络求解线性和二次规划问题【5 】_ 1 1 1 众所周知，用神经网络方法求解最优化问题，关键的一步是如何把一个优化问题转化成 一个动力学模型在这方面有许多的方法可以应用，如l a g r a n g i a n 乘数法、k a r u s h k u h n t u c k e r 条件、投影方法、罚方法、梯度方法等等具体地，对于一个最优化问题，首先应用 最优化理论和方法，如l a g r a n g i a n 乘数法、k a r u s h k u h n t u c k e r 条件与对偶理论等，将其 转化成一些等式或者不等式，如投影方程、变分不等式等，然后利用这些等式或者不等式构 造神经网络模型 为了应用的广泛性，本文主要考虑几类优化问题如含有边界约束的优化问题： m l n l m l z e s u b j e c tt o 1 ，( z ) ， x q 东南 大 学硕 士 学位论文2 其中，( z ) ：研一r 是连续可微凸函数，n 是彤中的非空闭凸子集。含有线性等式约束的 优化问题： m 妇i 2 8 m ) ， s u b j e c t t o d x = b ， 其中f ( x ) 和( 1 1 ) 中的意义相同，d r ”“，即m xn 矩阵，b r ”，即m 维列向量 对于约束优化问题( 1 1 ) ，可建立如下的投影神经网络系统( 由f r i e s z 等人【1 2 】第一次提 出来) ： 象= a p a z - a f ( 圳叫， ( 1 3 ) 其中 和是正常数， n 如( 1 1 ) 中定义，f ( x ) 是舻到r ”的连续可微的向量函数， p a ：形一q 是投影算子，其定义如下： p n ( z ) = ”g m 州i n 。i i x 其中l i 表示欧基里德( e u c l i d e a n ) 范数，a r g 表示取满足条件的点若f ( x ) = m x + q ， 其中m r n “，q 舻，则系统( 1 3 ) 化为 一个 等= a 只1 k a ( m z + g ) ) 一。) ( 14 ) 在文献( 1 8 一 2 6 中，作者分析和证明了投影神经网络( 1 3 ) 的全局收敛性，并应用到求解 单调变分不等式、投影方程、混合互补问题和凸优化问题。为了求解优化问题( 1 1 ) ，只要在 ( 1 3 ) 中令f ( x ) 为f ( x ) 的梯度v ，( ) 即可在第二章中，当n 是有界集时，我们证明了下 面的定理： 定理2 1 1 设矩阵，一m 是非退化的，若存在正定对称矩阵w 使得( i o m t ) w 是 对角矩阵，贝0 对任意z o 即，系统( 1 4 ) 的解全局收敛到平衡点集n e 定理2 1 2 若存在对角正定矩阵d 使得d m 是对称的，则当初始点。o n 时，系统 ( 1 4 ) 的解全局收敛到平衡点集q e 定理2 1 3 若f ( x ) 是包含q 的某一开凸集d 上的梯度映射，则对任意一q ，系统 ( 1 3 ) 的解全局收敛到平衡点集q e 我们在采用神经网络方法求解优化问题的过程中发现，对于某些优化问题，采用无延时 的神经网络不能够解决，或者网络的收敛速度太慢。为了克服这些缺点，使神经网络方法更好 地应用到优化问题，借助系统扰动的思想，本文提出了一种构造延时优化神经网络的方法。 东南大学硕士学位论塞j 对于问题( 1 2 ) ，我们构造如下的延时神经网络系统： 鲈d tty 、) = 一( 引言( 黔a o x ”( t b 型y ( t 高 ) ， ( 1 s ) 可( t ) +) 一 一 一下( t ) ) r 呻7 其中f ( t ) 0 表示传递延时。 在第三章第一节中，通过构造合适的l y a p u n o v 泛函，我们证明了系统( 1 5 ) 平衡点的稳 定性和全局收敛性我们主要得到了下面的定理： 定理3 1 1 设v 2 f ( x ) 是半正定的，且传递延时7 - ( t ) 的导数满足r 沁) s0 ，则延时 l a g r a n g i a n 神经网络系统( 1 5 ) 是l y a p u n o v 意义下稳定的。 定理3 1 2 设v 2 f ( x ) 是正定的，且传递延时7 - ( t ) 的导数满足r ) s0 ，则延时l a - g r a n g i a n 神经网络系统( 1 5 ) 的解全局收敛到一个平衡点，这个点对应于优化问题( 1 2 ) 的唯 一解 在问题( 1 1 ) 中，若令f ( x ) = z 7 a x + a t x ，则化为如下的二次优化问题： m l n l r l l z e s u b j e c tt o ；z t a z + n 。r z o q ， ( 1 , 6 ) 其中a 是佗维的对称矩阵，a 是n 维的列向量。我们将系统( 1 4 ) 转化为如下的延时神经网 络系统来求解这类优化问题： 掣= 也( t ) + p n ( z ( t ) 一。( m z ( t ) + q ) ) + z ( t r ) ， ( 1 7 ) 其中a 是正常数，f 0 是传递延时。系统( 1 7 ) 是在系统( 1 4 ) 中令a = 1 并增加系统扰动 项一x ( t ) + x ( t r ) 而得到的 在第三章第二节中，通过构造合适的l y a p u n o v 泛函，结合线性矩阵不等式( l m i ) 方法， 证明了系统( 1 7 ) 平衡点的全局渐近稳定性和全局指数稳定性得到了如下的结果： 定理3 2 1 设j 一口m 是非退化的，著存在正定对称矩阵p = r “、q = j 彤“、正定对角矩阵d = 【d ；】酽“和常数 0 使得 即 r = f 4 2 k ) p qp + a p m 一2 k d 一尸+ a m 7 p 一2 k d2 d + a ( d m + m 7 d 1 一p d p d e - - 2 k t q 0 ，( 1 8 ) 五：io q 。矍棚_ e 2 打p q - 1 p 。p 抽蹦卅_ 矾叩驴1 d i o ， 【一p + o m 丁p 一2 k d e 2 打d q _ 1 尸2 d + c e ( d m + m r d ) 一e 2 打d q i d q ( 1 9 ) 东南大学硕士堂位鲨銮 4 则系统( 1 7 ) 的平衡点是全局指数稳定的而且 u ( ) 一“+ l | a m ( p ) + 2 m a x , ( d i ) + a m ( 。) 与 a ”( ( 一。m 丁) ( ，一q m ) ) 击一珏+ l i e 一肌 ( 1 1 0 ) 其中k 和a m 分别表示矩阵的最小和最大特征值 定理3 2 2 设i o m 是非退化的，若存在正定对称矩阵p = b ， 研“、正定对角 矩阵d = d 1 舻“和常数 0 使得 w = f 3 2 k ) p d p + a p m 一2 k dp p + a m r p 一2 k d ( 2 一e 2 打) d + a ( d m + m 7 d ) 0 - p0e 一2 k r p 形=i!一耋一：打：!一。一。-。打p，。+02pm-2+kdp a mp2 k d2 a ( d mm ，d ，i o c l 地，l 一 +t 一 ( 一e 2 打) d + + 7 ) l 则系统( 1 7 ) 的平衡点是全局指数稳定的而且， “( t ) 一“4 | | ( 1 1 3 ) 定理3 2 3 当m = a ，q = o 时，延时投影神经网络系统( 1 7 ) 的解全局收敛到二次优化 问题( 1 6 ) 的解集 在第二章中，我们通过构造能量函数，使优化问题( 变分不等式、投影方程等) 的解对 应于能量函数的极小点，并借助分析方法证明了系统平衡点的全局收敛性，从而保证了投影 神经网络可以用来求解某些凸优化问题( 非单调变分不等式、非单调投影方程等) 我们所研 究的非单调投影动力系统可以看作是对单调投影动力系统的推广和延伸在第三章中，通过 l y a p u n o v 方法和l a s a l l e 不变原理，我们研究了两类延时优化神经网络系统的全局收敛性和 全局指数稳定性在某种意义下( 延时r ( t ) = 0 ) ，则无延时优化神经网络可以看作延时神 经网络的特殊形式，因而我们的结果是对优化神经网络理论和应用研究的一种推广同时， 我们给出了一些仿真实验，仿真结果显示出延时优化神经网络比无延时网络具有更好的收敛 性 东南大学硕士学位论文 5 1 2 优化问题基本理论 在本节中，我们将介绍一些约束优化问题的基本理论，这些基本理论是我们构造神经网 络系统所必需的然后通过两个基本定理，给出这些优化问题之间的关系，进而构造投影方 程为了后面讨论的方便，我们还将介绍一些相关的定义和引理 1 2 1 线性和非线性规划问题 1 2 1 1 两类线性和= 次规划问题 本文主要考虑两类二次规划问题( q p ) ，一类含闭凸集约束，如下式所示： m i n i m i z e i 10 7 a x + a t x ， q p l ： 。 f 1 1 4 ) $ l l b j e c t t o z q 其中z r “，a 为n n 维的对称矩阵，o 为n 维的列向量，n 是r n 中的非空闭凸子集 如果a 不是对称矩阵，可以将其对称化设a l = t a + a t ，a 。= 生二笋，则a = a ，+ a 2 ，且 目标函数为i x t a l x + a t x ，其中a 为对称矩阵另一类含有线性等式约束，如下式所示： q p ： “i n i m i 2 8 j1p2 。7 4 z + 。t 。， f 1 1 5 1 2 一 f 1 s u b j e c t t od x = b ， 其中。r “，d r ”“，即m n 矩阵，b ，即m 维列向量。当a 是半正定矩阵 时，( 1 1 4 ) 和( 1 1 5 ) 称为凸二次规划问题。当a = 0 时，称为线性规划问题 二次规划问题在函数逼近、信号处理、图像存储、参数估计、机械控制等方面都有广泛 的应用另一方面，对于一般的非线性规划问题，可以通过线性化或者近似化把目标函数化 为线性或二次函数 1 2 1 2 两类非线性规划问题 若目标函数为一般的非线性函数，则其对应的非线性规划问题( n l p ) 形式如下： n l p l ： m i “i “i 2 。 m ) ， f 6 1 s u b j e c tt o z q 其中f ( x ) ：r “- r 是连续可微函数另一类为： n l p 2 ： “i “i m i 2 8 m ) ， f 7 1 s u b j e c t t od x = b ， 、 东南大 学硕 士 学位：虹塞 6 其中，( z ) ：j p _ r 是连续可微函数如果函数( z ) 是凸函数，则称为凸规划问题 在本文中，对于问题( 1 1 4 ) 和( 1 1 6 ) ，我们考虑的约束集合为一个超立方体，即n = z 彤i 吐如乜，i = 1 ，2 ，n ，其中哦可以是一o o ，几可以是+ 。 1 2 2互补问题和变分不等式问题 1 _ 2 2 1 线性和非线性互补问题 一个标准的线性互补问题( l c p ) 是寻找向量。r “使得 l c p ：x t ( m z + 口) = 0 ，m x + q 0 ，。0 ，( 1 1 8 ) 其中m r “，q 聊当m 是半正定矩阵时，称为单调线性互补问题。 一个标准的非线性互补问题( n c p ) 是寻找向量z r “使得 n c p ：x t f ( x ) = 0 ，f ( x ) 0 ，z20 ，( 1 1 9 ) 其中f 是彤。到矸的连续映射 线性和非线性互补问题在科学和工程领域都有广泛的应用，如求不动点问题、经济平衡 模型等。 1 2 2 2 线性和非线性变分不等式问题 一个标准的变分不等式问题( v i p ) 是寻找x + encr “，使得 v i p ： f ( x + ) 7 ( z z + ) 0 ，v x q ，( 12 0 ) 其中n 是酽中的非空闭凸集，f 是口到彤的连续映射。若f ( x ) 是单调映射，则称为 单调变分不等式问题 若f ( x ) = m x + q ，则( 1 2 0 ) 称为线性变分不等式问题，其中m r n 一，g r n 当m 是半正定矩阵时，称为单调线性变分不等式问题 变分不等式问题在数学和物理学领域都有广泛的应用，如数学规划问题、互补问题、不 动点问题、游戏理论和交通科学等 1 2 3 基本定理和基本关系 1 2 3 1 基本定理 在这一节中，我们将给出关于优化问题的两个基本定理，这些定理是构造神经网络模型 的基础它们在许多关于优化的书中都可以找到 3 1 2 】，因此这里我们只给出定理的叙述， 壅1 查- 奎兰型圭堂堡垒奎 ：7 p n ( z ) 2a r g 卿忙一训， 嘶沪瞻 奎童奎堂堡圭堂垡 篁塞 8 其中。是任意正常数特别地，若f ( x ) = m x 十q ，则矿是线性、，i p 的一个解当且仅当x + 满足下面的线性投影方程 忙一a ( m z + q ) ) = x ( 1 2 4 ) 因此，v i p 的解和投影方程的解是相互对应的在下一章中，我们将通过投影方程构造神经 网络系统 非线性互补问题( n c p ) 与投影方程之间的关系 首先，若$ 是n c p 的一个解，则对任意z 0 ，有f ( x + ) t z 0 ，因此 f ( z + ) t ( 。一矿) = f ( ) t z f ( ) t z + = f ( 正+ ) t z 0 ， 即矿也是变分不等式问题( v i p ) 的一个解反之，若是v i p 的一个解，即 f ( x ) 丁 一z ) 0 ，v 。0 令$ = 2 x 4 ，则有f ( z + ) r x o 令z = o ，则有f ( 。+ ) 丁x + 0 因此，f ( 3 3 ) 7 x + = 0 由z 的任意陛，有f 0 ) 0 因此，。也是n c p 的一个解。综上所述，x + 是n c p 的一 个解当且仅当z + 也是v i p 的一个解 其次，根据投影定理，x + 是n c p 的一个解当且仅当z + 满足下面的投影方程 ( z 一吐f ( z ) ) + = 。( 1 2 5 ) 特别地，。+ 是l c p 的一个解当且仅当z 满足下面的线性投影方程 ( x a ( m x + q ) ) + = z ，( 1 2 6 ) 其中( z ) + = 【( 茁1 ) + ，( 。) + t ，且( z ，) + = m a x z i ，o ) 。 优化问题与投影方程之间的关系 设似和州分别表示优化问题( 1 1 6 ) 的全局最优和局部最优解集根据文献 3 2 】中的 结果，伊( 或者z + n 。) 的一个必要条件是z + 满足下面的变分不等式v ：( v f ，n ) 知一z + ) t v f ( z + ) 0 ，比n f 1 ，2 7 ) 而且，若，( 嚣) 是凸函数，这个条件也是充分的。 根据投影定理，x + 为优化问题( 1 ，1 6 ) 的解的个必要条件是3 3 满足下面的投影方程 玮扣一q v ，( 。) ) = z ( 1 2 8 ) 查童奎兰堡圭耋堡垒壅 9 特别地，。+ 为二次优化问题( 1 1 4 ) 的解的一个必要条件是x 满足下面的线性投影方程 。( z c z ( a x + n ) ) = z ( 1 2 9 ) 若考虑的是凸优化问题，则这些条件也是充分的 1 2 4 相关定义和引理， 在这一节中，我们介绍一些相关的定义和引理，它们在后面的稳定性分析中将会用到 定义1 2 1 对任意z ，v n ，若映射f ：彤- + ncr “满足 i j f ( z ) 一f ( y ) i i z l 1 l z 一口i i ， ( 1 3 0 ) 则称f ( x ) 是l i p s c h i t z 连续的称f ( x ) 是局部l i p s c h i t z 连续的，如果对任意x o q ，存 在z o 的邻域d ocq ，使得对任意卫，y d o ，上述不等式成立 定义1 2 2 称映射f ( x ) 是q 上的单调映射，若对任意z ，y q ，有 ( r ( x ) 一f 妇) ，。一y ) 0 ，( 1 3 1 ) 成立，其中( - ，) 表示内积称f ( 。) 是q 上的严格单调映射，如果对任意嚣y ，上述不等 号严格成立 定义1 2 3 称函数g ：t p _ r 是凸集qc 研上的凸函数，若对任意，口q 和 0 o ，只要l i x ( t q ) 一矿| l j ( 或 者一0 d ) ，就有j f x ( t ) 一| 【 o ，故玩( t ) 是单调不增的又e 1 ( t ) 有 界，所以必存在常数岛，使得 ，l i + m 。e 1 ( t ) = e o 0 ，存在i t 满足d i s t ( z ( _ ) ，钟) 根据z ( t ) 的有界性，我们选择收敛子序列 。( _ m ) ) ， 。( k ) ) 满足一l i r az ( k ) ：i 妒，且 t m p o o d i s t 0 ( k ) ，饼) ，( m = 1 ，2 ，) 令k _ + o 。，我们有 d i s t ( 虿，q 8 ) 0 ， 这与d i s t ( 面，畔) = 0 矛盾因此( 2 7 ) 式成立所以对任意初始点x 0 研，系统( 2 2 ) 的解 全局收敛到平衡点集n e 口 丕查奎兰堡圭兰堡垒垄 1 4 对于系统( 2 2 ) ，如果构造另一个能量函数，我们有如下的结果： 定理2 1 2 若存在对角正定矩阵d 使得d m 是对称的，则当初始点护q 时，系统 ( 2 2 ) 的解全局收敛到平衡点集阱 证明：建立能量函数如下 e 2 ( ) = 昙。( t ) t d m z ( t ) + o z ( t ) 7 d q ( 2 8 ) 任意t 0 ，a 是任意正常数 对任意z o o ，由引理2 1 1 ，z ( t ) cq 且z ( t ) = 尸h ( z ( t ) ) 由0 ) 的有界性知e 2 ( t ) 也是有界的设d = d i a g ( d l ，d n ) ，则咄 0 ( i = 1 ，n ) 令d 皇m m 。l 一 d 一 n ( d 1 ) 根据 ( 2 2 ) ，( 2 8 ) 和引理1 ，2 2 ，有 岛( t ) = a o f z ) + g 】7 d p n x ( t ) 一c 。( m x ( t ) + q ) 】一z ( t ) ) = 一a k ) 一a ( m x ( t ) + q ) 一z 0 ) j r d p a x ( t ) 一a ( m x ( t ) + q ) 】一只2 扛( t ) ) s a d l i 最t k ( t ) 一c r ( m x ( t ) + 口) 】一p n ( xc t ) ) j 1 2 = 一 d i | p i 陋( t ) 一v t ( m x ( t ) - 4 - q ) 】一z 0 ) l | ? = 一- ；l p ( t ) 1 1 2 ( 2 9 ) 余下的证明仿定理2 1 1 ，这里略去口 下面考虑系统( 2 1 ) 的全局收敛性，我们将通过构造一个特殊的能量函数给出一个充分 判据，并且这个结果可以用到某些优化问题 定理2 1 3 若f ( ) 是包含q 的某一开凸集d 上的梯度映射，则对任意o n ，系统 ( 2 1 ) 的解全局收敛到平衡点集q 8 证明：根据假设，对任意初始点z o q ，系统( 2 1 ) 存在唯一的连续解茹( t ) 类似定理 2 1 1 的证明，x ( t ) 的最大存在区间是【0 ，+ o 。) 因为f 是梯度映射，所以存在可微函数，：d 叶r ，使得v l ( z ) = f ( x ) 对任意z d 成立建立如下的能量函数 b ( t ) = a i ( x ( t ) )( 2 1 0 ) 任意t 0 ，a 是任意正常数 同样，由引理2 ，1 ，1 ，对任意z o q ，z ( ) = r ( z ( t ) ) 。又，( 嚣) 是d 上的连续函数， 东南大学硕士学位论文 1 5 因此，目( t ) 在n 上有界根据式( 2 1 ) ，( 2 1 0 ) 和引理1 2 2 ，有 。酰0 ) = a a v ，( z 0 ) ) 7 p n 【( t ) 一n f ( z 0 ) ) 一z ( t ) ) = a a f ( z o ) ) 7 。【石( t ) 一a f ( 。0 ) ) 】一z ( t ) = - ；q x ( t ) a f ( x ( t ) ) 一z 0 ) 】7 只t 陋( t ) 一a f ( z ( t ) ) 一鼹1 ( z 0 ) ) ) 一a 0p f ，降0 ) 一o f 扛( t ) ) 一只1 ( z 0 ) ) 1 1 2 = 一a l l p n z ( t ) 一o f 扛( ) ) 】一x ( t ) 1 1 2 = 一l i 圣( t ) 1 1 2 ( 2 1 1 ) 余下的证明类似于定理2 1 1 ，这里从略口 注2 1 1 根据投影定理，投影神经网络系统的平衡点对应于变分不等式的解根据上述 的定理，投影神经网络系统可以用来求解某些非单调的变分不等式问鼠我们将在第三节中 给出一些具体的例子 2 2 在约束优化问题中的应用 我们研究投影神经网络系统的一个重要的原因是它可以用来求解许多优化问题在这一 节中，我们考虑约束优化问题( 1 1 6 ) ，也就是 n l p l ：s “u 攀b j e c tt 。o 黑 ( 2 1 2 j z 52 其中。舒，( 。) ：舻_ + r 是二次连续可微函数，q 是舻中的非空有界闭凸子集设 m 和州分别表示优化问题( 2 1 2 ) 的全局和局部最优解集由于q 是有界凸集，所以即和 甜是非空的建立如下的投影神经网络系统： 蔷2a 玮陋一a v m ) 卜z ) ，( 2 1 3 ) 其中a 和口是正常数 根据第一章中的理论，优化问题( 2 1 2 ) 的解一定是系统( 2 1 3 ) 的平衡点，即似cq fc n 8 反之，若，( z ) 是凸函数，或者系统的平衡点唯一，则优化问题的解和系统的平衡点相 互对应，即即= 州= q 。根据上一节的结论，我们可以得到下面的推论 推论2 2 1 _ 若问题( 2 1 2 ) 中的，( z ) 是凸函数，则对任意初始点护q ，系统( 2 1 3 ) 的 查 童奎兰堡圭兰堡 垒塞 1 6 =：=；=；=一一 解全局收敛到优化问题( 2 1 2 ) 的全局最优解集似 推论2 2 2 若系统( 2 1 3 ) 有唯一的平衡点矿，则对任意初始点护q ，系统( 2 1 3 ) 的 解全局收敛到优化问题( 2 1 2 ) 的全局最优解矿 注2 2 1 根据上述的结论，投影神经网络系统( 2 1 3 ) 可以用来求解约束凸优化问题然 而，对于一般的非凸优化问题，系统( 2 1 3 ) 的平衡点可能不是优化问题的解。怎样半i i 断平衡 点是否为优化问题的解仍是一个公开的问题 2 3 例子 在这一节中，我们用前面介绍的无延时的投影神经网络系统求解某些非单调的变分不等 式问题和优化问题 侵心3 1 考虑如下的非单调的变分不等式问题； ( 一茁) t ( m z + q ) 2o ，v y q ，z q ， ( 2 1 4 ) 其中 m = 蚓一吲卜s 媳她，。卜 容易验证m 是不定矩阵定义对角正定矩阵。= ： 则。m = ： ，是对 称的根据定理2 1 2 ，我们用系统( 2 2 ) 求解这个问题，取o c = 入= 1 图2 1 是在n 内 随机选取初始值的8 0 条解轨线的仿真结果仿真结果显示所有的解轨线收敛到解( - 5 ，5 ) 和 ( 4 ，一5 ) 例2 3 2 考虑如下的非单调的变分不等式问题： ( y 一) t ( m 茁+ 窜) 0 ，v y n ，。n ，( 2 1 5 ) a = m 吲蚯砰 - l o gz i 。 1 0 , i = 1 , 2 ) 经过简单的计算，易知m 不满足定理2 1 2 的条件，但可以满足定理2 1 1 的条件取 正定对称矩阵w = 二，：1 ，a = ，则c ，一口m 7 ，w = ：二 是对角的。根据定理 1j 1 2 1 1 一 一 _，。l i l m 中 其 东南大学硕士学位论 文 一一一1 7 2 1 1 ，采用系统( 2 2 ) 求解这个问题，取a = = 1 。图2 2 是随机选取初始值的2 0 0 条解 轨线的仿真结果数值仿真显示所有的解轨线收敛到解( 一1 0 ，一4 ) 和( 1 0 ，6 ) 例2 3 3 考虑如下的非单调的变分不等式问题： ( y z ) 7 f ( z ) o ，v y n ，。n ，( 2 1 6 ) 其中 n = z r 2 l 一3 z 。3 ，i = 1 ，2 ) 我们知道f ( z ) 是函数，( z 1 ，z 2 ) = s i n z l c o s x 2 的梯度。根据定理21 3 ，采用系统( 2 1 ) 求解这个问题，取口= a = 1 图2 3 是在q 内随机选取初始值的2 0 0 个解轨线的仿真结 果仿真结果显示所有的解轨线收敛到解( - 7 r 2 ，0 ) 、竹2 ，一3 ) 和( ”2 ，3 ) 然而，