（计算数学专业论文）两类优化问题的神经网络.pdf

两类优化问题的神经网络 杨红梅 摘要极大极小问题是一类重要的不可微优化问题它广泛地出现在工程设 计，电子线路规划、对策论，最优化理论、变分不等式，微分方程等诸多领域 特别地，非线性方程组、非线性不等式、非线性规划、多目标规划等数学问题也 可以转化为它而半无限规划问题是一类典型的优化问题不仅在经济领域，最 优控制信息技术以及计算机网络，而且在工程技术、机器入路径设计，环境污 染控制系统等领域都有着广泛而直接的应用因此研究它们的求解方法具有重要 的理论价值和一定的应用前景 在许多科学和工程技术领域中，极大极小问题和半无限规划问题往往要求实 时求解，然而传统的数值迭代方法，由于计算时间依赖问题的规模、结构以及所 采用的算法，因而很难满足实时性的要求基于电路实现的人工智能神经网络是 处理高维，稠密结构问题的一个可行方法由于内在的动态本质和电路实现的潜 在能力，神经网络可以用集成电路等硬件来实现因此，神经网络比传统的优化 算法能更快的求解优化问题，并且建立神经网络来实时求解优化问题具有实际意 义 本文研究了极大极小问题和半无限规划问题根据问题的特点，分别建立了 求解它们的神经网络模型，给出了网络模型的平衡点与原问题解之间的关系，并 证明了网络模型的稳定性和收敛性全文共分三章 第一部分综述了神经网络产生的科学背景和研究进展，极大熵方法的基本特 征及其研究现状，并给出了微分方程组的稳定性理论和l a s a l k 不变原理等基本 理论最后概括了本文的主要研究工作 第二部分先介绍了极大极小问题的数学模型和求解它的一些算法及其分类； 然后构造了求解非线性极大极小问题的一个新的神经网络模型，并运用l y a p u n o v 稳定性理论和l a s a l l e 不变原理，严格证明了该模型是l y a p u i l 0 、，稳定的，并在有 限时间内收敛到原问题的一个精确解与已有模型相比。新模型结构简单，更适 合硬件实现数值实验表明，薪模型不仅可行面且有效 第三部分阐述了半无限规划问题的分类和各自的数学模型以及求解它的一些 现有算法利用熵方法，将多个约束条件的半无限规划同题转化为单个约束条件 的半无限规划问题然后提出求解半无限规划问题的一个神经网络模型并运用 l y a p u n o v 稳定性理论和l a s a l l e 不变原理，严格分析了该神经网络的稳定性和收 敛性数值实验表明，该模型不仅可行而且有效 关键词：非线性极大极小问题； 神经网络；半无限规划问题；极大熵函 数法 i i n e u r a ln e t w o r k sf o rt w ok i n d so f o p t i m i z a t i o np r o b l e m s y 妇gh o n g m e i a b s t r 觚t ：m i n i m a xp r o b l e mi sak i n do fi m p r o t a i l 七l yn o n d i f f e r e n t ia _ b l e0 p t i m i z a t i o np r o b l e 1 8 ，a i l da r i s m a i l yl i e l d si n c l u d i n ge n 西n e e r i n gd e s i g n ，e l e c t r o n i c c i r c t l i t ，g 锄et h e o r y o p t i m i z a t i o nt h e o z y v a 血a t i o n a li n e q u a l i 劬d i f f e r e n t i a le ( 1 u a t i o n 锄ds oo n s p e c i a l l 弘m a i l yp r o b l e m ss u c ha sn o n l i n e a re q u a t i o n ，n o n l i n e a ri n e q u a l - i t i 鹤，n o n h n e a rp r o g r 砌m i n ga n dm l l l t i o b j e c t i v ep r o f 锄m i n gc a nb ef o 瑚l l l a t e d 鹪i t a l s o 鲫n i - i n 舫i t ep r o f a m m i n g ( s i p ) i 8 锄o t h e rk i n do ft y p i c a | o p t i m i z 8 t i o n p r0 _ b l e m s ，w h i c hh 嬲l ，i d e l ya n dd i r e c t l y 印p l i c a t i o i l 8i ne c o n o m i ce q u j l i b r i 啪，o p t i m a lc o t r o l ，i n f o 珊a t i o nt e c h n o l o g y ，c o m p u t e rn e t w o r k ，e n g i n e e r i n gd e s i g n ，r o b o t t r a j e t o r yp l a n n i n g ，e n v i r o n m e n tp o l l u t i o nc o n t r o ls y s t e ma n ds oo n s 0t h ei n v e s t i - g a 七i o nh o wt o8 0 l 、陀t l l e mi ss i g n m c 砌砘i nb o t ht h e o r ya n da p p l i c a 舡o n i nm 锄yp r a c t i c a 丑a p p l i c a t i o i l s ，r e a l - t i m es o l u t i o n so ft h ei i l l i m a xp r o b l e m8 n d s e m i i n 6 n i t ep r o b l e ma o f t e nd e s i r e d h o w e v e r ，t r a d i t i o n a l 出g o r i t h i 瑚a r en o ts u i t a b l ef o rar e 止t i m ei m p l e m e n t a t i o n0 nt h ec o m p u t e rs i n c et h er e q l l i r e dc o m p u t i l l g t i i n ef o ras o l u t i o ni sg r e a t l yd e p e n d e n to nt h e 击m e n s i o na n dt h es t r u c t u r eo ft h e p r o b l e m ，锄dt h ec o m p l e x i t yo ft h eu s e da l g o 哦h m o n ep r o m i s i n g 印p r o a c ht oh a m d l et h e s ep r o b l e m sw i t hh i g hd i m e n s i o n 锄dd e n s es t r u c t u r ei st oe m p l 7a i t m c i a l n e l l r a ln e t w o r kb a s e dc i r c u i ti m p l e m e n t a t i o n b e c a u s eo ft h ed y n 锄i cn a t l l r ea n d t h ep o t e n t i a lo fe l e c t r o n i ci m p l e m e n t a t i o n ，n e u r a ln e t w o r k sc a nb ei m p l 锄e n t e d p h y s i c a l l yb yd e s i g n a t e dh 棚d w a 聪s u c ha 8 叩p l i c a t i o n s p e c i f i ci n t e f t e dc i ”l l i t s w h e r et h ec o m p u t a t i o n a lp r o c e d u r ei st r u l yd i s t r i b u t e da l l di np a r a l l e l t h e r e f o r e ， t h en e u r a ln e 胁k 印p r o a c hc 蛐s o l v eo p t i m i z a t i o np r o b l e i i l si nr u n n i n gt i m 髑a t t h eo r d e ro fm a g n i t u d em u c hf a s t e rt h a nc 锄砌t i o n a lo p t i m i z a t i o na l g o r i t h m se x 争 c u t e do ng e n e r 扎p l l r p o s ed i 百t a lc o m p u t e r 8 ，a n di ti so ff e a ti n t e r e s ti np r a c t i c et o d e v e l o ps o m en e l l r a ln e t w o r km o d e l s 7 r h et h e s j s 埘m a r i l yd e a l s 硒t hm i n i m a xp r o b l e ma n d m i - i i l 矗n i t ep r o b l e m b 够e do nt h e i ri n h 渊l tp r o p e r t i 鹤，w ep r e s e n tt w on e u r a ln e h 啊f k st os o l v et h e m r e s p e c t i v e l y t h e nt h er e l a t i o n s h i p sb e t 俄nt h ee q u i l i b r i 砌p o i n to ft h en e t w o r l ( s i i i a n dt h es 0 i u t i o no ft h ep r o b l e i l l si s 粕a b ，z e d f i n a l l y iw ep r o v et h es t a b i i i t ya n d c o n v e r g e n c eo ft h ep r o p e dn e t w o r k t h e 缸l lt h e s i si sd i 啊d e di n t ot h r e ep a r t s i nc h 印t e r1 ，s c i e n t 谕cb a c k 伊o l l i l da n dd e v e l o p m e n to fn e l l r 8 1n e t w o r k ，b a s i c f e a t u r ea n dr e s e a r c hs i t u a t i o no ft h em 删m u me n t r o 阿m e 乞h o da r ef l r s ti n t r o d u c e d t h e nw ec i t e m ep r e l i m i n a r ) k i l a w l e d g ea n df u n d m e n t a lt h e o r i e s ，s u c ha ss t d b i l i t y t h e o r yo fo r d i n a r yd i 髓r e n t i a le q u a t i 衄a n dl a s 出l ei i m 砌n tt h e o 珥f i n 以l yt h e m a i n w o r k i ss t a t e d i nc h 印t e r2 ，w ef i r 8 td i s c u s st h em i n i m a xp r o b l e m sm o d e i ，i t ss o m ea l g 巾 r i t h i i 增a n dd a s s i f i c a t i o n t h e nan e wn e u r a ln e 饥m ki sp 】p o s e d ，i ti ss h o w nt o b el y a p u n a vs t d b l e ，a _ i l dc o i l v e r g e n tt oa ne x a c ts o l u t i o no ft h ep r o b l 咖i n 矗n i t e t i m eb yt h ei o ，a p u n 洲t h e o r e ma dt h el a s a l l ei n v a r i a n ts e tp r i n c i p l e c o m p a r e d w i t ht h ee x i s t i n gn e l l r 越n e t w o r k s ，t h ep r o p o s e dm o d e lh a ss i m p l es t r u c t l l r e 锄dc 蚰 b ei i n p l e m e n t e di nh 缸d w a r e i l h 斌r a t i v e 麟a 巾1 e sd e m o i 曲a t et h ef e 勰i b i i i t ya n d e 伍c i e n c yo ft h en e t w o r k i nc h 印t e r3 ，w ee l a b o r e t es e m i - i n 矗n i t ep r o g r a m m i n g sc l a s s i 矗c a t i o n ，t h e i r m o d e l s ，锄ds o m ee x i s t i n ga 1 9 0 r i t h n l s b yl l s i n gm a x i m a le n t r o p ym e t h od w e c o n v e r t sm a 肛yc o i l s t r a i n t ss e m i - i n f i i l i t ep r o b l e mi n t os i n g l ec o n s t r a i n ts e m i i n f i n i t e p r o b l e m t h e nw ep r o p o s ean e wn e l l r a ln e t w o r kf o rs e m i i n 矗n i t ep r o b l e m ，a n d a n a l y 2 et h es t a b i l i t y 龃dc o r l v e r g e n c e i l l l l s t r a t i v ee x 锄p l e ss h o wt h ef e a s i b i l i t ya 1 1 d e 蕊c i e n c ) r0 ft h en e t w o r k k e yw o r d s ： n o n l i n e 缸m i n i m a xp r o b l e m ； n e u r a l e t w o r k ； s e m i - i n f i n i t e 磷q g r a m m n 舀 m a 菇m a l 锄圩o p yf u n c t i o nm e t h o d 学位论文独创性声明 本人声明所呈交的学位论文是我在导师的指导下进行的研究工作及取得的研究 成果尽我所知，除文中已经注明引用的内容外，论文中不包含其他个人已经发表 或撰写过的研究成果，也不包含为获得陕西师范大学或其它教育机构的学位或证书 而使用过的材料对本文的研究做出重要贡献的个人和集体，均已在文中作了明确 说明并表示谢意 作者签名，咤堑! 兰! 舞日期：坠塑! 苎： 学位论文使用授权声明 本人同意研究生在校攻读学位期间论文工作的知识产权单位属陕西师范大学 本人保证毕业离校后，发表本论文或使用本论文成果时署名单位仍为陕西师范大 学，学校有权保留学位论文并向国家主管部门或其它指定机构送交论文的电子版和 纸质版；有权将学位论文用于非赢利目的的少量复制并允许论文进入学校图书馆、 院系资料室被查阅；有权将学位论文的内容编入有关数据库进行检索；有权将学位 论文的标题和摘要汇编出版 作者签名；么兰鹚日期：诬塑：三蛰 第一章绪论 1 1引言 极大极小问题是数学规划领域中一类典型的不可微优化问题它来源于博奕 论，不仅在工程设计，电子线路规划，对策论、数学经济，最优化理论、变分不等 式、微分方程等诸多领域有广泛应用，而且与非线性方程组、非线性规划、多目 标规划，非线性不等式等数学问题之间有密切联系【l i 因此它成为近年来数学规 划和工程优化领域中引人注目的研究方向所以研究极大极小规划问题的解法具 有重要的理论价值和实用价值 半无限规划问题是数学规划的一个重要分支，其最早出现在2 0 世纪6 0 年 代它在经济均衡、最优控制、信息技术以及计算机网络，甚至在工程技术、机 器人路径设计，环境污染控制系统等领域的作用日渐突出特别在工程技术的优 化设计中，也具有广泛的应用背景此外随着近代工业技术的快速发展，由于对 产品性能期望的不断增高，以及受环境资源等条件的限制，越来越多的实际问 题都可以建立成半无限规划问题的数学模型因此半无限规划问题的研究就显的 尤为重要但由于它的约束条件个数的无限或者变量个数的无限，给数值求解造 成很大困难，使算法均较复杂，且不易被人们掌握所以如何有效求解它就具有 重要的理论价值和实际意义 在许多工程和科学技术领域，特别是高科技领域中，往往要求实时求解大规 模的优化问题基于传统数字计算机的迭代算法，其计算时间依赖于问题的规模 和结构，因而很难满足实时性要求而基于电路实现的神经网络是一种自组织、 自适应、自学习的非线性网络，它具有大规模并行处理、分布式存储和高度的容 错能力，其算法具有极快的收敛速度和很好的稳定性因此神经网络被认为是求 解大规模与超大规模的线性与非线性优化问题的一个非常有效的途径【2 j 自1 9 8 5 年j j h o p l i e l d l 3 】提出著名的h o 曲e l d 人工神经网络模型，并用其求解优化问题 得到广泛研究后，各种求解线性、非线性规划以及数学规划的神经网络模型应运 而生本文基于最优化理论、射影理论，凸规划中的k u h n 一i 、l 出e r 条件提出了求 解非线性极大极小问题和半无限规划问题的神经网络模型并从理论上严格证明 了这两个模型的稳定性，特别是全局渐近稳定性数值实例同时表明这些网络的 可行性和有效性 1 2神经网络产生的科学背景及研究进展 神经网络系统理论是近年来得到迅速发展的一个国际前沿科学领域它的发 展对计算机科学、人工智能、认知科学、脑神经科学、数理科学，信息科学、微 电子学，自动控制与机器人，系统工程领域都有重要影响因此激发了人们的巨 大热情和广泛兴趣而且人们普遍认为它将使电子科学和信息科学等产生革命性 的变革，并将促使以神经计算机为基础的高技术群的诞生和发展 进入7 0 年代后，非线性科学取得了迅速的发展，学术界对复杂系统的功能 表现出极大的兴趣p r i g o g i n e 因提出非平衡系统的自组织理论( 耗散结构理论) 而获诺贝尔奖；h a k e n 研究了大量元件集体作用而产生的宏观有序结构创立了 协同学；近年来广泛研究的混沌力学和奇异吸引子理论揭示了系统的复杂行为 这些工作，从抽象意义上讲，都是复杂系统如何通过元件之间的相互作用，系统 结构上由无序到有序，功能由简单到复杂，类似于生物系统的进化过程和智能系 统的学习过程与此同时，神经科学和脑科学日益受到人们的重视，在感觉系统 特别是视觉研究中发现的侧抑制原理，感受野概念、皮层的功能柱结构和信息处 理的并行、层次观点，被证明是神经系统信息处理的普遍原则这些原则对于神 经网络模型的提出和神经计算机的研制是不可或缺的启示神经网络就是在这样 一种科学背景的支撑下，在生产力发展( 计算机与人工智能、机器人产业) 的迫切 要求下产生和发展起来的【2 】 此外，在许多工程和科学技术领域，特别是高科技领域中往往要求实时求解 大规模与超大规模优化问题尤其当问题中含有随时间变化的参数时实时求解显 的尤为重要由于传统的序列式迭代法受到数字计算机的限制及其计算时间依赖 于问题的规模和结构，因此很难满足实时性要求为解决这一问题，人们将神经 网络引入了这一领域【3 l 州 自h o 面e l d 和k 1 3 】1 5 】首次提出解线性规划的一个神经网络以来，引起了神 经网络在优化问题应用中的广泛研究各种求解线性、非线性规划以及数学规划 的神经网络模型应用而生例如tk e n n e d y 和c h u a 【6 l 利用梯度法与罚函数法 给出了解非线性规划的一个神经网络；利用梯度法与s 研t d l e d c a p a c i t o r 技术。 r o d r i g u e z - v a z q u e z 等同提出了一类解优化问题的神经网络；基于对偶理论与射 影方法，x i a 等嘲【9 1 1 1 q 提出了解线性与二次规划问题的几种神经网络，并总结了 设计全局收敛的优化神经网络的一般性方法；“a n g 和g a o 等【1 1 - 1 6 | 提出的解变 分不等式和凸二次极大极小问题的神经网络，并对网络的稳定性给出了严格的理 论证明但对于非线性极大极小问题，采用神经网络方法求解的文献较少，仅文 2 新辉【1 7 l 给出了求解无约束极大极小问题的非对称神经网络模型而对半无限规 划问题，尚未有文献采用神经网络方法来求解 从优化的观点来看，现有的求解优化问题的神经网络模型的建立方法有两种t 第一种是先构造适当的能量函数，使能量函数的最小值点恰为所求问题的 解，然后让网络为能量函数的负导数( 梯度) 第二种是先构造适当的网络，然后选择适当的能量函数，使能量函数的最优 点恰为网络的平衡点 目前，优化神经网络主要围绕能否求出原问题的精确解，是否全局收敛和结 构简单便于电路实现三大问题研究因此，从硬件实现来讲，一个较好的神经网 络，其结构应相当简单；从计算性能来讲，一个较好神经网络应该是渐近( 或全 局) 稳定的，不含变量参数而且其平衡点是精确或近似最优解；从数学观点来说， 这些特性与设计网络模型所采用的优化技术密切相关f 1 8 1 1 3微分方程稳定性理论与l a s a l l e 不变原理 考虑非线性自治系统； 塞= ，( z ) ，z 形或者z g 矽，f o ， ( 1 3 1 ) 其中，( o ) = o ，( z ) 是连续的并且满足初值问题存在惟一性定理的条件为方便， 不失一般性，我们假定z = o 是系统( 1 3 1 ) 的平衡点 记系统( 1 3 1 ) 的满足初值条件z ( t o ) = 护0 t o ) 的解为z ( t 如，z o ) 定义1 3 1 o 和幻o ，若存在6 = 6 ( t 0 ，e ) o ，使得当i l z 0 0 o ( 0 为控制参数人们称之为一s 函数f 2 5 j 或熵函数由于对任何有限 的p ，f p ( z ) 是光滑函数因此可以通过求解参数p 充分大时的下述光滑问题 m i n 昂( z ) ， ( 2 3 ) z 7 来得到原极大极小问题( 2 1 ) 的近似解这种方法称为极大熵函数法此熵函数 昂( z ) 是根据j a y n e s 最大熵原理导出的【2 6 】目前，极大熵函数法已被应用于复杂 的工程优化设计和数学规划中，并取得良好的计算效果【1 】【2 5 1 但是随参数p 的增 大，问题( 2 3 ) 将渐趋病态，使得该方法失效 2 调节熵函数法 在极大熵函数法中，由于参数p ，+ 时，式( 2 2 ) 出现病态或溢出现象 为克服这一缺点，文【2 7 】提出带有调节因子的熵函数( 简称调节熵函数) 如下 昂( 毛弘) = l n 地e 印( 以( z ) ) ， ， 仁1 其中p = p r m ，地o ，i = l ，m ，墨l 他= 1 ) 由于调节熵函数法在p 充分大后就不再增大p 的值，而是通过调节p 使得 b ( z ，p ) 收敛到极大值函数从而克服原极大熵函数法由于单纯增大p 造成的困 难 理论分析和数值结果均表明；在相同条件下，调节熵函数法产生的近似解比 熵函数法产生的近似解具有更高的精度从而在一定程度上说明调节熵函数法比 极大熵函数法更优越，且有更广的适用范围 3 既约梯度法 文【2 8 】利用极大熵函数法中熵函数耳( z ) 的有关逼近结果，并结合既约梯 度法，给出了一种求解问题( 2 1 ) 的既约梯度近似法该方法无需在计算中对不 同的熵参数p 而去求解不同的问题，而是把熵参数p 的变化直接置于算法迭代过 程中，从而使求解更为方便 ( 二) 线性近似法 该方法是将各个函数在迭代点附近用i a y l o r 级数展开，然后取一阶近似，即 用线性函数近似原函数具体如下 将每个函数 ( z ) 在z t 处展开成t a y l o r 级数，得 五( 矾+ ) = ( z k ) + v 五( z k ) 丁 ， = l ，m 从而求极大极小问题( 2 1 ) 的最优解转化为下述问题 忍嚣 ，l ( z 女) + v ( 矾) t ) ，i = 1 ，m a k 屯a ，j = 1 ，n ， 8 血z 舅 ，-l-，、_i、 式中k 是控制常数然后通过求解上述近似规划问题而得到原极大极小问题的 最优解 ， 由于极大极小问题的不可微性以及上述传统的迭代算法都很难满足实时性要 求特别地，在许多工程技术应用中，又常常要求实时求解问题( 2 1 ) 基于电路实 现的神经网络，由于其具有大规模并行处理、分布式存储和高度的纠错能力等优 点，成为各领域求解大规模优化问题的有效方法近年来。应用神经网络求解优化 问题得到了广泛的研究，并取得了很好的成果【3 1 _ 洲特别地，基于n e 毗6 n 法提 出的，文【1 1 1 提出了求解问题( 2 1 ) 的一个网络模型，但其要求( z ) “= l ，m ) 的二次连续可微性，且模型复杂不易于硬件实现基于上述考虑，为实时求解问 题( 2 1 ) ，本章根据其结构特点，构造了求解它的一个神经网络模型，严格证明了 该模型是l y 印u n o v 稳定的，并且在有限时间内收敛于问题( 2 1 ) 的精确解此外 本章所提出的模型结构简单，更适合硬件实现数值实例表明该模型不仅可行而 且有效 2 2 神经网络模型与稳定性分析 考虑如下非线性极大极小问题： 哩n 卷篓( z ) ( 2 4 ) 其中峨( z ) ，l = 1 ，m 是连续可微的凸函数 为叙述方便，用”i i 表示欧氏范数，田= 妇耶协o ) ，e = ( 1 ，o ，o ) j p + 1 若神经网络所对应的动力系统分别是l y 印衄州稳定和渐近稳定时，则称 该网络分别是l y a p l l i l 叫稳定和渐近稳定时 2 2 1 神经网络模型 首先将( 2 4 ) 转化为等价的非线性规划，然后给出求解问题( 2 4 ) 的神经网 络，并与已有的模型比较以说明新模型的优越性 尽管问题( 2 4 ) 不可微，但其等价于如下的非线性规划 f 向 ( 2 5 ) ls f 夕( t ) o ， 其中“= ( p ，z 1 ，z 2 ，z 。) t r 1 ，g ( 钍) = ( 夕l ( u ) ，9 2 ( 让) ，雪k ( t 正) ) t 舻，且 俄( ) = p 一玩( z ) 因此问题( 2 4 ) 的解可由问题( 2 5 ) 的最优解获得 9 不失一般性，假定( 2 4 ) 有解，且满足s l a t e r 条件，即存在形+ 1 ，使得 9 ( ) o ，i = 1 ，m ( 2 6 ) 由于m ( t ) 是舻+ 1 上的连续可微的凹函数，根据凸规划的k 1 1 1 l n 吼出e r 条件即得 如下结论 定理2 1u + 是( 2 5 ) 的最优解当且仅当存在”r m ，使下式成立 a + o ， 9 ( u + ) o ，( a + ) t 9 ( u ) = o ， ( 2 7 ) l ( 钍一u + ) t 【e 一( 9 ( “) ) t a + 】o ，v u r 时1 ， 、 其中9 ，( u ) = ( v 9 1 ( 钍) ，v 9 1 ( u ) ，v ( 札) ) r j p 。( 1 1 ，v 虫( u ) 是吼( u ) “= 1 ，- 一，m ) 的梯度 证明考虑( 2 5 ) 的l a 盯a n g e 函数； l ( u ，a ) = ，( 札) + a r 9 ( ) ， 它是定义在c = 舒+ 1 冠! 上由于( 2 5 ) 是凸的且满足条件( 2 6 ) ，则有“+ 是 ( 2 5 ) 的最优解，当且仅当存在”驴，使得( 矿，”) 是l ( t ，入) 在c 上的鞍点， 即； 三( u + ，a ) l ( 钍，a + ) 工( ，a + ) ，v ( t ，a ) d 由上式左边得； ( a a + ) r g ( t ) o ，v a r 7 由a 艘的任意性，得。 a o ，9 ( u + ) o ，( a + ) t 9 ( 仳) = o 又v 札舻+ 1 ，且让矿，可知u + + t ( t 一矿) r ，i + 1 ，对所有t ( o ，1 ) 再由上式右边得； 【l ( u + t ( u u 4 ) ，a + ) 一l ( “，a + ) 】o 令t 一0 ，得： ( t 一t + ) t v 。l ( 钍+ ，a ) = ( 扎一t ) t f v ，( + ) 一( 9 ，( 钍+ ) ) t a 4 】o ，v 札r 时1 因此( 2 7 ) 式得证 进一步，由射影定理嘲，易得如下结论 引理2 1u 是( 2 5 ) 的最优解当且仅当存在”舻，使得 嚣：! ：君 仁s ， 其中a + = ( a ：- ，a 手，a 袁) j p ，a = m a ) c o ，a i ) 0 = 1 ，m ) 引理2 1 说明问题( 2 5 ) 的最优解可通过求解系统( 2 8 ) 获得记爻= 盼一夕( u ) 】+ 根据上述分析，求解( 2 8 ) 的神经网络可定义为： 宏= 丢( ：) 一卜七( 卜心瓜) ， 9 ， 其中 0 是设计参数 为说明网络( 2 9 ) 的优越性，我们将其与文献 1 1 】中的模型相比较对问题 ( 2 4 ) ，文献【1 1 】提出如下模型 鉴进 日( 毛a ) 鼍= 一d ( ，a ) ， ( 2 1 0 ) 箍些友堡 ， z = 圣( 暑，) ，入互皿( p ) ，( 2 1 1 ) 其中l ( z ，a ) = 銎1a i 五( z ) ，a = ( a 1 ，a 2 ，a 。) r o ，。= ( 可，卢) r ，v 。l ( z ，a ) 和v 乞l ( z ，a ) = 銎1k v 2 五( z ) 分别是工( z ，a ) 关于z 的梯度和h e s s e l l 矩阵， 氟0 = 1 ，n ) 和o = 1 ，m ) 分别在舻和j p 可微且单调递增， 日c z ，a ，= ( v ：2 ：z ，a v 蛩z ) 和d c z ，a ，= ( & 乏( 二：) ， c z t z ， 模型( 2 1 0 ) 一( 2 1 1 ) 需要计算v g ( z ) 和v 羔三( z ，a ) ，而模型( 2 9 ) 仅需要计算 9 ，( “) 因此模型( 2 9 ) 比模型( 2 1 0 ) ? ( 2 1 1 ) 更简单。更适合于硬件实现其次当 日( z ，a ) 非奇异时，模型( 2 1 0 ) 一( 2 1 1 ) 是l y 印u n 0 、r 稳定的，并且收敛于l a f 龃g e 函数工( z ，入) 的稳定点，然而当九= 0 0 = 1 ，m ) ，或者所有的五( z ) 仅二次可 微凸时，矩阵日( 五a ) 并不一定非奇异，而且当日( z ，a ) 奇异时，文献 1 1 】并未讨 论其解的有界性因此当日( 毛a ) 奇异时，模型( 2 1 0 ) 一( 2 儿) 的收敛性并不能保 证而当9 ，局部l i p s c h i t z 连续时，模型( 2 9 ) 是l y 印1 1 1 1 0 、r 稳定的，并且收敛于 问题( 2 5 ) 的一个精确解 由引理1 和式( 2 9 ) 得如下关于系统( 2 8 ) 的解和网络( 2 9 ) 的平衡点之间的 关系的结论 推论2 1 令驴= k 尼计1 k 是( 2 8 ) 的解) ，则2 驴当且仅当z 是网 络( 2 9 ) 的平衡点 2 2 2 稳定性分析 为讨论网络( 2 9 ) 的动力行为，首先给出下面的引理 引理2 2 令矿= ( ( 矿) t ，( ”) r ) r 眇是有限的，则 ( 。一z + ) t g ( z ) i ia x l l 2 ，v z r m + n + 1 引理2 2 类似于文献【3 6 1 的证明，同时它表明了岳i | z 一矿1 1 2 一i ia 一天1 1 2 因此我们有如下的关于( 2 9 ) 的初值问题解的存在惟一性结果； 定理2 2 若矿在舻+ 1 上局部l i p s c h i t z 连续，则对任意的扩j p + “+ 1 ，神经 网络( 2 9 ) 在【o ，+ o o ) 上存在惟一的以妒为初值的连续解z ( t ) ( z ( o ) = z o ) 定理2 2 和推论2 1 说明了该网络是定义好的 进一步地，为分析网络的稳定性，定义如下能量函数为： 1 y ( z ，) = 皿( z ) 一皿( z + ) 一( z 一矿) t v ( 矿) + 去0z 一矿1 1 2 ， 其中矿c 是有限的，且 皿( z ) = 口+ ；( 0 钍1 1 2 + 0 天2 ) 二 则有网络( 2 9 ) ，可得 叠y k ，z 】= ( 害) t v y ( z ，矿) = 一七g ( z ) t v 矿( z ，) = 一七0e 一( 9 ( 牡) ) r 爻1 1 2 2 后p 一矿) r k 一( 9 ( 乱) ) r 习 一七( a a ) 丁( a + a 一2 a + ) = 一后i ie 一( 9 ( ) ) r a f f 2 十七0a a | 1 2 2 七p 一矿) r g ( z ) 一后0g ( z ) 铲 一 ，= ：、口0g 星 n i_i，、il 5 4 3 2 ， o o 吨 吗 ， 例2 3 2 考虑如下非线性极大极小问题； 翼鬻跫鉴( z ) ， 其中k ( z ) ，t = 1 ，2 ，3 为变量z 印的光滑非线性凸函数，且 1 ( z ) = 4 ( z i + 茁；) ，h 2 ( z ) = 1 一z l z 2 ，危3 ( z ) = 1 2 易知该问题等价如下非线性凸规划问题： 卜n is t 9 ( t ) 2o ， 其中u = ( 口，z 1 ，z 2 ) t r 3 ，9 ( ) = ( 9 1 ( u ) ，9 2 ( u ) ) r 譬，且鲰( 让) = 口一，k ( z ) 该问题有最优解u + = ( 0 5 ，0 2 5 ，0 2 5 ) 根据上一节的分析，可用神经网络( 2 9 ) 求解该问题模拟结果表明，对于任 意给定的初始点，神经网络( 2 9 ) 总收敛于该问题的精确解例如，图2 2 显示了 七= 1 0 0 和任取3 0 个初始点时网络( 2 9 ) 的轨线性态 衫 。 磁互 f 。 o0 0 5o 10 1 50 2 0 2 50 30 3 50 4 t 图2 2 例2 3 2 中网络( 2 9 ) 的轨线性态 例2 3 3 考虑如下非线性极大极小问题； 翼鬻理警k ( z ) ， 1 4 幻 2 ：2 ， o 讲 叫 小 吨 啦 ， 其中觑( z ) ，l = l ，2 为变量z 舻的光滑非线性凸函数，且 1 ( z ) = 一石1 + z 。，也( z ) = 十z ! 易知该问题等价如下非线性凸规划问题t i 血n is t 9 ( 钍) o ， 其中t = ( 口，z l ，z 2 ) t 帮，9 ( 札) = ( 9 1 扣) ，仍( “) ) t 砰，且吼( ) = 口一( z ) 该问题有最优解扎+ = ( o ，0 ，一0 0 5 6 1 ) 根据上一节的分析，可用神经网络( 2 9 ) 求解该问题模拟结果表明，对于任 意给定的初始点，神经网络( 2 9 ) 总收敛于该问题的精确解例如，图2 3 显示了 七= 1 0 0 和任取3 0 个初始点时网络( 2 9 ) 的轨线性态 i 酞 妒一 j 00 0 50 10 1 50 2o 2 50 30 3 50 4 t 图2 3倒2 3 3 中网络( 2 9 ) 的轨线性态 例2 3 4 考虑如下非线性极大极小问题： 翼杂擢韪( z ) ， 其中( z ) ，i = 1 ，2 为变量z r 2 的光滑非线性凸函数，且h - ( 。) = 一+ z ；， z ( z ) = 】5 3 5 2 5 1 5 o 5 1 5 2 乏 t n 吨 一 “ 一 ： 易知该问题等价如下非线性凸规划问题 其中u = ( 口，z 1 ，z 2 ) r 舻，9 ( ) = ( 9 l ( “) ，9 2 ( 缸) ) t 譬，且吼( 珏) = 口一 嘻( z ) 该问题有最优解u 4 = ( o ，o ，一o 0 5 6 8 ) 根据上一节的分析，可用神经网络( 2 9 ) 求解该问题模拟结果表明，对于任 意给定的初始点，神经网络( 2 9 ) 总收敛于该问题的精确解例如，图2 4 显示了 七= 1 0 0 和任取3 0 个初始点时网络( 2 9 ) 的轨线性态 心 。 罗一 00 0 50 10 1 5o 20 2 50 30 3 50 4 t 图2 4 例2 3 4 中网络( 2 9 ) 的轨线性态 例2 3 5 考虑如下非线性极大极小问题； 罢露理鉴 t ( z ) 其中( z ) ，t = l ，2 为变量z r 2 的光滑非线性凸函数，且 z ( z ) = 1 一z 1 一 z 2 ， 2 ( z ) = z ；， 3 ( z ) = = z 2 1 6 0 一 p 9 曲 毗 ，iijll 3 2 ， o 叫 吃 c = ： 易知该问题等价如下非线性凸规划问题； 其中t = p ，z 1 ，勋) t 印，g ( 乜) = ( 9 1 ( 钍) ，啦( 就) ) t 帮，且俄( u ) = 日一厄( z ) 该问题有最优解矿= ( o 1 0 5 4 ，o 3 2 4 6 ，o 5 6 9 6 ) 根据上一节的分析，可用神经网络( 2 9 ) 求解该问题模拟结果表明，对于任 意给定的初始点，神经网络( 2 9 ) 总收敛于该问题的精确解例如，图2 5 显示了 后= 1 0 0 和任取3 0 个初始点时网络( 2 9 ) 的轨线性态 0 4 图2 5 伪2 3 5 中网络( 2 9 ) 的轨线性态 2 4 本章结论 本节首先介绍了极大极小问题的数学模型和求解它的现有算法及每种算法 的基本思想和优缺点然后提出了一个新的求解非线性极大极小问题的神经网 络模型，并用l y a p u n 0 、，稳定性理论和l a s a l l e 不变原理，严格证明了该网络是 l ) ，a p u n o v 稳定和全局渐近稳定并与基于n e w t o n 法提出的模型相比，新模型不 1 7 0 一 口g 蓦 n ，、-l 需要觑( z ) 0 = l ，m ) 的二次连续可微性，且结构简单因此本章提出的模型 更适合硬件实现数值实例表明了所提出的新模型不仅可行而且有效 1 8 第三章半无限规划问题的神经网络模型 3 1 引言 半无限规划问题最早出现于2 0 世纪6 0 年代，其早期理论主要由c h 盯n e s 等 人创立k o r t a i l l 【嘲、l o p e z 、l 舯l 和p o l a k 【4 1 一蜘等人在这方面也作了大量工 作作为数学规划的一个分支，其研究引起了国内外学者的广泛关注，现已成为 数学规划