（应用数学专业论文）求解一类非光滑优化问题的广义神经网络方法.pdf

l j 嬲煳炒 4 0 o i i o o o o o o o 11 l lj l 一 j 摘要 最优化问题源于军事 管理 经济和工程技术等领域中 解决此类问题的方法在图 像处理 通信 设计操作过程 生产装置分析 经济运作决策等方面的应用也越来越广 随着现代科技的发展 目前在各领域出现的优化问题中 问题的维数越来越多 而结构 也越来越复杂 这就要求人们能够提供更有效的数学模型来求解此类问题 特别是在求 解实时解的过程中 当处理具有较高维数和较复杂结构的优化问题时 我们必须考虑到 计算时间 而计算时间是在极大程度上依赖于问题的维数与结构 以及算法的复杂度 一般来讲 因为数值方法是凭借迭代来计算的 传统的数值方法对于解决具有高维数和 较复杂的问题可能不会很奏效 而神经网络的出现 使得解决此类优化问题不再只是依 赖于迭代 而是利用神经网络对于处理此类问题的独特优势 即 它的自适应性和并行 性 可以使得计算的速度有很大的提高 最近 利用神经网络开发最优化问题的算法取 得了很大进展 并由此产生了一些神经网络模型 但这些模型主要集中于光滑优化问题 的研究 或者将不光滑的目标函数近似逼近为光滑函数 近年来 随着集值映射和非光 滑理论的不断深入研究 应用神经网络方法研究非光滑优化问题逐渐受到重视 然而 对于极小极大优化问题的研究 目前不只是停留在应用数值方法来研究的程度上 利用 神经网络来探索此类问题最优解的方法逐渐地发挥了它的作用 特别是在微分包含理论 和凸分析理论日臻成熟的基础上 神经网络逐渐地在非光滑优化分析上发挥了它的价 值 基于以上的分析 本文首先给出了在优化方面关于利用神经网络方法探究最优解的 相关进展 以及非光滑理论和凸分析理论的相关概念和引理 其次 介绍了三种广义神 经网络方法 并研究了如何求解一类无约束的极小极大优化问题 带线性等式约束的极 小极大优化问题 还探索了如何利用投影神经网络来求解一类非光滑优化问题 具体内 容为 1 求解一类带有无约束非光滑成本函数的极小极大问题的广义神经网络 主要是 利用微分包含理论 稳定性理论和推广的l o j a s i e w i e z 不等式来研究了一类带有无约束 的 次解析的 凸的成本函数的优化问题 并且讨论了此类广义神经网络理论结果的有 效性 2 求解一类带线性等式约束的极小极大问题的广义神经网络 在带有线性等式约 束的情况下 利用投影神经网络 微分包含理论和稳定性理论来构造一种广义神经网络 探索求解带线性等式约束的极小极大优化问题的方法 并且给出了此类广义神经网络理 论结果的有效性证明 3 基于投影的广义神经网络的收敛性及其在非光滑优化问题中的应用 投影神经 网络在解决光滑优化问题中发挥了重要的作用 而对于解决非光滑优化问题的应用还不 成熟 由于极小极大问题是非光滑的 因此 在前面两部分的基础上 我们主要探讨一 种基于投影的广义神经网络在非光滑优化问题中的应用 并且给出了这种广义神经网络 的收敛性证明和数值仿真 另外 从理论上分析了三种广义神经网络的收敛性之后 我们给出了数值仿真例子 来说明理论结果的有效性 关键词 极小极大问题 广义神经网络 非光滑分析 微分包含 收敛性 投影算 子 h a v em o r ea n dm o r ep o p u l a ra p p l i c a t i o n si nt h ef i e l d so fi m a g e c o m m u n i c a t i o n p r o c e s so f d e s i g n i n ga n do p e r a t i o n a n a l y s i so fm a n u f a c t u r i n gp l a n t s e c o n o m i c a ld e c i s i o na n ds oo n w i t ht h ed e v e l o p m e n to ft h es c i e n c ea n dt e c h n i q u e t h ed i m e n s i o n sa n ds t r u c t u r e so ft h e o p t i m i z a t i o np r o b l e m s w h i c ho c c u ri naw e a l t ho ff i e l d s b e c o m em o r ea n dm o r ec o m p l e x t h e s ea l ll e a dt om o t i v a t el l st of i n dm o r ea n dm o r ee f f e c t i v em a t h e m a t i c a lm o d e l st os o l v e t h o s ep r o b l e m s e s p e c i a l l yi nt h ep r o c e s so fs o l v i n gr e a l t i m es o l u t i o n s w h e nw es o l v et h e p r o b l e m sw i t hh i g h e rd i m e n s i o n sa n dd e e p e rs t r u c t u r e s w ea l w a y sh a v et ot a k et h e c o m p u t a t i o n a lt i m ei n t oa c c o u n t a sw ek n o w t h et i m ed e p e n d sg r e a t l yo nt h ed i m e n s i o n s a n ds t r u c t u r e so ft h ep r o b l e m s a n dt h ec o m p l e x i t yo ft h ea l g o r i t h m s g e n e r a l l ys p e a k i n g i ti s l e s se f f e c t i v ef o rt h et r a d i t i o n a ln u m e r i c a la l g o r i t h m st os o l v et h er e a l t i m es o l u t i o n so fs u c h o p t i m i z a t i o np r o b l e m s b e c a u s et h e i rc o r ei si t e r a t i v em e t h o d i ti sh a r dt od e a l 丽mt h e c o m p l e xp r o b l e m s t h ea p p e a r a n c eo ft h en e u r a ln e t w o r kg i v e su st h ew a y w h i c he x p l o r e si t s m e r i t sr a t h e rt h a ns o l v et h ep r o b l e m su n d e rt h er i s t r i c t i o no ft h ei t e r a t i v em e t h o d t h em e r i t s o fn e u r a ln e t w o r ki nd e a l i n gw i t ht h eh i g hd i m e n s i o n sa n dd e e ps t r u c t u r e sa r et h en e u r a l n e t w o r k sa d a p t i v ea n dp a r a l l e lp r o p e r t y t h e s ec a ni m p r o v et h ec o m p u t a t i o na n dt r a i n i n g t i m e a sar e s u l t i ti so fg r e a td e v e l o p m e n tt o e x p l o r et h en e u r a ln e t w o r kf o rs o l v i n g o p t i m i z a t i o np r o b l e m s a n ds o m em a t h m a t i c a lm o d e l sw e r ep r o p o s e d h o w e v e r t h e s e m e t h o d sw e r ep a r t l yp a i da t t e n t i o nt ot h ea n l y s i so fs m o o t ho p t i m i z a t i o np r o b l e m a n dp a r t l y t oa p p r o x i m a t et h en o n s m o o t ho b j e c tf u n c t i o n si n t os m o o t ho n e s t ot h ed e c a d e s n e u r a l n e t w o r kf o rs o l v i n gn o n s m o o t h o p t i m i z a t i o np r o b l e m si sg r a d u a l l yt a k i n gi t sr o a d w h i c hg e t s b e n e f i t so f t h ef u r t h e ra n a l y s i so fs e t v a l u em a p p i n ga n dn o n s m o o t ht h e o r y c o n s e q u e n t l y t h e i n v e s t i g a t i o no fs u c hm i n i m a xo p t i m i z a t i o np r o b l e m sd o e sn o tm e r e l ys t a yt h el e v e lo f a p p l y i n gn u m e r i c a la l g o r i t h m s t h en e u r a ln e t w o r km e t h o dg r a d u a l l yp l a y sa ni m p o r t a n tr o l e e s p e c i a l l bb a s e do nt h ed i f f e r e n t i a li n c l u s i o n st h e o r ya n dc o n v e xa n a l y s i st h e o r y n e u r a l n e t w o r kf o rs o l v i n gn o n s m o o t h o p t i m i z a t i o ni st h o u g h th i g h l yo f i t sv a l u e o nt h eb a s i so ft h ea n a l y s i sa b o v e a tf i r s t t h i sp a p e rg i v e st h ed e v e l o p m e n to fn e u r a l n e t w o r ki nt h ef i e l d so fs o l v i n gt h eo p t i m i z a t i o np r o b l e m s t h ea s s o c i a t e dd e f i n i t i o n sa n d l e m m a so nt h en o n s m o o t ht h e o r ya n dc o n v e xa n a l y s i s t h e n t h i sp a p e ri n t r o d u c e st h r e ek i n d s o fg e n e r a l i z e dn e u r a ln e t w o r km o d e l s a n dt h e ya r em a i n l yu s e dt os o l v eac l a s so f u n c o n s t r m n e dm i n i m a xo p t i m i z a t i o np r o b l e m sa n dak i n do fm i n i m a xo p t i m i z a t i o np r o b l e m s w i t hl i n e a re q u a t i o nc o n s 仃a i t sr e s p e c t i v e l y m o r ed e t a i l sa r ea sf o l l o w s 1 ag e n e r a l i z e dn e u r a ln e t w o r ki sp r o p o s e dt os o l v eac l a s so fm i n i m a xo p t i m i z a t i o n p r o b l e m sw i t hu n c o n s t r a i n e dn o n s m o o t hc o s tf u n c t i o n s i tm a i n l yt a k e so nt h ea c c o u n to ft h e d i f f e r e n t i a li n c l u s i o n st h e o r y t h es t a b i l i t yt h e o r y a n dt h ee x t e n d e dl o j a s i e w i c zi n e q u a l i t yt o s o l v eac l a s so fu n c o n s t r a i n e dm i n i m a xo p t i m i z a t i o np r o b l e m sw i t hs u b a n a l y t i ca n dc o n v e x c o s tf u n c t i o n s a n dw eg i v et h ee f f e n c i e n c yo ft h et h e o r e t i c a lr e s u l t so ft h i sg e n e r a l i z e dn e u r a l n e t w o r k i i i a b s t r a c t 2 ag e n e r a l i z e dn e u r a ln e t w o r ki sp r o p o s e dt os o l v eac l a s so fm i n i m a xo p t i m i z a t i o n p r o b l e m sw i t hl i n e a re q u a t i o nc o n s t r a i n t s o nt h ec o n d i t i o no fl i n e a re q u a t i o nc o n s t r a i n t s w e m a i n l yd e p e n d so nt h ep r o j e c t i o nn e u r a ln e t w o r k t h ed i f f e r e n t i a li n c l u s i o n st h e o r ya n dt h e s t a b i l i t yt h e o r yt oc o n s t r u c tag e n e r a l i z e dn e r u a ln e t w o r k i ti su s e dt oi n v e s t i g a t eh o wt o s l o v eac l a s so fm i n i m a x o p t i m i z a t i o np r o b l e m sw i t hl i n e a re q u a t i o nc o n s t r a i n t sm o r e e f f e c t i v e l y a n dw eg i v et h ei l l u s t r a t i o n so ft h et h e o r e t i c a lr e s u l t so ft h i sg e n e r a l i z e dn e u r a l n e t w o r k 3 w es t u d yt h ec o n v e r g e n c eo fap r o j e c t i o n b a s e dg e n e r a l i z e dn e u m ln e t w o r ka n di t s a p p l i c a t i o nt on o n s m o o t ho p t i m i z a t i o np r o b l e m s 硼1 ep r o j e c t i o n b a s e dg e n e r a l i z e dn e u r a l n e t w o r kp l a y sa ni m p o r t a n tr o l ei nt h es m o o t ho p t i m i z a t i o np r o b l e m s a n di th a s n ta t t a i n e d t oi t sm a t u r i t y c o n s i d e r i n go ft h en o n s m o o t h n e s so ft h em i n i m a xp r o b l e m s w em a i n l ys t u d y t h ea p p l i c a t i o no fap r o j e c t i o n b a s e dg e n e r a l i z e dn e u r a ln e t w o r ki n t ot h ec a s eo fn o n s m o o t h o p t i m i z a t i o no nt h ea n a l y s i so ft h ea b o v et w os e c t i o n s a n dw ea l s os h o wt 1 1 ee f f e n c i e n c yo f t h et h e o r e t i c a lr e s u l t so ft h i sg e n e r a l i z e dn e u r a ln e t w o r k i na d d i t i o n a f t e rt h et h e o r e t i c a la n a l y s i so ft h ec o n v e r g e n c eo fe a c hg e n e r a l i z e dn e u r a l n e t w o r k w eg i v es o m ei l l u s t r a t i v ee x a m p l e st os h o wt h ee f f e n c i e n c yo ft h et h e o r e t i c a lr e s u l t s k e y w o r d s m i n i m a xp r o b l e m g e n e r a l i z e dn e u r a ln e t w o r k n o n s m o o t ha n a l y s i s d i f f e r e n t i a li n c l u s i o n s c o n v e r g e n c e p r o j e c t i o no p e r a t o r 目录 目录 摘要 a b s t r a c t i i 第一章绪论 1 1 1 神经网络在优化问题中的发展 1 1 1 1 光滑优化问题中的神经网络 1 1 1 2 非光滑优化问题中的神经网络 2 1 2 非光滑分析理论和凸分析理论中的相关定义和引理 2 1 3 文章概述 4 第二章求解无约束的非光滑成本函数的极小极大问题的广义神经网络 5 2 1 预备知识 6 2 2 收敛性分析 7 2 3 数值例子 一 1 2 2 3 本章小结 1 4 第三章求解具有线性等式约束的极小极大问题的广义神经网络 1 5 3 1 模型建立 1 5 3 2 收敛性分析 1 7 3 3 数值例子 2 2 3 4 本章小结 2 5 第四章一类广义投影神经网络的收敛性分析及其在非光滑优化问题中的应用 2 7 4 1 预备知识 2 7 4 2 收敛性分析 2 8 4 3j 盘用 3 0 4 3 数值例子 3 1 4 4 本章小结 3 2 第五章总结与展望 3 3 致谢 3 4 参考文献 3 5 附录 作者在攻读硕士学位期间发表的论文 3 9 分析领域 鲁棒性分析 最优化管理 工程技术等方面的问题解决上 求解优化问题成 为数学学者们越来越关注的热点问题 为了更有效地解决此类凸优化问题 很多数学工 作者采用了数值分析的方法来积极地进行探索 然而 面对具有高维数和复杂结构的优 化问题 又限于计算时间和计算范围的要求 数值方法通常不是很奏效 特别是在处理 极小极大优化这样的非光滑优化问题时 数值方法通常只是借助于用光滑函数来近似逼 近非光滑目标函数的方法 而且 通常来讲 这些数值方法是要求此类近似函数为二次 可微的函数 以此来求解出优化问题的近似解 而神经网络和非光滑理论的发展 使得 处理此类问题不需再利用近似逼近的方法 因此 在优化问题处理中 很多学者利用神 经网络来研究了一些线性规划和二次规划问题 并讨论了解的收敛性和收敛速度等 1 1 神经网络在优化问题中的发展 1 1 1 光滑优化问题中的神经网络 在众多的科学研究和工程问题中 非线性科学中的优化问题已经逐渐地得到了广泛 的发展 在模式识别 图像处理 通信 设计操作过程 生产装置分析 经济运作决策 等方面 优化问题更是越来越被广泛地应用 许多的数学研究者采用了数值方法 在一 定程度上解决了一些优化问题 然而 随着问题中越来越高的维数和越来越深层次的结 构限制 以及算法复杂度的要求 采用数值方法的计算时间不会更有效的满足人们的要 求 而神经网络的发展弥补了这一方面的不足 主要体现在它的自适应性和并行性上 因此 神经网络首先在光滑优化问题中逐渐地发展起来 1 9 8 3 年 c o h e n g r o s s b e r g t l 提出实时连接神经网络 r c n n 模型 研究了该模型的动 态表现 并对r c n n 网络的解的全局稳定性做出了分析 为以后的神经网络优化分析奠 定了基础 1 9 8 5 年 h o p f i e l d 和t a n k 2 提出了一种用于解决线性规划问题的较为简单的 神经网络模型 尽管它的最大缺点是不满足k k t 条件 但是此模型对于神经网络优化 的发展起了很大的推动作用 在此之后 k e n n e d y 和c h u a 3 提出并探究了一个满足k k t 条件的神经网络模型 采用梯度方法和罚函数法研究了该神经网络模型的解的性质 自 此 神经网络在光滑优化问题中的发展便日臻成熟起来 诸如 z h a n g 和c o n s t a n t i n i d e s l 4 j 基于l a g r a n g e 乘子提出的神经网络模型 在局部凸性的假设下 得到一个严格局部最优 解 但是 其缺点是不能保证收敛到全局最优解 x i a t 铺 提出了两种神经网络模型 用 于解决一般线性规划 l p l h j 题和二次规戈r j q p i h j 题 并讨论了解的全局收敛性 而且避 免了参数转换的问题 为了更好地解决一些凸优化问题 x i a l 7 1 还提出了连续时间的实时 神经网络 r n n 模型 并对该模型的全局收敛性和l y a p u n o v 稳定性给予了研究 另外 依据投影算子和投影公式 x i a t 8 提出了一种不再依赖于估计l i p s c h i t z 常数的r n n 模型 但结构比较复杂 为了克服估计l i p s c h i t z 常数的困难 g a o 和l i a 0 1 9 1 提出了一种比文献 8 中的模型结构相对简单的神经网络模型 用于解决带线性等式约束的优化问题 此外 江南大学硕士学位论文 为了更好地解决连续可微优化问题和非线性隐式互补问题 通过对模型中系数的设置 m a 和c h e n 1 0 1 提出了用于调控稳定性的r n n 模型 并取得了有效的仿真效果 f o r t i 和 t e s i 1 1 对一类线性规划 l p 和二次规划 q p 问题的解决提出了一种神经网络模型 他们 借助于l y a p u n o v 对角稳定 l d s 矩阵 对解的全局渐近稳定性 g a s 进行了有效地分析 并给出了判断平衡点的g a s 性质的条件 l i a n g 1 2 构建了一种广义r n n 模型 用以解决 一类非空紧凸子集上的非线性优化问题 此外 投影公式和变分不等式也在被广泛地应 用于解决带等式约束的优化问题中 拓展了神经网络在探求优化问题中方法 1 1 2 非光滑优化问题中的神经网络 然而 在现实问题处理中也存在着许多带有非光滑的目标函数的问题 如计算几何 中的封装问题 工程技术中的设计中心化问题 1 3 等 此时 以上介绍的神经网络模型便 不再适合来求解此类非光滑优化问题了 而一些数值方法也只是近似地逼近目标函数 得到的多为近似解 对于非线性优化和非光滑分析的研究 诸多文献为我们提供了重要的参考 特别是 在c l a r k e 的非光滑分析 1 4 和a u b i n 的集值映射 1 5 理论的帮助下 应用非光滑分析 结合 凸分析理论和集值映射理论 神经网络在非光滑优化问题的解决中开始得到了发展 f o r t i 等人i l l j 利用微分包含理论推广了k e 皿e d y 和c h u a 的模型 提出了一种新的规划电路 他们采用罚函数法构建了非光滑的能量函数 旨在求解一类非光滑优化问题的实时解 之后 f o r t i 等人在文献 1 6 中研究了一类带有不连续激励函数的神经网络优化问题 他 们在l d s 神经元联接矩阵的条件下给出了该优化问题的收敛性分析 l o n g 等人在文献 1 7 中应用微分包含理论在文献 1 8 中模型的基础上作了推广 这个模型的优点是不再 包含任何惩罚参数 x u e 在文献 1 9 中 基于利用投影公式 在对控制域添加了假设条 件下 提出了一种新的神经网络模型 它有着更加宽泛的实施区域 在l o j a s i e w i c z 不等 式的启发下 f o r t i 等人 2 0 1 采用精确罚函数法来研究了l p 凸q p 和非凸q p 问题 特别是 在非凸q p 问题的分析上 他们拓展了以l y a p u n o v 法得到的收敛条件 即使是在神经网络 处理无限个非孤立平衡点时 由这个模型得到的收敛结果依旧成立 当函数满足次解析 条件时 l u l 2 l j 应用l q j a s i e l i c z 梯度不等式研究了有关次解析的神经网络优化问题 并研 究了该模型的全局收敛性 收敛速度和判断条件 然而 在极小极大这类特殊的非光滑优化问题的处理上 应用神经网络来研究的方 法还不够 还没有能够充分发挥到神经网络在处理优化问题上的优势 鉴于以上的介绍 利用l o j a s i e w i c z 不等式和精确罚函数法的方法给了我们很大的启发 我们认为 结合 l o j a s i e w i c z 不等式 非光滑理论 稳定性理论 投影公式和凸分析等理论 可以解决一 类极小极大优化问题 其中 在本文章的第二章里 l o j a s i e w i c z 不等式发挥了相当大的 作用 为我们求解一类极小极大优化问题提供了很好的工具 1 2 非光滑分析理论和凸分析理论中的相关定义和引理 在c l a r k e 的非光滑分析1 1 4 和a u b i n 的集值映射 1 5 l 中 有着关于微分包含理论和集 值映射理论的详细介绍 在文献 1 9 2 3 中 也有本文中涉及到的非光滑优化和投影算子 2 如果 在其定义域中任意点是l i p s c h i t z 连续的 那么f 被称为是局部l i p s c h i t z 连续的 我们为了记法简便 将其记为1 1 c 定义1 2 1 4 在点x r 处 函数厂 r 一一r 被称为是正则的 如果它满足以下条件 1 对于所有的1 r 一般的单边方向导数厂协 v 姆 垡掣存在 2 对于所有的 r 一 广义的方向导数 x y l i ms u p 笪堕兰掣存在 p l f 0 3 对于所有的v r f x 1 厂o x v 注1 1 文献 1 4 中具体说明了两条事实 尺 上局部l i p s c h i t z 的凸函数是正则的 并且 如果r 上的函数是连续可微的 那么它在r 上是正则的 定义1 3 1 4 函数f r j r 的c l a r k e 广义梯度被定义为 可 x c o l i r a v f 五寸x 毛仨s 而正q 其中 函数 在点z 处是l i p s i c h i t z 的 q 是厂不可导的点的集合 s 是尺 上任意的勒 贝格测度为零的集合 定义1 4 假设e 互r 对于任意的点x e 如果非空集合f x cr 那么 x h f x 被称为是从e 到尺 的集值映射 定义1 5 t 1 4 含非空值的集值映射f ehr 被称为在点 c o e 处是上半连续的 如 果对于任意的包含f x o 的开集 存在而的一个邻域 使得f cn 如果它的 象 x y e x r y f x 是闭的 f 被称为是在集合e 上上半连续的 为了记法方便 我们将上半连续记为u s c 定义1 6 阱1 晶 z 是投影算子 若晶 z 满足 对于 r 晶 z a r g i 心0 u v 0 定义1 7 t 2 1 我们称x t t o 是微分包含文 f 一w x 的绝对连续解 如果x t t o 满足以 下条件 1 对于所有的t 0 微分包含戈 f 一缈 工 成立 2 x o t o x o 我们有时将z r f o 简记为x f 引理1 1 1 3 令u 是全集的一个开的凸子集 厂是在u 中的每个点附近都是l i p s c h i t z 的 那么 1 厂在u 上是凸的 当且仅当 多值函数彭在u 上是单调的 即 fr eu 上是凸的 当且仅当 x l x 2 r 卣一磊 0 其中 任意的五 屯 u 并且 任意的卣 a f x 1 磊 a f x 江南大学硕士学位论文 2 厂在u 上是强凸的 当且仅当 多值函数可在u 上是强单调的 即 f 在u 上是强凸的 当且仅当 五 x 2 r 卣一受 i i x 一而n 其中 任意的五 x 2 u 并且 任意的磊 a f x 磊 a f x 其中可 z 是f x 的c l a r k e 广义梯度 注1 2 单调性质与凸函数凸性的结合通常会在收敛性分析中发挥着重要的作用 在 文章的各部分收敛性分析中 我们主要是利用这两方面的性质来对所提模型的解的收敛 性进行证明 引理1 2 1 2 2 1 如果形 r 专r 在x f 处是正则的 并且石 r r 在t 处是可微的 o 在t 的邻域是1 1 c 的 那么 鼍形 x f v f o w x t 口j 引理1 3 1 4 1 如果一个集值映射厂 r 一r 在尺 上是1 1 c 的和正则的 那么它的广义 梯度a f r hr 是非空的 凸的 闭的 u s c 的和局部有界的集值映射 引理1 4 2 2 令x r 是广义神经网络的全局解 假设存在函数v r 9 r 使得y z f 在区间 f 0 佃 上是绝对连续的 并且 存在g 0 使得对于几乎处处的r 和 工 r 仁 v x 0 我们有不等式导矿 石o 一s 成立 那么 解z o 会在有限时间内到 a f 达 x 矿 x o 并将永远呆在其中 1 3 文章概述 本文主要研究了如何构建广义神经网络来求解一些非光滑的极小极大优化问题 包 括一类无约束的极小极大优化问题 一类带有线性等式约束的极小极大优化问题 另外 还探索了如何利用投影神经网络来求解一类非光滑优化问题及该广义神网络的应用 本 文的具体组织结构为 第二章主要是利用微分包含理论 稳定性理论和推广的l o j a s i e w i e z 不等式来研究 了一类带有无约束的 次解析的 凸的成本函数的极小极大优化问题 构建了一个广义 神经网络 借助推广的l o j a s i e w i c z 不等式 讨论了此广义神经网络的解的收敛性 给 出了收敛速度的探讨 并用数值例子来演示了理论结果的有效性 在带有线性等式约束的情况下 第三章主要是利用投影神经网络 微分包含理论和 稳定性理论来构建了一种广义神经网络 并探求了此类带有线性等式约束的极小极大问 题的方法 研究了该广义神经网络的有效性 给出了数值仿真例子 第四章主要是研究基于投影的广义神经网络的收敛性及其在非光滑优化问题中的 应用 投影神经网络在光滑优化问题中发挥了很大的作用 而在非光滑优化中的应用还 不成熟 特别是对极小极大问题的分析上 尚没有更多地加以研究 这也将是值得探索 的方向 因此 在前面两部分的基础上 我们主要探讨一种基于投影的广义神经网络在 非光滑优化问题中的应用 并且给出了这种神经网络的收敛性证明和数值仿真 第五章是文章的总结和对现在工作和今后研究方向的展望 4 第二章求解无约束的非光滑成本函数的极小极大问题的广义神经网络 第二章求解无约束的非光滑成本函数的极小极大问题的广义神经网 络 近些年来 在科技工程等领域中出现了越来越多的极小极大问题 诸如 优化控制 鲁棒设计 控制领域 制表决策方面 信号处理方面 计算机辅助设计 图像处理和经 济学等领域中 极小极大问题的出现逐渐地成为众多学者研究的热点问题 极小极大问 题的解决在优化问题中发挥了越来越重要的角色 这也使得许多数学研究者开始逐步地 关注极小极大这类令人感兴趣和极为重要的问题 包括它的实际应用和理论结果 一般 来讲 极小极大优化问题可以表示为 理磐置嚣乃o 2 1 其中 每个 x j i 1 2 p 都是实值成本函数 显然 即使我们假设每个 f x 都是连续可微的 问题 2 1 也是一个非光滑的优化问 题 许多研究学者通过一些数值算法研究过此类问趔2 4 2 7 2 9 3 3 最优解可以通过迭代计 算来取得 在文献 2 9 中 m a d s e n 研究了一类线性约束的极小极大优化问题 也提出了 一种基于继承性线性近似的算法 然而 这种算法的收敛速度相对较慢 也不能用于实 时优化 类似地 其它的一些数值计算方法在大范围和实时处理极小极大优化问题上也 是略显不足 例如 当把最大值函数m a x f x 借助于含参数的光滑函数来逼近时 问题 2 1 就可 l s 印 以转化为一个光滑的无约束优化问题 然而 这个方法通常只是得到近似解 而不是最 优解 另外 问题 2 1 也可以等价为一个非线性约束规划问题 所以 诸如s q p 方法 信赖域方法等数值算法 通常被用来解决此类问题 然而 提出的数值方法多是基于这 样的假设 乃 x 是连续可微的 因此 如果函数乃 x 是非光滑的 那么 这些基于 光滑函数的方法便不再奏效了 并且 这些数值算法在处理大范围或者实时优化问题时 一般不是很有效 近年来 求解优化问题的神经网络研究已经成为一个新的热点 因为神经网络在优 化方面的应用避开了数值算法的这一不足 它的自适应性和并行性更有效地解决了一些 大范围的实时优化问题 7 1 7 2 2 3 4 4 9 1 很多数学工作者提出并研究了一些神经网络模型 在 实时求解优化问题过程中 神经网络发挥了它的独特优势 大批量处理并行计算 以及 在收敛速度上的快速性 然而 现实中有很多优化问题的目标函数或者约束条件是非光 滑的 当问题 2 1 对于极小极大优化这类非光滑的优化问题 神经网络也可以发挥它的优 势 现阶段 神经网络正在逐渐地被用于研究极小极大优化问题 基于此 一些数学学 者提出了用于解决非光滑优化问题的广义神经网络模型 进而 随着非光滑理论的广泛 应用 数学工作者开始研究基于非光滑优化的方法来处理极小极大问题 基于集值分析 和微分包含理论 一些学者提出了用于求解非光滑规划问题的广义神经网络 在文献 江南大学硕士学位论文 2 1 2 3 t 9 l o j a s i e w i c z 不等式发挥了重要的作用 帮助解决了关于非光滑梯度系统的稳 基于以上这些讨论 在本章中 我们提出了一个广义神经网络 用于求解一类非光 滑成本函数的极小极大问题 通过应用推广的l 巧a s i e w i c z 不等式 对所提出的广义神 经网络的收敛性和收敛速度进行分析和研究 2 1 预备知识 在文献 2 4 中 f e n g 把问题 2 1 等价地转化为下面的无约束优化问题 m 驯i nf 口 z y o m a x 0 乃 x 一y 2 2 其中 仃 1 是一个常数 z r y r x r yer 在本章中 我们假设每个函数 工 都是凸的 非光滑的 注2 1 因为每个函数乃 x 都是非光滑的 在文献 2 4 中求解问题 2 2 的信赖域牛 顿共轭梯度算法便不再奏效了 事实上 许多已有的用于求解问题 2 2 的方法都是需要 目标函数是可微的这一条件 诸如文献 2 5 2 7 因此 这些算法不能用于处理非光滑优 化问题 另外 在文献 1 s 2 2 中 这些作者主要是关注于凸的二次极小极大问题 他们的 因为z x 是凸的 所以f 口 z 也是凸的 我们可以按照定义1 3 来求得8 f 4 z 因此 得到 一 隰三篡斟 刽 矿 z 卜l 1 差 o 1 1 k z j 其中 f x 石 x 五 x f g x i i 乃 x 一y 0 j o i 乃 x 一y o 厂 乃 x 一y 2 1 1 1 r 如 r f 1 如果f 1 而趣 o 如果i 1 一 其中 f o 1 l 孝 如果i o 因此 我们引入以下广义神经网络来求解问题 2 2 曼 一a f 4 c z f 一 o l a f a c 2 4 从非光滑优化和凸分析的结果中 我们得知 微分包含 2 4 的平衡点集合和模型 2 2 包含 2 4 解的收敛性性质之前 我们先引入本章中关于目标函数性质的一些概念和引 理 这将是本章中剩余部分所要用到的 读者可以在参考文献 2 1 1 中参看详细介绍 定义2 1 2 1 集合acr 一被称为是半解析的 如果彳满足 在邻域v 的每个点x f 6 第二章求解无约束的非光滑成本函数的极小极大问题的广义神经网络 处 使得彳广 y u n x y z z o 岛 x o 其中 z g j y r 是实值解析函 i i lj 暑l 数 1 f5p 1 j q p q 是某个正整数 集合acr 被称为次解析的 如果a 满 足 在邻域v 的每个点x r 处 使得anv z r x y b 其中 对于某个m 1 b 是r r 的一个有界半解析子集 函数f r 专r 被称为是次解析的 如果它的象是 r r 的一个次解析子集 在文献 2 l 中 l u 和w a n g 总结了文献 2 3 1 q b 介绍的推广的l o j a s i e w i c z 梯度不等式 并将之用于非光滑优化问题中 得益于l o j a s i e w i c z 不等式的巧妙运用 解决了一类非 光滑模型的解的收敛性 下面我们来给出这个引理 引理2 1 1 2 1 推广的l o j a s i e w i c z 梯度不等式 假设函数f r 寸r 在r 上是1 1 c 的 正则的 次解析的 那么 对于任意的i r 存在占 0 1 c 0 和万 0 使得 i 厂 z 一 i i 一 c m o f x 2 5 成立 其中 x b i 万 聊 o f z i n f y 1 y a f x 9 被称作是函数f 的l o j a s i e w i c z 指数 在本章中 我们对目标函数作如下假设 假设2 1 对于所有的 每个 x 在r 上是1 1 c 的 假设2 2 对于所有的 i 每个 x 在r 上是次解析的 2 2 收敛性分析 通常 当提到收敛性分析时 l y a p u n o v 方法是较为常用的 在下面的定理中 我们 将利用l y a p u n o v 方法和推广的l o j a s i e w i c z 不等式来对我们所提的神经网络模型 2 4 的 解进行收敛性分析 首先 我们对模型 2 4 的解的存在性和唯一性进行具体地分析 定理2 1 解的存在性和唯一性 令每个函数 x 满足假设2 1 和假设2 2 x f r y f r 那么 模型 2 4 至少存在一个解z f f y f r 初值为 z o o y o r r 肿1 定义在区间 f o 上 并且 这个解z f 对于几乎处处的 r t o 佃 是唯一的 证明根据f 盯 z 的定义和上面的两个假设 我们可以知道卵7 z 在r 1 上是非空 的 闭的 具有凸值的 u s c 的集值映射 并且 f 口 z 是一个凸函数 因此 依据文 献05 模型 2 4 在区间 o 悯 上至少存在一个带初始值z o 的解 映射f l l z o l l 是非 增的 2 引 这说明解z t 是有界的 下面我们就来给出解的唯一性证明 令z l f z 2 f 是模型 2 4 的带有相同初始值z o 的两个解 并且 设u t z l f 一z 2 f 那么 对于几乎处处的r t o 佃 7 江南大学硕士学位论文 d u r t u t 2 u r f 五 f a t 2 z l f 一z 2 f 7 z l f 一z 2 p 2 z l t z 2 9 7 1 玩一珑 0 其中 7 7 o f 4 z 1 r 2 o f 4 z 2 上面的最后一个不等式是由引理2 1 和卯4 z 的单调性得到的 因此 映射r 专l l u t l l 考虑到初值 o 我们可以得