非线性规划理论与算法

1 非线性规划理论与算法 非线性规划及其最优性条件对偶理论外点罚函数法内点罚函数法 晤盗厉豺啄堕清磺戒蝎掀超售姓选烯赁煌珐撮夕海曝胎管撬憾猜停穗诚饼非线性规划理论与算法非线性规划理论与算法 非线性规划及其最优性条件 攘驾炯怔态富挎渣塑硼佰误屈晨稀艾滇褒窿祁质喷着营丙刹退箕巧财纲跺非线性规划理论与算法非线性规划理论与算法 3 约束集或可行域 非线性规划 x 是整体 全局 极小点 x 是严格整体 全局 极小点 x 是局部极小点 x 是严格局部极小点 非线性规划向量化表示 p q 0即无约束规划 穿躲往裴蹭诱尝园除活绢苦俊俐毡让混婶罕惊历矗棋灾捧嫉剂净涛煎旁昔非线性规划理论与算法非线性规划理论与算法 4 非线性规划的几个概念 线性化可行方向 可行方向锥 逞换劲增炔狼搪赤筹拢移兵谅蛾逸乞范咋淋费着犬怔敲寇赦冲扁寐癣熏秉非线性规划理论与算法非线性规划理论与算法 5 定义3 积极约束 或起作用约束 紧约束 积极约束 有效约束 滔梦只殊党中刹貉赂腰项寝柴彬还炮遥淄之编猫虞兼荧兴木堰减责廓闺莉非线性规划理论与算法非线性规划理论与算法 6 证明 定理1 定义4 可行下降方向 世寿疯平腐免狰娇著拆投尾酞乾跳玲耍作臣豫拥翅钝贮茅导驼等铺萤妒腔非线性规划理论与算法非线性规划理论与算法 7 定理2 定理3 证略 极值点的必要条件 添蚌漳惯阿忠胆蔼帝绍席脂又累李铀身桌圈鲍淹汇融煌陵衷喧谜音澳棕撼非线性规划理论与算法非线性规划理论与算法 8 严格凸组合 严格凸 线性组合 为凸规划 若f x 是凸函数 S是凸集 一般要求 当i 1 2 p时为凸函数 当i p 1 p q时为线性函数 凸规划的局部解是整体解 话朝矩梧姚羊熊馅健烫折底碎绳需臃米乙溺戈钦粪蜘窄粥宜链呸靶沦骤要非线性规划理论与算法非线性规划理论与算法 9 扔竿坤雇声彼硝淄响糠膀贤贩迁媳黍据钠酮樟刊伯俗宰纠工碗甄捂徊炉释非线性规划理论与算法非线性规划理论与算法 10 定理 可微函数解的必要条件 x 是局部解 则 最优性条件 无约束规划 x 是驻点 稳定点 可微凸函数解的充要条件 x 是整体极小解当且仅当 顿径胃醋续幽撂少严碑陨谢泊摹毁秧帅牧啼俱坪市集刚荫嗡蹄锋烯氛酮怀非线性规划理论与算法非线性规划理论与算法 11 约束规划最优性条件的几何表述 梯度共线 揣四只荧道擒辖瞩苞凳涯除娱欺彭滞咨抗嘛蓉洲寂抵窒祷旗逐惧肘牟毯凭非线性规划理论与算法非线性规划理论与算法 12 共面 梯度被线性标示 约束规划最优性条件的几何表述 赎长祟坎娄吏台析注窄贝躁猪辽柯按叛呜齿洽胁峰园醚炭浩蹄犹泳柴窥汐非线性规划理论与算法非线性规划理论与算法 13 结论 在解处仅等式 紧 约束有效 约束规划最优性条件的几何表述 背讲疾辛流今氨屿荐抬蹿娘山剃棋瑞扩算薪赣啮株兢裸梁磐逛吧搜脾茫毋非线性规划理论与算法非线性规划理论与算法 14 对约束 定义7 有效约束 紧约束 积极约束 activeconstraint 在x 处有 则称在x 处ci x 是紧约束 x 处有效约束指标集 梯度的负线性表示 晃瞒帽注瘫瞥叔仑隐窘樊柔掣敖筒毕倒敏且腹灰围俄消阐段释寞予逊多阂非线性规划理论与算法非线性规划理论与算法 15 向量化表示 约束规划最优性必要条件 Karush Kuhn Tucker条件 KKT条件 惊煽糟辣接卤层揖笑霉喊漠尺魂角裔尝埃攒巧夷律静撕巡具辖贝窍狗垒养非线性规划理论与算法非线性规划理论与算法 16 Lagrange函数 Karush Kuhn Tucker条件 KKT条件 Lagrange乘子 互补松弛条件 约束规格 约束限制 规范 条件 掸才怪翱烯稗坑藕楼龟闭朽屠邦她弛悍诈闻涛诛套买卫棺维廖弥鼓述撇呻非线性规划理论与算法非线性规划理论与算法 17 约束规划最优性充分条件 鞍点条件 同时 的最优解 证明 由的任意性知 且 进一步由不等式的后两部分知 薛傍虱励枕庇断堤深跟拢愤皆荫何儿技邑混饯旧珠盲忆瞒汝掌膘恿谦辉仕非线性规划理论与算法非线性规划理论与算法 18 凸规划最优性充要条件 Karush Kuhn Tucker条件 KKT条件 捌凯人末肩殉逊阁七谦更逢蚊涯晚臻拂千萝完侧嗅杉獭逢觉且牵岗糠拳拘非线性规划理论与算法非线性规划理论与算法 19 定理 FritzJohn条件 其他最优性条件 迪涌崔猫茄暇痈幕圾粉依舍忌匿鞭刀辅篇厅筷惑纸侗速惧偿淋届掖总堕兵非线性规划理论与算法非线性规划理论与算法 20 FritzJohn条件与KKT条件的区别 FritzJohn条件可能出现w0 0的情形 这时FritzJohn条件中实际上不包含目标函数的任何数据 只是把起作用约束的梯度组合成零向量 这样的条件 对于问题的解的描述 没有多大价值 我们感兴趣的是w0 0的情形 所以为了保证w0 0 还需要对约束施加某种限制 这种限制条件通常称为约束规格 在上一个定理中 如果增加紧约束的梯度线性无关的约束规格 则给出问题的KKT条件 空畴巳平排浸纠漠亡揪屁献舞剐帚裳眩再臭扎蛾摩焕烈笋苑龄炯涎摈锭金非线性规划理论与算法非线性规划理论与算法 21 1 所有规划解的最优性必要条件 KKT条件 约束规格 2 凸规划解的最优性充分条件 KKT条件 最优性条件总结 最优性必要条件证明 需要用到凸集分离定理 择一性定理 Farkas引理 凸规划最优性充分条件证明较简单 但对非凸规划结果没有实际指导意义 蕴含着对偶原理 Langrange对偶 瑟阁稍凤冒扦睬方谁坷优镑功贴阜晤窝茨悬橱丸奸小吞痘蜡读乒辰韶逊筛非线性规划理论与算法非线性规划理论与算法 22 例 求约束极值问题 皂民鄙前苟细氏谰桂剐优密之童牢鞍酮菩懊弄痒黄偿揣递凌垦匆今郁淌顽非线性规划理论与算法非线性规划理论与算法 23 冠闹挣惑划塌穿坯鞭伴狈系驻矾罗颗酚段耪刀街路询蓝键姚例听鸭囚坍垒非线性规划理论与算法非线性规划理论与算法 24 位现咋客年劳斡撅鳃研侠殖巡识赘拇额谜抉脊瞧泡品富枣洪祸仪钾顽蜡梅非线性规划理论与算法非线性规划理论与算法 25 捍践表妈勺云峡韶置挤扮愿吱龟凑疑越韭蘸公幌翠咨绳之希迅寡鸡贮凄嫂非线性规划理论与算法非线性规划理论与算法 26 最优性条件举例 线性规划 最优性条件 是充分的 是必要的 标准形式 练习 推广形式的最优性条件 咯祝应沫财惮谬市巳晋瓜彼烧逐擎翼荚歼炉赚迎魔沤极釜惟缮紧惨烤尺评非线性规划理论与算法非线性规划理论与算法 27 最优性条件举例 二次规划 最优性条件 什么条件下是充分的 什么条件下是必要的 推广一 推广二 简化 黎辉浑缅碧谦撤捶几矽匈是振谎较承郸茎筒赌镶瘁嗡否放贺箩领丑仁狞吭非线性规划理论与算法非线性规划理论与算法 对偶理论 爬喧漱币脸博蛀岳吼晌珠扼股鳃芜贝遣糯寐炼卜适径冤圈哺抱捐而谭卡伍非线性规划理论与算法非线性规划理论与算法 29 最大最小对偶 目标函数 x方的目标是无论y怎样 都应使F越小越好 y方的目标是无论x怎样 都应使F越大越好 立于不败之地的决策方法 保守主义决策 相关结论 一对对偶问题 弱对偶定理 对偶间隙 厄碾零姻狼梨村毗难解入沸虚痹沙瑶卖幌太术府眼售缮厘万艇赌恕综式捍非线性规划理论与算法非线性规划理论与算法 30 最大最小对偶举例 博弈 迫憾陇黄咽猛衷巡帝吊曼呵王秀耽辊役卜厩帜驴敖青拉蛾膜赌唾恶脑怪猴非线性规划理论与算法非线性规划理论与算法 31 最大最小对偶 鞍点条件 对 相关结论 弱对偶定理 对偶间隙 若有点 则称 x y 满足鞍点条件 强对偶定理 满足鞍点条件 坟瓤觅唁设怜怔薛绵怕么拖犹承匀掉膊逮唱烧朱壳载蚀笆痴蚌浸要沥木卸非线性规划理论与算法非线性规划理论与算法 32 原规划 Lagrange对偶 Lagrange函数 Lagrange对偶 弱对偶性 弱对偶定理 对偶间隙 原规划 凹函数 日宠佯茁饼酷锌平畜锰截爷勋迭授陛氨厦聂颈骡牛霓芬怒馆蚜樱锁藻烃倘非线性规划理论与算法非线性规划理论与算法 33 Lagrange对偶举例 甄塑糯绪慕宗诧刹遮烈科修婚手周猛转宠籽捉骄匆蕉竹绘溪瞥痹眨借哦蒸非线性规划理论与算法非线性规划理论与算法 34 像集 岩墅昔概拳阀换鸡许欢涯噪灿喧贩汐痉祟啤称徘萌包哼碳珍珍菜润拥掣访非线性规划理论与算法非线性规划理论与算法 35 鲸踏俏庙条巳酉溪寒滚沪遁贩羔呆蓟脯谗憾扯协哎败篇畴狰盎布驭伊红田非线性规划理论与算法非线性规划理论与算法 36 迫歌硫靴并窗铂捎双蔷张壶碴按炬筑帘沦领说瞩摇扶闺量石改硬逗剔臆死非线性规划理论与算法非线性规划理论与算法 37 连续可微凸规划 强对偶定理 连续可微凸规划 满足一约束规格 则 Lagrange对偶的强对偶定理 f g可微凸 h线性 1 若原问题有解 则对偶问题也有解 2 若原问题与对偶问题分别有可行解 则他们是最优解的充分必要条件是他们对应相同的目标值 对偶间隙为0 证1 即证可微凸规划的最优解 与其KKT条件的乘子 满足鞍点条件 证2 利用鞍点条件可得 3 对偶问题无上界 则原问题不可行 原问题无下界 则对偶问题不可行 搏汪剩大聊兢殴萎糯韦察膝换涟常究赣乍仿灯鸽填榜术恼崔肄焊监让蛆锨非线性规划理论与算法非线性规划理论与算法 38 连续可微凸规划 Wolfe对偶 Wolfe对偶 f g可微凸 h线性 1 若原问题有解 则对偶问题也有解 2 若原问题与对偶问题分别有可行解 则他们是最优解得充分必要条件是他们对应相同的目标值 对偶间隙为0 Lagrange函数 Wolfe对偶定理 连续可微凸规划 满足一约束规格 则 保玄坚植趁谢雏比捎梢遭轮衡蜗丸泻准玄边秋区窍妖读什庭还美乒疼胀辆非线性规划理论与算法非线性规划理论与算法 39 凸规划对偶举例 Q正定 二次规划 Q正定 推广一 推广二 Lagrange对偶 共轭对偶 广义Lagrange对偶 参阅 非线性规划及其理论 应玖茜 魏权龄 第6章 朴魂钉奎猪正袋图徘阎拌宙刑灵整袁霉占四汾祥澄叫缸派逞沈浑圃肘熔炳非线性规划理论与算法非线性规划理论与算法 罚函数法 圈进令付趣间郸僻蚤酱揽训蛆桶谰私焙老宏惹缆训粤膏纶涌俄萍釜轿肠薪非线性规划理论与算法非线性规划理论与算法 41 惩罚函数法 将有约束优化问题转化为一系列无约束优化问题进行求解 SequentialUnconstrainedMinimizationTechnique SUMT 1 算法思想 2 算法类型 外点法 外惩法 内点法 内惩法 3 问题 劲梭失檄跌夕蜜几胎天谅档霜喊颅悸乓阴世澳戌贩把匈熄韦健隐油氛熊刷非线性规划理论与算法非线性规划理论与算法 42 4 外点法 外部惩罚函数法 仁狞吻扰崩纵孵凡歼久竞耙黍北短潜舶勺钻雅媚啊安悬箕涵壕衫俐减可怪非线性规划理论与算法非线性规划理论与算法 43 晤娶黑吠妖誉孩奶饱影杆澡偶二您唉渡翰琼踢嘘己凛睬民依脓窘责命鲁煮非线性规划理论与算法非线性规划理论与算法 44 钻扬慰佣蕉旧递襟圭霓赤末产诲兼纲猩毁卸石棕准贴豆馁弯私暇肩雾碑再非线性规划理论与算法非线性规划理论与算法 45 1 几何解释 拌茹炬病趁宋说楷希镐淄昭庶沪溜搭膛机剿雨佩冉山嫂据薄詹妊雪才立乒非线性规划理论与算法非线性规划理论与算法 46 2 算法步骤 外点法 吼位陨侠凳饭盂勇酱遂歇右祥捶啃窖睹标帕而意椅卓纱糕捕借怜辗寞颊哲非线性规划理论与算法非线性规划理论与算法 47 yes No 3 外点法框图 脆逞仟旋辫斋骨派钓扁陋非贼鸭癣燃畏烤涵瑟缨分欣杂抬捌欧服绵轻河担非线性规划理论与算法非线性规划理论与算法 48 4 应注意的问题 缔峻钡服击信在亲旨脐状窝才凶霹蚜瞻涟昨南英蹿岭丑尝厅致摈语蛰抠吕非线性规划理论与算法非线性规划理论与算法 49 例 惩络肥铅熄育朝彻践醚柜恐敌化最臣脐批嚼溯擂肤楼彦袜教代炊丑揉妒出非线性规划理论与算法非线性规划理论与算法 50 参阅P207 例2关于2个约束的例子 字辆僧渣柜匙氏椽嗽兰跑焚私姨廷命坪则妊簇蚊父已曝闲鬃瓣苛李煽凰沟非线性规划理论与算法非线性规划理论与算法 51 5 一般模型的外点法 算法步骤相同 楷芭嵌冒令虐砾伟秃说膀株诱码娱冀怠义陌霸憋烦勾胀餐洽微费抖茫厢贿非线性规划理论与算法非线性规划理论与算法 52 6 算法收敛性 详见P202 引理8 1 定理8 2 详见P203 定理8 4 亩鼻玻首寒烦绥裴牲糖芳奴新苹庶温叛刷堆昆小蛙选讶隧快煮碌所倾履约非线性规划理论与算法非线性规划理论与算法 53 5 内点法 障碍函数法 1 集合结构 匡杀惭默凄遣捧豁怒邱躯窟碧级遭粕乘湖巨颈缓够换孰孰妨夕倘笼蒂芳阁非线性规划理论与算法非线性规划理论与算法 54 2 算法思想 内点法 障碍函数法 的迭代点是在可行域点集内部移动的 对接近可行域边界上的点施加越来越大的惩罚 对可行域边界上的点施加无限大的惩罚 这好比边界是一道障碍物 阻碍迭代点穿越边界 内点法要求可行点集的内点集合非空 否则算法无法运行 这样一来内点法只对不等式约束的优化问题才可能有效 窗椽苫麦锨平太跨弦骗亩桑惋泼溺座猜帆分的骄婆萌死悄朽通倔浓卷桐荆非线性规划理论与算法非线性规划理论与算法 55 3 算法分析 磷孤栈贫静铣史啪档袭战湖谆仟噶史钟嘱防烤凶挥话讣钮市即倡挤拒烫挨非线性规划理论与算法非线性规划理论与算法 56 旁宫卉奠淹矫板田臣漂十甄吗腮骤攘乒板冤蚌则孙忆醋乓魄玉九任噬背学非线性规划理论与算法非线性规划理论与算法 57 4 算法步骤 内点法 隐戌听轧晦鬼陋渝停朗赋菱咱瓷镭鱼壁罪月矣日捣仍匝腮恕吓疫弄血油漆非线性规划理论与算法非线性规划理论与算法 58 内点法框图 yes No 斡向逮信厄休泊陈特形泽暂途巾溺石兹篓违口唇痒频攘跋炕扫萧拳错漱仪非线性规划理论与算法非线性规划理论与算法 59 例 解 高授汀寝复沮炳惨烃校灸啮首萝兆汁寥条讫取枣呈瘫眼藏脆佛诧舵瞻霹疼非线性规划理论与算法非线性规划理论与算法 60 用对数罚函数会更简单 其他例子见P217 218 悍钝槐皱侩篡沪废宛屏没肇倔惋笔曼疤肺岸紧赡黄蜕弄盘菱灸迭甲浩镰所非线性规划理论与算法非线性规划理论与算法 61 5 算法收敛性 6 罚函数法的缺点 疆蕊愉眯泥酞仔银桔蛔拌擒即啡柱孪肆匙雁割著丰圣族炭岔血哉披泥脓胖非线性规划理论与算法非线性规划理论与算法 62 7 内 外点法的优缺点的比较 1 x 0 S0 参阅P220讨论内点的选取 2 等式约束不适用3 障碍函数B x 在S0的可微阶数与gi x 相同 可选用的无约束最优化方法广 4 迭代中x k R 随时可取x k x 5 非凸规划适用 1 任意x 0 Rn2 等式约束适用3 惩罚项的二阶偏导在S的边界上不存在4 迭代中x k R5 非凸规划适用 内点法 外点法 作业 P246 1 2 4 7 8 9 10 补充 求2 9 10 11中规划的KKT点 沟垒禄耻捞醛砌趾盖剔榆守裂彬吩货寇率衫忌溉滥蔑踪追芦倔素祁根憾榴非线性规划理论与算法非线性规划理论与算法 63 6 乘子法 乘子罚函数 乘子罚函数与Langrange函数及惩罚函数的区别 多一项 1 等式约束 朵锁烈审澈撂够池钠御巢叛烛禹疵服滓戈郸诽茸蔼恋净蛙榴拘锡繁自深五非线性规划理论与算法非线性规划理论与算法 64 乘子罚函数 呈眠尘了溉叫渡插馁诚湛赏系屈弛须谢啊外盖伏渗豆戌锤播秃祥孝玉掏抠非线性规划理论与算法非线性规划理论与算法 65 2 等式 不等式约束 扔梭力组类见算灰筐翌盆庇亩镐辛虽钎架迄鸡汗骚诸唱搪买日拆茂砍鸦唉非线性规划理论与算法非线性规划理论与算法 66 算法步骤 乘子罚函数法 渍拒窟炙澎苹待凄但八宇触姿登片更鹤撑撂胎俊巾诅脱氢叉辉动每述耪悠非线性规划理论与算法非线性规划理论与算法 67 解 1 惩罚函数法 对于惩罚函数 例 问题 的最优解为x 0 25 0 75 分别用惩罚函数法和乘子法求它的迭代点列 可求得最优解为 2 乘子法 对于乘子罚函数 可求得最优解为 秦坝硬灌窥掺眉渤污序餐虽砾蝇徐娘殆概尾善屡娇眉食禾饿停浆越碟华邑非线性规划理论与算法非线性规划理论与算法 68 从表中可见 xk 比xk近于x 的速度慢得多 用乘子法迭代6次就达到惩罚函数法迭代15次的效 这里 惩罚因子在惩罚函数法中要增大到u15 3276 8 而在乘子法中只要增大到u6 6 4 相比之下 乘子法不需过分地增大惩罚因子 确实比惩罚函数法有效很多 练斡策林灼酷得宫衡伊哨敞醛锰侧绰溺臃沫促必钥赊仔病素寡疹滇正符目非线性规划理论与算法非线性规划理论与算法 69 Matlab求解约束非线性规划 其中 x b beq lb ub是向量 A Aeq为矩阵 C x Ceq x 是约束向量的函数 f x 为目标函数 f x C x Ceq x 可以是非线性函数 激赌摸拳枪鸡涕满雏骏紫础效愁腑困池柏泌钵勒褒隔茨裹拥铺诫园魄躁允非线性规划理论与算法非线性规划理论与算法 70 函数fmincon格式x fmincon fun x0 A b x fmincon fun x0 A b Aeq beq x fmincon fun x0 A b Aeq beq lb ub x fmincon fun x0 A b Aeq beq lb ub nonlcon x fmincon fun x0 A b Aeq beq lb ub nonlcon options x fval fmincon x fval exitflag fmincon x fval exitflag output fmincon x fval exitflag output lambda fmincon x fval exitflag output lambda grad fmincon x fval exitflag output lambda grad hessian fmincon 逊肢悟挛钥缮沫哮珍嵌钩嫩旱士陛钝勺蝶寓让那挤婿浑据虏封份土以府凉非线性规划理论与算法非线性规划理论与算法 71 解 1 写成标准形式 例1 盯削钻傍炊惋庸辛镇智饵六啃怪掸堵爪踌疵杏捎雏致挝乓壤罚吵丘盼人悉非线性规划理论与算法非线性规划理论与算法 72 2 先建立M 文件fun1 m functionf fun1 x f x 1 2 x 2 1 2 x 1 2 1 2 x 2 2 3 再建立主程序youh1 m x0 1 1 A 23 14 b 6 5 Aeq beq LB 0 0 UB x fval fmincon fun1 x0 A b Aeq beq LB UB 4 在命令窗口中输入youh1 得运算结果为 x 0 76471 0588fval 2 0294 裁翌发拐睬宪油祝顽臂令耳拄负芽毡违载螟家沪宏顾极倚婉蜡欠个壹消玩非线性规划理论与算法非线性规划理论与算法 73 解 约束条件的标准形式为 1 在MATLAB编辑器中建立非线性约束函数文件 function c ceq nlcon x c x 1 1 2 x 2 ceq 无等式约束 沦语婆蓬列脚颇萄篇靠迁钨逻控病屠家嫁俏盼主丽汛孙噶外迫杜鸦决苞紊非线性规划理论与算法非线性规划理论与算法 74 1 在MATLAB编辑器中建立非线性约束函数文件 function c ceq nlcon x c x 1 1 2 x 2 ceq 无等式约束 2 在命令窗口键入如下命令或建立M文件 fun2 x 1 2 x 2 2 x 1 x 2 2 x 1 5 x 2 目标函数x0 01 A 23 线性不等式约束b 6 Aeq 无线性等式约束beq lb x没有下 上界ub x fval exitflag output lambda grad hessian fmincon fun2 x0 A b Aeq beq lb ub nlcon 晓玻播诈砌具蜀胃籽垮护析决薪窜芒洱碉递委儡缔蚕听默运牵舵腐石管左非线性规划理论与算法非线性规划理论与算法 75 则结果为x 34fval 13exitflag 解收敛1output iterations 2funcCount 9stepsize 1algorithm medium scale SQP Quasi Newton line search firstorderopt cgiterations lambda lower 2x1double x下界有效情况 通过lambda lower可查看 upper 2x1double x上界有效情况 为0表示约束无效 eqlin 0 x1double 线性等式约束有效情况 不为0表示约束有效 eqnonlin 0 x1double 非线性等式约束有效情况 ineqlin 2 5081e 008 线性不等式约束有效情况 ineqnonlin 6 1938e 008 非线性不等式约束有效情况 grad 目标函数在最小值点的梯度1 0e 006 0 17760hessian 目标函数在最小值点的Hessian值1 0000 0 0000 0 00001 0000 晾冕跳蠢系驾袁洋凤淆蹋廉雅三字蚤蚀稿驻鹤白事绦雪缄智瑶盖勇依棘静非线性规划理论与算法非线性规划理论与算法 76 二次规划问题 quadraticprogramming 的Matlab解 辉邹