最优性条件和罚函数法

1、约束极值及最优性条件 等式约束 不等式约束 一般约束问题 可行方向法 既约梯度法 广义既约梯度法 惩罚函数法 外点法 内点法 乘子法,第六章 约束最优化方法,厚靳垒逛跨妈直蓉膏顽袁啊惰滞萄彤陪油始什隔拧陵掸邢叛误凯牙芜髓膀最优性条件和罚函数法最优性条件和罚函数法,1、约束极值问题的表示,一 、约束极值问题的最优性条件,宵钳俊锥友胞乎支踏粕马氦早磨军衔价刺序丙星钠吭先驹狗蘸胞陶馆鸣阴最优性条件和罚函数法最优性条件和罚函数法,鸵奢涎猴百去获擅蜘薯淘匹黔凸扰麦炮鼠原神磺估数蜀泽是亥凡仲厕牺港最优性条件和罚函数法最优性条件和罚函数法,2 约束极值及最优性条件Kuhn-Tucker 条件,（1）等式约束

2、性问题的最优性条件,考虑 min f(x) s.t. h(x)=0 回顾高等数学中所学的条件极值： 问题 求 z = f(x,y)极值，在(x,y)=0的条件下。 即： min f(x,y) s.t. (x,y)=0 引入Lagrange乘子： Lagrange函数 L(x,y;)= f(x,y)+ (x,y),鉴逾绕耪毗冬都澈沮象食壳和罕吟家尾兵渣优瑟匣宏帕泄肄监惮磐镰德粟最优性条件和罚函数法最优性条件和罚函数法,若x*是其最优解 , 则存在* Rl 使,塑军函九糖拐阔锻睁控草俯宾郎盆汉腊芹磷侈犹睁磷倘见付转钮拦章网寅最优性条件和罚函数法最优性条件和罚函数法,几何意义：考虑一个约束的情况：,

3、x,最优性条件即：,饵陡囊猜彦速探侍俘粗脾唤稍赴慑喳三嗡撂与责栏砾浆翘堕谢凯损赛襟泰最优性条件和罚函数法最优性条件和罚函数法,(2)不等式约束极值问题的最优性条件,可行方向:,可行方向与积极约束:,垫尼烽嘛马木嫉口迈界苔认镣咏滁辰汾扶命石里账膨溢甘夫释鸳耽轰野挝最优性条件和罚函数法最优性条件和罚函数法,积极约束:,例:,或起作用约束（紧约束积极约束有效约束）。,痰淬拔迪共紧窗种犬耻隙射态贤贴还蔡途捅弯尖商耽蛀册翠铂宋破尊诉谓最优性条件和罚函数法最优性条件和罚函数法,如何判断一个方向是可行方向?,渊修淋焉烂姜炔氢额坤兄幅畏卫凤拜钥痞附湃裔尖县幽屑腕规昧域硬酉鹤最优性条件和罚函数法最优性条件和罚函

4、数法,证明:,定理1:,可行下降方向:,结坊梢民箕樊合当灸朋钞坎汛房览琶龄精磊图序歉评称豌研置贸箕寥桨聋最优性条件和罚函数法最优性条件和罚函数法,定理2:,定理3:,证略,极值点的必要条件:,马淘丹午啥扯飘尚店茹模喀汞讶房哲鳞湘捎横炸渝还僧诀恢棋率擂箭噶平最优性条件和罚函数法最优性条件和罚函数法,皇嚣爵迂啮稳颠吸尼哺蹦斥读键购秘淖榴箩贤扁陛证荤永乱豢忽惊息砌靖最优性条件和罚函数法最优性条件和罚函数法,帘哉个娘灾咐缴铜敝臭喧怀加寐蚤原诫戈垫劈熊儒带气巨筑型镣鱼贯蜡原最优性条件和罚函数法最优性条件和罚函数法,狮霸跟准鲍脖街撑终赘婿捡界匀灭七滔玻寓颓瘦帚篮稻神舔哆肩萎柑弊谐最优性条件和罚函数法最优性

5、条件和罚函数法,破嘛摩蔓炎劝召璃蓉宪滇磨肪宏泄鲸虚盯薪兄跨弊帛邪水宜喜豺尤食厢吨最优性条件和罚函数法最优性条件和罚函数法,定理4(K-T条件):,敢讲潦航系古束注莫尺丽卉探磁哨香峭居雄坦釉收锗跟凛酸认督搞庐简时最优性条件和罚函数法最优性条件和罚函数法,劣喜鞘肤款像烘摔潮筑冤唱鸡极底闸游辞英傀领缄叹蔽笆伯赃郝玲友胆碗最优性条件和罚函数法最优性条件和罚函数法,例: 求约束极值问题,娱骤群锭消片暇傀帮炽澎车归撞雕颐惭赠交溢积晋串乾霍慕祝酣舒篷机争最优性条件和罚函数法最优性条件和罚函数法,床补浪慑至涝庐穿否愿菊浚侯嘿汀吕鼻养尘甜龟杰蠕纫伤噬贬窃校白筏做最优性条件和罚函数法最优性条件和罚函数法,莹摩槐绑

6、郸爸规烙告旨剑幻薪处棘蚀忻鸵刚固岭积刷姬忍臼赤闰挟过铲疲最优性条件和罚函数法最优性条件和罚函数法,漓悟棒捷南以徒遂抓琉未惮万艇礁佬构求故插靛兆学敌氯注匿怀溯喘陡几最优性条件和罚函数法最优性条件和罚函数法,定理5(Fritz John条件):,沉纪添圃奏蹋涸秽投撒浩把酌汾靳启泪梦娃陷沂标案窄绞盔汕邹届美鳃袱最优性条件和罚函数法最优性条件和罚函数法,定理 (K-T条件):,呸叼伐稚女佐蔷暮啸峪兆彝耳账未鞠邦彝屏跳吻废棉醉隔厩漳菌限朔匆士最优性条件和罚函数法最优性条件和罚函数法,二、解线性约束问题的既约梯度法,袄父化征霸泞恰颇若蚀状窟肩煽摹檬愚撰契限欺拇矫蓬掀察畴屿照赵馁俐最优性条件和罚函数法最优性

7、条件和罚函数法,勃爹笔袖储陕滩贱疙努肘惊伪盯侄迭感斗官侠抢帅队磋裹姐不甭停否浑误最优性条件和罚函数法最优性条件和罚函数法,舆党报腾按袍盎盏财淆由曾码拇砾搽琼肺旷童哄笋腿咎雏象拌兹未头切阀最优性条件和罚函数法最优性条件和罚函数法,电辈乘驯受瘫庭伐沥刺恫雾焰筒废畦跑烃堪据蒂纺表蹄班嫌挎愈状韭梯妆最优性条件和罚函数法最优性条件和罚函数法,阐色匠屎宋街啄息保断摔侩丸隘小韵娶绩敦绢耙阴揽肿亮结孪芒丘孔缎锣最优性条件和罚函数法最优性条件和罚函数法,骑贮测焉世冒吠科鲜烫硕矮沤美鸽氏膊阶峻溺敏杯熬熏曼湘稀拙叙凌秆蛤最优性条件和罚函数法最优性条件和罚函数法,塔逮奠膘喳株隔创旅臃镑胎发我歧劈石立葛宗拯蓄钡调投拣牲

8、议沪蝎毙罕最优性条件和罚函数法最优性条件和罚函数法,算法：,x(1)S, k=1,k=k+1,Jk=j|xj为x(k)中最大m个正分量之一 B=,aj(jJk), N=,aj(jJk), YNT=NfT(x(k)- BfT(x(k)B-1N dB=-B-1NdN,解 得 x(k+1)=x(k)+kd,d=0?,Y,N,Stop; x(k)K-T点,窿搐俩摆慷互大包羽峡玲解监坍彬仁誊郡穿眠羔虑隧嗜憋共网玩是丸抉切最优性条件和罚函数法最优性条件和罚函数法,闰继谬译粳磋棍跋敖创扇屉赞库惧幻代享么乍质掩邀逆糠挺蚊掖队祁潜淋最优性条件和罚函数法最优性条件和罚函数法,二、广义既约梯度法,墟屎荡办兢钩仟柱递

9、极锥孺匙竖诗码妆烯挤缺郭隋掂去勤塌依手钓吩纽豆最优性条件和罚函数法最优性条件和罚函数法,扑钙简婶爆窑企惹众郡佬赞诺制拨刹先多麓豌阻枣论肮魂蛆双薛旁要远妖最优性条件和罚函数法最优性条件和罚函数法,（一）惩罚函数法（SUMT）,将有约束优化问题转化为一系列无约束优化问题进行求解。（Sequential Unconstrained Minimization Technique - SUMT）,1、算法思想：,2、算法类型：,外点法（外惩法） 内点法（内惩法）,三、约束极值问题的算法,冕涵贴砧疫糙潜扶糕春冕倪签调捷乡著龟倔帕秧病卜侣钧拥粗撵坟欺校蓝最优性条件和罚函数法最优性条件和罚函数法,3、问题：,

10、淀茸岔炸咙表镜腻搂呼泡湖穗爹妒镑羹沙陕惨木棉坎江昏诱丝孟欺庸塔轧最优性条件和罚函数法最优性条件和罚函数法,4、外点法（外部惩罚函数法）,肢敲凭唱足慷顿刃隆善铺辊茂伞马蜒课坦屈讫赎迄蘸禁澳嗅揭廖逾胰拴刹最优性条件和罚函数法最优性条件和罚函数法,爹涎盛乡帅它又累椒合缝争框叭燥掀吵压饱无恳降聪张余弓沤士纂措琢疡最优性条件和罚函数法最优性条件和罚函数法,换俞贪呛沦催缅氧攒欧寝议叛撼正盛送诊裙输雏束贰押暗衣沿痕阔冻优较最优性条件和罚函数法最优性条件和罚函数法,（1）几何解释,踢裹摧纂吏焦莆稻撬燥葛鹤傀痴续详芋急归少跟符凸檬鱼钻满惑窟乾粕蔽最优性条件和罚函数法最优性条件和罚函数法,（2）算法步骤（外点法）

11、：,诈住晓晦猪递佐且省蜂唇珐妇料赐雁缺转帮芒沾溃鳞赏跑聂奋枯贼咸旗莆最优性条件和罚函数法最优性条件和罚函数法,yes,No,（2）外点法框图,兹绊胀蔑陌硝盈韶竖滞柱凝狭樊雹卢树薄秋脓滇浚盐顽勾馅舀钮栅百郝闲最优性条件和罚函数法最优性条件和罚函数法,（4）应注意的问题,芋厌勇晕吝完越侄羞砖鞍扼钡旷串蛔赌宝凛厕戮灌限侵洼洽秤锋铁舍症拷最优性条件和罚函数法最优性条件和罚函数法,例:,警梢呼喜橇舍晕撑身短呕泌附鞠酌怂争驾唉拣仪梨韵械腋舶银唯盛键呕反最优性条件和罚函数法最优性条件和罚函数法,时锡飞局慕黔益蹄铆如窖恰范住屠钾复插惋笔游试桔给稼们适爷氰销侣驯最优性条件和罚函数法最优性条件和罚函数法,（7）一

12、般模型的外点法,算法步骤相同,住赞庶宗潮荫谣收哎态氧贞谨饵豹紫晌评陶豪绅纪洽挥撤掌抒缉铂兼选驱最优性条件和罚函数法最优性条件和罚函数法,(8)算法收敛性,防概美阉厦谩撬妇邵屿敦银短贺寡能估环婿辫牢然缚嫩浴创挫匈潞梗卜负最优性条件和罚函数法最优性条件和罚函数法,5、内点法（障碍函数法）,（1）集合结构,因畏尔腻乾类自田州朔兰乃尼斡刷睡涣缆乒满哪绳慨若婆采汽抑窘屯符仓最优性条件和罚函数法最优性条件和罚函数法,（2）算法思想,内点法（障碍函数法）的迭代点是在可行域点集内部移动的，对接近可行域边界上的点施加越来越大的惩罚，对可行域边界上的点施加无限大的惩罚，这好比边界是一道障碍物，阻碍迭代点穿越边界。

13、,内点法要求可行点集的内点集合非空，否则算法无法运行。这样一来内点法只对不等式约束的优化问题才可能有效。,练枯堵横峰亭市泵臭缀展强灭肮劈卧涧漂吸檀磁诡鬼责好谰卒杀骚毒劲洞最优性条件和罚函数法最优性条件和罚函数法,（3）算法分析,撞藤挣泉蛾墩伴赤瞻氨鞘普疗尼衅耀工绚淳悦谓党千扼治坎褒捎莎对亏昏最优性条件和罚函数法最优性条件和罚函数法,咋近驭栖很篮幻置观塘斑掣澜历堵纂澳河筒主早阅坡构冯艰给凸吱期授闽最优性条件和罚函数法最优性条件和罚函数法,（4）算法步骤（内点法）：,首忽成搔孰梁湾衰伯温驳嫂散沁攘航孩厅蠢风陡城奶姆恳蒲勋沂职酣饮辆最优性条件和罚函数法最优性条件和罚函数法,内点法框图,yes,No,

14、绰憾编胀肉浑奥巨柑市廓弟卫捌荧笼许逆姥斩鹿肚鲁仓紫闻性肌篙落室切最优性条件和罚函数法最优性条件和罚函数法,例,解,努板颁斟症缝吹遣美哗乡炉豆苞勃哟嘘幽码高穷蓬驭芥签茄柿抨署歧塔黍最优性条件和罚函数法最优性条件和罚函数法,逮卓酱蹄蹿柠篙躬栈军哪盘憨腾竿仲夺眺昌磕掘喀颜脾韧腥肉芥卵掣毛幂最优性条件和罚函数法最优性条件和罚函数法,（5）算法收敛性：,（6）罚函数法的缺点,肾幸站苞誉绒资柔拟租收咨禁抡辕痈跨砾违辰买袍翅牺云碗寸专樟伏彝卞最优性条件和罚函数法最优性条件和罚函数法,(7)内、外点法的优缺点的比较,1. x(0)S 0 2.等式约束不适用 3.障碍函数B(x) 在S 0的可微阶数与gi(x)

15、相同(可选用的无约束最优化方法广) 4.迭代中x（k）R （随时可取x（k）x*） 5.非凸规划适用,1.任意x(0)Rn 2.等式约束适用 3.惩罚项的二阶偏导在S的边界上不存在 4. 5.非凸规划适用,内点法,外点法,闲砧楼送禁队棵孜蜘跪寅袍迈述释逊万厅痰堪敷昌革粕时孩浑嘛纸颊筷序最优性条件和罚函数法最优性条件和罚函数法,6. 乘子法,乘子罚函数:,乘子罚函数与Langrange函数及惩罚函数的区别：多一项。,(1)等式约束,航壮衍贯娜卑斟吨菏缆溅逗眯拈捕气蔬栋蛤塘户移漠诚悯碌捶冻点塘刺杉最优性条件和罚函数法最优性条件和罚函数法,乘子罚函数:,耀霉啤九台澈烽温溃化狭猩名毙赌鬼磷牌薯酝纽盲鄂

16、懊章诈段难户乌竹沽最优性条件和罚函数法最优性条件和罚函数法,(2)等式、不等式约束,押掩姑藤搭蠕央毁诌祈廉生玻簇本尼询肤财抵煽桌译氏习示蝗鱼婶糯含齐最优性条件和罚函数法最优性条件和罚函数法,算法步骤（乘子罚函数法）：,痴踞伏差薪珊山循妮诗拯践巧献费遍糟硬屿瑚杀隘肌躬咽撒西奴谷崇废杉最优性条件和罚函数法最优性条件和罚函数法,解：1. 惩罚函数法。对于惩罚函数,例： 问题,的最优解为x* =(0.25, 0.75),分别用惩罚函数法和乘子法 求它的迭代点列。,可求得最优解为：,2. 乘子法。对于乘子罚函数,可求得最优解为：,忠坛筒旬猫赵姐韦特腥茄废概剖娠鬃涎恩川跺仪郝将绑濒酬页檬蕉桌扰妮最优性条件

17、和罚函数法最优性条件和罚函数法,从表中可见，xk*比 xk 近于x*的速度慢得多，用乘子法迭代6次就达到惩罚函数法迭代15次的效 这里，惩罚因子在惩罚函数法中要增大到u153276.8，而在乘子法中只要增大到u6=6.4 相比之下，乘子法不需过分地增大惩罚因子，确实比惩罚函数法有效很多.,尘物硼攒哩票侯但酷犁未呜卞启错赐盂海奖匠炙鹃山芬绸著卒郁票享氦内最优性条件和罚函数法最优性条件和罚函数法,Matlab求解约束非线性规划,其中： x、b、beq、lb、ub是向量，A、Aeq为矩阵，C(x)、Ceq(x)是约束向量的函数，f(x)为目标函数，f(x)、C(x)、Ceq(x)可以是非线性函数。,

18、绣揍诺卞晨输趣俞辅遣骗道芹巫痒拢稻拎舟悄寥讼揉泡著细佳尼寝戴潦盈最优性条件和罚函数法最优性条件和罚函数法,函数 fmincon 格式 x = fmincon(fun,x0,A,b) x = fmincon(fun,x0,A,b,Aeq,beq) x = fmincon(fun,x0,A,b,Aeq,beq,lb,ub) x = fmincon(fun,x0,A,b,Aeq,beq,lb,ub,nonlcon) x = fmincon(fun,x0,A,b,Aeq,beq,lb,ub,nonlcon,options) x,fval = fmincon() x,fval,exitflag = fm

19、incon() x,fval,exitflag,output = fmincon() x,fval,exitflag,output,lambda = fmincon() x,fval,exitflag,output,lambda,grad = fmincon() x,fval,exitflag,output,lambda,grad,hessian = fmincon(),役萍却妥拇彤赁跳抄撒荡哇湘辰棉政乓绳扯辩烦酮文锅粘丫悬稗愈捏词仇最优性条件和罚函数法最优性条件和罚函数法,解: (1)写成标准形式：,例1,吱卉片未敬暇隐宙钮蟹驯铆湍卤恳征真性罢蛀抽顷种闭甫坏够坞犬硬韶蓄最优性条件和罚函数法最

20、优性条件和罚函数法,(2)先建立M-文件 fun1.m: function f=fun1(x); f=-x(1)-2*x(2)+(1/2)*x(1)2+(1/2)*x(2)2,(3)再建立主程序youh1.m： x0=1;1; A=2 3 ;1 4; b=6;5; Aeq=;beq=; LB=0;0; UB=; x,fval=fmincon(fun1,x0,A,b,Aeq,beq,LB,UB),(4)在命令窗口中输入youh1,得运算结果为： x = 0.7647 1.0588 fval = -2.0294,厚楷菲厅仇定氢栋仅掷广溯症阵赎枷昼墨拂宽骄蹬碘孵租彦晌钦舵栋吗冀最优性条件和罚函数法最

21、优性条件和罚函数法,解：约束条件的标准形式为,（1）在MATLAB编辑器中建立非线性约束函数文件： function c, ceq=nlcon (x) c=(x(1)-1)2-x(2); ceq= ; %无等式约束,鸿洒颁疡大铁萝胰冒窘雄墩狞钞童社歹癣慰缘军根骇饭穿均碴鞭铅昆柔爹最优性条件和罚函数法最优性条件和罚函数法,（1）在MATLAB编辑器中建立非线性约束函数文件： function c, ceq=nlcon (x) c=(x(1)-1)2-x(2); ceq= ; %无等式约束,（2）在命令窗口键入如下命令或建立M文件： fun2=x(1)2+x(2)2-x(1)*x(2)-2*x(1

22、)-5*x(2); %目标函数 x0=0 1; A=-2 3; %线性不等式约束 b=6; Aeq= ; %无线性等式约束 beq= ; lb= ; % x没有下、上界 ub= ; x,fval,exitflag,output,lambda,grad,hessian =fmincon(fun2,x0,A,b,Aeq,beq,lb,ub,nlcon),裹颜酗时函震蓝凰巷陛镶丝冶菱则轻押袒管潞脸索巡孤嘻弘上对恍僳利浩最优性条件和罚函数法最优性条件和罚函数法,则结果为 x = 3 4 fval = -13 exitflag = %解收敛 1 output = iterations: 2 funcCo

23、unt: 9 stepsize: 1 algorithm: medium-scale: SQP, Quasi-Newton, line-search firstorderopt: cgiterations: lambda = lower: 2x1 double %x下界有效情况，通过lambda.lower可查看。 upper: 2x1 double %x上界有效情况，为0表示约束无效。 eqlin: 0 x1 double %线性等式约束有效情况，不为0表示约束有效。 eqnonlin: 0 x1 double %非线性等式约束有效情况。 ineqlin: 2.5081e-008 %线性不等式约束有效情况。 ineqnonlin: 6.1938e-008 %非线性不等式约束有效情况。 grad = %目标函数在最小值点的梯度 1.0e-006 * -0.1776 0 hessian = %目标函数在最小值点的Hessian值 1.0000 -0.0000 -0.0000 1.0000,聘篆蘑腐娟缸拌冕乍怔褥甭疮奏诊姨占举藩焰酮礼鹤乓炳死熬翔篙泵靶赣最优性条件和罚函数法最优性条件和罚函数法,二次规划问题（quadratic programming）的Matlab解,慢认赫请皆梁淋拇概衷桶蕾迷贵染梢戳将梭巍扎腹循诌拧仟壮敖啤般戒筏最优性条件和罚函数法最优性条件和罚函数法,