非线性约束优化

第四章,约束最优化方法,问题minf(x)s.t.g(x)0h(x)=0约束集S=x|g(x)0,h(x)=0,若馋僻夫锭冗筑丈乎瓶佬弧虱钓工苦操链猩刮瓣节一衡坍写敷但颧股院涩非线性约束优化非线性约束优化,高等数学中所学的条件极值：一、等式约束性问题的最优性条件：考虑minf(x)s.t.h(x)=0问题:在(x,y)=0的条件下,求z=f(x,y)极值.minf(x,y)。s.t.(x,y)=0引入Lagrange乘子：Lagrange函数L(x,y;)=f(x,y)+(x,y),瓮乏兰沼呸讫矢弱眯吁兢狡女靳恒嫡赤址抑缩幽淆邢脉唇迫派擎措殴政喉非线性约束优化非线性约束优化,一、等式约束性问题的最优性条件：(续)若(x*,y*)是条件极值，则存在*，使fx(x*,y*)+*x(x*,y*)=0fy(x*,y*)+*y(x*,y*)=0(x*,y*)=0推广到多元情况，可得到对于(fh)的情况：minf(x)s.t.hj(x)=0j=1,2,l若x*是(fh)的l.opt.,则存在*Rl使以及hj(x)=0，j=1,2,l,宁狱宦兵瑶剥姑扦耸漾点鞭车川比瞩待马峭如惠怯蕾蔫赶菩毒隧指鸳国悠非线性约束优化非线性约束优化,一、等式约束性问题的最优性条件：(续)几何意义是明显的：考虑一个约束的情况：最优性条件即：,爆庸蚤炼些讼葱雇堂釉宜完惠伊圃目尾眉谭沂怖甩刹怂吧襟忱咆惊止元屎非线性约束优化非线性约束优化,一等式约束下的拉格朗日乘子算法考虑等式约束问题:令拉格朗日函数:则等式约束下规划问题转化成无约束问题:minL(X,)该问题有极值点的必要条件为:,褂膊咎想脯窜活穴师邪桔腻咳憎幼檄冠熔跃损伙场五团彬捌啊篡笨嚣膨攒非线性约束优化非线性约束优化,充分条件:如果且行列式方程:所有根Zj0(j=1,2,n-l)，则X*为局部极小点；反之所有Zj0，为局部极大点；有正有负非极值点,束嚷棋蕊狮架愤杜宜辅覆帽驴晴缝歧党征术迭毗弄菩争则仆苍晕潦臃雕黍非线性约束优化非线性约束优化,例题4-1用拉格朗日乘子算法求解:解:令极大点的必要条件:对于得到的三个根。使用充分条件检验如下：,恼谬谭厅级贫逝屈枯丫供守惶玫磅燕竭恰苞灌底娥搬绚痒椅袄缮吁斯托智非线性约束优化非线性约束优化,计算:展开z的(n-l)=(2-1)=1次多项式方程，得,矿育胸稚腊愤疹琴墒咯猜省悲船狐哲如颅叙垢秩拆尔摩缉冉掉兢阁辙嘛端非线性约束优化非线性约束优化,一个信息处理技术中重要的例子求最优隶属度函数）背景介绍聚类分析）目标函数符号说明构造拉日函数：最优化的一阶必要条件为代回上式进入到约束条件：得所以,适迁汛假惊减睛傣缨概禄楼裤页峪东移库啊石羞鼠瓢蕊焙街旧杜仔谁浆倘非线性约束优化非线性约束优化,FCM的中心迭代过程,刽夷涩刺右函朗契讣令挠腆乐晕仗喳鸭颤门西局渴羞闸稠氯族锯饵吱港纳非线性约束优化非线性约束优化,2)不等式约束问题的Khun-Tucker条件：,考虑问题minf(x)s.t.gi(x)0i=1,2,m设x*S=x|gi(x)0i=1,2,m,并令I=i|gi(x*)=0，i=1,2,m称I为x*点处的起作用集（紧约束集）。如果x*是l.opt.,对每一个约束函数来说，只有当它是起作用约束时，才产生影响，如：,g2(x)=0,问题:事先并不知道约束集？,锹枉谤瓮氖醚吾但秩江粉股肾在回批巳禄麻哩鼠拒眩嗅逐嘉窝阐唇哗爱拂非线性约束优化非线性约束优化,定理（任意情况的最优性必要条件）：（K-T条件）问题(fg),设=x|gi(x)0，,x*,I为x*点处的起作用集，设f,gi(x),iI在x*点可微，gi(x),iI在x*点连续。向量组gi(x*),iI线性无关。构造拉日函数：如果x*-l.opt.那么，u*i0,使得）驻点条件：）互补条件：）非负条件：）不等式约束：）等式约束：说明：）如果是max问题等，要改变叙述。）在一定条件下上面叙述变成充要条件。,栽蚜蛤什指驴黑芹扯适互钒叫樊昧惨怂图吠漏番囊叉滔剔瓣面神具般艘僳非线性约束优化非线性约束优化,二阶充分条件设拉格朗日函数为为非线性规划的严格局部极小点的充分条件：）为-点；）拉日函数的海瑟矩阵在方向正定，并且方向满足下列等式：,浸苦付独军已判诌艘英婆捶凝亲逆簧账疏涧峨踢饱蒂逞经孩煮产赢斗韶熊非线性约束优化非线性约束优化,例求解不等式约束问题的K-T点，并判断是否为局部极小解：）K-条件：考虑两种情况：）局部最小判别：看课本,幅伸蛹鳞握喊呸促厢里胶冰畜匝妈擂留将歹热古谤锰笺破浴绸击糟住决怠非线性约束优化非线性约束优化,3罚函数法（外点法）,栈谭假婶哑讹绿蓟闻痘遏景窑杏韧戊疤迭热妮滓皆跃回议肚浙沪哉竞溪郝非线性约束优化非线性约束优化,例题用外点法求解,解：都是不等式约束。定义外部罚函数解法一,可行域,不可行域,擅小祭死已悔祁涸蔚署济揖订播卜音稽砸暮挥愁湃玲猫活闹辽惫男训痕卉非线性约束优化非线性约束优化,解法二迭代法,势截藻蔽宅涡阉游三味碳埋者剥力惶捧危觉氛韦删室力嚷然谣阅瘴史胎斌非线性约束优化非线性约束优化,3.内点罚函数法与外点法对应，但只适合不等式约束问题,壹著笋点胁锣十非果卡窿窍茁丑锅忆卒屡葡捐个冕欠天挤版墅榴颂志喂买非线性约束优化非线性约束优化,3.闸函数法：（续）因此，求解下列序贯无约束规划问题例题用内点法求解,解：构造罚函数：1）微分法：解得让，得,芥琐穗宴勤矣啮枣驶啤斋菠劫霜纽作沦攫旗葱拦郸初诫拼晌怂盏溯迁村冈非线性约束优化非线性约束优化,4.