零阶优化和一阶优化算法

零阶优化和一阶优化算法零阶优化方法和一阶优化方法通过对目标函数逼近或对目标函数加罚函数的方法将约束的优化问题转换为非约束的优化问题。两种算法的主要区别在于：零阶算法不利用一阶导数信息，一阶算法利用一阶导数信息；因此，一阶算法迭代一次所需要的时间大于零阶算法。1零阶优化算法零阶算法是在一定次数的抽样基础上,拟合设计变量、状态变量和目标函数的响应函数,从而寻求最优解,顾又可称其为子问题方法。函数曲线(或曲面)的形式可采用线性拟合、平方拟合或平方加交叉项拟合。若采用平方拟合,则目标函数的拟合公式为:TOC\o"1-5"\h\z(=g+Ed；+XE右产码 (】丿i i/对于设计变量和状态变量的约束条件，可采用罚函数将其转化为无约束方程,如式(2),从而将带有约束的优化问题转化成无约束的最小值求解问题。Fg⑷丿二Fg⑷丿二mD(xi)+ 丿+J=I用2 用3\o"CurrentDocument"立況丿+£礦甌丿丿 (2)i=I i=I上式中,xi为设计变量,g\h\wAi为状态变量XG、H、W为对应的罚函数，其形式如式(3)所示。f0为目标函数的参考值,pk为响应面参数。当设计变量(或状态变量)接近限值时,其罚函数值将急剧增加,如图1所示。A7a.j='A7a.j='r,+ '-\；)■门+r4/f“-J丿若Xi<xu-Efx1-x)若x^xu-Efx1-x1式中：£出一计变量的上下限;C|、心条故：转化为无约束问题后,即可采用序惯无约束极小化方法(SUMT)来搜索无约束目标函数。2一阶优化算法一阶方法在优化过程中需要使用状态变量和目标函数对于设计变量的偏导数,因此被称为一阶方法。采用与零阶算法类似的方式,可将约束条件转化为罚函数，并将无约束目标函数分作目标函数和惩罚函数两部分，如式(5)所示。TOC\o"1-5"\h\z0怎= +q) (5)式仏Q対无约束H标函址_ 巾i_@3⑴=1＞小,丿+血另耳任丿+f=I J=I用2 川j另几仇丿+mg)i (6)J=I J=I对于第i步优化迭代，引入优化搜索方向d(j),则下一步的设计变量值变为:式中：sj为线搜索参数，对应于搜索方向d(j)上的最小步进值,它使用黄金分割比和局部的平方拟合技术来得到，其范围限制由式(8)给出:式中：sj为最大可用步进值，而smax是设置的步进缩放尺寸,smax^(O,100］。根据式(5),搜索方向dj可分为如式(9)所示的两部分,这两部分均可由Polak-Ribiere递推式［9］确定：r/'= +d；<10；(11丿4=- "%描'<10；(11丿4=-汕©3丿节；, 」£0fd)-0。心i』V。IJ— IV(；(xh1)I-而梯度向暈PQ仗)可由下式得到.・H3JW)皿H严型1式中.・芒为单位矢暈，在i位置为1在其它位置为H3J3二琵(V-＜丿,差分的步进大小■参考文献：TuW,MayneRW.Anapproachtomulti-startclusteringforglobaloptimizationwithnon-linearconstraints[J].InternationalJournalforNumericalMethodsinEngineering,2002,53：2253~2269.MontgomeryDC.Designandanalysisofexperiments[M].NewYork：JohnWiley&Sons,1991.ZhengQ,ZhuangDM.Integralglobaloptimization：Algorithms