零阶优化和一阶优化算法

1、零阶优化和一阶优化算法零阶优化方法和一阶优化方法通过对目标函数逼近或对目标函数加罚函数 的方法将约束的优化问题转换为非约束的优化问题。两种算法的主要区别在于： 零阶算法不利用一阶导数信息，一阶算法利用一阶导数信息；因此，一阶算法迭 代一次所需要的时间大于零阶算法。1零阶优化算法零阶算法是在一定次数的抽样基础上，拟合设计变量、状态变量和目标函数 的响应函数，从而寻求最优解，顾又可称其为子问题方法。函数曲线 (或曲面)的形 式可采用线性拟合、平方拟合或平方加交叉项拟合。若采用平方拟合 ，则目标函 数的拟合公式为：f -即 + X%第 + Z S( 1/ ii j对于设计变量和状态变量的约束条件，可

2、采用罚函数将其转化为无约束方程I 如式(2),从而将带有约束的优化问题转化成无约束的最小值求解问题。JM )JH1 J$ pk) = / + /j/>i f Xx (xj +Ii- Bm 23上式中,xi为设计变量，gAi、h。、wAi为状态变量,X、G、H、W为对应的罚函 数，其形式如式(3)所示。f0为目标函数的参考值，pk为响应面参数。当设计变量(或 状态变量)接近限值时，其罚函数值将急剧增加，如图1所示。若%之/一 Ef f式中:X1 加设计变量的上下限;系数；卜及小的正数:辑胤 tm图1变量接近上限时的罚函数取值(SUMT)来搜索无约转化为无约束问题后，即可采用序惯无约束极小化

3、方法 束目标函数。2 一阶优化算法一阶方法在优化过程中需要使用状态变量和目标函数对于设计变量的偏导 数用此被称为一阶方法。采用与零阶算法类似的方式，可将约束条件转化为罚函 数，并将无约束目标函数分作目标函数和惩罚函数两部分 ，如式(5)所示。Q (x, q ) = Qf(x ) +。"芭(I)( 5)式中；Q为无约束H标函数；Q/(x)=/笈N IQ"耳=£匕(工力+ <( X%旧)+7二IX Im 2触j+ £p*，*)j(6)H II对于第i步优化迭代，引入优化搜索方向d(j),则下一步的设计变量值变为式中：sj为线搜索参数，对应于搜索方向d(

4、j)上的最小步进值，它使用黄金分 割比和局部的平方拟合技术来得到，具范围限制由式(8)给出：OW Sj 三5g /100 * *f 8 j式中：sj为最大可用步进值，而smax是设置的步进缩放尺寸,smaxC (0, 100。 根据式(5),搜索方向dj可分为如式(9)所示的两部分，这两部分均可由Polak-Ribiere 递推式9确定：(9)(10)(11)(12)( 3)渣=力十4力二-qQN)+离'4 = - q M + a d ；_ J f t'J 一 RO人一 j / V? f i vq) r而梯度向量v()而)可由F式得到：Q小尸 ；式中：产为单位矢卷在i位置为L在

5、其它位置为Qg一*"差分的步进大小*参考文献：1Tu W,Mayne R W.An approach to multi-start clustering for global optimization with non-linear constraintsJ.International Journal for Numerical Methods in Engineering,2002,53:22532269.2Montgomery D C.Design and analysis of experiments M.New York:John Wiley&Sons,1991.3Zheng Q,Zhuang D M.Integral global optimization:Algorithms,