五种最优化方法

1、五种最优化方法1 .最优化方法概述1.1 最优化问题的分类1）无约束和有约束条件；2）确定性和随机性最优问题（变量是否确定）；3）线性优化与非线性优化（目标函数和约束条件是否线性）；4）静态规划和动态规划（解是否随时间变化）。1.2 最优化问题的一般形式（有约束条件）：minf(X)XwQhb(X)=0J=l2.Ls.tsJX)>OJ=12“.ru式中f（X）称为目标函数（或求它的极小，或求它的极大），si（X）称为不等式约束，hj（X）称为等式约束。化过程就是优选X,使目标函数达到最优值。2 .牛顿法2.1 简介1）解决的是无约束非线性规划问题：2）是求解函数极值的一种方法：3）是一种

2、函数逼近法。2.2 原理和步骤牛顿法的军本思想是，在极小点附近川一阶T,vlor多顶式近似目标函数；）,进而求出极小点的估计值.考虑问题73.1)miii/(j*).工WI鼠,甲-八工，界）+）J得到NQ的底点，记作广I则在点工八附近，/1因此可用函数/力的极小点作为目标函数八m的极小点的的计.如果是了上）的极小点的个估计，那么利卅9,3,21式可以得到极小点的个进步的估“.这拌*利用迭代公火（W3.力可以得到个序列可以证明，在定条件F，这个序列收敛于问题（9.3.1）的最优解,而且是2级收敛3 .最速下降法（梯度法）3.1 最速下降法简介1）解决的是无约束非线性规划问题；2）是求解函数极值的

3、一种方法：3）沿函数在该点处目标函数下降最快的方向作为搜索方向:3.2 最速下降法算法原理和步骤最速卜降法的迭代公式是(10,10)其中d是从小|出发的搜索方向,这里取在点处的最速王隆田也E|J九是从工强发沿方向一进行一维搜索的步长，即3满足（KUJI）f(.xk,+入城山)=min/(rcA)+),计算步骤如下:给定制苴/，允许误差e>0,置QL（2）计算搜索方向*1=$”，）.（3）若|E，则停止计算;否则，从上山出发，沿d进行一维搜索，求人，便W+W"min/"-'）,（4）令严力=置*=4+】，转步骤.4 .模式搜索法（步长加速法）4.1 简介1）解决

4、的是无约束非线性规划问题；2）不需要求目标函数的导数，所以在解决不可导的函数或者求导异常麻烦的函数的优化问题时非常有效。3）模式搜索法每一次迭代都是交替进行轴向移动和模式移动。轴向移动的目的是探测有利的下降方向，而模式移动的目的则是沿着有利方向加速移动。4.2 模式搜索法步骤模式搜索法二基本原理(A)轴向移动T用y表示 每次轴向移动的开始点称为参考点 %给定的初始点,1初/承孝/小+产？与.广第A+1次轴向移动结束时所得到的点，氏m鼻, 若覆,i)<f(4)，则从点与*出发作模式移动一轴向移动成功模式移动 否则，判断是否有&<e(£为给定的允许读着)？若有.迭代终

5、止；轴向移动失收：找到近似靛优解I若无，且勺*1=*，明端短步长.仍从点工出发进行下次抽向移动¥若无，且工卬羊马,则从点工*出发用步长团进行下一次柏陶移动模式搜索法基本原理(B)模式移动从点苞“出发的建式移动是指以1为步民海加速方向/K,N-力移动得到新的参考点y二工“1+6=2七*1-xtl然后，夙新的参考点产出发，仍以推为室长进行他向移动.5 .评价函数法5.1 简介评价函数法是求解多目标优化问题中的一种主要方法。在许多实际问题中，衡量一个方案的好坏标准往往不止一个，多目标最优化的数学描述如下：min(f_1(x),f_2(x),.,f_k(x)s.t.g(x)<=0传统的

6、多目标优化方法本质是将多目标优化中的各分目标函数，经处理或数学变换，转变成一个单目标函数、然后采用单目标优化技术求解。常用的方法有“线性加权和法”、“极大极小法”、“理想点法”选取其中一种线性加权求合法介绍。5.2 线性加权求合法对多目标规划问题中的P个目标按其重要程度给以适当的权系数码之0,k12,P，且£外二】，然后用1可刈二£”（*）作为新的目标函数，成为评价目标）百函数,再求解问题min二£生工（翼）J=1st-得最优解/叫取/二工作为多目标规划问题的解一6 .遗传算法智能优化方法是通过计算机学习和存贮大量的输入-输出模式映射关系，进而达到优化的一种方法，

7、主要有人工神经网络法，遗传算法和模拟退火法等。6.1 遗传算法基本概念1 .个体与种群个体就是模拟生物个体而对问题中的对象（一般就是问题的解）的一种称呼,种群就是模拟生物种群而由若干个体组成的群体，它一般是整个搜索空间的一个很小的子集。2 .适应度与适应度函数适应度就是借鉴生物个体对环境的适应程度，而对问题中的个体对象所设计的表征其优劣的一种测度。适应度函数就是问题中的全体个体与其适应度之间的一个对应关系。该函数就是遗传算法中指导搜索的评价函数3 .2遗传算法基本流程遗传算法的中心思想就是对一定数量个体组成的生物种群进行选择、交叉、变异等遗传操作，最终求得最优解或近似最优解。遗传算法步骤步1在搜索空间U上定义一个适应度函数f(x),给定种群规模N,交叉率Pc和变异率Pm代数T；步2随机产生U中的N个个体s1,s2,sN、组成