最优化知识点

1、遗传算法的优点：1. 与问题领域无关切快速随机的搜索能力。2. 搜索从群体出发，具有潜在的并行性，可以进行多个个体的同时比较，robust.3. 搜索使用评价函数启发，过程简单4. 使用概率机制进行迭代，具有随机性。5. 具有可扩展性，容易与其他算法结合。 遗传算法的缺点：1、遗传算法的编程实现比较复杂，首先需要对问题进行编码，找到最优解 之后还需要对冋题进行解码，2、 另外三个算子的实现也有许多参数，如交叉率和变异率，并且这些参数 的选择严重影响解的品质，而目前这些参数的选择大部分是依靠经验.3、没有能够及时利用网络的反馈信息，故算法的搜索速度比较慢，要得要较 精确的解需要较多的训练时间。4

2、、算法对初始种群的选择有一定的依赖性，能够结合一些启发算法进行改 进。5、算法的并行机制的潜在能力没有得到充分的利用，这也是当前遗传算法 的一个研究热点方向。一*梯度法（最速下降法）:1.搜焉方向：护=円心、,也称詞最速亍降方向：2搜索步长：族取最优步长,即满足f （斗“ +入黑护）=min f （算* +加* ） «二、梯度法算法步骤；71.给宝初她点J1 用爲允许逞差若> 0,令* = 1 a2,计算搜索方向沪二-V f（xk）;L3若|rf'|<,则停止计算，龙*为所求极值点：否则，求最优步长 心 使得f（xk +血卅）= min /（齐+加爼A乳令丁和=X

3、十Ak（lk，令衣:=k +1,转2。于是得到如下迭代公式x*+1 = x* -V2/)-1/),牛顿迭代公式记 dk =-v2/(x/f)rivf(x*),则产为线 jV2f(xk)d = -Vf(xk)J解.此时牛顿迭代公式可改写为xA+1 =xk+dk 用Newton法求解无约束问题算法(Newton法):Step 1.给定精度矶取初始点兀打置氐=1;Step!.如果阿(旳卜£,则算法停止，址为无约束否则，求解方程得解.Step 3.令严"+沪，m 返回 Step!,牛顿法具有局部收敛性和二次收敛速度， 对于凸二次函数，牛顿法 步即可达到最优解，具有二次终止性。缺点：

4、牛顿方向d不一定是下降方向；当初始点远离最优解时，牛顿法可能不收敛；海森阵及逆阵的计算量较大；算法（修正Newton法）：Stepl.给定精度e,取初始点疋，置农=1;Step 2,如果呼3）卜£,则算法停止，£为无约菜 否则，求解N曲伽/方程得解卅.Stepi. 一维搜索求解一维问题min（pa） = fxk +a（lk）得步长值a*.Step 4.令 x+1 =xk +akdk:=点 + 匕返回G印 2.精确一维搜索的优点：得到的是© （a）精确的极小点缺点：花费时间太多共轭梯度法:算法：FR共轨梯度法 Stepl.给定初始点乂蔦令A = l;Step 2.计

5、算Vf(xA),若|7/*(*)| =必则算法停止，*鑒卩为 无约束问题(W)的最优解；否则，进入下一步；Step 3,确定搜索方向.令其中，当k = l时灿t=0;当&A1吋代_ =Step 4.令兀e =+ akdk,其中步长叫V/(xA/<7AdkTGdkStep 5.置 :=+ 1,返回 Step 2,下面给出不使用“重新开始”策略的用于一般函数的M共扼梯度法：算法：StepV给定初始点十，允许误差f >0. UStep 2.计算WC/),若|W(卅)|<6则算法停止，卅即为无约束问题的最优解；否则，进入下一步；确定搜索方向.令I心-町(心讥宀2头中，当* = 1时=0;当氐>1时0-=严(*) I"(严)|$切4.作一维搜索确定步长还:min 0(a) = /(x* 4-«rf*),Step 5.令= xk + 业护，止:=氐 +1,返回 Step 2.方 性、法质、牛顿法DFP （拟牛顿法）共轭梯度法（重置初值）二次终止 性质一步终止（几二1 ）n步（精确一维搜索 ） 终止n步（精确一维搜索 ） 终止收敛作C且有界 凸，X0充分接近x*,hk三1fC在L（xo）上有界 凸，L（x 0）有界（精确一维搜索）代C在L（xo）上有界凸，L（xo）有界（精确一维搜索）局部 收敛性同上 二阶收敛同上，且V