规划模型专题二非线性规划

规划模型专题二非线性规划第一页，共六十页，编辑于2023年，星期五第一部分非线性规划前面有老师介绍了线性规划问题，典型的问题“下料问题”、“运输问题”等，这些问题都比较简单。但实际中的问题不仅仅是简单的线性规划问题，可能是比较繁杂的非线性规划问题。下面我们从一个竞赛题目出发，以理解非线性规划的定义、建模过程及其求解过程。第二页，共六十页，编辑于2023年，星期五在约1万米的高空的某边长为160km的正方形区域内，经常有若干架飞机作水平飞行，区域内每架飞机的位置和速度向量均由计算机记录其数据，以便进行飞行管理。当一架欲进入该区域的飞机到达区域边缘时，计算机记录其数据后，要立即计算并判断是否会发生碰撞。若会发生碰撞，则应计算如何调整各架飞机（包括新进入的飞机）飞行的方向角，以避免碰撞，且使飞机的调整的幅度尽量小，例11995年全国数学建模A题：飞行管理问题一、例题讲解第三页，共六十页，编辑于2023年，星期五该题比较有意思的一句话是：“使调整弧度最小”开放性的一句话，没有限制得很死，较灵活，给参赛者的创新空间比较大一些，使得构建模型的目标函数表现形式很多，再加上模型求解方法（算法）的多样性，从而可以呈现出五花八门的论文。第四页，共六十页，编辑于2023年，星期五不碰撞的标准为任意两架飞机的距离大于8km;假设条件：飞机飞行的方向角调整幅度不应超过；（因飞机飞行的速度变化不大）所有飞机的飞行速度v均为800km/h;有时需要通过查阅文献、资料给出合理假设注：第五页，共六十页，编辑于2023年，星期五进入该区域的飞机在到达区域边缘时，与区域内飞机的距离应在60km以上；最多需考虑六架飞机；不必考虑飞机离开此区域后的状况。根据当年竞赛题目给出的数据，可以验证新进入的飞机与区域内的飞机的距离超过60公里。根据当年竞赛题目给出的数据，可以验证区域内的飞机不超过架(包括新进入的)。第六页，共六十页，编辑于2023年，星期五个人的想法不同，队友之间争执不下的情况下，若时间允许，都可一一写到论文中去，建立的模型一、模型二……；或者经讨论后，选择一个认为更合理的。费时较多的是计算（那时侯是自己编程解NLP）现在看来，无论是构建模型，还是计算，都不太难。本例题未给出数据，将重点放在如何构建模型上第七页，共六十页，编辑于2023年，星期五解：(1)不考虑飞机的尺寸，用点代表飞机；(2)已在区域内的5架飞机按给定的方向角作直线飞行，则必不会碰撞，也不会发生意外；(应该根据题目中所给出的数据简单的验证一下)(3)飞机调整方向角的过程可在瞬间完成,(不计调整方向所花费的时间)。为解决该问题，补充假设：第八页，共六十页，编辑于2023年，星期五变量、参数的符号假设（为了建模）在区域内飞行飞时间（可以根据数据算出来）第九页，共六十页，编辑于2023年，星期五说明：用初等数学的知识即可完成，思考：在哪个时间段某两架飞机可能相撞？Infact,我们只需考虑两架飞机同时在区域内飞行时的情况，也就是说，才是同在区域内的状况。记为第十页，共六十页，编辑于2023年，星期五根据题目条件，需计算第架飞机之间的最短距离第十一页，共六十页，编辑于2023年，星期五为此，我们可以给出原问题的模型如下：思考：是否还有其他的表达形式？非线性规划模型分别从目标函数和约束条件角度思考第十二页，共六十页，编辑于2023年，星期五首先思考一下目标函数是否有其它的表达？同学们首先想到的可能是Oh,Sorry!有正有负抵消第十三页，共六十页，编辑于2023年，星期五最小一乘法最小二乘法因最小一乘法带绝对值，不好计算，以上两式，比较而言，后者较好。为了避免抵消or第十四页，共六十页，编辑于2023年，星期五有的队员这样考虑：令为,转化为二次规划用到经验模型中确定参数的近似准则:就所有飞机而言，让调整弧度最大的即尽可能小，Chebshavf准则第十五页，共六十页，编辑于2023年，星期五全国数学建模竞赛开展之初,竞赛题大多是优化类型的题目,那时的计算机性能没有现在好,速度也没有现在快,因此在模型的计算方面花的培训时间比较多。虽然目前可供选择的软件比较多，但是必要的优化知识是必须掌握的。第十六页，共六十页，编辑于2023年，星期五其次讨论一下约束条件是否有其它表达？若考虑区域内不发生碰撞(若时间允许，也可以考虑出了区域的情况，另外建模)、错层飞行(飞高或者飞低避免碰撞)，进行模型的进一步改进，重点应放在解决问题的方法上。第十七页，共六十页，编辑于2023年，星期五第十八页，共六十页，编辑于2023年，星期五无论选择哪一种表达，怎样考虑约束条件，目标函数都不可能是线性的。现在看来，那年的题目建模不难，只是在条件的考虑上和建模中目标函数的表达方面较难一点。但在当时不然。是一个带不等式约束的非线性规划问题。而且不可能转化成线性的形式。第十九页，共六十页，编辑于2023年，星期五

若目标函数或约束条件中含有非线性函数，则称这种模型问题为非线性规划（Non-LinearProg-ramming），简记为NLP。NLP的一般形式其中，中至少有一个是非线性函数。第二十页，共六十页，编辑于2023年，星期五

无约束极值问题是NLP的一种特殊形式如数据拟合的最小二乘问题就是一个无约束极值问题。其思想是：观察点（实验数据点）到曲线的距离的平方之和最小二、无约束极值问题第二十一页，共六十页，编辑于2023年，星期五理论上无约束极值问题可化成求解即解一个n元方程组，且往往是非线性方程组。而一般说来，非线性方程组的求解并不比求无约束极值容易。第二十二页，共六十页，编辑于2023年，星期五求解无约束极值问题的基本方法：迭代法从一个给定的初始可行点出发，依次产生一个可行点列的一个极小值点,恰好是使得某个基本思路：或收敛于,称具有这种性质的算法是收敛的.第二十三页，共六十页，编辑于2023年，星期五由迭代到时,记即其中向量为搜索方向,实数称为步长,确定以后,由可唯一地确定从出发就可确定点列第二十四页，共六十页，编辑于2023年，星期五迭代的方法很多,各种迭代法的区别在于选取的方式不同,而尤为关键.一般要求递减,具有这种性质的算法叫做下降算法.下面介绍的迭代法均为下降算法第二十五页，共六十页，编辑于2023年，星期五若已得下降得最多,并确定了的可行下降方向上选取步长则在射线使且使即求求的过程称为一维搜索.1.下降算法第二十六页，共六十页，编辑于2023年，星期五于是一维搜索归结为求解一维无约束极值问题:其算法有Newton法、平分法、黄金分割法（0.618法）、分数法（Fibonacci法）、抛物线法（二次插值法）等，前两种算法需计算的导数，后三种算法只需计算的函数值。下面仅介绍Newton法，对其他方法的了解可参考有关书籍。第二十七页，共六十页，编辑于2023年，星期五按给定初始可行点和控制误差，迭代格式迭代，当时，即求得的最优解的近似解停止计算。Newton法介绍第二十八页，共六十页，编辑于2023年，星期五

♂一个好的算法必须以较快的速度收敛到最优解。设算法产生的点列收敛于最优解若存在及使则称为p阶收敛的。该算法也是p阶收敛的。第二十九页，共六十页，编辑于2023年，星期五称为线性收敛；当且时，称为超线性收敛；当时，称为平方收敛；当时，第三十页，共六十页，编辑于2023年，星期五一个算法是否收敛，往往与的选取有关①若当充分接近时，由算法产生的点列才收敛于则称该算法为具有局部收敛性的算法；②若对则称该算法为具有全局收敛性的算法。由算法产生的点列均收敛于第三十一页，共六十页，编辑于2023年，星期五Newton法是平方收敛的，具有局部收敛性；抛物线法是超线性收敛的，具有全局收敛性；平分法、黄金分割法、分数法是线性收敛的，具有全局收敛性。常见一维搜索算法的收敛性第三十二页，共六十页，编辑于2023年，星期五当具有多个极小值点时，则算法求得的往往是的一个局部极小值点。此时可改变的取值，重新迭代求解。若求得多个极小值点，则从中选择一个较满意的结果。

♂说明：第三十三页，共六十页，编辑于2023年，星期五在多数情况下，一维搜索的一个基本工具，而此时一维搜索的精度并不要求很高，故一维搜索实现的方便性更重要些。第三十四页，共六十页，编辑于2023年，星期五1847年Cauchy提出了第一个无约束极值问题的算法——梯度法或最速下降法：其中给定初始点和控制误差求当时，即得的最优解的近似解停止计算。2.梯度法第三十五页，共六十页，编辑于2023年，星期五该算法具有全局收敛性，是线性收敛的，但有时是很慢的线性收敛，这似乎与“最速下降”矛盾。其实不然，最速下降方向函数在某点处的局部性质，对局部来说是最速下降方向，对全局来说却不一定是最速下降方向，故梯度法不是有效的实用算法。通过对它改进或利用它与其他收敛快的算法相结合可得Newton法、Fletcher-Reeves共轭梯度法、变尺度法和Powell法等有效算法。第三十六页，共六十页，编辑于2023年，星期五下面仅介绍前两者，对后两者的了解可参阅有关书籍。当时，则。其中称为在处的Hesse矩阵。①Newton法第三十七页，共六十页，编辑于2023年，星期五该算法是平方收敛的，具有局部收敛性。对Newton法进行改进，可得具有超线性收敛的且具有全局收敛性的阻尼Newton法或修正Newton法：当时，有。第三十八页，共六十页，编辑于2023年，星期五②Fletcher-Reeves共轭梯度法当时，有。该算法的收敛速度介于梯度法和Newton法其中之间，既克服了前者的慢收敛性，又避免了后者计算量大和仅具有局部收敛性的缺陷。第三十九页，共六十页，编辑于2023年，星期五求解无约束极值问题的算法非常多，不同算法的效果和实际效率也可能与所求解的问题有关，软件包中往往提供了多种算法。后面将有教练专讲如何使用软件包求解非线性规划问题。第四十页，共六十页，编辑于2023年，星期五求解一般的NLP比求解的无约束极值问题和LP都要复杂，虽然目前已发展了许多NLP的算法，但不象LP那样有通用的单纯形法，而是各种算法都有特定的使用范围。即便如此，NLP的实际应用还是相当广泛的。三、有约束极值问题第四十一页，共六十页，编辑于2023年，星期五首先回顾“NLP的一般形式”其中，中至少有一个是非线性函数。第四十二页，共六十页，编辑于2023年，星期五由于无约束极值问题的求解目前已有许多有效的算法，因此很自然想到把它们推广到有约束的NLP，但存在不少困难，特别是对于非线性约束，困难更大。（一）罚函数法一种可行的方法是根据约束问题的求解，构造某种“惩罚”函数，把它加到目标函数中去，将约束问题的求解转化为一系列无约束问题的求解。在无约束问题处，“惩罚”项必须趋于0，而约束条件要近似地满足。第四十三页，共六十页，编辑于2023年，星期五外罚函数法令通常取称之为罚函数，则约束问题转化为无约束问题其中M>0为罚因子.显然,符合上述惩罚策略,即第四十四页，共六十页，编辑于2023年，星期五当为可行解时,不受“惩罚”;当为非可行解时,M越大,“惩罚”越重.因此,当M充分大时,要使极小,则应充分小,从而的极小值点充分逼近可行域,的最优解逼近的最优解.第四十五页，共六十页，编辑于2023年，星期五给定(可为非可行解点),可以取小一些初始惩罚因子(如取),迭代过程中M不断增加,放大系数c>1(可取c

=10).令k=0,以为初始点求得最优解若则;否则,令以为初始点求该算法所得是从可行域外部故又称为外罚函数法或外点法.趋于第四十六页，共六十页，编辑于2023年，星期五说明外罚函数的构造形式有多种,迭代格式也有多种,目前有不少专家在做这方面的工作;对于最优解靠近边界的情况不太好;对保证在可行域内迭代很有效.第四十七页，共六十页，编辑于2023年，星期五而只是近似满足约束，这是某些实际问题不能“挡”在可行域内了.这种方法称为内罚函数法或外点法的每个迭代点往往不是可行解,接受的.为使迭代点总是可行解,在可行域的

边界筑起一道“墙”，当迭代点靠近边界时，目标

函数值陡然增大，以示惩罚，于是迭代点就被内点法.只适用于不等式约束问题2.内罚函数法第四十八页，共六十页，编辑于2023年，星期五当从可行域内部趋于边界时,至少有某个内罚函数：趋于0,无限增大.于是所求解的有约束问题转化为求解如下的无约束问题其中r>0为罚因子.可实现上述“惩罚”第四十九页，共六十页，编辑于2023年，星期五而r

很小,几乎不受惩罚;策略，即无限增大，当为可行域的内点时，为有限正数，施以重罚,迫使迭代点落在可行域内，的最优解.当接近可行域的边界时，最终逼近第五十页，共六十页，编辑于2023年，星期五给定初始可行点,初始惩罚因子(可取),缩小系数0<c<1令k=0,以为初始点求得最优解.若则;否则,令以为初始点求(可取c

=0.1).缩小到原来的1/10控制在误差范围之内，从而使得之间的误差也在控制范围内第五十一页，共六十页，编辑于2023年，星期五困难的。因此可将内点法和外点法结合起来使用，外点法，内点法，即令内点法要求为可行域的内点,有时这是很得到所谓的混合罚函数法。

那些不等式约束用3.混合罚函数法当给定后，对等式约束和不被满足的

而对被满足的那些不等式约束用第五十二页，共六十页，编辑于2023年，星期五为简便起见，取平方其中r充分小，1/r充分大，这样少用一个参数第五十三页，共六十页，编辑于2023年，星期五罚函数法中的罚因子的选取对方法的收敛快慢有较大影响，尤其是当M不断增大和r不断减少时，越来越“病态”，使得求解无约束问题很困难。为此，人们提出了许多改进的方法，其中最有效的是“乘子法”。需要详细了解时参阅相关书籍。4.其他方法第五十四页，共六十页，编辑于2023年，星期五罚函数法要用到目标函数和约束函数的偏导数，而某些实际问题中出现的函数很复杂，甚至难以解析表达，无法求得函数的偏导数，此时常用直接法(主要跟函数的函数值打交道)。这一类方法一般算法简单，直观性强，对函数无特殊要求，但计算量随维数和约束条件数的增加而成指数增大，故对维数