数学建模之整数规划.doc

第二章 整数规划1 概论1.1 定义规划中的变量（部分或全部）限制为整数时，称为整数规划。若在线性规划模型中，变量限制为整数，则称为整数线性规划。目前所流行的求解整数规划的方法，往往只适用于整数线性规划。目前还没有一种方法能有效地求解一切整数规划。1.2 整数规划的分类如不加特殊说明，一般指整数线性规划。对于整数线性规划模型大致可分为两类：1o 变量全限制为整数时，称纯（完全）整数规划。2o 变量部分限制为整数的，称混合整数规划。1.2 整数规划特点（i） 原线性规划有最优解，当自变量限制为整数后，其整数规划解出现下述情况：原线性规划最优解全是整数，则整数规划最优解与线性规划最优解一致。整数规划无可行解。例1 原线性规划为 其最优实数解为：。有可行解（当然就存在最优解），但最优解值变差。例2 原线性规划为 其最优实数解为：。若限制整数得：。（ii） 整数规划最优解不能按照实数最优解简单取整而获得。1.3 求解方法分类：（i）分枝定界法可求纯或混合整数线性规划。（ii）割平面法可求纯或混合整数线性规划。（iii）隐枚举法求解“0-1”整数规划： 过滤隐枚举法； 分枝隐枚举法。（iv）匈牙利法解决指派问题（“0-1”规划特殊情形）。（v）蒙特卡洛法求解各种类型规划。下面将简要介绍常用的几种求解整数规划的方法。2 分枝定界法对有约束条件的最优化问题（其可行解为有限数）的所有可行解空间恰当地进行系统搜索，这就是分枝与定界内容。通常，把全部可行解空间反复地分割为越来越小的子集，称为分枝；并且对每个子集内的解集计算一个目标下界（对于最小值问题），这称为定界。在每次分枝后，凡是界限超出已知可行解集目标值的那些子集不再进一步分枝，这样，许多子集可不予考虑，这称剪枝。这就是分枝定界法的主要思路。分枝定界法可用于解纯整数或混合的整数规划问题。在本世纪六十年代初由Land Doig和Dakin等人提出的。由于这方法灵活且便于用计算机求解，所以现在它已是解整数规划的重要方法。目前已成功地应用于求解生产进度问题、旅行推销员问题、工厂选址问题、背包问题及分配问题等。设有最大化的整数规划问题，与它相应的线性规划为问题，从解问题开始，若其最优解不符合的整数条件，那么的最优目标函数必是的最优目标函数的上界，记作；而的任意可行解的目标函数值将是的一个下界。分枝定界法就是将的可行域分成子区域的方法。逐步减小和增大，最终求到。现用下例来说明：例3 求解下述整数规划 解 （i）先不考虑整数限制，即解相应的线性规划，得最优解为：可见它不符合整数条件。这时是问题的最优目标函数值的上界，记作。而显然是问题的一个整数可行解，这时，是的一个下界，记作，即。（ii）因为当前均为非整数，故不满足整数要求，任选一个进行分枝。设选进行分枝，把可行集分成2个子集：，因为4与5之间无整数，故这两个子集的整数解必与原可行集合整数解一致。这一步称为分枝。这两个子集的规划及求解如下：问题： 最优解为：。问题： 最优解为：。再定界：。（iii）对问题再进行分枝得问题和，它们的最优解为再定界：，并将剪枝。（iv）对问题再进行分枝得问题和，它们的最优解为无可行解。将剪枝。于是可以断定原问题的最优解为：从以上解题过程可得用分枝定界法求解整数规划（最大化）问题的步骤为：开始，将要求解的整数规划问题称为问题，将与它相应的线性规划问题称为问题。（i）解问题可能得到以下情况之一： （a）没有可行解，这时也没有可行解，则停止 （b）有最优解，并符合问题的整数条件，的最优解即为的最优解，则停止。 （c）有最优解，但不符合问题的整数条件，记它的目标函数值为。（ii）用观察法找问题的一个整数可行解，一般可取，试探，求得其目标函数值，并记作。以表示问题的最优目标函数值；这时有 进行迭代。第一步：分枝，在的最优解中任选一个不符合整数条件的变量，其值为，以表示小于的最大整数。构造两个约束条件 和 将这两个约束条件，分别加入问题，求两个后继规划问题和。不考虑整数条件求解这两个后继问题。 定界，以每个后继问题为一分枝标明求解的结果，与其它问题的解的结果中，找出最优目标函数值最大者作为新的上界。从已符合整数条件的各分支中，找出目标函数值为最大者作为新的下界，若无作用不变。第二步：比较与剪枝，各分枝的最优目标函数中若有小于者，则剪掉这枝，即以后不再考虑了。若大于，且不符合整数条件，则重复第一步骤。一直到最后得到为止。得最优整数解。3 型整数规划型整数规划是整数规划中的特殊情形，它的变量仅取值0或1。这时称为变量，或称二进制变量。仅取值0或1这个条件可由下述约束条件： ，整数所代替，是和一般整数规划的约束条件形式一致的。在实际问题中，如果引入 变量，就可以把有各种情况需要分别讨论的线性规划问题统一在一个问题中讨论了。我们先介绍引入变量的实际问题，再研究解法。3.1 引入变量的实际问题 3.1.1 投资场所的选定相互排斥的计划 例4 某公司拟在市东、西、南三区建立门市部。拟议中有7个位置（点）可供选择。规定 在东区。由三个点中至多选两个； 在西区。由两个点中至少选一个；在南区，由两个点中至少选一个。 如选用点，设备投资估计为元，每年可获利润估计为元，但投资总额不能超过元。问应选择哪几个点可使年利润为最大？解题时先引入变量令 .于是问题可列写成： 3.1.2 相互排斥的约束条件有两个相互排斥的约束条件 或 。为了统一在一个问题中，引入变量，则上述约束条件可改写为： 其中是充分大的数。约束条件 或 可改写为如果有个互相排斥的约束条件：为了保证这个约束条件只有一个起作用，我们引入个变量和一个充分大的常数，而下面这一组个约束条件 （1） （2）就合于上述的要求。这是因为，由于（2），个中只有一个能取0值，设，代入（1），就只有的约束条件起作用，而别的式子都是多余的。3.1.3 关于固定费用的问题（Fixed Cost Problem）在讨论线性规划时，有些问题是要求使成本为最小。那时总设固定成本为常数，并在线性规划的模型中不必明显列出。但有些固定费用（固定成本）的问题不能用一般线性规划来描述，但可改变为混合整数规划来解决，见下例。例5 某工厂为了生产某种产品，有几种不同的生产方式可供选择，如选定的生产方式投资高（选购自动化程度高的设备），由于产量大，因而分配到每件产品的变动成本就降低；反之，如选定的生产方式投资低，将来分配到每件产品的变动成本可能增加。所以必须全面考虑。今设有三种方式可供选择，令表示采用第种方式时的产量；表示采用第种方式时每件产品的变动成本；表示采用第种方式时的固定成本。为了说明成本的特点，暂不考虑其它约束条件。采用各种生产方式的总成本分别为 . 在构成目标函数时，为了统一在一个问题中讨论，现引入变量，令 （3）于是目标函数 （3）式这个规定可表为下述3个线性约束条件： （4）其中是一个充分小的正常数，是个充分大的正常数。（4）式说明，当时必须为1；当时只有为0时才有意义，所以（4）式完全可以代替（3）式。3.2 型整数规划解法之一（过滤隐枚举法）解型整数规划最容易想到的方法，和一般整数规划的情形一样，就是穷举法，即检查变量取值为0或1的每一种组合，比较目标函数值以求得最优解，这就需要检查变量取值的个组合。对于变量个数较大（例如），这几乎是不可能的。因此常设计一些方法，只检查变量取值的组合的一部分，就能求到问题的最优解。这样的方法称为隐枚举法（Implicit Enumeration），分枝定界法也是一种隐枚举法。当然，对有些问题隐枚举法并不适用，所以有时穷举法还是必要的。下面举例说明一种解型整数规划的隐枚举法。 例6 求解思路及改进措施：（i） 先试探性求一个可行解，易看出满足约束条件，故为一个可行解，且。（ii） 因为是求极大值问题，故求最优解时，凡是目标值的解不必检验是否满足约束条件即可删除，因它肯定不是最优解，于是应增加一个约束条件（目标值下界）：（iii） 改进过滤条件。（iv） 由于对每个组合首先计算目标值以验证过滤条件，故应优先计算目标值大的组合，这样可提前抬高过滤门槛，以减少计算量。4 蒙特卡洛法（随机取样法）前面介绍的常用的整数规划求解方法，主要是针对线性整数规划而言，而对于非线性整数规划目前尚未有一种成熟而准确的求解方法，因为非线性规划本身的通用有效解法尚未找到，更何况是非线性整数规划。然而，尽管整数规划由于限制变量为整数而增加了难度；然而又由于整数解是有限个，于是为枚举法提供了方便。当然，当自变量维数很大和取值范围很宽情况下，企图用显枚举法（即穷举法）计算出最优值是不现实的，但是应用概率理论可以证明，在一定的计算量的情况下，完全可以得出一个满意解。例7 已知非线性整数规划为：对该题，目前尚无有效方法求出准确解。如果用显枚举法试探，共需计算个点，其计算量非常之大。然而应用蒙特卡洛去随机计算个点，便可找到满意解，那么这种方法的可信度究竟怎样呢？下面就分析随机取样采集个点计算时，应用概率理论来估计一下可信度。不失一般性，假定一个整数规划的最优点不是孤立的奇点。假设目标函数落在高值区的概率分别为0.01，0.00001，则当计算个点后，有任一个点能落在高值区的概率分别为，。解 （i）首先编写M文件mente.m定义目标函数f 和约束向量函数g，程序如下：function f,g=mengte(x);f=x(1)2+x(2)2+3*x(3)2+4*x(4)2+2*x(5)-8*x(1)-2*x(2)-3*x(3). -x(4)-2*x(5);g(1)=sum(x)-400;g(2)=x(1)+2*x(2)+2*x(3)+x(4)+6*x(5)-800;g(3)=2*x(1)+x(2)+6*x(3)-200;g(4)=x(3)+x(4)+5*x(5)-200;（ii）编写如下程序求问题的解：rand(state,sum(clock);p0=0;ticfor i=1:105 x=99*rand(5,1);x1=floor(x);x2=ceil(x);f,g=mengte(x1);if sum(g=0)=4 if p0=f x0=x1;p0=f; endendf,g=mengte(x2);if sum(g=0)=4 if p00.000001 p=-g/norm(g); t=1.0;f=detaf(x+t*p); while ff0 t=t/2;f=detaf(x+t*p); endx=x+t*pf0,g=detaf(x)end2.3.1.2 Newton法考虑目标函数在点处的二次逼近式假定Hesse阵正定。由于正定，函数的驻点是的极小点。为求此极小点，令，即可解得.对照基本迭代格式（1），可知从点出发沿搜索方向。 并取步长即可得的最小点。通常，把方向叫做从点出发的Newton方向。从一初始点开始，每一轮从当前迭代点出发，沿Newton方向并取步长为1的求解方法，称之为Newton法。其具体步骤如下：1选取初始数据。选取初始点，给定终止误差，令。2求梯度向量。计算，若，停止迭代，输出。否则，进行3。3构造Newton方向。计算，取 .4 求下一迭代点。令，转2。例5 用Newton法求解， 选取。解：（i）编写M文件nwfun.m如下：function f,df,d2f=nwfun(x);f=x(1)4+25*x(2)4+x(1)2*x(2)2;df=4*x(1)3+2*x(1)*x(2)2;100*x(2)3+2*x(1)2*x(2);d2f=2*x(1)2+2*x(2)2,4*x(1)*x(2) 4*x(1)*x(2),300*x(2)2+4*x(1)2;（ii）编写M文件：clcx=2;2;f0,g1,g2=nwfun(x)while norm(g1)0.00001 p=-inv(g2)*g1 x=x+p f0,g1,g2=nwfun(x)end如果目标函数是非二次函数，一般地说，用Newton法通过有限轮迭代并不能保证可求得其最优解。为了提高计算精度，我们在迭代时可以采用变步长计算上述问题，程序如下：clcx=2;2;f0,g1,g2=nwfun(x)while norm(g1)0.00001 p=-inv(g2)*g1,p=p/norm(p) t=1.0,f=nwfun(x+t*p) while ff0 t=t/2,f=nwfun(x+t*p), endx=x+t*pf0,g1,g2=nwfun(x)endNewton法的优点是收敛速度快；缺点是有时不好用而需采取改进措施，此外，当维数较高时，计算的工作量很大。2.3.1.3 变尺度法变尺度法（Variable Metric Algorithm）是近20多年来发展起来的，它不仅是求解无约束极值问题非常有效的算法，而且也已被推广用来求解约束极值问题。由于它既避免了计算二阶导数矩阵及其求逆过程，又比梯度法的收敛速度快，特别是对高维问题具有显著的优越性，因而使变尺度法获得了很高的声誉。下面我们就来简要地介绍一种变尺度法DFP法的基本原理及其计算过程。这一方法首先由Davidon在1959年提出，后经Fletcher和Powell加以改进。 我们已经知道，牛顿法的搜索方向是，为了不计算二阶导数矩阵及其逆阵，我们设法构造另一个矩阵，用它来逼近二阶导数矩阵的逆阵，这一类方法也称拟牛顿法（Quasi-Newton Method）。 下面研究如何构造这样的近似矩阵，并将它记为。我们要求：每一步都能以现有的信息来确定下一个搜索方向；每做一次选代，目标函数值均有所下降；这些近似矩阵最后应收敛于解点处的Hesse阵的逆阵。当是二次函数时，其Hesse阵为常数阵，任两点和处的梯度之差为 或对于非二次函数，仿照二次函数的情形，要求其Hesse阵的逆阵的第次近似矩阵满足关系式 （7）这就是常说的拟Newton条件。若令 （8）则式（7）变为 ， （9）现假定已知，用下式求（设和均为对称正定阵）； （10）其中称为第次校正矩阵。显然，应满足拟Newton条件（9），即要求或 （11）由此可以设想， 的一种比较简单的形式是 (12)其中和为两个待定列向量。将式（12）中的代入（11），得这说明，应使 （13）考虑到应为对称阵，最简单的办法就是取 （14）由式（13）得 （15）若和不等于零，则有 （16）于是，得校正矩阵 (17)从而得到 （18）上述矩阵称为尺度矩阵。通常，我们取第一个尺度矩阵为单位阵，以后的尺度矩阵按式（18）逐步形成。可以证明：（i）当不是极小点且正定时，式（17）右端两项的分母不为零，从而可按式（18）产生下一个尺度矩阵；（ii）若为对称正定阵，则由式（18）产生的也是对称正定阵；（iii）由此推出DFP法的搜索方向为下降方向。现将DFP变尺度法的计算步骤总结如下。1给定初始点及梯度允许误差。2若，则即为近似极小点，停止迭代，否则，转向下一步。3令（单位矩阵），在方向进行一维搜索，确定最佳步长： 如此可得下一个近似点 4一般地，设已得到近似点，算出，若 则即为所求的近似解，停止迭代；否则，计算：并令，在方向上进行一维搜索，得，从而可得下一个近似点 5若满足精度要求，则即为所求的近似解，否则，转回4，直到求出某点满足精度要求为止。2.3.2 直接法在无约束非线性规划方法中，遇到问题的目标函数不可导或导函数的解析式难以表示时，人们一般需要使用直接搜索方法。同时，由于这些方法一般都比较直观和易于理解，因而在实际应用中常为人们所采用。下面我们介绍Powell方法。这个方法主要由所谓基本搜索、加速搜索和调整搜索方向三部分组成，具体步骤如下：1 选取初始数据。选取初始点，个线性无关初始方向，组成初搜索方向组。给定终止误差，令。2进行基本搜索。令，依次沿中的方向进行一维搜索。对应地得到辅助迭代点，即3构造加速方向。令，若，停止迭代，输出。否则进行4。4确定调整方向。按下式找出。若成立，进行5。否则，进行6。5调整搜索方向组。令.同时，令 ，转2。 6不调整搜索方向组。令，转2。2.4 Matlab求无约束极值问题在Matlab工具箱中，用于求解无约束极值问题的函数有fminunc和fminsearch，用法介绍如下。求函数的极小值 其中可以为标量或向量。Matlab中fminunc的基本命令是X,FVAL,EXITFLAG,OUTPUT,GRAD,HESSIAN=FMINUNC(FUN,X0,OPTIONS,P1,P2, .)其中的返回值X是所求得的极小点，FVAL是函数的极小值，其它返回值的含义参见相关的帮助。FUN 是一个M文件，当FUN只有一个返回值时，它的返回值是函数；当FUN有两个返回值时，它的第二个返回值是的梯度向量；当FUN有三个返回值时，它的第三个返回值是的二阶导数阵（Hessian阵）。X0是向量的初始值，OPTIONS是优化参数，可以使用确省参数。P1，P2是可以传递给FUN的一些参数。例6 求函数的最小值。解：编写M文件fun2.m如下：function f,g=fun2(x);f=100*(x(2)-x(1)2)2+(1-x(1)2;g=-400*x(1)*(x(2)-x(1)2)-2*(1-x(1);200*(x(2)-x(1)2);在Matlab命令窗口输入options = optimset(GradObj,on);fminunc(fun2,rand(1,2),options)即可求得函数的极小值。在求极值时，也可以利用上二阶导数，编写M文件fun3.m如下：function f,df,d2f=fun3(x);f=100*(x(2)-x(1)2)2+(1-x(1)2;df=-400*x(1)*(x(2)-x(1)2)-2*(1-x(1);200*(x(2)-x(1)2);d2f=-400*x(2)+1200*x(1)2+2,-400*x(1) -400*x(1),200;在Matlab命令窗口输入options = optimset(GradObj,on,Hessian,on);fminunc(fun3,rand(1,2),options)即可求得函数的极小值。求多元函数的极值也可以使用Matlab的fminsearch命令，其使用格式为：X,FVAL,EXITFLAG,OUTPUTFMINSEARCH(FUN,X0,OPTIONS,P1,P2,.)例7 求函数取最小值时的值。解 编写的M文件fun4.m如下：function f=fun4(x);f=sin(x)+3;在命令窗口输入x0=2;x,y=fminsearch(fun4,x0)即求得在初值2附近的极小点及极小值。3 约束极值问题带有约束条件的极值问题称为约束极值问题，也叫规划问题。求解约束极值问题要比求解无约束极值问题困难得多。为了简化其优化工作，可采用以下方法：将约束问题化为无约束问题；将非线性规划问题化为线性规划问题，以及能将复杂问题变换为较简单问题的其它方法。库恩塔克条件是非线性规划领域中最重要的理论成果之一，是确定某点为最优点的必要条件，但一般说它并不是充分条件（对于凸规划，它既是最优点存在的必要条件，同时也是充分条件）。3.1 二次规划若某非线性规划的目标函数为自变量的二次函数，约束条件又全是线性的，就称这种规划为二次规划。Matlab中二次规划的数学模型可表述如下： 这里是实对称矩阵，是列向量，是相应维数的矩阵。Matlab中求解二次规划的命令是X,FVAL= QUADPROG(H,f,A,b,Aeq,beq,LB,UB,X0,OPTIONS)X的返回值是向量，FVAL的返回值是目标函数在X处的值。（具体细节可以参看在Matlab指令中运行help quadprog后的帮助）。例8 求解二次规划 解 编写如下程序：h=4,-4;-4,8;f=-6;-3;a=1,1;4,1;b=3;9;x,value=quadprog(h,f,a,b,zeros(2,1)求得 。3.2 罚函数法利用罚函数法，可将非线性规划问题的求解，转化为求解一系列无约束极值问题，因而也称这种方法为序列无约束最小化技术，简记为SUMT (Sequential Unconstrained Minization Technique)。罚函数法求解非线性规划问题的思想是，利用问题中的约束函数作出适当的罚函数，由此构造出带参数的增广目标函数，把问题转化为无约束非线性规划问题。主要有两种形式，一种叫外罚函数法，另一种叫内罚函数法，下面介绍外罚函数法。考虑（NL）问题：s.t. 取一个充分大的数 ，构造函数（或这里，Matlab中可以直接利用 、和sum函数。）则以增广目标函数为目标函数的无约束极值问题的最优解也是原问题的最优解。例9 求下列非线性规划解 (i)编写 M 文件 test.m function g=test(x);M=50000;f=x(1)2+x(2)2+8;g=f-M*min(x(1),0)-M*min(x(2),0)-M*min(x(1)2-x(2),0). +M*abs(-x(1)-x(2)2+2);或者是利用Matlab的求矩阵的极小值和极大值函数编写test.m如下：function g=test(x);M=50000;f=x(1)2+x(2)2+8;g=f-M*sum(min(x;zeros(1,2)-M*min(x(1)2-x(2),0). +M*abs(-x(1)-x(2)2+2);我们也可以修改罚函数的定义，编写test.m如下：function g=test(x);M=50000;f=x(1)2+x(2)2+8;g=f-M*min(min(x),0)-M*min(x(1)2-x(2),0)+M*abs(-x(1)-x(2)2+2); (ii)在Matlab命令窗口输入x,y=fminunc(test,rand(2,1)即可求得问题的解。3.3 Matlab求约束极值问题在Matlab优化工具箱中，用于求解约束最优化问题的函数有：fminbnd、fmincon、quadprog、fseminf、fminimax，上面我们已经介绍了函数fmincon和quadprog。3.3.1 fminbnd函数求单变量非线性函数在区间上的极小值 Matlab的命令为X,FVAL = FMINBND(FUN,x1,x2,OPTIONS)，它的返回值是极小点和函数的极小值。这里fun 是用M文件定义的函数或Matlab中的单变量数学函数。例10 求函数 的最小值。解 编写M文件fun5.m function f=fun5(x); f=(x-3)2-1;在Matlab的命令窗口输入 x,y=fminbnd(fun5,0,5)即可求得极小点和极小值。3.3.2 fseminf函数求 其中都是向量函数；是附加的向量变量，的每个分量都限定在某个区间内。上述问题的Matlab命令格式为X=FSEMINF(FUN,X0,NTHETA,SEMINFCON,A,B,Aeq,Beq)其中FUN用于定义目标函数；X0为的初始值；NTHETA是半无穷约束的个数；函数SEMINFCON 用于定义非线性不等式约束，非线性等式约束和半无穷约束的每一个分量函数，函数SEMINFCON有两个输入参量X 和 S，S是推荐的取样步长，也许不被使用。例11 求函数取最小值时的值,约束为：，解 （1）编写M文件fun6.m定义目标函数如下：function f=fun6(x,s);f=sum(x-0.5).2);（2）编写M文件fun7.m定义约束条件如下：function c,ceq,k1,k2,s=fun7(x,s);c=;ceq=;if isnan(s(1,1) s=0.2,0;0.2 0;end%取样值w1=1:s(1,1):100;w2=1:s(2,1):100;%半无穷约束k1=sin(w1*x(1).*cos(w1*x(2)-1/1000*(w1-50).2-sin(w1*x(3)-x(3)-1;k2=sin(w2*x(2).*cos(w2*x(1)-1/1000*(w2-50).2-sin(w2*x(3)-x(3)-1;%画出半无穷约束的图形plot(w1,k1,-,w2,k2,+);（3）调用函数fseminf在Matlab的命令窗口输入x,y=fseminf(fun6,rand(3,1),2,fun7)即可。3.3.3 f