《运筹学与最优化方法》课件

1、运筹学与最优化方法,吴祈宗 侯福均 编著,主要内容,第1章 运筹学思想与运筹学建模 第2章 基本概念和理论基础 第3章 线性规划 第4章 最优化搜索算法的结构与一维搜索 第5章 无约束最优化方法 第6章 约束最优化方法 第7章 目标规划 第8章 整数规划 第9章 网络计划 第10章 层次分析法 第11章 智能优化计算简介,第 1 章,运筹学思想 与 运筹学建模,第1章 运筹学思想与运筹学建模,运筹学简称 OR （美）Operations Research （英）Operational Research “运筹于帷幄之中，决胜于千里之外” 三个来源：军事、管理、经济 三个组成部分： 运用分析理论

2、、竞争理论、随机服务理论,1.1 什么是运筹学,运筹学是为决策机构在对其控制下的业务活动进行决策时，提供一门以量化为基础的科学方法。 运筹学是一门应用科学，它广泛应用现有的科学技术知识和数学方法，解决实际中提出的专门问题，为决策者选择最优决策提供定量依据。 运筹学是一种给出问题坏的答案的艺术，否则的话，问题的结果会更坏。,1.2运筹学的应用原则,(1)合伙原则：应善于同各有关人员合作。 (2)催化原则：善于引导人们改变一些常规看法。 (3)互相渗透原则：多部门彼此渗透地考虑。 (4)独立原则：不应受某些特殊情况所左右。 (5)宽容原则：思路宽、方法多，不局限在某一特定方法上。 (6)平衡原则：

3、考虑各种矛盾的平衡、关系的平衡。,1.3运筹学解决问题的工作步骤,(1)提出问题：目标、约束、决策变量、参数。 (2)建立模型：变量、参数、目标之间的关系表 示。 (3)模型求解：数学方法及其他方法。 (4)解的检验：制定检验准则、讨论与现实的一致性。 (5)灵敏性分析：参数扰动对解的影响情况。 (6)解的实施：回到实践中。 (7)后评估：考察问题是否得到完满解决。,1.4运筹学模型的构造思路及评价,直 接 分 析 法 类 比 方 法 模 拟 方 法 数 据 分 析 法 试 验 分 析 法 构 想 法 模型评价: 易于理解、易于探查错误、易于计算等,优化模型的一般形式,opt. f ( xi

4、, yj , k ) s.t. gh ( xi , yj , k ) , 0 h = 1,2, ,m 其中， xi 为决策变量（可控制） yj 为已知参数 k 为随机因素 f , gh 为（一般或广义）函数 建模举例（略） 自看,1.5基本概念和符号,1.向量和子空间投影定理 (1) n维欧氏空间：Rn 点（向量）：x Rn, x = (x1 ,x2 ,xn)T 分量 xi R (实数集) 方向（自由向量）：d Rn, d 0 d =(d1 ,d2 ,dn)T 表示从0指向d 的方向 实用中，常用 x + d 表示从x 点出发沿d 方向移动d 长度得到的点。,d,0,x,x+(1/2)d,1.

5、5 基本概念和符号,(2) 向量运算：x , y Rn n x , y 的内积：xTy = xi yi = x1y1+ x2y2+ + xn yn i =1 x , y 的距离： xy = (x y)T(x y)(1/2) x 的长度： x= xTx (1/2) 三角不等式： x + y xy 点列的收敛：设点列x(k) Rn , x Rn 点列x(k)收敛到 x ，记 lim x(k) = x limx(k) x = 0 lim xi(k) = xi ,i k k k,x+y,y,x,1.5基本概念和符号,(3) 子空间：设 d (1) , d (2) , , d (m) Rn, d (k)

6、 0，记 m L( d (1) , d (2) , , d (m) )= x = j d (j) jR j =1 为由向量d (1) , d (2) , , d (m) 生成的子空间，简记为L。 正交子空间：设 L 为Rn的子空间，其正交子空间为 L x Rn xTy=0 , y L 子空间投影定理：设 L 为Rn的子空间，那么 zRn， 唯一 x L , y L, 使 z=x+y , 且 x 为问题 min z u s.t. u L 的唯一解，最优值为y 。 特别地， L Rn 时，正交子空间 L 0 （零空间）。,1.5基本概念和符号,规定：x , y Rn，x y xi yi ，i ；

7、类似地规定 x y，x = y，x y 。 一个有用的定理 设 xRn，R，L为Rn 的线性子空间。 若 xTy , yRn 且 y 0， 则 x 0， 0 若 xTy , y L Rn ， 则 x L， 0 (特别地, 当LRn时,x =0) 定理的其他形式： 若 xTy , yRn 且 y 0，则 x 0， 0 。 若 xTy , yRn 且 y 0，则 x 0， 0 。 若 xTy , yRn 且 y 0，则 x 0， 0 。 若 xTy , y L Rn ， 则 x L， 0 。,1.5基本概念和符号,2.多元函数及其导数 (1) n元函数：f (x): Rn R 线性函数：f (x)

8、 = cTx + b = ci xi + b 二次函数：f (x) = (1/2) xTQx + cTx + b = (1/2) aij xi xj + ci xi + b 向量值线性函数：F(x) = Ax + d Rm 其中， A为 mn矩阵，d为m维向量 F(x)=( f1(x), f2(x), , fm(x) )T 记 aiT为A的第i行向量，f(x) = aiTx,1.5基本概念和符号,(2) 梯度（一阶偏导数向量）： f (x)( f / x1 , f / x2 , , f / xn )TRn 线性函数：f (x) = cTx + b , f (x) = c 二次函数：f (x)

9、= (1/2) xTQx + cTx + b f (x) = Qx + c 向量值线性函数：F(x) = Ax + d Rm F / x = AT,1.5基本概念和符号,(3) Hesse 矩阵（二阶偏导数矩阵）： 2f /x1 2 2f /x2 x1 2f /xn x1 2f (x)= 2f /x1 x2 2f /x22 2f /xn x2 2f /x1 xn 2f /x2 xn 2f /xn2 线性函数：f (x) = cTx + b , 2f (x) = 0 二次函数：f (x) = (1/2) xTQx + cTx + b, 2f (x)=Q,1.5基本概念和符号,(4)n元函数的Taylor展开式及中值公式 设 f (x): Rn R ，二阶可导。在x* 的邻域内,有 一阶Taylor展开式： f (x) = f (x*)+ f T(x*)(xx*) + ox x* 二阶Taylor展开式： f (x) = f (x*)+ f T(x)(x x*) + (1/2)(x x*)T 2f (x*)(x x*) + ox x*2 一阶中值公式：对x, , 使 f (x) = f (x*)+ f (x*+(x x*)T(x x*) Lagrange余项：对x, , 记xx*+ (x x*) f