优化设计基础

关于优化设计基础第二章优化设计的数学基础第一节多元函数的方向导数和梯度

一个多元函数可用偏导数的概念来研究函数沿各坐标方向的变化率。

二元函数的偏导数：第2页,共38页，2024年2月25日，星期天第二章优化设计的数学基础第一节多元函数的方向导数和梯度方向导数：第3页,共38页，2024年2月25日，星期天θ2θ1o偏导数与方向导数之间的数量关系：第4页,共38页，2024年2月25日，星期天第二章优化设计的数学基础第一节多元函数的方向导数和梯度多元函数的方向导数：第5页,共38页，2024年2月25日，星期天第二章优化设计的数学基础第一节多元函数的方向导数和梯度例：第6页,共38页，2024年2月25日，星期天第二章优化设计的数学基础第一节多元函数的方向导数和梯度梯度：方向导数与梯度的关系：第7页,共38页，2024年2月25日，星期天第二章优化设计的数学基础第一节多元函数的方向导数和梯度梯度：梯度的性质：

1）梯度是一个向量；

2）梯度方向是方向导数最大的方向，即函数值变化最快（函数值变化率最大）的方向；

3）梯度方向是等值面（线）的法线方向。第8页,共38页，2024年2月25日，星期天第二章优化设计的数学基础第一节多元函数的方向导数和梯度多元函数的梯度：第9页,共38页，2024年2月25日，星期天第二章优化设计的数学基础第一节多元函数的方向导数和梯度例题：解：

函数变化率最大的方向就是梯度方向，用单位向量表示，函数变化率最大的数值就是梯度的模。第10页,共38页，2024年2月25日，星期天第二章优化设计的数学基础第二节多元函数的泰勒展开一元函数第11页,共38页，2024年2月25日，星期天第二章优化设计的数学基础第二节多元函数的泰勒展开二元函数：二元函数泰勒展开式的矩阵形式：对称矩阵第12页,共38页，2024年2月25日，星期天第二章优化设计的数学基础第二节多元函数的泰勒展开多元函数泰勒展开式的矩阵形式：

是函数在该点的梯度第13页,共38页，2024年2月25日，星期天第二章优化设计的数学基础第二节多元函数的泰勒展开多元函数的海赛矩阵：第14页,共38页，2024年2月25日，星期天第二章优化设计的数学基础第二节多元函数的泰勒展开正定矩阵：第15页,共38页，2024年2月25日，星期天第二章优化设计的数学基础矩阵正定与负定的判定：正定：矩阵A正定的条件是A的各阶主子式大于零；负定：矩阵A负定的条件是各阶主子式负、正相间。第二节多元函数的泰勒展开第16页,共38页，2024年2月25日，星期天第二章优化设计的数学基础第三节无约束优化问题的极值条件必要条件充分条件第17页,共38页，2024年2月25日，星期天第二章优化设计的数学基础第三节无约束优化问题的极值条件第18页,共38页，2024年2月25日，星期天第二章优化设计的数学基础第三节无约束优化问题的极值条件例：第19页,共38页，2024年2月25日，星期天第二章优化设计的数学基础第四节凸集、凸函数和凸规划

当极值点x*能使f（x*）在整个可行域中为最小值（最大值）时，即在整个可行域中对任一x都有f（x）≥f（x*）（或者f（x）≤f（x*））时，则x*就是全局极小点（全局极大点）。全局极值点（最优点）：第20页,共38页，2024年2月25日，星期天第二章优化设计的数学基础第四节凸集、凸函数和凸规划

若f（x*）为局部可行域中的极小值（极大值）而不是整个可行域中的最小值（或最大值）时，则称x*为局部极小点（局部极大点）。局部极值点（相对极值点）：第21页,共38页，2024年2月25日，星期天第二章优化设计的数学基础第四节凸集、凸函数和凸规划

一个下凸的函数，它的极值点只有一个，并且该点既是局部极值点也是全局极值点，我们就称这个函数具有凸性。

函数的凸性（单峰性）：第22页,共38页，2024年2月25日，星期天第二章优化设计的数学基础第四节凸集、凸函数和凸规划

设R是一个点集（或区域），若连接其中任意两点x1和x2的直线都属于R，则称这种集合R是一个凸集。凸集：第23页,共38页，2024年2月25日，星期天第二章优化设计的数学基础第四节凸集、凸函数和凸规划凸集的性质：第24页,共38页，2024年2月25日，星期天第二章优化设计的数学基础第四节凸集、凸函数和凸规划

具有凸性（表现为单峰性）或只有唯一的局部最优值，即全局最优值的函数，称为凸函数或单峰函数。凸函数：第25页,共38页，2024年2月25日，星期天第二章优化设计的数学基础第四节凸集、凸函数和凸规划1．若f(x)为定义在凸集R上的一个凸函数，且α是一个正数（α>0），则αf(x)也必是定义在凸集R上的凸函数。

2．定义在凸集R上的两个凸函数f1(x)和f2(x)，其和f(x)=f1(x)+f2(x)

也一定是该凸集上的一个凸函数。

3．若f1(x)、f2(x)是定义在凸集R上的两个凸函数，α和β为两个任意正数，则函数αf1(x)+βf2(x)

仍是R上的凸函数。

4．若定义在凸集R上的一个凸函数f(x)有两个最小点x1和x2则这两点处的函数值f(x1)和f(x2)必相等，否则，其中较大的点就不是f(x)的最小点了。

5．若x1和x2是定义在凸集R上的一个凸函数f(x)的两个最小点，则其连接线段上的一切点必为f(x)的最小点。凸函数的性质：第26页,共38页，2024年2月25日，星期天第二章优化设计的数学基础第四节凸集、凸函数和凸规划凹函数：凸函数下凸——有极小值上凸——有极大值凹函数第27页,共38页，2024年2月25日，星期天第二章优化设计的数学基础第四节凸集、凸函数和凸规划凸规划：目标函数与约束条件均为凸函数的优化问题称为凸规划。

凸规划的性质第28页,共38页，2024年2月25日，星期天第二章优化设计的数学基础第五节等式约束优化问题的极值条件等式约束优化问题的数学模型：消元法——降维法拉格朗日乘子法——升维法解法第29页,共38页，2024年2月25日，星期天第二章优化设计的数学基础第五节等式约束优化问题的极值条件消元法：（二维）（一维）二元函数（一个等式约束）：第30页,共38页，2024年2月25日，星期天第二章优化设计的数学基础第五节等式约束优化问题的极值条件n元函数（l个等式约束条件）：（n-l维无约束优化问题）消元法第31页,共38页，2024年2月25日，星期天第二章优化设计的数学基础第五节等式约束优化问题的极值条件n元函数（l个等式约束条件）：拉格朗日乘子法极值必要条件第32页,共38页，2024年2月25日，星期天第二章优化设计的数学基础第五节等式约束优化问题的极值条件例：第33页,共38页，2024年2月25日，星期天第二章优化设计的数学基础第六节不等式约束优化问题的极值条件求解不等式约束优化问题的基本思想：

——将不等式约束条件变成等式约束条件。具体做法：

——引入松弛变量。第34页,共38页，2024年2月25日，星期天松弛变量第二章优化设计的数学基础第六节不等式约束优化问题的极值条件一元函数f(x)在给定区间[a,b]上的极值优化问题：拉格朗日函数：第35页,共38页，2024年2月25日，星期天第二章优化设计的数学基础第六节不