优化设计的数学基础

1、,汽车仿真与控制国家重点实验室 汽车优化设计,李,杰,教 授,lj li.jie 吉林大学,汽车仿真与控制国家重点实验室 第1 章 优化设计的数学基础 （1）主要内容,1.1 1.2 1.3,矩阵代数 矢量代数 多元函数及其极值,（2）特点 （1）已有知识的总结 （2）已有知识的扩充 （3）以后公式推导的基础 （4）引入Matlab 吉林大学,吉林大学,汽车仿真与控制国家重点实验室,1.1 矩阵代数,1.1.1 矩阵、行列式,1.1.2 矩阵的主要类型,1.1.3 矩阵的运算,1.1.4 矩阵的正定, a, , ,汽车仿真与控制国家重点实验室 1.1 矩阵代数 1.1.1 矩阵、行列式 一、矩

2、阵的定义 （1）由mn个数或符号，按照一定次序排列成具有m行n列的 “表”，称之为mn阶矩阵，简称矩阵，记为, aij , a11 A 21 am1,a12 a22 am 2, a1n a2 n amn ,（2）矩阵中的每一个数或符号，称为“元素”或“元”，用符号aij 表示，i和j分别表示元素在矩阵的位置是第i行和第j列。 吉林大学,汽车仿真与控制国家重点实验室 二、行列式的定义,由n2个数组成的n行n列矩阵形式确定的一个数，称之为行列 式，记为,三、矩阵与行列式的区别 （1）矩阵为表，行列式为数； （2）矩阵元素为mn个，行列式的元素为n2个； （3）表示符号不同，矩阵符号用表示，行列式符

3、号用|表示。 吉林大学, a nn,a n 2,a n1, a1n a 2n,a12 a 22,a11 a 21,吉林大学,汽车仿真与控制国家重点实验室 四、矩阵的matlab表示 （1）用“”作为矩阵的标识，矩阵元素应在“”内部 （2）矩阵通过“行输入方式”进行赋值 （3）行与行之间用“；”或回车符分隔 （4）每行元素之间用“，”或空格分隔 （5）矩阵赋值后，如果不想显示结果，在最后用“；”结束,如，,A=1,2,3; 4,5,6; 7,8,9 % 矩阵A赋值,五、行列式的matlab表示,det(A),% A必须先赋值, a , ,汽车仿真与控制国家重点实验室 1.1.2 矩阵的主要类型

4、一、行矩阵和列矩阵 （1）仅有一行的矩阵，称为行矩阵，记为,（2）仅有一列的矩阵，称为列矩阵，记为 （3）行矩阵的matlab表示,A=1,2,3 4,5,6 7,8,9 （4）列矩阵的matlab表示 A=1；2；3；4；5；6；7；8；9 吉林大学,a 2, a n ,A a1, a1 A 2 am ,汽车仿真与控制国家重点实验室 二、零矩阵 （1）所有元素为零的矩阵，称为零矩阵，以符号或O表示， 相当于一般代数中零的作用。 （2）零矩阵既可以是mn阶的，也可以是nn阶的。 （3）零矩阵的matlab表示,A=zeros(m,n),% 生成mn的零矩阵A,三、转置矩阵 （1）将矩阵A的行与

5、列对换得到的矩阵，称为A矩阵的转置矩 阵，用AT表示，即 吉林大学, a, , ,a,A 12, , , a ,A 2 a1, ,汽车仿真与控制国家重点实验室,（2）根据转置矩阵的概念，行矩阵的转置为列矩阵，列矩阵的 转置为行矩阵，即,T,a21 am1 a22 am 2 a2 n amn ,a11 a1n,a 2, a m T % A必须先赋值, a1 a m （3）转置矩阵的Matlab表示 A 或 tanspose(A) 吉林大学, a1n a2 n amn ,a12 a22 am 2, a11 A 21 am1,汽车仿真与控制国家重点实验室 四、相等矩阵 （1）如果两个矩阵的阶相同，且

6、对应的元素完全相同，则这两 个矩阵相等。 （2）相等矩阵的Matlab表示,B=A,% A必须先赋值,五、方阵,行数与列数相等的矩阵，称为方阵。方阵A的元素,称为方阵,的主对角元素。,方阵A全部元素构成的行列式，称为矩阵A的行列式，记为|A| 。 吉林大学,aii,汽车仿真与控制国家重点实验室 六、单位矩阵 （1）主对角元素均为1，其余元素都为零的方阵，称为单位矩 阵，以E 符号表示，相当于一般代数中1的作用。 （2）零矩阵的行数与列数可以不等，而单位矩阵的行数与列数 必须相等。 （3）单位矩阵的matlab表示,% 生成mm的单位矩阵C,C=eye(m) 七、对称方阵,当方阵具有A=AT，即

7、各元素有,性质时，称A为对称方,阵，其全部元素沿主对角线呈对称分布。 吉林大学,aij a ji,汽车仿真与控制国家重点实验室 八、奇异矩阵、非奇异矩阵,当方阵A的行列式|A|=0，称A为奇异矩阵；否则，称A为非奇,异矩阵。 1.1.3 矩阵的运算 一、矩阵的加减,对于同价矩阵，矩阵的加减等于其对应元素的加减，即,矩阵与数的乘，等于矩阵每个元素与数的乘，即 吉林大学,A B aij bij 二、矩阵与数的乘,kA kaij ,cij aik bkj,汽车仿真与控制国家重点实验室 三、矩阵的乘, ,（1）矩阵乘的条件是，第1个矩阵的列数等于第2个矩阵的行 数。 （2）矩阵乘满足结合律，即ABC=

8、(AB)C=A(BC)。 （3）矩阵乘不满足交换律，即一般ABBA。 吉林大学,当A为mp阶矩阵，B为pn阶矩阵，则矩阵A与B乘的结果 为mn阶矩阵，其元素为 p k 1 关于矩阵乘的几点说明,2 3,2 ,（6）矩阵乘的转置有下面的关系 （AB）T=BTAT （7）矩阵乘的行列式有下面的关系 |AB|=|A|B| 吉林大学,汽车仿真与控制国家重点实验室 （4）当两个矩阵乘为零时，并不意味着其中之一为零矩阵， 例如 3 1 0 3 1 （5）当AB=AC时，B=C不一定成立，例如, 6 2 , 4 5 ,3,汽车仿真与控制国家重点实验室 四、矩阵的逆,对于两个方阵A和B，若有AB=E，则A和B

9、互为逆矩阵，记为,A-1=B，B-1=A 五、矩阵运算的Matlab表示 A=1,3,6;2,7,8;7,3,9 B=3,4,5;6,7,1;8,1,5 Y=10;9;8,C=A+B D=A-B 吉林大学,% 矩阵加法 % 矩阵减法,汽车仿真与控制国家重点实验室,E=5+A F=5*A G=A*B inv(A) det(A) X=AY,% 矩阵与数加法 % 矩阵数乘 % 矩阵乘法 % 矩阵求逆 % 求矩阵行列式 % 求线性方程组AX=Y的解X，等价于X=inv(A)*Y,1.1.4 矩阵的正定 一、二次型的定义 吉林大学, a x x,汽车仿真与控制国家重点实验室,j,ij i,(aij a

10、ji ),n i , j 1,二次型是一个含有n个变量x1、x2、xn的二次齐次函 数，形如 F ( x1 , x2 , xn ) a11 x12 a22 x22 a33 x32 ann xn2 2a12 x1 x2 2a13 x1 x3 2a1n x1 xn 2a23 x2 x3 2a24 x2 x4 2a2 n x2 xn 2an 1,n xn 1 xn,二、二次型的矩阵表示,这里，以三个变量x1、x2、x3的二次型进行推导，即,F(x1, x2 , x3 ) a11x12 a22x22 a33x32 2a12x1x2 2a13x1x3 2a23x2 x3 吉林大学,x3 ,a13 x1

11、a23 x2 a33 x3 ,a12 a22 a32, a11 x3 a21 a31,x2, x1, a11 x1 a12 x2 a23 x3 x3 a21 x1 a22 x2 a23 x3 a31 x1 a32 x2 a33 x3 ,x2, x1,汽车仿真与控制国家重点实验室 F ( x1 , x2 , x3 ) a11 x12 a22 x22 a33 x32 2a12 x1 x2 2a13 x1 x3 2a23 x2 x3 a11 x12 a22 x22 a33 x32 a12 x1 x2 a21 x1 x2 a13 x1 x3 a31 x1 x3 a23 x2 x3 a32 x2 x3

12、a11 x12 a12 x1 x2 a13 x1 x3 a21 x1 x2 a22 x22 a23 x2 x3 a31 x1 x3 a32 x2 x3 a33 x32 x1 (a11 x1 a12 x2 a23 x3 ) x2 (a21 x1 a22 x2 a23 x3 ) x3 (a31 x1 a32 x2 a33 x3 ),T,x 2,X x1,a13 a 23 AT a33 ,a12 a 22 a32, a11 A a 21 a31, ,如果设 则有,F ( x1 , x 2 , x3 ) X T AX 吉林大学,a, , ,汽车仿真与控制国家重点实验室,因此，有一个二次型，必有一个对称

13、矩阵A与之对应，反之,亦然。 三、对称矩阵的正定与负定,设有实二次型,更为一般地， n个变量x1、x2、xn的二次型可以表示为 F ( x1 , x 2 , , x n ) X T AX,x 2, x n T,X x1, AT, a1n a 2 n a nn ,a12 a 22 a n 2, a11 A 21 a n1,F ( x1 , x 2 , , x n ) X T AX，对任意X0，若恒有,（1） F ( x1 , x2 , xn ) 0 则称其为正定二次型，A称为正定阵； 吉林大学,吉林大学,对称矩阵正定的充分必要条件是其各阶主子是均大于零，即,汽车仿真与控制国家重点实验室 （2）

14、F ( x1 , x2 , xn ) 0 则称其为半正定二次型，A称为半正定阵； （3） F ( x1 , x2 , xn ) 0 则称其为负定二次型，A称为负定阵； （4） F ( x1 , x2 , xn ) 0 则称其为半负定二次型，A称为半负定阵。 四、对称矩阵正定的充要条件,a11 0, 0,a12 a 22,a11 a 21, 0,a k 2,a k1,a12,a11, a kk,a 22 ,a 21 , a 2 k , a1k,A 0,吉林大学,汽车仿真与控制国家重点实验室,1.2 矢量代数,1.2.1 矢量的表示,1.2.2 矢量的主要类型,1.2.3 矢量的运算,汽车仿真与控

15、制国家重点实验室 1.2 矢量代数 1.2.1 矢量的表示 一、二维矢量,在二维坐标系下，从某固定点O引向某一点A的有向线段，称,为二维矢量，记作 坐标原点。,二维矢量存在如下关系,（1）,与坐标（x,y）一一对应，因此，可将二维矢量用列,矩阵表示，即 吉林大学,OA 。通常，为研究方便，将固定点O作为,OA,（3）当 OA 与两个坐标轴的方向角为和时，则其两个坐标 （投影）,x 2 y 2,OA ,汽车仿真与控制国家重点实验室 x y （2）OA 的模（长度）,x OA cos ,y OA cos ,cos 2 cos 2 1,（4）平面上两个矢量,A B ( x1 x 2 ) 2 ( y1

16、 y 2 ) 2 吉林大学,OA x1 , y1 T,和 OB x 2 , y 2 T ，A和B之间的距离,汽车仿真与控制国家重点实验室 二、多维矢量,将二维矢量推广到n维坐标系，可得n维矢量X，其存在如下,关系 （1）X与坐标（x1、x2、xn） 一一对应，因此，可将n 维矢量用列矩阵表示，即 X x1 , x 2 , , x n T （2）X的模 X x12 x 22 x n2 （3）当X与坐标轴的方向角为1、2、n时，则有 吉林大学, cos i 1,汽车仿真与控制国家重点实验室,xi X cos i,2,n i 1,（4）两个矢量X和Y之间的距离 X Y ( x1 y1 ) 2 ( x

17、 2 y 2 ) 2 ( x n y n ) 2 1.2.2 矢量的主要类型 一、零矢量,元素全为零的矢量，称为零矢量，其始点和端点重合，记为,X=0。 二、单位矢量 吉林大学,0,e1 0,1,e2 0,ei 1,0,en 0,汽车仿真与控制国家重点实验室,对某个n维矢量，若其中一个元素为1，其余元素都是零，则 该矢量为n维单位矢量。n维单位矢量有n个，记为,三、相等矢量,对于两个维矢量，当对应的元素完全相同，则这两个矢量为,相等矢量。 1.2.3 矢量的运算 吉林大学, ,1 0,0 0,0 1,0 0,ei e j ,吉林大学,汽车仿真与控制国家重点实验室 一、矢量的加减：矢量的加减等于

18、其对应元素的加减 二、矢量与数的乘：矢量与数的乘，等于矢量每个元素与数 的乘 三、矢量的点积 （1）定义,设两个矢量X和Y，其夹角为，则定义,为两个矢,量的点积，记为XY或XY。 （2）性质,根据点积的定义，有下列性质,X Y Y X,2,X X X,X Y X Y 0,1 i j 0 i j,X Y cos, x 0 x 0 , x3 0 0 0 xi ei, x n 2 X T Y, ,吉林大学,汽车仿真与控制国家重点实验室 （3）点积的矩阵表示 1）单个矢量的单位矢量表示, ,X , x1 x1 0 0 2 2 n i 1 x n 0 0 x n , , y1 y y n ,x 2,2）

19、矢量点积的矩阵表示 n n i 1 j 1, x1 y1 x 2 y 2 x n y n x1, xn 2 X cos 1, ,X cos n ,cos 1 ,cos 2 ,cos n , cos n ,cos ,cos n ,汽车仿真与控制国家重点实验室 （4）两个矢量夹角的方向余弦表示, ,设矢量X与坐标轴的方向角为i，矢量Y与坐标轴的方向角 为i。 因为,x2,Y X Y cos , cos 1 2 , X cos 1 cos 2 吉林大学, , Y Y Y, y1 y yn ,X Y x1,X cos 2 ,cos cos 1 cos 2 cos n ,cos ,cos n , cos

20、 i cos i,汽车仿真与控制国家重点实验室,所以, cos 1 2 cos 1 cos 1 cos 2 cos 2 cos n cos n n i 1,两个矢量夹角的余弦等于两个矢量对应方向余弦乘积的和。,四、矢量的单位化,矢量被其模除，称为矢量的单位化。这是因为矢量被其模,除得到的新矢量的模为1。 吉林大学,吉林大学,汽车仿真与控制国家重点实验室,1.3 多元函数及其极值,1.3.1 偏导数,1.3.2 方向导数 1.3.3 梯度,1.3.4 Hessian矩阵,1.3.5 函数的泰勒展开 1.3.6 多元函数的极值,吉林大学,汽车仿真与控制国家重点实验室 1.3 多元函数及其极值 1.

21、3.1 偏导数 一、二元函数的偏导数,二、多元函数的偏导数,f x,f ( x, y) x,f ( x 0 x, y 0 ) f ( x 0 , y 0 ) x, lim x 0,f y,f ( x, y) y,f ( x0 , y 0 y) f ( x0 , y 0 ) y, lim y 0,F xi, lim xi 0,F ( x1 , x 2 , , xi xi , xi 1 , , x n ) F ( x1 , x 2 , , xi , xi 1 , , x n ) xi,吉林大学,汽车仿真与控制国家重点实验室 1.3.2 方向导数 一、二元函数的方向导数,对于f(x,y)，从(x0,

22、y0)引一矢量m，m与x轴的方向角为， m与y轴的方向角为，设(x +0 x,y0+y)为m上另一点，则 函数f(x,y)沿给定方向m的方向导数为,可以证明，方向导数与偏导数之间存在下面的关系,f ( x0 x, y0 y) f ( x0 , y0 ) ,f ( x, y) m,f m, lim 0, (x) 2 (y) 2,cos ,f y,cos ,f x,f m,汽车仿真与控制国家重点实验室 二、多元函数的方向导数,对于多元函数F(X)=F(x1,x2,xn)，从(x1,x2, ,xn)引一 矢量m，m与xi轴的方向角为i，设 (x1+x1,x2+x2,xi+xi,x +nxn)为m上另

23、一点，则 多元函数F(x1,x2,xn)沿给定方向m的方向导数为,cos n,F xn,F x2,cos 1 ,F x1,F m, lim 0,cos 2 ,F ( x1 x1 , x2 x1 , xi xi , xi 1 xi 1 , xn xn ) F ( x1 , x2 , xi , xi 1 , xn ) ,n i 1 吉林大学,F ( X ) ,x n ,y,f 2,f 2,f 2,f 2,y,f 2,f 2,y,吉林大学,汽车仿真与控制国家重点实验室 1.3.3 梯度 一、定义,对于多元函数F(X)，如果在定义域内存在连续的偏导数， 则多元函数F(X)在X处的梯度为其偏导数组成的矢

24、量，即,T,F ,F x 2, F x1,二、梯度的意义, ,梯度方向是多元函数F（X）在X点处增加最快的方向。 下面，以二元函数进行说明。因为,),(,),(,) (,cos ),x,f y ) (,cos ,x,f x ) (,) (,x,cos (,f y,cos ,f x,f m,f 2,f 2,f 2,) (cos 1 cos cos 1 cos ),f 2,f 2,y,f 2,f 2,y,吉林大学,汽车仿真与控制国家重点实验室,令,则,),(,x,x ) (,f,cos1 ,),(,x,y ) (,f,cos 1,) (, (,f 2 y,x,f m,如果将cos1和cos1看成某

25、矢量g的方向余弦，设两个矢 量g和m的夹角为，则有,) cos,y,) (,x, (,f m,g f cos 1 ,f 2,f 2,y,f 2,f 2,y,汽车仿真与控制国家重点实验室, ,因此，若使函数f(x,y)在(x0,y0)增加最快，应使方向导数 最大，这就要求cos=1，即要求m与g同一方向，亦即g的 方向就是函数f(x,y)在(x0,y0)增加最快的方向。 根据g的两个方向余弦cos1和cos1的表示，可以将g表 示成下面的形式,由此可以看出，g就是梯度，这说明梯度的方向就是函数,f(x,y)在(x0,y0)增加最快的方向。 吉林大学,),(,),(,x,f y ) (,x,f x ) (, f x y , cos 1, x1x1, F, x