最优化方法与最优控制2.doc

第二章 非线性规划在实践中，最优化问题的目标函数和(或)约束条件常常是非线性的，如例1-1和例2-1。这类问题称为非线性规划问题。求解无约束条件的非线性规划问题通常采用逐步逼近法(俗称试探法)，若在求解过程中使用了目标函数的导数，称为解析法；不使用导数而直接利用目标函数进行比较、搜索，称为直接法。对于有约束条件的非线性规划问题，可以将其转化为无约束条件的非线性规划问题后再进行求解。本章介绍求解非线性规划的一些方法，对解的收敛性不作讨论。例2-1求解例1-1，即有一块薄的塑料板，宽为，对称地把两边折起，做成槽(如图2-1)。欲使槽的横截面积S最大，、和的最优值是多少？x2x1a图2-1 横截面积与参数关系图解：最优化问题的目标函数和约束条件为，；。分析：该问题的目标函数是非线性的，属非线性规划问题。目标函数自变量中，只有2个是自由的，不妨以和为自变量，将其转化为无约束条件的非线性规划问题。；。目标函数改写为：，原最优化问题简化成二元函数求极值问题，求解过程如下：；最优解： ；。该例实质上是二元函数求极值问题，经解析方法计算使的一阶导数等于零的参数值，且的海森矩阵，是负定矩阵，目标函数取极大值，即为最优解。2-1 一元函数的极小化1. 极值(极大或极小值) 若函数在点的双侧邻域中有定义，并且对于某邻域内的所有点，不等式(或)成立，则称函数在点处有极大值(或极小值)。2. 极值存在的必要条件 假定函数在区间内存在有限导数，若函数在点处有极值，则必有。3. 极值存在的充分条件(1)若函数满足条件： (a) 在的某邻域内有定义并且连续，且在点处，或不存在；(b) 在范围内有有限的；(c) 在点的两侧有固定的符号，则函数在点处的极值情况见下表：0或不存在极大值极小值增函数减函数(2)若函数有二阶导数，并且在点处下列条件成立:,，则函数在点处有极值，当时，有极大值；当时，有极小值。(3)设函数在某邻域内有导数，且，；。若为偶数，则函数在点处有极值为极大值；为极小值；若为奇数，则函数在点处无极值。例2-2求函数，的最大值和最小值，。解：先求出一阶导数等于零的点，；，；，；函数在处有极小值，在处有极大值，在处有极小值；，。答案：函数最大值为54，最小值为-125.5625。例2-3求函数的极值点。 (2-1)4.80f(x)x5.004.8900.250.500.751.001.251.50图2-2 例2-3的f (x)曲线 解：；，；，；答案：函数在极点处有极小值。点是的拐点。2-1-1 牛顿迭代公式在求解函数的局部极值时，如例2-1、例2-2和例2-3所示，必须解方程。 (2-2)求解非线性方程通常是很困难的。这里介绍著名的牛顿迭代公式。该方法是一种快速逼近方法，简称牛顿法。一般的牛顿法假设函数具有连续的一阶导数，且是函数的零点，是零点的初始估计值。函数在其零点估计值邻域的一阶泰勒展开式为，。 (2-3)因式(2-3)是计算的近似表达式，通常，只能得到更精确的估计值。迭代公式为，。其中 是线性搜索因子，用于保证算法收敛或调整收敛速度，常用值为1。牛顿法的计算步骤如下：1. 选取区间，使，；2. 选取初始零点估计值，允许误差；3. 计算、；4. 收敛性检查，若，则，终止计算；否则继续；5. 计算；6. 返回到步骤3，继续逼近零点。例2-4求式(2-1)所示函数极值点。解：记，选取区间，、 及 ,满足步骤1中的条件； 取初始估计值 ；取允许误差 。5次迭代的结果见表2-1。表2-1 例2-4牛顿法计算表00.400 000 0000.216 000.720 0030.246 739 130-0.007 402.289 2610.100 000 000-0.486 004.320 0040.249 972 010-0.000 062.250 3420.212 500 000-0.093 022.716 8850.249 998 672-4.010-9=10-5答案：函数在处有极小值，。近似牛顿法如果不易算出，可用的差分代替，得到近似牛顿迭代公式。 (2-4)例2-5应用近似牛顿迭代公式(2-4)，求式(2-1)所示函数的极值点。解：初始搜索区间同例2-4，取，。五次迭代的结果见表2-2。表2-2 例2-5近似牛顿法计算表00.400 000 0000.216 000 0000.216 007 1990.215 9927 9910.100 012 499-0.485 946 003-0.485 902 806-0.485 9892 0220.212 504 882-0.093 010 173-0.092 983 005-0.093 0373 4230.246 739 357-0.007 400 376-0.007 377 484-0.007 4232 6940.249 971 994-0.000 063 016-0.000 040 513-0.000 095 5250.249 999 996-0.000 000 007=10-5h =10-5答案：函数在处有极小值，。如果初始极值点的估计值与极值点的值比较接近，则牛顿法能很快地得到满足精度要求的极值点估计值，即算法收敛速度很快，这是牛顿法的优点。但是，牛顿法需要计算函数的一阶导数和二阶导数，计算量较大。此外，初始估计值选择不恰当，会使绝对值过大，导致算法发散，计算失败。若方程(2-2)具有重根，例如，。 (2-5)易知，函数在处，有极大值。但是，牛顿法迭代计算为。在的邻域，因近似等于零，每次迭代的修正量很小，使收敛速度逐渐降低。相反，当函数是自变量的二次函数，即(式(2-5)中，)时，则无论初始估计值如何选取，只需一次迭代，就可得到极值点。理由如下：，；。也就是说，如果函数近似为自变量的二次函数，牛顿法收敛速度很快。2-1-2 求解一元方程的其它方法应用牛顿法求解函数极值时，需要计算函数的一阶导数和二阶导数。这里介绍不必计算二阶导数的两种迭代算法。它们的计算步骤有以下共同特点：1. 选取区间，使；确定允许误差；2. 按照规则，选取新的估计值；3. 收敛性检查，若，则，终止计算；否则继续；4. 选取新区间，使；5. 返回步骤2，继续逼近零点。平分法(二分法)平分法是最简单的方法，它认为极值点可能在区间的中点，即新的估计值为。是新区间的一个边界，而另一个边界是原区间边界中的一个，必须满足 或 。例2-6应用平分法，求式(2-1)所示函数的极值点。解：初始搜索区间与例2-4相同，取，。4次迭代的结果见表2-3。表2-3 例2-6平分法计算表00.400 000 000.216 000.0, 0.420.300 000 000.098 000.2, 0.310.200 000 00-1.440 000.2, 0.430.250 000 000.000 00*答案：函数在处有极小值，。注：该例及其初始搜索区间，恰好使二分法的迭代次数最少。不能用本例证明：二分法在收敛速度方面优于其他迭代算法。弦截法(线性插值法) 弦截法认为极值点近似为满足端点条件的线性函数的零点，即新的估计值为。选取新区间的方法与平分法相同。例2-7应用弦截法，求式(2-1)所示函数的极值点。解：初始搜索区间同例2-4，取。17次迭代的结果见表2-4。表2-4 例2-7弦截法计算表00.735 294 1170.136 016 69090.252 036 9390.004 558 25210.647 256 4380.197 719 328100.250 893 3040.002 005 14920.540 407 4410.245 365 619110.250 391 2320.000 879 35430.433 934 7680.235 752 758120.250 171 2430.000 385 12140.351 150 1510.170 339 333130.250 074 9340.000 168 56750.300 041 3140.098 069 398140.250 032 7860.000 073 76360.273 244 4000.049 108 323150.250 014 3440.000 032 27470.260 453 9430.022 870 233160.250 006 2750.000 014 12080.254 630 4850.010 290 340170.250 002 7450.000 006177*答案：函数在处有极小值，。在函数的导数近似为线性函数时，适合采用弦截法。显然，该例不是应用弦截法的恰当例子，迭代次数较多。2-1-3 求解单变量函数极值问题的直接法上面介绍的各种方法都需要计算函数的一阶导数。有时，函数很复杂或没有解析表达式，就不易或不能求导。下面介绍3种适用于单极值(峰或谷)函数求极值的直接方法，它们是用直接比较函数值大小来确定函数极值的。法(黄金分割法)假定函数在区间上有极大值(或极小值)。为求取极值点，需要不断地缩小搜索区间。为此，要在区间上找出两点和，比较和值的大小，单边缩小区间得到新搜索区间。和中有一个是新搜索区间的边界，而另一个则是新区间中的一点。只需再找出一点，就可以继续缩小搜索区间。为了计算方便，每次更新的区间都应该是上次区间的倍。这要求和在区间中的位置对称，即且 。 (2-6)因为，在次迭代时，和及其函数值仍然有用。在区间中的两点也要位置对称。例如，取新区间为，要保证对称，则。 (2-7)将式(2-6)代入式(2-7)中，得到，解得。该迭代算法使用的系数值等于，算法因此命名为法。由于和在区间中的位置对称，和满足下列关系：，。 (2-8)求函数极大值的具体操作步骤如下：1. 选取区间；确定允许误差；2. 计算：，；3. 计算函数和的值；4. 比较和，更新搜索区间和区间中两个点：(a) 若：，；，；计算的值；转到步骤5；(b) 若：，；，；计算的值；转到步骤5； (c) 若，可按(a)或(b)处理；转到步骤5；如果最终极点值不在此时所选区间内，需返回此处，按相反情况处；5. 若，则得到满足精度要求的极值点，结束计算；否则，值加1，返回到步骤4。求函数极小值的具体操作步骤与求极大值的步骤相似，只是在更新搜索区间时，区间收缩方向相反，即更改步骤4中的处理内容：(a) 若： ，；，；计算的值；转到步骤5；(b) 若：，； ，； 计算的值；转到步骤5；例2-8应用法，求式(2-1)所示函数的极值点。解：初始搜索区间同例2-4，取。由于和，及表2-5给出的和的值，知道该函数求极小值。18次迭代的结果见表2-5。表2-5 例2-8 0.618法计算表00.000 00.305 60.494 40.800 04.897 674 8274.936 100 17710.000 00.188 80.305 60.494 44.899 217 3404.897 674 82720.188 80.305 60.377 60.494 44.897 674 8274.908 958 22130.188 80.260 80.305 60.377 64.894 659 9644.897 674 82740.188 80.233 60.260 80.305 64.894 842 7244.894 659 96450.233 60.260 80.278 40.305 64.894 659 9644.895 393 46860.233 60.251 20.260 80.278 44.894 532 8674.894 659 96470.233 60.243 20.251 20.260 84.894 583 9014.894 532 86780.243 20.251 20.252 80.260 84.894 532 8674.894 540 02690.243 20.244 80.251 20.252 84.894 561 9524.894 532 867100.244 80.246 40.251 20.252 84.894 545 9244.894 532 867110.246 40.248 00.251 20.252 84.894 535 7664.894 532 867120.248 00.249 60.251 20.252 84.894 531 4304.894 532 86713*0.248 00.249 222 40.249 977 60.251 24.894 531 9314.894 531 251140.249 222 40.249 977 60.250 444 80.251 24.894 531 2514.894 531 472150.249 222 40.249 689 60.249 977 60.250 444 84.894 531 3594.894 531 251160.249 689 60.249 977 60.250 156 80.250 444 84.894 531 2514.894 531 278170.249 689 60.249 868 80.249 977 60.250 156 84.894 531 2694.894 531 251180.249 868 80.249 977 60.250 048 00.250 156 84.894 531 2514.894 531 253答案：极值点为，。注：因0.618是黄金分割系数的近似值，在作第13次迭代计算0.2469是搜索区间的中点，重新选取区间中的两个试验点，使算法能够继续。费波那奇(Fibonacci)法费波那奇法(或称为分数法)缩小搜索区间的方法与法极为相似，只是在区间中选取两点的方法不同。分数法是根据费波那奇数列产生的分数数列选取。费波那奇(部分)数列定义如下：。分数法与法在迭代次数上不同：法的迭代次数没有限定，直到找到极值点，才终止计算；分数法的迭代次数限定为次，在给定搜索区间和允许误差时，迭代次数限定为满足。 (2-9)下面介绍该迭代算法。将区间分成等份，前两个实验点选取为，。 (2-10)易知，和在中的位置是对称的。缩小搜索区间的判别方法与法相同，在新区间中， 和的关系仍然满足式(2-8)。求函数极大值的具体操作步骤如下：1. 选取区间；确定允许误差；应用式(2-9)确定值；2. 应用式(2-10)计算：和；3. 计算函数和的值；4. 比较和，更新搜索区间和区间中两个点：(a) 若：，；，；计算的值；转到步骤5； (b) 若：，；，；计算的值；转到步骤5； (c) 若，可按(a)或(b)处理；转到步骤5；如果最终极点值不在此时所选区间内，需返回此处，按相反情况处；5. 若,，结束计算；否则，值加1，转到步骤4。求函数极小值的具体操作步骤与求极大值的步骤相似，参见法。当时，分数趋于常数，该常数值由下面计算式导出：，；。可以说法是简化的分数法。例2-9应用分数法，求式(2-1)所示函数的极值点。解：初始搜索区间同例2-4，取。，；由于和，及表2-6给出的和的值，知道该函数求极小值。18次迭代的结果见表2-6。表2-6 例2-9分数法计算表00.000 000 0000.305 572 8290.494 427 1700.800 000 0004.897 671 9144.936 106 96710.000 000 0000.188 854 3410.305 572 8290.494 427 1704.899 208 5914.897 671 91420.188 854 3410.305 572 8290.377 708 6820.494 427 1704.897 671 9144.908 979 71530.188 854 3410.260 990 1940.305 572 8290.377 708 6824.894 664 4924.897 671 91440.188 854 3410.233 436 8540.260 990 1940.305 572 8294.894 849 0434.894 664 49250.233 436 8540.260 990 1940.278 019 4890.305 572 8294.894 664 4924.895 371 09960.233 436 8540.250 464 4030.260 990 1940.278 019 4894.894 531 4924.894 664 49270.233 436 8540.243 962 6450.250 464 4030.260 990 1944.894 572 6974.894 531 49280.243 962 6450.250 464 4030.254 488 4360.260 990 1944.894 531 4924.894 553 73490.243 962 6450.247 986 6780.250 464 4030.254 488 4364.894 535 8274.894 531 492100.247 986 6780.250 464 4030.252 010 7130.254 488 4364.894 531 4924.894 535 782110.247 986 6780.249 532 9880.250 464 4030.252 010 7134.894 531 4964.894 531 492120.249 532 9880.250 464 4030.251 079 2980.252 010 7134.894 531 4924.894 532 558130.249 532 9880.250 147 8830.250 464 4030.251 079 2984.894 531 2754.894 531 492140.249 532 9880.249 849 5080.250 147 8830.250 464 4034.894 531 2764.894 531 275150.249 849 5080.250 147 8830.250 166 0280.250 464 4034.894 531 2754.894 531 281160.249 849 5080.249 867 6530.250 147 8830.250 166 0284.894 531 2704.894 531 275170.249 849 5080.249 867 6530.250 129 7380.250 147 8834.894 531 2704.894 531 269180.249 867 6530.249 885 7980.250 129 7380.250 147 8834.894 531 2654.894 531 269答案：极值点为，。抛物线法抛物线法与前两种方法一样要不断地缩小搜索区间，该方法选取下一个实验点及更新区间与前两种方法不同。抛物线法认为在很小的区间上，函数近似为抛物线。设在区间 中，有一试验点。记,。过平面上三点的二次抛物线方程为，易知，该抛物线的顶点为。 (2-11)记。比较与值的大小，更新搜索区间：求极小值时，若，；若，；求极大值时，若，；若，；新搜索区间的边界是与相邻的两点。在新区间上，若满足，则得到满足精度要求的极值点；否则，继续搜索。关于抛物线法的一些说明：1. 在初始搜索区间中，可选取；2. 若按式(2-11)计算，得到的与相等，为使迭代能够继续，必须作如下修改：为搜索区间中较长一段的中点，例如，；3. 每次迭代的抛物线顶点，即该抛物线的最大值点对应的函数值不一定大于，或抛物线的最小值点对应的函数值不一定小于；4. 如果函数近似为自变量的二次函数，抛物线法特别有效。例2-10应用抛物线法，求式(2-1)所示函数的极值点。解：初始搜索区间同例2-4，取。由表2-7的,值，知道该函数求极小值。7次迭代的结果见表2-7。表2-7 例2-10抛物线法计算表00.000 000 0000.400 000 0000.800 000 0005.000 000 0004.913 600 0004.993 600 00010.000 000 0000.400 000 0000.407 692 3075.000 000 0004.913 600 0004.915 282 20720.000 000 0000.301 292 7640.400 000 0005.000 000 0004.897 228 0914.913 600 00030.000 000 0000.252 121 6470.301 292 7645.000 000 0004.894 536 2954.897 228 09140.000 000 0000.252 121 6470.259 273 6155.000 000 0004.894 536 2954.894 626 41250.000 000 0000.251 906 9010.252 121 6475.000 000 0004.894 535 3274.894 536 29560.000 000 0000.250 655 2500.251 906 9015.000 000 0004.894 531 7334.894 535 32770.000 000 0000.250 424 5340.250 655 2505.000 000 0004.894 531 4534.894 531 733时，。答案：极值点为，。改进的抛物线法在前面介绍的3种直接算法中，抛物线法收敛速度最快。但是，选取新试验点的计算过于烦琐，参见抛物线顶点计算式(2-11) 。如果在选取新试验点时，采用如下方法：若，即是搜索区间的中点，则；否则，在搜索区间中较长一段中选取：(a) 若长段的长度大于2倍的短段长度，则取在长段中点；(b) 否则，选取为短段边界点的对称点。这样选取新试验点既有抛物线法收敛快的优点，又便于计算。将这种算法称为改进抛物线法。例2-11应用改进抛物线法，求式(2-1)所示函数的极值点。解：初始搜索区间同例2-4，取。由表2-8的,值，知道该函数求极小值。10次迭代的结果见表2-8。表2-8 例2-11改进抛物线法计算表00.000 000 0000.400 000 0000.800 000 0005.000 000 0004.913 600 0004.993 600 00010.000 000 0000.400 000 0000.407 692 3075.000 000 0004.913 600 0004.915 282 20720.000 000 0000.200 000 0000.400 000 0005.000 000 0004.897 600 0004.913 600 00030.200 000 0000.272 972 9730.400 000 0004.897 600 0004.895 101 0074.913 600 00040.200 000 0000.272 972 9730.345 945 9464.897 600 0004.895 101 0074.903 205 83650.200 000 0000.253 683 9600.272 972 9734.897 600 0004.894 546 4184.895 101 00760.226 841 9800.253 683 9600.272 972 9734.895 159 7074.894 546 4184.895 101 00770.234 394 9470.253 683 9600.272 972 9734.894 812 8674.894 546 4184.895 101 00780.234 394 9470.250 299 2590.253 683 9604.894 812 8674.894 531 3514.894 546 41890.246 914 5580.250 299 2590.253 683 9604.894 542 0194.894 531 3514.894 546 418100.246 914 5580.250 009 9770.250 299 2594.894 542 0194.894 531 2504.894 531 351时，。答案：极值点为，。直接二分法在例2-6中，应用二分法求解函数极值，新试验点是很容易计算的。但是，应用二分法，需要计算出函数的导数。这里，介绍直接二分法，它保留了二分法计算新试验点便捷的优点，又能通过直接比较试验点的函数值来更新搜索区间。设在区间中，可能位于、和处，则新试验点选在、(或)和处。例2-12应用直接二分法，求式(2-1)所示函数的极值点。解：初始搜索区间同例2-4，取 。由表2-9的 ,值，知道该函数求极小值。11次迭代的结果见表2-9。表2-9 例2-12直接二分法计算表00.000 000 0000.400 000 0000.800 000 0005.000 000 0004.913 600 0004.993 600 00010.000 000 0000.400 000 0000.600 000 0005.000 000 0004.913 600 0004.961 600 00020.200 000 0000.400 000 0000.600 000 0004.897 600 0004.913 600 0004.961 600 00030.300 000 0000.400 000 0000.600 000 0004.897 100 0004.913 600 0004.961 600 00040.300 000 0000.350 000 0000.400 000 0004.897 100 0004.903 881 2504.913 600 00050.250 000 0000.300 000 0000.350 000 0004.894 531 2504.897 100 0004.903 881 25060.225 000 0000.250 000 0000.275 000 0004.895 266 0164.894 531 2504.895 203 56170.237 500 0000.250 000 0000.262 500 0004.894 710 9624.894 531 2504.894 703 14980.243 750 0000.250 000 0000.256 250 0004.894 575 6854.894 531 2504.894 574 70990.246 875 0000.250 000 0000.253 125 0004.894 542 2984.894 531 2504.894 542 175100.248 437 5000.250 000 0000.251 562 5004.894 534 0044.894 531 2504.894 534 212110.249 218 7500.250 000 0000.251 562 5004.894 531 9384.894 531 2504.894 534 212 时，。答案：极值点为，。2-2 多元函数无约束的极小化本节介绍多元函数无约束极值的充分必要条件及其解析算法。2-2-1 极值存在的充分条件设是元函数且具有连续的一阶偏导数和二阶偏导数，其中，。函数的二阶偏导数常被称为海森矩阵。是的一个极大值点的充分必要条件为：在点处，函数的一阶偏导数等于零，且海森矩阵是负定的， 及 。是的一个极小值点的充分必要条件为： 及 。 (2-12)例2-13 求函数的极小值。解：；答案：所求极小值为。2-2-2 牛顿迭代公式(牛顿法) 将一元函数的牛顿迭代公式直接扩展，得到求多元函数极值的牛顿迭代公式：。 (2-13)对于二次函数，式中 矩阵是正定(若是负定的，可取)常数矩阵。则有，。若初始点为，应用牛顿迭代公式(2-12)及式(2-13)，得，。 (2-14)式(2-14)表明：用牛顿法求解二次函数极值点时，无论初始点取何值，只需一次迭代，就能得到极点值，也就是说，使用式(2-14)直接计算。例2-14 求函数的极小值。解：原函数改写为，。答案：。实际使用中，为保证算法收敛或加快收敛速度，使用带有线性搜索因子的迭代公式。牛顿法求解函数极值的计算步骤：1. 选取初始极值点估计值，允许误差；2. 计算一阶导数和二阶导数；3. 收敛性检查，若，则，终止计算；否则，继续；4. 解方程，得到；5. 计算线性搜索因子，使得；6. 更新极值点估计值；返回步骤2。2-2-3 梯度法(最速下降法) 牛顿法虽然可以很快地收敛于极值点，但是，在计算逆矩阵时，往往会遇到困难。为避免计算困难，可采用梯度法。梯度法的带有线性搜索因子的迭代公式为。梯度法求解函数极值的计算步骤：1. 选取初始极值点估计值，允许误差；2. 计算一阶导数；3. 收敛性检查，若，则，终止计算；否则，继续；4. 计算；5. 计算线性搜索因子，使得；6. 更新极值点估计值；返回步骤2。例2-15 设函数是二阶可微的，试确定近似的最优搜索因子。解：函数的二阶泰勒展开式为；因为，则上式改写为；为求最优搜索因子，令；得到。这样，在梯度法中，不必计算逆矩阵。2-2-4 共轭方向法牛顿法可以很快地收敛于极值点，但计算逆矩阵很困难，梯度法虽然计算较简便，却收敛速度较慢。结合两种算法的优点，就有了共轭方向法(包括共轭梯度法和变尺度法)。共轭方向 设所讨论的二次函数为， (2-15)式中 是正定矩阵，若非零向量系满足条件， (2-16)则称该向量系为共轭，或称是的共轭方向。当(单位矩阵)时，式(2-16)变成，即互相正交。可以说，正交是共轭的特例，共轭是正交的推广。共轭向量系 ，具有以下性质：1. 若向量 为共轭，必线性无关；在维空间中，互相共轭的非零向量个数；2. 若非零向量是共轭。对二次函数式(2-15),从维欧氏空间中任何一点开始，顺次沿方向作次搜索得到，则(1) ，；(2-17)(2) 当时，就是函数的极小值点。对性质2作如下说明：从出发沿方向线性搜索的极小点为， (2-18)式中 满足。若使取极小值，就一定有，即对于一般函数，都有。 (2-19)由顺次搜索得知，对于，式(2-18)均成立。式(2-18)两边左乘矩阵，并注意到，。 (2-20)利用式(2-20)递推，得到，。上式左乘，得，。注意到式(2-16)和式(2-19)，得到式(2-17)，即证明了性质2中的(1)部分。将个式(2-17)写成矩阵形式。 (2-21)由于，式(2-21)表明，即是函数的极小值点。共轭方向法 从任意初始点开始，顺次沿个的共轭向量 方向作线性搜索，最多经次就可得到极小点。计算的共轭向量 由性质2的(1)部分可知：共轭向量的任何线性组合都与正交，即，。式中 是任意实数。这表明，可以由一组线性无关向量 的线性组合得到一组的共轭向量。选，取式中 是满足下式的待定系数，。