这个方向上的单位向量是新点是几个常用的梯度公式例

1、这个方向上的单位向量是： 新点是 几个常用的梯度公式： 例：求下列函数的梯度： 解： 故 故 三、Hesse矩阵： 下面我们来考察多元函数 关于X的二阶导数。首先定义向量变量值函数的导数：定义：设 如果g（x）的所有分量 在 点均可微，则向量值函数g（x）在 处称为可微。 根据前面多元函数定义，若g（x）在点 处可微，则对任意n维向量P均有： 因为向量的极限是通过它所有分量的极限来定义的。则上式等价于： 其中： 称之为向量值函数g（x）在 处的导数，也称响亮值函数g（x）在点 处的Jacoi矩阵。 设m=n。且 其中 为n元函数，有二阶连续偏导数。 从而由上面（8）可得： 这就是多元函数f（X

2、） 关于X的二阶导数，称为f（X） 的Hessian矩阵。 多元函数的一阶导数即梯度 。二阶导数即Hesse阵 . 这两个概念在最优化中是最常用的。 在高等数学中我们已经证明过当f（X）的所有二阶偏导数连续时，有 j=1，2n因此在这种情况下，Hesse矩阵是对称的。例：求目标函数f（X）=的梯度和Hesse矩阵。 解：因为 则 又因为： 故Hesse阵为： 下面几个Jacobi公式是今后常用到的：（1） 则 （2） 则 （单位阵） （3） Q对称。 则（4）若 其中f： 则： 证明（4）：对t求导，根据多元函数复合函数求导公式： 再对t求一次导数有： 7 多元函数的Taylor展开公式 多元

3、函数Taylor展开式在最优化理论中十分重要。许多方法及其收敛性的证明都是从它出发的。下面就给出多元函数Taylor展开式及其证明： 定理：设f： 具有二阶连续偏导数。则： 其中 而01 证明：设 于是 按一元函数Taylor展开定理把 在t=0点展开。 有： 其中01 而 由前节（4） 代入上式 并令t=1 有： Taylor展开式还可写成如下形式： 这是因为 的每一个分量都是连续函数。则 当 时 从而定理中T aylor公式可以写成： 8 极小点及其判定条件一，极小点概念： f 例如：图中一元函数f定义在区间a b上 为严格局部极小点， 0 X a b 为非严格局部极小点。 a为全局严格极

4、小点 。 定义1 满足不等式 的点X的集合称为 的邻域。记为：定义2： 设 若 使 （1） 均有： 则称 为f的非严格局部极小点。 （2） 。且 有 则称 为f的严格局部极小点。定义3： 设 若 使 （1） 均有 则称 为f在D上的非严格全局极小点。 （2） 有 则称 f在D上的严格全局极小点。局部极小点 是指在 的某个邻域内，f在 处取极小值 全局极小点 是指在整个定义域D中，f在 处取极小值。 全局极小点可能在某个局部极小点达到，也可能在边界达到。 我们希望知道的当然是全局极小点，而到目前为止的一些最优化算法却基本上是求局部极小值点的。因此一般要先求出所有局部极小值点，再从中找出全局极小点

5、。二、 局部极小点的判定条件： 为了求出函数的局部极小值点，我们首先希望知道函数f在局部极小点处满足什么条件？以及满足什么条件的点是局部极小点。定理1： 设 具有连续的一阶偏导数，若 是f的局部极小点，且为D的内点，则 证明：设e为任意单位向量。因为 是f（Z）的局部极小点。由定义知： 当|t| 即 时，总有：令 （一元辅助函数）则上式即为：而 是D的内点。从而与之对应的t=0是 的局部极小点。根据一元函数极小点必要性条件知：而由前述性质知： 则由单位向量任意性，即知（否则 取 则 矛盾注意：定理中条件仅为必要的，而不是充分的。例： 在 处梯度为但 只是双曲抛物面的鞍点，而不是极小点。 f定义

6、：设 是D的内点，若 则称 为f的驻点。定理2、设 具有连续的二阶偏导数， 是D的内点，若 且 正定，则 是f（X）的严格局部极小点。 证明：因 正定，则 使对 均有： 将f在 处按Taylor公式展开。注意 有： 当X充分接近 时，上式左端的符号取决于右端的一项0（为正）。故 （X充分接近 时）。但我们实际中解最优化问题时，一般难以求得目标函数的Hesse矩阵。更难以判别其正定性了。因此定理又只具有理论上的意义。推论：对于具有对称正定矩阵的二次函数： 是它的唯一极小点。证明：求此二次函数的驻点： 由 知有唯一驻点 而这点处的Hesse阵 正定。 故由定理又知： 是其唯一极小点。 若多元函数在

7、其极小点处的Hesse阵正定，则它在这个极小点附近的等值面近似地呈现为同心椭球面族。 9、下降迭代算法及其收敛性证明：设 是多元函数f的极小点。并设f（X）=r是充分靠近极小点 的一个等值面，即 充分小。将f（X）在 点展开为Taylor公式。 因 为极小值点。又 是高阶无穷小量。省略。则有： 这是等值面f=（X）的一个近似曲面。由于假设 正定，则 是以 为中心的椭球面方程。T 我们知道求解最优化问题 可以通过求出其全部驻点，即求解非线性方程组： 达到。 但求解此非线性方程组的难度并不比原最优化问题求解难度小。因此一般不采用此法，而利用对原问题的直接迭代法。一、下降迭代算法： 设 是f的一个局

8、部极小点。一般的寻找最优点的方法是先找到极小点的一个初始估计点 然后按一定规则即算法产生一个序列 如果： 称算法产生的序列收敛于 最常见的最优化算发是下降算法。即给定初始点之后，如果每迭代一步均使目标函数有所下降，即 在一般算法中，若以迭代到点 那么下一次迭代有下面两种情形之一发生： 从 出发沿任何方向移动，目标函数不再下降。 根据定义知，此点 即为局部极小点。迭代终止。 如果算法在某步迭代时找到了极小点 则称算法是有限步终止的。这种情形极少见。 从 出发至少有一个方向使目标函数有所下降。 这时从中选定一个下降方向 再沿这个方向迭代一步。即在直线 上适当找一个新点 使 此时我们说完成了一次迭代。其中 称为步长因子。一个算法是有效的，如果它所产生的序列 收敛于极小点 在利用计算机求解是，总只能进行有限次迭代，一般难求解精确的极小点，而只得到近似解。如何使计算机终止迭代而又得到一定精度的近似解。就需要预先给出算法终止准则。 一个自然的想法就是当 小于预先给定的误差时，