性能曲线和最优点

1、神经网络设计(美)Martin T. Hagan Howard B. Demuth Mark H. Beale 著 戴葵等译第八章性能曲面和最优点性能指数：衡量网络性能的定量标准。性能指数在网络性能良好的时候，是很小的，反 之则很大。在这里我们假设性能指数是已知的，以后讨论性能指数的选择方法。优化过程的第二步是搜索减小性能指数的参数空间(调整网络权值和偏置值)。1.泰勒级数用函数F(x)表示要最小化的性能指数，其中x是要调整的参数。假设F(x)的各级导数均 存在。那么F(x)可表示成灾某些指定点x*伤的泰勒级数展开。F (x) = F (x*) + F (x)(x 一 x *)dxx=x*+1

2、 土 F (x)(x - x *)22 dx 2x=x*F (x )(x - x *)nx=x*+1 dn+ n! dxnF (x )= cos( x)通过泰勒级数展开项的数量，可以用泰勒级数近似估计性能指数，例如设F (x )= cos( x)F(x)= F(x ,x ,. x )2.向量的情况神经网络的性能参数并不是一个纯量x的函数，它是所有网络参数(各个权值和偏置值) 的函数，参数的数量可能是很大的。因此要将泰勒级数展开形式扩展为多变量形式。F(x)= F(x ,x , x )F (x )=这个函数在x*的泰勒级数展开为.3/ / HYPERLINK l bookmark1 o Curr

3、ent Document F (x) = F (x*) + F (x)(xdx11x=x*-x1*)+dF (x )(x2-x2*)2x=x*dF(x) (xxn *)+ 2余F(x)nx=x*x=x*2 Mf(x)R1 2x=x*-x1*)(x2 -x2*)+这个表达式有些复杂，可以写成矩阵形式F (x )= F (x)+ VF (x)(x - x *)x=x*+ L(x - x * V 2 F (x )|(x - x *)+2x=x*这里VF (x )为梯度，定义为VF (x )=Fdx1(x)# F(x)g F(x) TOC o 1-5 h z exex2nV2F(x)为赫森矩阵，其定义

4、为:V2 F (x)=0 20 20 2F(x) F(x) F(x)0 x 20 x 0 xOx Ox1 1 2 1 n020202F(x)F(x) F(x)0 x 0 x0 x 20 x 0 x:n020202F(x) F(x) F(x)0 x 0 x0 x 0 x0 x 2n 1n 2n TOC o 1-5 h z 方向导数梯度的第i个元素# F(x)，是性能指数F在x轴的一阶导数，赫森矩阵的第i个对角 oxii0 2元素云 F(x)是性能指数F沿x,轴的二阶导数。这就要求我们能够求出函数在任意方向 i上的一阶、二阶导数。设为沿p所求导数方向上的一个向量，此方向导数可由下式求出：pTVF

5、(x )IpT沿p的二阶导数也可以写成pT V2 F (x)pllpl I2我们观察上面的两个式子会发现，分子部分是方向向量与梯度的内积，所以，最大斜率 出现在方向向量和梯度同向时。极小点强极小点 如果存在某个纯量5 0，使得当8|Ax| 0时，对所有Ax都有F(x*) F x、Ax成立，这个点x*称为F(x)的强极小点。换句话说，从一个强极小点出发，沿任意方向移动任何一个小的距离都将使F(x)增大。全局最小点 如果点x*使得F(x*) Axx=x*+ Axt V 2 F (x ) Ax + .2x=x*此处Ax = x x * 一阶条件要使x*为极小点，则要使函数在Ax。0时增大或不减小。这就要求VF (x )tAx 0 x=x*但是，如果这一项为正，即VF (xAx 0，x=x*则推导出：F (x* Ax)= F (x*)VF (xAx 0 x=x*要使上式对于任意的Ax。0成立，赫森矩阵必须为正定矩阵。正定矩阵定义为：对于