神经网络的数学基础课件

1、1Martin T.HaganHoward B. Demuth 著Mark H. Beale戴 葵等译机械工业出版社2矩阵及线性空间线性变换线性代数神经网路的数学基础（一）3神经网络基础（续）向量（矢量）的定义： 既有大小又有方向的量叫做向量。 向量的线性相关与线性无关： 如果有n个向量Pi ， 存在n个标量ai ,当且仅当每个ai都等于0时，有：那么，称这n个向量Pi 线性无关；如果ai中至少有一个不等于0时称这n个向量Pi 线性相关。4神经网络基础(续)线性向量空间的定义： page 60 满足12个条件 空间维数： 如果P 是一个线性空间， m个向量Pi构成P的一个子集。称P是Pi的一个

2、张成，当且仅当对于任意一个XP,存在m个标量ai,满足：空间维数是由张成这一空间所需最少向量的个数，这些向量就构成了空间的基。比如：平面空间的维数为二，P1=1,0T, P2=0,1T就可以作为它的基。5神经网络基础(续)向量的内积定义： page 63 如果P 是一个n维线性空间， X,YP,且X=xi, Y=yi,则X,Y的内积可表示为：向量的正交性：设P 是一个n维线性空间， X,YP,且X=xi, Y=yi,如果X,Y的内积为0，则X,Y 正交。7神经网络基础(续)线性变换的定义： page 80 线性变换的矩阵表示：两个有限维向量空间的任何线性变换都可以用一个矩阵来表示。现证明如下：

3、证明：设v1,v2,vn是向量空间P的一个基， u1,u2,um是向量空间Q的一个基，如果XP，YQ，A是一个定义域为P，值域为Q的线性变换，则有：8神经网络基础(续)A是一个线性变换，则有：A(vj)是值域Q中的一个元素，故可写成Q空间矢量基的线性组合，则有：交换求和号：10神经网络基础(续)相似变换：设t1,t2,tn是向量空间P的另外一个基， w1, w2,wm是向量空间Q的另外一个基，如果XP，YQ，那么在这两个基下， XP，YQ 可表示为：11神经网络基础(续)相似变换：设t1,t2,tn是向量空间P的另外一个基， w1, w2,wm是向量空间Q的另外一个基，如果XP，YQ，假设A是

4、另一个定义域为P，值域为Q的线性变换，则有：12神经网络基础(续)ti是P中的一个元素，故可写成P空间矢量基的线性组合，则有：wi是Q中的一个元素，故可写成Q空间矢量基的线性组合，则有：14神经网络基础(续)这就是相似变换，即一个给定相似变换对应的任何两个矩阵之间的关系。15性能优化：求极值神经网路的数学基础（二）17优化方法其中 定义为梯度，这是一个向量。定义为Hessian 矩阵 。18神经网络基础(续)强极小点： 如果存在某个纯0，使得当0|X| 时，对所有X 都有F(X*) F(X*+ X)成立，则称X*是F(X)的一个强极小点。换句话说：在一定的范围内，从一个强极小点出发沿任意方向移

5、动任意小的距离都将使F(X)增大。因此强极小点又称为局部极小点。弱极小点： 如果存在某个纯0，使得当0|X| 时，对所有X 都有F(X*) F(X*+ X)成立，则称X*是F(X)的一个强极小点。换句话说：在一定的范围内，从一个强极小点出发沿任意方向移动任意小的距离都将使F(X)增大或保持不变。19神经网络基础(续)全局极小点：对所有X0 都有F(X*) F(X*+ X)成立，则称X*是F(X)的全局极小点。换句话说：从一个全局极小点出发沿任意方向移动任意小的距离都将使F(X)增大。极大点： 在上述的极小点的描述中，将F(X*) F(X*+ X)改写成F(X*)F(X*+ X)就可以得到极大点

6、的有关定义。20神经网络基础(续)求极值点的方法： 假设多元目标函数仍为F(X)，在X*处的梯度和Hessian矩阵为 F(X)， 2 F(X)，则X*为强极小点的必要条件为：X*为强极小点的充分条件为： 2 F(X)为半正定矩阵。半正定矩阵的判别方法： 对任意的Z0矢量有21神经网络基础(续)优化方法： 假设多元目标函数仍为F(X)，我们的目的是求出使F(X)最小的X。这就是所谓的优化。一般情况下，给定一个初始猜测值X0，按照下式进行迭代寻优。其中k为学习步长，Pk为代表某一搜索方向。所以，在这里我们有必要研究一下方向导数。22神经网络基础(续)方向导数： 假设P是一个向量， F(X)是多元目标函数，则沿P的一阶方向导数定义为： P是一个向量， F(X) 也是一个向量。PTF(X)实际上是P和F(X)的内积。如果一阶方向导数为零，表明P和F(X)垂直，对应的方向导数最小。所以，当P和F(X)同向时，对应的方向导数最大 。沿P二次阶方向导数：24神经网络基础(续)满足上式的任意一个