神经网络5ppt课件

理论分析相关基本概念和基础知识,线性向量空间,1. 一个被称为向量加的操作定义为： if xX and y X then x+yX. 2. x + y = y + x 3. (x + y) + z = x + (y + z) 4. 存在唯一称为零向量的向量 0X，对于所有的 xX 都有 x + 0 = x .,一个线性向量空间X是一组定义在标量域F上且满足如下条件的元素向量集合：,线性向量空间（续）,5. 对于 X中每一个向量,存在唯一的向量(-x), 使得x + (-x) = 0 . 6. 一个被称为向量乘的操作定义为：对于所有的 a F的标量, 以及所有的 x X,都有 a x X. 7. 对于所有的向量 x X和标量1 ,有 1x = x . 8. 对于任意标量 a F 和 b F, 以及任意向量 x X, 有a (bx) = (a b) x . 9. (a + b) x = a x + b x . 10. a (x + y) = a x + a y,线性向量空间举例,线性向量空间（续）,线性无关,如果,当且仅当,因此,被称为一组线性无关的向量,两个向量独立,线性无关（续）,生成空间,如果线性空间存在一个子集，且空间中的每个向量都能写成该子集向量的线性组合，那么该子集就能够生成一个空间,基集合,X的基集合是由生成X的线性无关的向量组成的集合 向量空间的维数, Dim(X),等于基集中元素的个数 X是一个有限维的向量空间，则X的每个基集合的元素数量相等,内积,满足下列条件的关于的标量函数，都可以定义为内积 (x,y) = (y,x) . (x,ay1+by2) = a(x ,y1) + b(x ,y2) . (x , x) = 0 , 当且仅当是零向量时， (x , x) = 0 .,范数,如果一个向量 x的标量函数满足下列条件，则被称为范数： |x| 0 . |x| = 0， 当且仅当 x = 0 . |a x| = |a| |x| ，对于所有的标量 a . |x + y| |x| + |y| .,内积与范数（示例）,标准内积,标准的欧氏范数,|x| = (x , x)1/2,|x| = (xTx)1/2 = (x12 + x22 + . + xn2) 1/2,角度,cos(q) = (x ,y)/(|x| |y|),正交的向量： 两个向量 x,y X，满足 (x,y) = 0 ，则称其正交,正交,在 p2,p3 空间中的任意向量都与权值向量正交,正交的向量空间,如果子空间X1的每一个向量都与子空间X2中每个向量正交，称X1正交于X2,线性无关和正交性是相互联系的,Gram-Schmidt正交化,线性无关向量,正交向量,Step 1: 选择第一个线性无关向量作为第一个正交向量.,Step 2: 将 y2 减去处于 v1方向上的分量,其中 a必须合适选取，使得 v2 垂直 v1:,Gram-Schmidt正交化（续）,投影,y2 在v1上的投影：,Step k: 将 yk减去处于前面正交向量 vi方向上的分量和 .,Gram-Schmidt正交化（续）,Gram-Schmidt正交化（续）,Step 1.,Gram-Schmidt正交化（续）,Step 2.,如果向量空间 X的基集为 v1, v2, ., vn, 那么对于任意的 xX 有唯一的向量展开式:,向量展开,如果基集合中的向量是正交的（(vi,vj)=0,ij）, 求 vj 和x的内积 :,因此，展开式的系数为:,为了理解 x,我们必须要了解对应展开的基集是什么,向量展开（续）,向量展开提供了用一列数据来表示向量的方法,定义互逆基向量, ri:,互逆基向量,其中基向量为 v1, v2, ., vn, 互逆基向量为 r1, r2, ., rn.,因此,互逆基向量方程可以写成：,如果互逆基向量已经表示成一列数的形式，并采用了标准内积,与第一个互逆向量的内积为:,依据定义:,因此，展开式中第一个系数:,一般地，有 ：,互逆基向量（序）,向量展开：,互逆基向量（序）,互逆基向量:,展开系数:,矩阵形式:,互逆基向量（序）,展开向量的表示取决于所使用的基集.,互逆基向量（序）,线性变换(linear transformation),一个变换由三部分组成: 1.一个被称为定义域（domain）的元素集合： X = xi 2.一个被称为值域（ range ）的元素集合 Y = yi, 3.一个联系 x i X 和yi Y的规则.,线性变换: 1.对于所有 x 1, x 2 X, A(x 1 + x 2 ) = A(x 1) + A(x 2 ), 2.对于所有 x X, a , A(a x ) = a A(x ) .,1.,2.,线性变换(linear transformation),设 v1, v2, ., vn 是向量空间的 X一个基向量, u1, u2, ., um 是向量空间的 Y一个基向量.,定义线性变换 A:XY,矩阵表示,任何两个有限维向量空间的线性变换都可以用矩阵(运算)表示,由于 A 是一个线性操作,由于 ui是向量空间的 Y一个基向量,(aij 应该保证矩阵表示的变换成立),因为 ui 是独立的,矩阵表示.,矩阵表示(续),一个线性变换可以表示为一个矩阵的乘。 一个线性变换的矩阵表示也不唯一，如果改变定义域或值域的基集，变换矩阵也将改变。,每一个这样的等式都使我们获得变换矩阵的列,矩阵表示(总结),其它概念,基变换 相似变换 特征值 特征向量 AZZ,基变换,A(X)=y A(X)=y Bt =t1 t2 .tn, Bw =w1 w2 .wm, y =Bwy A=inv(Bw)ABt,对角化,B=z1 z2 .zn 它们是一个方阵A的特征向量。 inv(B)*A*B=对角阵,判断,单神经元感知器网络的判定边界Wpb0。若b0，那么判定边界是一个向量空间吗？ 若b不为0，那么判定边界是一个向量空间吗？ 非负连续函数集合是一个向量空间？ 1 1 1 1 0 1 1 2 1是否是线性无关的？ 1 1 1 1 1 0 1 1 1 2 1 1是否是线性无关的？ Sinx,cosx,2cos(t+pi/4)是否是线性无关的？,判断,两个模式是线性可分的，它们一定是线性无关的吗？ 定义在区间-1 1上的所有多项式所构成的向量空间。（X，Y）IntergerX(t)y(t)dt是否是一个有效的内积？ A=purelin(Wp+b)。从输入到输出向量之间的变换是线性变换吗？ 矩阵的转置操作是否是线性变换？,计算,基向量 1 1 1 1 0 0 0 1 0的正交集? X6 9 9用基向量集v1=1 1