神经网络配套pptChpres

1、51信号和权值向量空间52记号xx1x2xn=xn中的向量.一般的向量.xT = x1 x2 xn 53向量空间定义定义：一个线性向量空间 X 是一组定义在标量域 F 上且满足如下条件的元素（向量）集合：1.向量加的运算定义为：如果x X 和y X ，那么x+y X 。2. x + y = y + x 。3. (x + y) + z = x + (y + z) 。 4. 存在唯一的零向量0 X，对于所有的x X ，有x + 0 = x 。5. 对每一个向量x X，在 X 中只有唯一的一个向量(-x )，满足x + (-x ) = 0 。54向量空间 (续)6. 向量乘的运算定义为：对于所有标量

2、 a F 以及所有向量 x X，有 ax X 。7. 对任意的 x X 和标量1，有1x = x 。 8. 对任意的两个标量 a F 和 b F，以及任意的 x X，有 a (bx) = (a b) x 。9. (a + b) x = a x + b x 。10. a (x + y) = a x + a y 。55例子(判定边界)p2, p3 平面是一个向量空间?直线 p1 + 2p2 - 2 = 0 是一个向量空间?56其它向量空间阶数等于或小于 2 的多项式。x2t4t2+=y15t+=在区间0,1中的连续函数。57线性无关a1x1a2x2anxn+0=如果意味着对于所有i ( 1 i n

3、 )有ai0=那么xi是一组线性无关的向量。58例子 (香蕉和苹果)p1111=p2111=a1p1a2p2+0=令a1a2+a1a2+a1a2+000=要上式成立只可能有a1a20=因此这两个向量线性无关。59生成空间如果一个空间中的每个向量都能写成某个子集中向量的线性组合，那么这个子集就能生成一个空间。xx1u1x2u2xmum+=510基集 空间 X 的基集是由生成 X 的线性无关的向量所组成的集合。 一个向量空间的维数，Dim(X)，是该向量空间基集中的向量个数。 设 X 是一个有有限维数的向量空间，那么 X 的每个基集都有相同个数的元素。511例子阶数等于或小于 2 的多项式。 u1

4、1=u2t=u3t2=(任意三个线性无关的向量都可以组成该空间的一个基)u11t=u21t+=u31tt+ +2=基集 A：基集 B:怎样用上两个基集表示向量 x = 1+2t ?512内积 / 范数A scalar function of vectors x and y can be defined asan inner product, (x,y), provided the following aresatisfied (for real inner products): (x,y) = (y,x) . (x,ay1+by2) = a(x ,y1) + b(x ,y2) . (x , x

5、) 0 , where equality holds iff x = 0 .A scalar function of a vector x is called a norm, |x|, provided the following are satisfied: |x| 0 . |x| = 0 iff x = 0 . |a x| = |a| |x| for scalar a . |x + y| |x| + |y| .513例子xTyx1y1x2y2xnyn+=标准欧几里得内积：标准欧几里得范数：角度：|x| = (x , x)1/2|x| = (xTx)1/2 = (x12 + x22 + .

6、+ xn2) 1/2 cos(q) = (x ,y)/(|x| |y|)514正交性向量 x, y X，满足 (x,y) = 0，那么这两个向量正交。任何在 p2p3 平面中的向量是与权向量正交的。例子515Gram-Schmidt 正交化方法y1y2 yn线性无关向量v1v2 vn正交向量v1y1=v2y2av1=步骤 1：取第一个正交向量为第一个线性无关向量。步骤 2：将 y2 减去处于 v1 方向上的分量。其中 a 的选择必须使得 v2 正交于 v1 ：v1v2(,)v1y2av1(,)v1y2(,)av1v1(,)0=av1y2(,)v1v1(,)- - - - - - - - - -

7、 -=516Gram-Schmidt正交化方法 (续)v1y2(,)v1v1(,)- - - - - - - - - - -v1 y2 在 v1 上的投影：vkykviyk(,)vivi(,)- - - - - - - - -vii1=k1=步骤 k：将 yk 减去处于所有前面 vi 方向上的分量。517例子y111=y212=v1y111=步骤 1.518例子 (续)v2y2v1Ty2v1Tv1- - - - - - -v1121 1121 111- - - - - - - - - - - - -11120.50.51.51.5=步骤 2.519向量展开式如果向量空间 X 的基集为 v1,

8、v2, ., vn, 那么任意 xX 有如下唯一的向量展开式：xxivii1=nx1v1x2v2xnvn+=如果基集向量是正交的，并且求vj 和 x 的内积：vjx(, )vjxivii1=n(,)xivjvi(,)i1=nxjvjvj(,)=由此可得展开式的系数：xjvjx(, )vjvj(,)- - - - - - - - - -=520一列数向量展开式使得任意一个向量都可以用一列数来表示。xxivii1=nx1v1x2v2xnvn+=xx1x2xn=为了解释 x 的含义，还需知道展开式用的基集是什么。521互逆基向量互逆基向量的定义，ri：rivj(,)0ij=1ij=其中基向量是 v1

9、, v2, ., vn, 并且互逆基向量是 r1, r2, ., rn.rivj(,)riTvj=RTBI=Bv1v2vn=Rr1r2rn=对于 n 中的向量可以用下面的内积：因此，关于互逆基向量的等式可写成：RTB1=522向量展开式xx1v1x2v2xnvn+=r1x(, )x1r1v1(,)x2r1v2(,)xnr1vn(,)+=r1v2(,)r1v3(,)r1vn(,)0=r v11(,)1=x1r1x(, )=xjrjx(,)=求第一个互逆基向量与被展开向量的内积：按互逆基向量的定义：因此，展开式的第一项系数为：一般地，我们有（甚至对于非正交的基向量）：523例子v1s11=v2s20=xs12=基向量:要展开的向量:524例子 (续)RT1 21 01010.50.5r101r20.50.5