第二章3信号检测与估计

1、信号检测与估计信号检测与估计第二章：信号检测与估计理论的基础知识线性代数线性代数线性向量空间线性向量空间 在信号处理中，信号通常被表示为向量形式，算子(如：滤波、变换等)表示为矩阵的形式。空间V满足以下加法与乘法关系式则V是一个线性向量空间。, ,)() 0,0),()0 x y zVa xyVb xyyxc xyzxyzdVxxexVxVxx 加法：线性向量空间线性向量空间 在信号处理中，信号通常被表示为向量形式，算子(如：滤波、变换等)表示为矩阵的形式。空间V满足以下加法与乘法关系式则V是一个线性向量空间。,) ()1,00) ()x yVa bRa axVb a bxabxc xxxd

2、a xyaxay乘法：和线性向量空间线性向量空间子空间定义：M为V的子集，如果任意x, y M和标量a, b使得axbyM则M为子空间(subspace)内积定义：内积(inner product)是一个映射V V R(值域)。 x, y V，内积表示为。线性向量空间线性向量空间),),),),0ax yy xbax ya x yacxy zx zy zdx x为任意标量内积满足以下特点：内积存在的空间也称为内积空间线性向量空间线性向量空间1:,:1nnTiiiVRx y如果，则例x yx y120:0,1,:( )2( )dVLx yx t y tt如，例果则,cos( ),y,(Cauch

3、y-Schwarz Inequality),x yxyx yVx yxyxy其中 为x与 之间的角度，因此，一般情况下，对于，有如下关系式当且仅当 与 线性相关或平行时等号成立。线性向量空间线性向量空间210:,011-31,11VR ，例？， 与 正交， 与 正交？xyxyuvuv,0如果，则向量 与。正交x yxy12HilbeHilberti.e.,limrtnnnx xxx空间：内积空间包含它所有的极限则称为，表示为 。如果，存在，则。空间HHH基、表示基、表示线性独立定义：线性独立定义：1,0 kiiijjj iaa一组向量中的任何元素都不能表示成其它元素的线性组合，则称为线性独立，

4、即：对于任意 和不全为 的标量，xxxxx基基(Bases)(Bases)的定义：的定义：110 0iiiii iiixxaa 任意，如果能够表示为一组线性独立的向量的线性组合，则是 的一组。标量系数不为 。基全xHHH 基、表示基、表示标准正交基：标准正交基：,1,=0,iji jijij 如果11112212122211 Gram-Schmidt1):/2):,;/):,;/iikkkikikkkik 任意一组基向量可通过标准正交化过程转换为标准正交基 i则称为标准正交基。 正交投影正交投影Hilbert (),0-min-vxxyzyzzvv zx yx v 为子空间，可被表示为，其中，

5、与正交 ，即，若MMHHMMMM正交投影是线性代数中最重要的工具之一，在信号处理中，绝大多数线性滤波器(如，带通滤波器、平均滤波器等)都可以表示为正交投影或与正交投影有关。则y是x 在M上的最优估计，是x在M上的投影。正交投影正交投影 111,为的 维子空间，是的一组正交基，称是由子空间对于任意，则在子空间上的投影为：的，张成rniiriiriiiRrxxMHMMHM正交投影正交投影 11rniirTiiiRrP为的 维子空间，是的一组正交基，则在子空间上的为。投影矩阵MMMM 1-1= ,rniiHHirRrP 为的 维子空间，是的一组基向量，不一定正交，则在子空间上的投影矩为阵，。MMMM

6、正交投影正交投影212121210 R=01 4Tx xRx ：，标准坐标系，求 张成的子空间，由任意， 在该子空间上例影？的投xH特征值分析特征值分析假设A为m m阶矩阵，其元素可为实数或复数，A的特征值分解为1, m为A的特征值。Au= u。HAUDU其中U为m m列向量标准正交矩阵，D为120=0mD主成分分析主成分分析(PCA)(PCA)证明随机向量X的协方差矩阵C为半正定矩阵？X为n维随机向量，其协方差矩阵C = UDUH，u1,un为特征向量，假设特征值由大到小排列，1 2 n，X的PCA表示为1=nHiiiXuX u系数 称为X的主成分。=HUX主成分分析主成分分析(PCA)(P

7、CA)X的r (r n) 维估计可以表示为1=rHriiiXuX u221minrrrrYSnii rEXXEXY X的所有r 维线性估计Sr中，Xr具有最小的均方误差主成分分析主成分分析(PCA)(PCA)21nrii rEXX 证明：1=nHniiiXuX u1=rHriiiXuX ur n221=nHnriii rXXuX u 11=HnnHHiikki rk ruX uuX u =HiiuX 11=Hnniikki rk ruu 主成分分析主成分分析(PCA)(PCA)21nrii rEXX 证明：211=nnHnriikki rk rXXuu 1,1,=nnHHiikkiikki ri ki ri ku uu u ,=Hikikiku uu u 211=nniiii ri r 21=nHii ruX 主成分分析主成分分析(PCA)(PCA)21nrii rEXX 证明：221=nHnrii rXXuX 定义2=iiE=iiiiEE =HHHiiEuXuX=HHiiuE XXu=HHC E XXUDU=HHiiu UDU u主成分分析主成分分析(PCA)(PCA)21nrii rEXX 证明：221=nHnrii rXXuX 定义=