第二章-数学基础

1、2.1线性空间和希尔伯特空间线性空间和希尔伯特空间 以后我们常用字母加低杆表示矢量和矩阵，并且以后我们常用字母加低杆表示矢量和矩阵，并且用小写字母表示矢量，大写字母表示矩阵，如：用小写字母表示矢量，大写字母表示矩阵，如：123aaaa11122122bbBbb2. 线性空间：线性空间： 关于线性空间和希尔伯特空间的严格定义，读者关于线性空间和希尔伯特空间的严格定义，读者可以参阅有关线性代数的教科书，这里仅给出其使用可以参阅有关线性代数的教科书，这里仅给出其使用概念和结论。概念和结论。 所谓所谓线性空间线性空间是指满足线性变换关系的矢量是指满足线性变换关系的矢量集合集合 ，这里，这里“满足线性变

2、换关系满足线性变换关系”是指是指,( ,a bC a baaaababa bab 和为复常数）有： 1212,TNTNx xxy yy 设矢量 ，为：*1,NHiiix y H在在N维线性空间中，若维线性空间中，若，线性空间线性空间的一个子集的一个子集V V，若，若V V对加法和数乘封闭，对加法和数乘封闭，1100niiniaaa12,n 12,n 那么，矢量组那么，矢量组是线性无关的，否则，是线性无关的，否则，若若的非平凡组合为零，则称的非平凡组合为零，则称是线性相关的。是线性相关的。12,n 即即,VaCVaV 和有：则，则，V是是的一个子空间。的一个子空间。 设设 是是 上的一组矢量，则

3、由上的一组矢量，则由 的所有线性组合构成的集合是的所有线性组合构成的集合是 的一个子空间，常的一个子空间，常称为称为 张成的张成的子空间子空间，记为：，记为：12,n 12,n 12,n 12121,nniinispanaa aaC 若若是线性无关的，且是线性无关的，且那么那么可由可由唯一地线性表示。唯一地线性表示。12,n 12,nspan 12,n 如果如果是线性无关，并且不是是线性无关，并且不是如果是最大线性无关组，那么，如果是最大线性无关组，那么，12,iiik12,n 的任一线性无关组的真子集，那么，的任一线性无关组的真子集，那么，这个子集这个子集就是就是12,n 的一个的一个最大线

4、性无关最大线性无关1）2）3）称）称是是的一个基。的一个基。1212,niiikspanspan 12dim,nspank 12,nspan 组组。12,iiik12,iiik的零空间为的零空间为:矩阵矩阵的秩定义为：的秩定义为：3. 矩阵的值域与零空间矩阵的值域与零空间 给定一组向量，由这组向量张成的子空间容易给定一组向量，由这组向量张成的子空间容易由以上给出的定义写出。另一种求子空间的方法是由以上给出的定义写出。另一种求子空间的方法是给定子空间中矢量的约束条件。如与矩阵有关的两给定子空间中矢量的约束条件。如与矩阵有关的两子空间值域与零空间。子空间值域与零空间。设设 ，则，则 的值域（或列空

5、间）为的值域（或列空间）为m nARA 1212,( ,)mnnnR AyR yAx xRspan a aaAa aa 0nN AxRAx( )dim ( )rank AR AAA1）是非奇异的是非奇异的2）3）（满秩）（满秩）可以证明可以证明，即矩阵的秩等于最大无，即矩阵的秩等于最大无关行数或最大无关列数。关行数或最大无关列数。( )()Trank Arank A( )dim(rank AN An），如果，如果m=n,则如下关系等价：则如下关系等价： (N A ）= 0( )rank AnA4.4. 正交性正交性 矢量的角矢量的角 设设，则这两个矢量的夹角余弦定义为：，则这两个矢量的夹角余弦

6、定义为：,nR ,cos,0, 正交性：正交性：1）矢量）矢量正交是指其夹角余弦等于零，即正交是指其夹角余弦等于零，即2）矢量组）矢量组是正交的，如果对所有是正交的，如果对所有，有有正交。如果满足正交。如果满足，则称之为标准，则称之为标准正交的。正交的。3）子空间）子空间称为互相正交的，如果称为互相正交的，如果, ,0 ijij与(,)ijij 1,pSS,0ijssij 和当时有，12,n 5. 子空间分解子空间分解如果如果是线性空间是线性空间的子空间，那么它们的和的子空间，那么它们的和也是一个子空间也是一个子空间若每一个若每一个有唯一的表达式有唯一的表达式则则被称为一个直和，并写为：被称为

7、一个直和，并写为：1,kSSS12,1,2,kiiSS ik vS12,kiivs12kSSSS子空间的交集也是一个子空间，如子空间的交集也是一个子空间，如。如果。如果12S SS 0 ,ijSSij1kSSS一个子空间一个子空间的正交补为的正交补为如果矢量如果矢量是标准正交的并且张成子空间是标准正交的并且张成子空间0,TmSyR y xxS1,kvvmSR1,kvvmR1,mvv1,kmSspan vvmSRS则则为直和。为直和。一个重要特例：一个重要特例：正交分解正交分解，则称矢量组，则称矢量组构成子空间构成子空间的一个标的一个标准正交基。它总可以扩充为准正交基。它总可以扩充为的一组完全的

8、标准的一组完全的标准正交基正交基，此时，此时。三、线性变换与投影算子三、线性变换与投影算子线性空间线性空间上的一个变换上的一个变换称为线性变换，如果它满称为线性变换，如果它满足：足：在一定基的意义上，一个线性变换在一定基的意义上，一个线性变换可用一矩阵可用一矩阵表表示。用一组基表示它在线性变换示。用一组基表示它在线性变换下的象，其坐标所下的象，其坐标所排成的矩阵就称为排成的矩阵就称为在这组基下的矩阵。线性变换与在这组基下的矩阵。线性变换与矩阵一一对应。矩阵一一对应。1.1. 线性变换线性变换 mR11),2), ()mmRRaRaa 和数A2. 正交投影算子正交投影算子一种重要的线性变换是投影

9、算子，而且正交情形一种重要的线性变换是投影算子，而且正交情形是最重要的。是最重要的。正交投影算子正交投影算子的定义：的定义：PmSR1),2),0mmxR PxSxS PxxxRyS x Px y 且设子空间设子空间，线性变换，线性变换称为正交投影，称为正交投影，如果，如果，几何意义：几何意义：已知已知维线性空间中的一个点维线性空间中的一个点和子空间和子空间，求点求点，使，使到到点的距离不超过点的距离不超过到到上各点的距上各点的距离。如图离。如图2.1所示。所示。mSpbbpbSbpS图图2.1向量向量表示由一系列的实验和表示由一系列的实验和调查所给出的数据，由于这些调查所给出的数据，由于这些

10、实验或调查包含不少的误差，实验或调查包含不少的误差，以致在给定的子空间中不可能以致在给定的子空间中不可能找到这组数据，即，我们不可找到这组数据，即，我们不可能把能把表示成子空间表示成子空间中的一个中的一个向量，因为我们所遇到的方程向量，因为我们所遇到的方程组是不相容的，因此，是无解组是不相容的，因此，是无解的，这样一来，最小二乘解法的，这样一来，最小二乘解法就是选择点就是选择点作为最佳选择。作为最佳选择。bbSp正交投影算子的表示，即正交投影算子的表示，即 点的求解。点的求解。 p12,na aambR111,HniiiniHnapb aaaabaPb1)1) 若子空间若子空间 由标准正交基由

11、标准正交基 张成，则任一张成，则任一矢量矢量 ，在子空间，在子空间 上的正交投影矢量上的正交投影矢量 可可表示为：表示为：SSp此公式可用直角坐标系来解释。此公式可用直角坐标系来解释。式中式中阶方阵阶方阵mm111,2.11,HnHnHnaPaaaAAAaa常称为常称为投影矩阵投影矩阵。可见，由标准正交基来求正交投影算子是很方便的。可见，由标准正交基来求正交投影算子是很方便的。 2) 若子空间若子空间由一组基由一组基（未必正交）张成，（未必正交）张成，求由求由表示的空间表示的空间上的正交投影算子。上的正交投影算子。12,na aaS12,na aaS由正交投影的定义，由正交投影的定义，到到的投

12、影矢量的投影矢量，即，即由由pAxbp12,na aa0HAbAx1HHxA AA b12.12HHpA A AA b12.13HHPA A AAbSp12,na aa由由(2.12)式可知式可知，上的正交投影矩阵为：上的正交投影矩阵为：线性表示，且线性表示，且与与正交，正交，即即，则，则，得投影矢量，得投影矢量S（2.13）式给出了到矩阵的列空间上的正交投影矩）式给出了到矩阵的列空间上的正交投影矩阵，当基矢量是标准正交基时，（阵，当基矢量是标准正交基时，（2.13）式可简化）式可简化为（为（2.11）式形式。（）式形式。（2.13）式也称为）式也称为的伪逆。的伪逆。A线性变换是正交变换，如果

13、对线性空间中的任意矢线性变换是正交变换，如果对线性空间中的任意矢量量，有内积关系：，有内积关系： ，有时又称为有时又称为保角变换、酉变换。相应于正交变换保角变换、酉变换。相应于正交变换的矩阵的矩阵为为正交矩阵或酉矩阵，如果满足关系：正交矩阵或酉矩阵，如果满足关系：, AHHA A AAI , ( )(0)x nnN()jX e0,22/kk N212/0()()()NjjNkNnXkXex n ekn2110011( )( )( )NNjknknNNkkx nX k eX k WNN2,1,1,11,1,1111111,2,11kjNNN NN kNNNN NN NWWWeBNkNWW矩阵矩阵

14、 常称为一种常称为一种Bulter矩阵矩阵（线性情况）。（线性情况）。 则则DFT变换变换1,NXC211kijNiNyBXxeB正交变换正交变换是可逆变换，变换后无信息损失。是可逆变换，变换后无信息损失。大家知道，在数字信号处理中，大家知道，在数字信号处理中，DFT变换是一种变换是一种很重要的变换，我们常用它对数据变换到频域，很重要的变换，我们常用它对数据变换到频域，以便于分析信号频谱，在阵列信号处理中，对阵以便于分析信号频谱，在阵列信号处理中，对阵列空间抽样数据作列空间抽样数据作DFT，相当于把数据变换到角，相当于把数据变换到角频域（波束空间频域（波束空间beamspace），分析波达方向

15、（），分析波达方向（DOA）。）。尽管用尽管用DFT技术作谱分析时其分辨率不高，但技术作谱分析时其分辨率不高，但在高分辨谱估计和自适应滤波技术中，在高分辨谱估计和自适应滤波技术中，DFT变换变换仍是很重要的一种正交变换，在后面我们还要多仍是很重要的一种正交变换，在后面我们还要多次利用它对数据作次利用它对数据作DFT预变换，简化问题，这里预变换，简化问题，这里只简单提一下。只简单提一下。注意：注意：DFT变换是一种不依赖数据的变换（变换是一种不依赖数据的变换（data-independent），下面再介绍一种依赖于数据的正），下面再介绍一种依赖于数据的正交变换（交变换（data-dependen

16、t），随机矢量的线性变换。），随机矢量的线性变换。连续卡洛展开连续卡洛展开在在区间的连续随机信号区间的连续随机信号可展开为：可展开为：0T，( )x t1( )(0)iiix tyttT（ ）iyi：0( )( )Tijijtt dt( )x t( )it所以对于随机序列所以对于随机序列，若其自相关函数，若其自相关函数为为，则，则K-L变换为：变换为： 1Nnx nxR N NYTX(HT TI正交矩阵）*11,:1)2),1,NHNijkikjijkxiiiTTTT TT TR TT iN1212( ),( ),()( ),( ),()NiiiiNxx tx tx tttt1212,NNyy

17、yyTyTx 的的特点特点： 对任一对任一 维维Hermite矩阵（矩阵（ ），其特征矢），其特征矢量构成量构成 维空间的一组标准正交基。因此，存在一维空间的一组标准正交基。因此，存在一正交矩阵正交矩阵 使得使得 与一对角阵相似，即：与一对角阵相似，即： Y 2*11)0,2)(),iijiijiiyiNE yE y yEyRdiag若则物理意义：按随机序列的能量大小逐次作物理意义：按随机序列的能量大小逐次作N个正个正交方向分解。交方向分解。Y的各分量去相关且按能量从大到的各分量去相关且按能量从大到小排列。小排列。K-L变换有人叫最佳变换。变换有人叫最佳变换。1.1. 特征值分解特征值分解HA

18、ANTAN112,NTATdiag 式中式中 为为 的特征值。的特征值。 1,2,iiNA正定（半正定）性：正定（半正定）性：若若Hermite阵阵对任一非零矢量，对任一非零矢量，有有，则称，则称为为正定（半正定）正定（半正定）的。的。正定的正定的Hermite矩阵矩阵的所有特征值为正数，即：的所有特征值为正数，即：00HXAX 11,2.21NHHiiNiiA TdiagTv v1,iiN 1,iv iN AAA(2.21)式中式中为为的特征值，的特征值，为为特征矢量。称此分解为特征矢量。称此分解为特征分解（特征分解（EVD）.A2. 奇异值分解（奇异值分解（SVD） 对对，存在正交矩阵，存

19、在正交矩阵和和，使得：，使得：n mAC 1,n nnUuuC1,m mmVvvC11,0,0rHHiiiriAu vUdiagV式中式中 , , 是是 的奇异值的奇异值 121,0rrrrank AiA容易验证：容易验证： 2.22AQR 111)2),(1,2, )3),iiiHiiirmrAvuA uvipN Aspan vvR Aspan uu3. 矩阵矩阵QR分解分解 任一矩阵任一矩阵，总可以化为：，总可以化为：n mACQRA其中其中是正交矩阵，是正交矩阵，是上三角矩阵，（是上三角矩阵，（2.22）式）式称为称为的的QR分解。分解。2. .3复变量实函数求导数复变量实函数求导数研究实函数：研究实函数： ，其中，其中 *,f W Wg x y*WxjyWxjy根据求导法则：根据求导法则： *gfWfWffxWxWxW