第二章-数学基础.ppt

2.1线性空间和希尔伯特空间,一.符号及定义符号以后我们常用字母加低杆表示矢量和矩阵，并且用小写字母表示矢量，大写字母表示矩阵，如：,线性空间：关于线性空间和希尔伯特空间的严格定义，读者可以参阅有关线性代数的教科书，这里仅给出其使用概念和结论。,所谓线性空间是指满足线性变换关系的矢量集合，这里“满足线性变换关系”是指,严格定义：线性空间首先应满足“加法+”和“数乘”的封闭性。,西安电子科技大学雷达信号处理实验室,希尔伯特空间,希尔伯特空间是指定义了内积的完备线性空间。,式中“”表示共轭转置，“*”表示取复共轭。,我们定义两个矢量的内积为：,西安电子科技大学雷达信号处理实验室,二、独立性、正交性、子空间分解,在N维线性空间中，若，,线性空间的一个子集V，若V对加法和数乘封闭，,线性无关,那么，矢量组是线性无关的，否则，若的非平凡组合为零，则称是线性相关的。,子空间,西安电子科技大学雷达信号处理实验室,即,则，V是的一个子空间。,设是上的一组矢量，则由的所有线性组合构成的集合是的一个子空间，常称为张成的子空间，记为：,若是线性无关的，且那么可由唯一地线性表示。,西安电子科技大学雷达信号处理实验室,如果是线性无关，并且不是,如果是最大线性无关组，那么，,的任一线性无关组的真子集，那么，这个子集,就是,的一个最大线性无关,1）2）3）称是的一个基。,组。,西安电子科技大学雷达信号处理实验室,的零空间为:矩阵的秩定义为：,矩阵的值域与零空间,给定一组向量，由这组向量张成的子空间容易由以上给出的定义写出。另一种求子空间的方法是给定子空间中矢量的约束条件。如与矩阵有关的两子空间值域与零空间。,设，则的值域（或列空间）为,西安电子科技大学雷达信号处理实验室,1）是非奇异的2）3）（满秩）,可以证明，即矩阵的秩等于最大无关行数或最大无关列数。,，如果m=n,则如下关系等价：,正交性,矢量的角,设，则这两个矢量的夹角余弦定义为：,西安电子科技大学雷达信号处理实验室,正交性：1）矢量正交是指其夹角余弦等于零，即2）矢量组是正交的，如果对所有，有正交。如果满足，则称之为标准正交的。3）子空间称为互相正交的，如果,子空间分解,如果是线性空间的子空间，那么它们的和也是一个子空间若每一个有唯一的表达式则被称为一个直和，并写为：,西安电子科技大学雷达信号处理实验室,子空间的交集也是一个子空间，如。如果,一个子空间的正交补为如果矢量是标准正交的并且张成子空间,则为直和。,一个重要特例：正交分解,，则称矢量组构成子空间的一个标准正交基。它总可以扩充为的一组完全的标准正交基，此时。,西安电子科技大学雷达信号处理实验室,三、线性变换与投影算子,线性空间上的一个变换称为线性变换，如果它满足：,在一定基的意义上，一个线性变换可用一矩阵表示。用一组基表示它在线性变换下的象，其坐标所排成的矩阵就称为在这组基下的矩阵。线性变换与矩阵一一对应。,线性变换,西安电子科技大学雷达信号处理实验室,正交投影算子,一种重要的线性变换是投影算子，而且正交情形是最重要的。正交投影算子的定义：,设子空间，线性变换称为正交投影，如果，,西安电子科技大学雷达信号处理实验室,几何意义：已知维线性空间中的一个点和子空间，求点，使到点的距离不超过到上各点的距离。如图2.1所示。,图2.1,向量表示由一系列的实验和调查所给出的数据，由于这些实验或调查包含不少的误差，以致在给定的子空间中不可能找到这组数据，即，我们不可能把表示成子空间中的一个向量，因为我们所遇到的方程组是不相容的，因此，是无解的，这样一来，最小二乘解法就是选择点作为最佳选择。,西安电子科技大学雷达信号处理实验室,正交投影算子的表示，即点的求解。,若子空间由标准正交基张成，则任一矢量，在子空间上的正交投影矢量可表示为：,此公式可用直角坐标系来解释。,式中阶方阵,常称为投影矩阵。,西安电子科技大学雷达信号处理实验室,可见，由标准正交基来求正交投影算子是很方便的。,若子空间由一组基（未必正交）张成，求由表示的空间上的正交投影算子。,由正交投影的定义，到的投影矢量，即由,由(2.12)式可知，上的正交投影矩阵为：,线性表示，且与正交，即,，则，得投影矢量,西安电子科技大学雷达信号处理实验室,正交变换与正交矩阵,西安电子科技大学雷达信号处理实验室,有限长序列有N个样本，它的傅里叶变换在频率区间的N个等间隔分布的点上也有N个取样值。,两个重要例子：例1：离散傅氏变换DFT是正交变换,西安电子科技大学雷达信号处理实验室,矩阵常称为一种Bulter矩阵（线性情况）。,则DFT变换,写成矩阵形式并归一化可得：,西安电子科技大学雷达信号处理实验室,正交变换是可逆变换，变换后无信息损失。大家知道，在数字信号处理中，DFT变换是一种很重要的变换，我们常用它对数据变换到频域，以便于分析信号频谱，在阵列信号处理中，对阵列空间抽样数据作DFT，相当于把数据变换到角频域（波束空间beamspace），分析波达方向（DOA）。,尽管用DFT技术作谱分析时其分辨率不高，但在高分辨谱估计和自适应滤波技术中，DFT变换仍是很重要的一种正交变换，在后面我们还要多次利用它对数据作DFT预变换，简化问题，这里只简单提一下。,西安电子科技大学雷达信号处理实验室,例2：K-L变换（卡-洛变换）（karhuen-loeve）,取上述连续情况的与的N个均匀时间取样值，得：,注意：DFT变换是一种不依赖数据的变换（data-independent），下面再介绍一种依赖于数据的正交变换（data-dependent），随机矢量的线性变换。,连续卡洛展开在区间的连续随机信号可展开为：,式中：展开系数是随机变量；为基函数，它满足：,西安电子科技大学雷达信号处理实验室,所以对于随机序列，若其自相关函数为，则K-L变换为：,令,，则有,西安电子科技大学雷达信号处理实验室,的特点：,对任一维Hermite矩阵（），其特征矢量构成维空间的一组标准正交基。因此，存在一正交矩阵使得与一对角阵相似，即：,物理意义：按随机序列的能量大小逐次作N个正交方向分解。Y的各分量去相关且按能量从大到小排列。K-L变换有人叫最佳变换。,2.2矩阵的分解,特征值分解,式中为的特征值。,西安电子科技大学雷达信号处理实验室,正定（半正定）性：若Hermite阵对任一非零矢量，有，则称为正定（半正定）的。正定的Hermite矩阵的所有特征值为正数，即：,(2.21)式中为的特征值，为特征矢量。称此分解为特征分解（EVD）.,奇异值分解（SVD）,对，存在正交矩阵和，使得：,式中,是的奇异值,容易验证：,矩阵QR分解,任一矩阵，总可以化为：,其中是正交矩阵，是上三角矩阵，（2.22）式称为的QR分解。,西安电子科技大学雷达信号处理实验室,2.3复变量实函数求导数,研究实函数：，其中,根据求导法则：,西安电子科技大学雷达信号处理实验室,矩阵对标量求微分,设的元素是某一矢量的可微函数，则,若矩阵的元素是某个自变量（标量）的函数，当每一个均为可微函数时，可构成一个与同阶的矩阵：，称作矩阵对自变量的导数或微分。,矩阵的微分满足的基本运算规