PAST算法全解释.doc

投影近似子空间跟踪Bin Yang抽象子空间估计在各种现代信号处理应用中发挥着重要作用的.在本文中，我们为跟踪信号子空间递归提出了一种新的方法.它是基于一种新的解释信号子空间作为解决类似的预测无约束最小化问题。我们证明了递推最小二乘技术可以通过作出适当的投影逼近应用到解决这一问题.由此算法产生的复杂度为，这里的是输入向量的维数，是期望得到的分解后的特征值数，仿真结果表明，这些算法的跟踪能力是类似的，且在某些情况下比费时计算机批量特征值分解更有效，在此对新算法和其他子空间跟踪方法的关系以及数值分析方法进行了讨论.1.导言基于子空间高分辨率的方法已成功地应用于这两个时间和空间域频谱分析.典型的例子是多重信号分类算法(MUSIC) 1，最小模估计方法2， ESPRIT估计算法3，和为正弦频率估计或者平面波形对撞天线阵列的到达方向的加权子空间拟合算法4，另一个应用是基于Karhunen-LoCve转变的数据压缩方法，一连串的数据编码的载体是其主要组成部分5，实现这些技术，是基于特征值分解批次的样本相关矩阵或奇异值分解的数据矩阵的.但这种做法不合适自适应处理，因为它需要反复特征值分解和奇异值分解，这是一个非常费时的任务.为了克服这一困难, 过去已制定了一些子空间的跟踪自适应算法，大多数这些技术可分为三个家族，第一个是，经典的批量特征值分解和奇异值分解，雅克比轮换，能量迭代，和已被修改用来进行自适应处理的Lanczos方法6-10；第二种是一种更新算法-变化的聚束矩阵的秩11，就像子空间求平均值12,13.第三种经典算法认为批量特征值分解和奇异值分解是一种限制或者无限制的优化问题。梯度技术7,14-19,高斯牛顿迭代20,21，和共轭梯度技术22可以适用于寻求最大或最小特征值.从计算的角度来看，我们可以区分的方法，需要将或者进行一次一更新的运算.其中是输入向量的维数， 是期望得到的分解后的特征值数，各种各样的复杂的原因归结于一些算法完全更新的特征结构，是否明确计算的样本相关矩阵，而其他的只跟踪信号子空间或噪声子空间，例如，一种简单概括的能量方法25，适应于的主要特征向量的样本相关矩阵在每次更新时给出一个能量进行迭代7,17，这种方法需要运算，Stewart的URV 更新算法23跟踪信号源与信号和噪声子空间而无须对样本相关矩阵估值.它有一个为的计算复杂度，同一顺序的计算也是所需要的Moonen et al.并行方法，其中用交错的QR三角和Jacobi轮换更新奇异值分解，梯度型算法跟踪无论是信号或噪声子空间，他们要求为运算的梯度上升或逐步上升而且运算出附加标准正交化的特征向量的估计值. DeGroat13开发一个信号平均算法.这种方法平均信号与噪声特征使之称为两个子球。结果表明，子空间跟踪成为非迭代任务，只需要为运算更新. 在本文中，我们用一种新的方式来跟踪信号子空间，它作为一种新的解释的信号子空间的无约束最小化问题的解决方案.我们首先讨论一些梯度下降方法，其余的内容则侧重于不同的做法，我们证明了通过作出适当的投影逼近能最大限度地简化众所周知的指数加权最小二乘问题，递归最小二乘技术（RLS）就可以有效地用于跟踪信号子空间，由此产生的算法有一个计算复杂度为，我们可以获得（不完全正交）信号子空间基值或信号特征向量的估计值.本文安排如下，在第二节中讨论信号和噪声子空间的定义以及对他们在信号处理中的一些应用作简要说明。第三节介绍了一种无约束成本函数，并证明它没有局部极大值和极小值除了一个唯一全局最小对应的信号子空间，在此基础上观察，在第四节将讨论各种自适应算法跟踪信号子空间的开发，第五节提出了一些仿真结果表明来算法的适用性和性能.2.子空间和子空间应用使作为所观察到的数据矢量的快摄, 在空间域频谱分析中， 包括的样本相关阵列,同时在网域频谱分析中， 是矢量的连续样本时间序列，我们假定是窄带信号波形对撞天线阵列的组成部分，或者非相干的复杂正弦被加性噪声带噪 ，由下面的公式给出： （1）这里，而且是确定的阶矩阵，是奇异相关矩阵的一个随机矢量源， 为导向或频率矢量，在声频检索中， 是的正弦角频率，在阵列处理中： （2）保证平面波形对撞成为线性均匀探测阵列。这里是间距传感要素，是波长， 是相对DOA阵列的宽边.如果噪声是白噪声（也许是白化步长）与有平等的差异但与无关，下面的表达是为了观察相关矩阵的收率： （3）让和成为特征值和的相应正交特征向量。在矩阵记法中， 。如果小于，无序非增长的特征值由下面的式子给出： （4）占主导地位的特征对，称为信号的特征值和特征向量信号，而，被称为噪声特征和噪音特征向量: 和 （5） 被定义为信号与噪声子空间，人们很容易以确认与具有相同的栏跨度和噪声子空间的正交补的信号子空间. 在数据压缩中，我们感兴趣的是编码序列随机向量的样本占据最小的存储空间，这里可能是序列图像或语音音素，在最小二乘中解决这一问题的方法是KL展开，经过计算SVD的阶矩阵或者ED相应的相应的样本相关矩阵,每个样本矢量编码是由一个低维向量： （6）这里包括占优势权奇异向量或者的等效特征相量，现在阶矩阵和都被替代，信号重建计算： （7）很明显，空间应用的特点具有以下几个特征：. 只有为数不多的几个特征向量是必需的.由于输入向量维是往往大于，比之与噪声子空间它更有效地作用于低维信号子空间. 在许多应用中，我们不需要特征值.除了在利用WSF估算和用特征值来估计信号的数目来源时，在本文中我们假定是已知的. 有时候，没有必要完全准确地了解特征相量.例如，在多重信号分析方法（MUSIC），最小模估计，或者ESPRIT估算中，用一个任意标准正交基信号子空间就足够了.事实上，我们只需要一小部分的特征结构就能够通过减少计算和存储需求来发展子空间跟踪算法.3.一种新的信号子空间的介绍设是一个随机复杂值过程向量且相关矩阵.我们考究以下的标量函数： （8）矩阵变量.在不丧失一般性的前提下，我们假设是一个秩为的满秩矩阵.否则，如果的秩，在方程（8）中的就经常被另一个满秩矩阵所替代以满足，请注意我们对没有任何的约束条件，尤其是没有的标准约束，因此没有对进行定义，因为在在无限大时也为无限大，我们感兴趣的是极小的，我们希望知道：.是否存在全局最小值？.该最小值与信号子空间之间的关系？.是否还有其他的局部极小值？这些问题通过以下的定理可以得出：定理1：有且仅有当时，是上一个稳定点，这里，包含了不同的标准向量。是任意酉矩阵.在各个稳定点，都等价于那些特征向量不属于的特征值的总和.证明：见附录定理2：所有在上的稳定点都是谷点，除非当包含的个最大特征向量.在这种情况下达到全局最小值.证明：见附录以下是对定理发表的评论：.当出现最小值时的纵向跨度等价于信号子空间同时没有其他最小值.通过迭代法寻求的最小值而且保证信号子空间整体的收敛性.我们对的纵行标准没有任何的约束条件.上述两个定理说明在（8）对的求最小可以自动的将的纵行标准化.这就使得我们的信号子空间解释是区别于那些标准化被明确提出以求最优的那些文献解释的.以Yang和Kaveh18作为实例，他们提出对服从求最大或最小值以找出中的信号或者干扰子空间.这是一个约束最优化问题，其结果是，每次更新（或周期）后要重新正交化或做一些类似的近似规划正交集 16,19 ，以迫使该算法收敛. 在方程（ 8 ）中 ，我们处理的是一个无约束最小化的问题，要尽量少使用迭代算法，在迭代过程中将总是收敛到信号子空间的一个正交基而不需要正规正交化处理.重要的是要注意的最小值，不包含信号特征向量。取而代之的是我们得到由定理1中酉矩阵所标示出的标准正交化的基础。这并不奇怪，因为参数空间的转换使得是不变的。,.从另一方面说，当为最小值时并不是唯一的，但是向量积是唯一的.等价于信号子空间投影矩阵.对于简单一维向量，求最小值的方法主要是的归一化特征向量子空间轨迹.4.子空间跟踪在快摄实际应中，我们的主要兴趣在于估计递归信号子空间.我们的目标是开发有效的运算法则用来估算在时间内信号子空间和引入的样本矢量，从以上信号子空间的解释开始，产生了各种不同的可能性.A.梯度法 自（8）描述了一种无约束成本函数是最小，它是适用于简单的梯度下降技术的子空间跟踪，的梯度和是由下面的式子给出的（见附录） （9）因此更新的子空间可以写成： （10）这里且是适当选择得到的步长，是相关矩阵在时间为时候的一个估计值，我们可能利用一个加权指数或滑动窗口来对进行估值，最简单的选择，瞬时估计值就像在最小二乘技术（LMS）中用到的自适应滤波算法，造成子空间更新是由： (11)仔细计算表明，这算法的计算复杂度为.我们注意到，由单位矩阵I进一步简化上述算法可以实现近似（11）中: (12) 这种近似的理由是通过我们的观察将收敛到一个正交矩阵（当）或者接近正交（当是一个足够小的常量）的列平稳信号，如果我们一维相量是（12）中所提到的情况，那么我们得到了： (13) 且，此更新的公式与被设计用于通过一个单一的线性单位神经网络提取第一主成分的Oja学习规则15,19是相同的.B.投影近似子空间跟踪与基于压缩技术的投影近似子空间跟踪算法尽管（11）和（12）两种基于梯度的空间更新方法的适用性已经在我们的模拟中得到证实（本文中并未提及），这也不是本文研究这些细节的目的，在这项工作中我们主要的兴趣聚焦于一个不同点，也就是所谓的投影近似子空间跟踪方法26，用指数加权增长率和替换（8）中的期望值： （14）所有有效的样本向量在时间区间内都涉及到在瞬时时刻对信号子空间的估值，遗忘因子的用处是确保数据在遥远的过去下降了权重，以便当系统运行在一个非平稳环境时能够提供跟踪能力， 对应于不断增长的滑动窗口条件，当,时有效窗口的长度为. （14）中的和（8）中的显然是相同的，除了利用指数加权样本相关矩阵： (15)中代替,因此第部分里的两个定理也满足，换句话说，该栏目的 也就是最小值来源于正交基础基的信号子空间的跨越主导特征向量，是四阶函数的要素，迭代算法有必要尽量减小.投影近似子空间跟踪（PAST）方法的关键是近似（14）中的，对中未知预测是由可以在内的任意瞬时t计算出的表达式给出，这样的结果是改良成本函数： （16） 也就是的二次要素。因此这一近似预测被称为投影近似子空间跟踪算法（PAST），改善的表面性能误差，对不变或者缓慢变化的信号.表一PAST算法用于信号子空间跟踪选择适当的和for 和之间的差别是很小的，特别是当接近的时候，但遥远过去也就是远小于时这种差别可能会变大，但是这种过去数据对成本函数的贡献是随着的增长而不断减小的，我们因此期望是对的良好逼近，而且矩阵的最小化是信号子空间的良好估计值，对于参数的突然变化，从PAST方法导出的算法在一些数值试验时同样是收敛的. PAST方法主要的优点是指数加权最小二乘准则（16）也就是已经被很好地研究过的自适应滤波，如果满足下面的条件时时被最小化. （17） （18） （19） 递归计算矩阵和矩阵分别需要和的计算量，此外和计算需要的计算量，一种更为有效的方法是应用矩阵逆变换引理计算的逆或者用QR更新技术递归计算的Cholesky因子，这样导致了各种各样的RLS算法27,28可资利用.由于这些算法早为人们所熟知，这里我们仅用其中的一种更新而对其过程不加推导. PAST信号子空间跟踪算法见表一，其中表示只计算的上三角（或者下三角）部分并将其转置作为下三角（或者上三角）部分，该RLS方案减少了计算次数并且在有舍入误差是保持的对称性. PAST算法每次更新需要的计算量.初始值和必须选得适当. 应包括个标准正交向量，必须是对称正定矩阵，和均可由初始数据块或任意初始数据计算而得，然而最简单的方法是设置的列向量为的单位矩阵的个主单位向量，设置为单位矩阵.初值的选择仅会影响算法的瞬态行为，而对算法的稳态性能没有影响. PASTd算法是基于压缩技术的PAST算法.压缩技术的主要思想是主要分量的序贯估计.首先，用的PAST算法更新最大的特征向量，然后从数据向量中去掉在该最大特征向量上的投影，因为现在第二个最大的特征向量成为更新了数据向量中最大的特征向量，可以用上述方法进行提取.重复进行该过程，可以顺序地估计所有所需的特征成分. PASTd算法见表二.实际上，第二个