数学专业外文文献翻译

.第3章 最小均方算法31 引言最小均方(,least-mean-square)算法是一种搜索算法，它通过对目标函数进行适当的调整12,简化了对梯度向量的计算。由于其计算简单性，算法和其他与之相关的算法已经广泛应用于白适应滤波的各种应用中3-7。为了确定保证稳定性的收敛因子范围，本章考察了算法的收敛特征。研究表明，算法的收敛速度依赖于输入信号相关矩阵的特征值扩展26。在本章中，讨论了算法的几个特性，包括在乎稳和非平稳环境下的失调29和跟踪性能10-12。本章通过大量仿真举例对分析结果进行了证实。在附录B的B1节中，通过对算法中的有限字长效应进行分析，对本章内容做了补充。算法是自适应滤波理论中应用最广泛的算法，这有多方面的原因。算法的主要特征包括低计算复杂度、在乎稳环境中的收敛性、其均值无俯地收敛到维纳解以及利用有限精度算法实现时的稳定特性等。32 LMS算法在第2章中，我们利用线性组合器实现自适应滤波器，并导出了其参数的最优解，这对应于多个输入信号的情形。该解导致在估计参考信号以时的最小均方误差。最优(维纳)解由下式给出： 其中，且，假设和联合广义平稳过程。如果可以得到矩阵R和向量p的较好估计，分别记为和，则可以利用如下最陡下降算法搜索式(31)的维纳解： 其中，k0，1，2，,表示目标函数相对于滤波器系数的梯度向量估计值。一种可能的解是通过利用R和p的瞬时估计值来估计梯度向量，即 得到的梯度估计值为 注意，如果目标函数用瞬时平方误差而不是MSE代替，则上面的梯度估计值代表了真实梯度向量，因为 由于得到的梯度算法使平方误差的均值最小化因此它被称为算法，其更新方程为 其中，收敛因子应该在一个范围内取值，以保证收敛性。图31表示了对延迟线输入的LMS算法实现。典型情况是，算法的每次迭代需要N+2次乘法(用于滤波器系数的更新)，而且还需要N+1次乘法(用于产生误差信号)。算法的详细描述见算法31 图31 自适应RH滤波器算法31 LMS算法Initialization 需要指出的是，初始化并不一定要像在算法3.1小那样将白适应滤波器的系数被创始化为零：比如，如果知道最优系数的粗略值，则可以利用这些值构成w(0)，这样可以减少到达的邻域所需的迭代次数。33 LMS算法的一些特性在本节中，描述丁在平稳环境下与算法收敛特性相关的主要特性。这里给出的信息对于理解收敛因子对算法的各个收敛方面的影响是很重要的。331 梯度特性正如第2章中所指出的(见式(2.79)，在MSE曲面上完成搜索最优系数向量解的理想梯度方向为 在LMS算法中，利用R和p的瞬时估计值确定搜索方向，即 正如所期望的，由式(38)所确定的方向与式(3.7)所确定的方向很不同。因此，当通过利用算法计算更加有效的梯度方向时，收敛特性与最陡下降算法的收敛特性并不相同。从平均的意义上讲，可以说梯度方向具有接近理想梯度方向的趋势，因为对于固定购系数向量w，有 因此，向量可以解释为的无偏瞬时估计值。在具有遍历件的环境中，如果对于一个固定的w，利用大量的输入和参考信号来计算向量，则平均方向趋近于，即 332 系数向量的收敛特性假设一个系数向量为w。的未知FIR滤波器，被一个具备相同阶数的白适应FIR滤波器利用算法进行辨识。在未知系统输出令附加了测量白噪声n(k)，其均值为零，方差为。在每一次迭代中，自适应滤波器系数相对于理想系数向量，的误差由N+1维向量描述： 利用这种定义，算法也可以另外描述为 其中，为最优输出误差它由下式给出： 于是，系数向量中的期望误差为 假设的元素与和的元素统计独立，则式(314)可以简化为 如果我们假设参数的偏差只依赖于以前的输入信号向量，则第一个假设成立，而在第二个假设中，我们也考虑了最优解对应的误差信号与输入信号向量的元素正交。由上述表达式可得 如果将式(315)左乘(其中Q为通过一个相似变换使R对角化的酉矩阵)，则可以得到 其中，为旋转系数误差向量。应用旋转可以得到一个产生对角矩阵的方程，从而更加易于分析方程的动态特性。另外上述关系可以表示为 该方程说明为了保证系数在平均意义上收敛，LMS算法的收敛因子必须在如下范围内选取： 其中，为R的最大持征值。在该范围内的值保证了当时，式(318)中对角矩阵的所有元素趋近于零这是因为对于0，l，,N，有。因此，对于较大的k值，趋近于零。按照上述方法选取的值确保了系数向量的平均值接近于员优系数向量比该指出的是，如果矩阵R具有大的特征值扩展，则建议选择远小于上界值。因此，系数的收敛速度将主要取决于最小特征值，它对应于式(318)中的最慢模式。上述分析中的关键假设是所谓的独立件理论4，它考虑了当0，1，k时，所有向量均为统计独立的情况。这个假设允许我们考虑在式(314)中独立于。尽管在由延迟线元素组成时，这个假设并不是非常有效，但是由它得到的理论结果与实验结果能够很好地吻合。333 系数误差向量协方差矩阵在本节中，我们将推导得出自适应滤波器系数误差的二阶统计量表达式。由于对于大的值，的平均值为零，因此系数误差向量的协方差的定义为 将式(312)代人式(3.20),可以得到 考虑到独立于且正交于，因此上式中右边第二项和第三项可以消除。可以通过描述被消除的矩阵的每一个元素来说明这种简化的详细过程。在这种情况下， 另外，假设独立于，则式(322)可以重新写为 计算式包括了四阶矩，对于联合高斯输人信号样值，可以采用文献4，13中描述的方法。通过将算子中的矩阵展开而得到结果。其结果是 其中,表示的迹。为了计算采用LMS算法时梯度燥声估计所引起的额外，式(323)是必要的。由于式(323)中最后一项为动态矩阵方程提供了激励，因此当时，不会趋近于零。式(323)的更加有用的形式可以通过对其分别左乘和右乘Q来得到，于是有 其中，利用了恒等式根据对于任意B成立的事实，有 其中。.正如将要在336节中证明的，在LMS算法中，只有对角元素对额外有贡献。如果定义为其元素由的对角元素组成的向量，且为R的特征值组成的向量则根据上述方程可以导出如下关系： 其中，B的元素为 收敛因于必须在保证收敛朗某个范围内取值。由于矩阵B是对称的，因此它只具有非负特征值。另外，由于B的所有元素也是非负值，因此，B的任意行元素之和的最大值代表了B的最大特征值的上界，参见文献14第63页。其结果是，保证收敛的充分条件是迫使B的任意行元素和保持在范围以内。因为 所以的关键值的选取必须使上式接近于1(因为对于任意，该表达式总是为正)。这只有在式(329)中最后三项接近于零时才会发生，也就是说 经过简单的处理可以得到如下稳定性条件： 其中，最后一个比较简单的表达式是在实际中应用得比较广泛的。我们将在后面的式(347)中指出，控制厂MSE的收敛速度。从实际的观点来看，这里得到的的上界是很重要的，因为它给出了为实现系数收敛应该选用的的最大值。然而，应该提醒读者的是，这里给出的上界在某种程度上讲是比较乐观的，因为在推导过程中利用了一些近似关系和假设。在大多数情况下，值的选取不应该接近于上界。334误差信号的特性本节在考虑了未知系统模型为无限冲激响应且存在测量噪声的情况下，计算了自适应滤波器输出误差信号的均值。当考虑了加性测量噪声以后，误差信号出下式结出： 其中，为没有测量噪声时的期望信号。对于给定的已知输入向量，误差信号的期望 其中，是最优解，即系数向量的维纳解。注意，在上式中假设输入信号向量是已知的，这是为了便于在自适应滤波器收敛到最优解时，揭示出我们所期望的内容。如果是通过一个无限冲激响应系统产生的则由于采用了不充分模型(自适应FIR滤波器采用的系数数目不充足)，因此减去前面两项后存在着残留误差，即 在上式中，(其中，)为产生没有被自适应滤波器辨识出的部分的随机过程的系数。如果输入信号和n(k)具有零均值则。335最小均方误差在本节中，针对不充分模型(undermodeling)情形，在加性噪声环境下计算了最小均方误差(，minimum mean-square error)。对于系统辨识问题，假设仍然考虑自适应滤波器的系数少于未知系统系数这种不充分模型情况，此时可以写出 其中，为包含未知系统冲激响应的前面N+1个系数的向量，则包含了h的剩余向量。具有N+1个系数的自适应滤波锯的输出信号出下式给出：在这种情况下，具有如下表达形式： 其中 且是元素全部为零的无限长向量。通过计算相对于自适应滤波器系数的导数，可以得到(参见式(2.79)和式(2125)的推导过程) 其中，表示由a的前面N+1个元素产生的向量。应该注意的是，式(335)和式(336)的结果与算法无关。当假设输入信号是与加性噪声信号无关的白噪声时，可以根据式(335)得到MSE，即 当假设自适应滤波器乘积系数固定于其最优值时，可以实现最小误差，参考式(2125)中的类似讨论。在自适应滤波器具有充分阶数、可以模拟产生的过程的情况下，能够实现的最小等于加性噪声的方差，即。读者应该注意的是，本小节中所讨论的非充分模型的影响会产生相对于的额外。336额外MSE和失调上一节的结果假设了自适应滤波器系数收敛到其最优值，但实际上并不是这样。尽管系数向量平均收敛到，但由噪声梯度估计引起的瞬时偏差会产生额外。额外可以利用本节巾描述的方法进行度量。在第时刻的输出误差为 于是 所谓的独立性理论假设向量对于所有值都是统计独立的，允许对LMS算法进行简单的数学处理。正如前面提到的，这个假设通常是不成立的，对由延迟线几素组成的情形来说尤为如此。然而，即使在这种情况下，分析和实验结果的一致也可以说明采用独立性假设是合理的。在独立性假设条件下，可以考虑是独立于的，因为在确定时只包含了以前的输入向量。利用这个假设，并对式(339)应用期望值运算，有 在上面的第四个等式中，利用了特性。上式中最后一项可以重新写为 因为，且由正交原理有，因此上式可以简化为 于是额外为 通过利用的事实，可以得到如下关系： 因此 根据式(327)，可以证明 因为 且对于大的k值，有。可以对上式进行求和处理，以便得到 其中，与分子的剩余部分相比是很小的。该假设不太容易证明，但它对于较小的值是有效的。于是，额外MSE可以表示为 对于小的值，上式可以近似为 其中为输人信号方差，为加性噪声方差。失调M的定义为和最小之间的比值，该参数常常用于比较不同自适应信号处理算法。对于LMS算法，失调由下式给出： 337 瞬态特性算法在达到稳态特性以前，已在瞬态部分耗去了很多次迭代。在这段时间里，自适应滤波器系数和输出误差从其韧始值变比到接近于对应的最优解值。对于白适应滤波器系数，平均收敛将遵循比值为的N+l几何衰减曲线。每一条曲线都可以由一个时间常数为的指数包络近似如下，见式(318)： 其中，对于每次迭代指数包络中的衰减等于原始几何曲线中的衰减。通常情况下，比1略小，尤其是对对应于小的和的慢衰减模式来说。因此 于是 对于成立。注意，为了保证抽头系数在平均意义上收敛，必须在范围(见式(319)内取值。按照式(330)，对于的收敛， 的取值范围是。考虑到项相对于矩阵B的剩余项很小，可以根据式(327)中的矩阵B计算出对应的时问常数在这种情况下，几何衰减曲线的比值为，它可以与具有如下时间常数的指数包络相匹配： 其中，误差和系数收敛所需的时间取决于输入信号相关矩阵持特征值的比值。回到抽头系数的情形，如果选取的值与接近，则对应的系数的时间常数为 由于具有最大时间常数的模式需要更长时间才能达到收敛因此收敛速率是由根据确定的最慢模式决定的。假设当最慢模式提供的衰减为100时，可认为实现了收敛，即 这需要经过如下多次迭代以后才能达到收敛： 因为选取的值较高，所以上述情形是比较乐观的。正如前面所提到的，实际上我们选择的值应该比上界小得多。对于特征值扩展近似为1的情况，按照式(330)，选择的值应该小于。在这种情况下，算法将至少需要 次迭代才能实现系数的收敛。本节给出的分析结果对于平稳环境是有效的。算法也可以在非平稳环境下工作这将在下节个进行讨论。34 非平稳环境下的LMS算法特性在实际情形下，自适应滤波器所处的环境可能是非平稳的。此时，输入信号白相关矩阵和(或)互相关向量，分别记为R(k)和p(k)将是随时间变化的。因此、系数向量的最优解也是一个时变向量，用表示。由于最优系数向量不是固定的，因此分析算法是否能够跟踪的变化是很重要的。知道由给出的系数的跟踪误差将如何影响输出也是很有意义的。后面将会指出跟踪时引起的额外可以与测量噪声引起的额外分离。因此，为不失一般性，在后面的分析中将考虑加性噪声为零的情形。 在算法中，系数向量的更新可以写为如下形式： 因为 因此系数的更新可以表示为 现在假设已经建立了非平稳自适应辨识过程的全体(ensemble)，其中每一次实验中的输入信号都是从相同的随机过程中取出的。我们认为输入信号是平稳的，并义是退出过程。这个假设将导致固定的R矩阵，而且非平稳性是由输入信号应用到时变系统后产生的期望信号所引起的。根据这些假设，对全体应用期望值计算，每次实验中的系数更新由式(359)给出，并且假设w(k)是独立于x(k)的，则得到 如果将系数向量中的滞后定义为 则式(360)可以重新写为 为了简化分析，对上式左乘，得到一个去耦合的方程组 其中，带有上标的向量为投影到变换空间中的原始向量。正如所看到的，滞后误差向量的每个元素是由如下关系确定的： 其中，为的第i个元素。通过正确地解释上述方程，我们可以说滞后是通过将变换后的瞬时最优系数应用到一阶离散滤波器而产生的，该滤波器称为滞后滤波器记为，即 离散滤波器瞬时响应以指数包络的时间常数收敛，由下式给出： 当然，对于每个抽头系数而言、其时间常数是不同的。因此，算法中系数的跟踪能力依赖于输入信号相关矩阵的特征值。自适应滤波器系数的滞后(延迟)将导致额外。为了计算出额外，假设最优系数向量的每一个元素都用一个一阶马尔可夫过程来建模。这种非平稳情形可以视为真实情形的某种程度的简化。然而，这种情形便于在保留复杂情形的本质的基础上进行数学分析。一阶马尔可夫过程可以描述为 其中，是一个向量，其元素是零均值、方差为的白噪声过程，并且注意，因为最优系数值的变化，当时，必须比自适应滤波器的跟踪速度更慢，即时。当时，这个模型不能代表一个真实系统，因为如果不是准确的零均值过程，则的元素将是无界的。更加现实的模型应该包括一个因子，其中，将该因子与相乘以保证是有界的c在后面的讨论中将不会考虑这种情况，因为对应的结果很容易导出(见习题)。根据式(364)和式(365)，可以推断出滞后误差向量元素是通过对未知系统系数向量应用一阶离散系统而产生的，两者都在变换空间中。另一方面，未知系统的系数是通过将噪声向量)的每个元素应用到一个一阶全极点滤波器而产生的，其极点位于。对于采用上述模型的未知系数向量，滞后误差向量的元素可以通过将变换后的噪声向量的每个元素应用到一个离散滤波器而产生，滤波器的传输函数为 这个传输函数是由滞后滤波器和表示一阶马尔可夫过程的全极点滤波器的级联组成的，如图32所示。利用逆变换，则可以通过下式计算出向量的元素的方差： 如果认为的值很接近于1，则可以将上式简化为 图32 非平稳环境下的滞后模型自适应滤波器系数向量相对于最优系数滤波器的任何误差都会产生额外，见式(343)。由于滞后是自适应滤波器系数的一种误差源，因此由于滞后产生的额外为 如果值很小，则由于滞后产生的MSE趋近于无穷大，说明在这种情况下的算法不能跟踪环境的任何变化。另一方面，如果对进行合理的选取。则算法可以跟踪环境的变化，从而导致额外。这个额外取决于最优系数扰动的方差，以及输入化