自适应信号处理 课件 ch03最小均方自适应算法

自适应信号处理最小均方自适应算法第三章新工科建设：电子信息类系列教材01最陡下降算法最陡下降算法1信号是非平稳的或者其统计特性未知，因此其误差性能曲面的参数甚至解析表示式都是变化的或者是未知的，所以只能根据已知的测量数据，釆用某种算法自动地对性能曲面进行搜索，寻找最小点，从而得到最优权向量。本章首先介绍最陡下降算法和牛顿算法这两种搜索性能曲面的著名方法，然后介绍一种被广泛使用的自适应算法——最小均方(LMS)算法最陡下降算法的基本思想最陡下降算法1LMS算法克服了最陡下降算法和牛顿算法这两种方法在每次迭代时都需要对梯度进行估计的弊端，它釆用了一种特殊的梯度估计方法。这种方法的主要特点是不需要离线方式的梯度估计值或重复使用输入样本数据，而只需在每次迭代时对数据做瞬时梯度估计。这种方法不仅对第2章中讨论的横向滤波器是有效的，而且可推广到后面将讲的自适应格型滤波器。最后给出基于牛顿算法的LMS算法。最陡下降算法的基本思想最陡下降算法1最陡下降算法(steepestdescentmethod)就是沿性能曲面最陡方向向下调整权向量，搜索性能曲面的最小点的方法。性能曲面的最陡下降方向是曲面的负梯度方向，即性能曲面梯度向量的反方向。最陡下降算法是一种迭代搜索过程：首先从性能曲面上的某个初始权向量卬(0)出发，沿性能曲面在该点处的负梯度方向搜索至第1点用，(1)等于初始权向量冲(0)加上一个正比于负梯度的增量。用类似的方法，依次迭代可逐步搜索到性能曲面最小点。最陡下降算法的基本思想最陡下降算法最小均方误差最陡下降算法2最陡下降算法最小均方误差最陡下降算法2最陡下降算法最小均方误差最陡下降算法2最陡下降算法最小均方误差最陡下降算法202牛顿算法牛顿算法1牛顿算法的基本思想牛顿算法1牛顿算法的基本思想牛顿算法2最小均方误差牛顿算法牛顿算法2最小均方误差牛顿算法然而，牛顿算法有两点缺陷：(1)如果性能曲面(w)并不准确已知，其一阶导数和二阶导数必须通过估计获得。(2)性能曲面可能不是二次型，此时迭代次数将跟初始权值的选取有关。对某些初始权值，牛顿算法可能得不到它的最佳点。在多维二次型误差性能曲面上，牛顿算法是单权值牛顿算法的推广。牛顿算法2最小均方误差牛顿算法在有两个权值二次型误差性能曲面的情况下，权向量从任一初始位置。开始，在迭代一步之后即跳到最佳位置。牛顿算法的搜索一般并不在负梯度方向上，因为负梯度方向的搜索路径必须与每条椭圆等高线正交。仅当(0)处于椭圆主轴上时，牛顿算法的搜索路径才和梯度方向重合。对于单权值的牛顿算法实际上就是收敛步长取为1/24的最陡下降算法(临界阻尼状态)，自然地，权值的搜索方向即为负梯度方向。牛顿算法2最小均方误差牛顿算法牛顿算法2最小均方误差牛顿算法03LMS算法LMS算法LMS算法描述本节仍以自适应横向滤波器为基础，探讨一种广泛使用的自适应算法一最小均方(LMS)算法。这种算法是由Widrow和Ho任于1960年提出的，该算法由于简单实用，因此成为线性自适应滤波算法的参照标准。在最陡下降算法中，我们知道如果能够精确测量每一次迭代的梯度向量，而且若收敛因子选取得合适，则最陡下降算法能够使得抽头权向量收敛于维纳解(对于平稳过程)。但是，梯度向量的精确测量需要知道抽头输入的相关矩阵以及抽头输入与期望响应之间的互相关向量P，因此当最陡下降算法应用于未知环境时，梯度向量的精确测量是不可能的，必须根据可用数据对梯度向量进行估计。1LMS算法LMS算法描述对于最小均方误差准则下的自适应横向滤波器来说，若釆用一般的梯度估计方法推出自适应算法，则需要分别取权值经扰动后的两个均方误差估计(即在一段短时间内的釆样数据平均值)之差来作为梯度估训。而LMS算法则直接利用单次釆样数据获得的来代替均方误差J，从而进行梯度估计，所以把这种梯度估计称为瞬时梯度估计。1LMS算法LMS算法描述1LMS算法LMS算法描述1LMS算法LMS算法描述实现LMS算法的向量信号流可以看出，一个带有反馈环节的闭环自适应系统。该系统除利用输入向量以外，还利用输出误差。的反馈信息来调整权向量的迭代过程。实现LMS算法时不需要平方、平均或微分运算，这就使得该算法可高效实现。梯度向量的每个分量都由单个数据样本得到，无须扰动权向量，因而梯度估计必然含有一个较大的噪声成分，也就是说这个自适应过程是带有噪声的，它将不会严格地沿着性能曲面真实的最陡下降路径搜索。但是，在自适应过程中，由于存在着积分环路这样的低通滤波作用，故随着迭代的不断进行，梯度噪声将被平均。1LMS算法LMS算法的收敛性我们知道，合理地设置收敛因子对于平稳随机过程来说，利用最陡下降算法可以使抽头权向量按照确定性轨迹沿着误差性能曲面最终收敛于最优解叫。而对于LMS算法，由于瞬时梯度估计存在梯度噪声，使得LMS算法的权向量是以随机方式变化的，因此LMS算法又称为随机梯度法。LMS算法最终所得的抽头权向量将围绕着误差性能曲面的最小点随机游动。下面考察LMS算法抽头权向量的期望值的收敛问题。2LMS算法LMS算法的收敛性2LMS算法LMS算法的收敛性2LMS算法LMS算法的收敛性应当指出，上面的输入向量去相关、平稳性假设和收敛条件并不是LMS算法收敛的必要条件，釆用这样做法仅是为了分析问题方便。对于某些特定的相关和非平稳输入的LMS算法的收敛问题，由于分析十分复杂，这里不再赘述，请读者参阅其他文献。2LMS算法LMS算法的收敛性由于在每步迭代过程中梯度估计值都是含有噪声的，因此权值移动的轨迹是游弋(Erratic)的，即移动轨迹并不严格地与真实梯度方向一致。对于较大的值，由于每次迭代权值的调整大，因此游弋也较大，但它仅仅用了相当于小轨迹一半的迭代次数就达到了与小日轨迹相同的等高椭圆上。如果让自适应过程继续进行，则两个轨迹最终将逼近的最小值区域，即“碗底”区域，并在该区域游动，得到一个带有噪声的权向量解。从中可以进一步观察到LMS算法的收敛过程2LMS算法LMS算法的权向量噪声上面分析了LMS算法权向量期望值的收敛问题。从上面的分析可以看出，在一定的收敛条件下，LMS算法权向量期望值收敛于最优权向量。但是，由于LMS算法对梯度向量各分量的估计是根据单个数据样本得到的，没有进行平均，使得梯度估计中存在噪声，因此使得LMS算法权向量是带噪声的，最终权向量不收敛于最优值，而是在最优值附近漂移，形成了最优值上的权向量噪声。下面来分析LMS算法最终权向量噪声的统计特性。3LMS算法LMS算法的权向量噪声3LMS算法LMS算法的期望学习曲线前面在介绍最陡下降算法过渡过程的时候讲过均方误差性能函数与迭代次数的关系，即为学习曲线。现在我们来讨论LMS算法的期望学习曲线，并给出相应的时间常数。对于给定权向量网的横向滤波器来说，均方误差性能函数随着迭代次数的变化。在最陡下降算法中，每次迭代都要精确计算性能函数的梯度向量，权向量准确地按照误差性能曲面的负梯度方向逐步收敛于最优权向量，使得均方误差性能函数最终达到最小值。4LMS算法LMS算法的期望学习曲线但LMS算法中由于釆用瞬时梯度估计，使得梯度估计存在噪声向量，从而产生权向量噪声，结果均方误差在随着迭代次数的增大而减小的过程中出现小的波动。为了了解LMS算法均方误差随着迭代次数变化的统计规律，我们来研究LMS算法中的动态特性，并将随着迭代次数m的变化关系称为期望学习曲线。4LMS算法LMS算法的期望学习曲线4LMS算法LMS算法的性能如前所述，梯度估计噪声的存在使得收敛后的稳态权向量在最优权向量附近随机起伏。这意味着稳态均方误差值总大于最小均方误差，且在附近随机地改变，。一个偏差权系数讨的关系曲线，在稳态情况下偏差权系数在最佳值附近随机地发生偏移，从而引起随机地偏离最低点现在定义自适应过渡过程结束后的稳态均方误差的数学期望与最小均方误差的差值为超量均方误差。5LMS算法LMS算法的性能504LMS牛顿算法LMS牛顿算法非线性失真的定义1如前所述，LMS算法的基本思想就是在最陡下降算法中采用了瞬时梯度估计。如果将这种瞬时估计的基本原则应用于牛顿算法中，就构成了LMS算法。由于牛顿算法自身所具有的快速收敛的特点，使得LMS牛顿算法不仅可提高收敛速度，而且不会太增加计算复杂度。特别是当滤波器的输入信号为有色随机过程时，如果输入信号为高度相关的情况，则大多数自适应滤波算法的收敛速度都要下降，对于上述典型的LMS算法，此问题更加突出。LMS牛顿算法可以很好地解决这个问题。下面仍以自适应横向滤波器为基础，讨论相应的LMS牛顿算法。LMS牛顿算法非线性失真的定义1LMS牛顿算法非线性失真的定义1如前所述，LMS算法梯度估计的方向趋于理想梯度方向。类似地相乘所生成的向量接近于牛顿算法梯度估计的方向。所以LMS牛顿算法朝均方误差性能曲面最小点方向的路径收敛，而且算法的收敛特性表明与相关矩阵的特征值扩张无关。LMS牛顿算法非线性失真的定义1如前所述，LMS算法的基本思想就是在最陡下降算法中采用了瞬时梯度估计。如果将这种瞬时估计的基本原则应用于牛顿算法中，就构成了LMS算法。由于牛顿算法自身所具有的快速收敛的特点，使得LMS牛