第5章-自适应滤波课件

维纳滤波与自适应滤波最小均方自适应滤波算法递归最小二乘自适应滤波最小二乘格形自适应滤波自适应滤波器的应用自适应盲信号处理简介第五章

自适应滤波2023/7/251

问题的描述：滤波器的输入信号为x(n)，其单位冲激响应为h(n)。现要求滤波器的输出y(n)是对需要信号d(n)的一个最佳估计。使它的输出y(n)按一定的最佳准则能最佳地估计需要信号d(n)?

当最佳准则为最小均方误差（MMSE）准则，所得最佳滤波器称之为维纳（Wiener）滤波器。

一线性最佳滤波问题

2023/7/252图1：M个权系数（抽头）的横向滤波器

定义：：输入信号：输入向量1自适应横向滤波器结构2023/7/2532自适应横向滤波器的学习过程和工作过程实际的滤波器系统

通过控制开关K1和K2，使系统进入不同的工作模式2023/7/254开关K1打向A1，K2打向A2，进入学习过程，求得最优权向量开关K1打向B1，K2打向B2，进入工作过程，对输入信号进行滤波处理求出滤波器权值的学习过程是最优滤波问题的关键2023/7/255二、横向滤波器的误差性能曲面

1.误差性能曲面的推导2023/7/256

对实系统，若M=1

若M=2,是抛物面对于任何的M,是M维的抛物面，具有唯一的全局极小值点是开口向上的抛物线可选择权值w使最小2023/7/257横向滤波器的误差性能曲面及其等高线二、横向滤波器的误差性能曲面

2023/7/258二、横向滤波器的误差性能曲面

2023/7/2591）旋转坐标系v是超椭圆的主轴坐标系统;2)主轴向量vn是相关矩阵R的特征向量;3)输入信号的自相关矩阵R的特征值给出了误差性能曲面沿主轴的二阶导数值。2.性能曲面的性质2023/7/2510三、块估计与递推估计

①块估计：将长度为N的输入数据分块，每块长度为M，对每块分别计算R和p，从而分别计算权系数w。

②块估计的问题：

输入数据的非平稳性与准确计算每块R和p的矛盾；

忽视了数据间的相关性，增加了不必要的计算量。③递推估计的基本思想：记基于x(1)，x(2),…..,x(k-1)设计的Wiener滤波器权系数矢量为：2023/7/2511

则基于x(1)，x(2),

……，x(k-1)，

x(k)设计的Wiener滤波器权系数矢量为：三块估计与递推估计2023/7/2512

四、自适应滤波器1.基本概念1)自适应滤波(AF)的定义

在缺乏先验统计知识的情况下，能自动调整滤波器参数(自我学习)的最优滤波器。(算法形式为迭代计算)2)AF的分类①按每次迭代时的输入输出关系分：线性与非线性②按最优准则分：最小均方误差AF-----统计自适应最小二乘AF------确定性自适应③按变量域分：时域、频域(变换域)、空域(阵列处理)2023/7/2513④按滤波器类型分：FIR、IIR；横滤波器(线性组合器)、格形滤波器、脉动阵列；3)AF的组成：

参数可调的滤波器：其参数受自适应算法控制，随着每次迭代而不断改变的时变滤波器。其功能是对每时刻输入产生输出响应。

自适应迭代算法：根据每时刻滤波器的输出提供下一时刻滤波器参数的一种算法(机制)。1自适应滤波器基本概念2023/7/25141)

性能指标：衡量AF优劣应考虑如下因素①收敛速率：迭代收敛于最优解的迭代次数；②失调量：收敛后的均方误差与最优(小)均方误差的偏离程度；③跟踪能力：在非平稳条件下，跟踪最优解变化的能力；④鲁捧性：对任何类型输入或扰动的适应性；2自适应滤波器性能指标2023/7/2515⑤计算要求：计算量----每次迭代所需要的计算量(常以乘法和加法次数为代表)；存储量----所要求的存储数据和程序的大小,算法编程上的其它计算机投资⑥结构：算法的信息流结构及硬件实现的方式。并行算法、模块化等。⑦数值特性：算法对数值量化效应的敏感程度。2自适应滤波器性能指标2023/7/25162自适应滤波器性能指标①根据实际应用的要求和费效比最低原则，折衷取舍以上指标②可以从最简单的LMS算法出发③应充分考虑各种应用的特殊性，各类算法的优缺点，针对具体应用选用最佳算法。2)如何选择AF2023/7/25175.2最小均方自适应滤波算法最陡下降法LMS算法LMS牛顿算法归一化LMS算法变换域块LMS算法2023/7/25185.2.1最陡下降法1基本思想1）依据：wiener滤波器的均方误差曲面J(w)

是权矢量w的二次函数，不存在局部最小点。2）方法：从任意初始值w(0)出发，沿J(w)

的负梯度方向(最陡下降方向)按一定步长进行迭代搜索至最小点。3）算法公式推导：2023/7/25195.2.1最陡下降法2023/7/25202稳定性分析(迭代收敛条件)1)

旋转平移变换2023/7/25212)

权矢量收敛条件：2稳定性分析(迭代收敛条件)2023/7/25223)

权矢量收敛时间常数：2稳定性分析(迭代收敛条件)2023/7/25233均方误差的瞬态特性(学习曲线)：2023/7/25241)

基本关系式：为加快收敛，取尽可能大的步长，令2)

实验研究：输入信号为二阶AR过程

固定步长，改变R的特征值散布

固定特征值散布，改变步长4R的特征值散布对收敛性的影响2023/7/25254R的特征值散布对收敛性的影响2023/7/25264R的特征值散布对收敛性的影响2023/7/25274R的特征值散布对收敛性的影响2023/7/25284R的特征值散布对收敛性的影响2023/7/2529

权矢量随n变化的轨迹在每个时刻n都正交于J(n)(等高线)；

当两特征值越接近相等时(输入各分量越不相关时)，权矢量随n变化的轨迹越接近直线，收敛越快；

当旋转平移后的权矢量初值位于坐标轴上时，权矢量的变化轨迹为直线(轨迹沿坐标轴)，收敛快；5结论2023/7/2530

对于固定步长，R特征值散布越大(输入各分量越相关)，则收敛后的最小均方误差越小，即作为预测器效果越好；

随步长的增加，收敛过程加快，但步长增大到一定程度(与R的特征值散布有关)，在接近最优点时将出现振荡现象(可用各种变步长算法抑制)

5.2.1最陡下降法

除上述两特殊情况外，权矢量随n变化的轨迹一般为曲线，并且对于固定的步长，其弯曲程度随R特征值散布的加大而加剧，即收敛越慢(可用正交化算法改善)；2023/7/25315.2.2LMS算法1问题的提出在实际中是无法得到的，因而只能用估计值代替。使用P和R的瞬时估计就得到LMS算法。SD算法的不足：

⑴最陡下降法的迭代公式中存在P和R，它们是集平均值，若P和R确定，迭代过程和结果就确定；⑵与输入信号变化无关，不具有自适应性。2023/7/2532令瞬时互相关矢量：瞬时自相关矩阵：2基本的LMS算法2023/7/2533

由于P和R的瞬时估计为随机量，因而由它们构成的梯度是随机梯度，所以LMS算法也称随机梯度搜索法；由于梯度的随机性，使权矢量也是随机变量。权矢量随n的增加是随机趋向最佳点，而不是象最陡下降法那样的确定性的指数趋向。因此，LMS收敛性的讨论只能应用统计理论。

LMS算法虽然迭代公式非常简单，但它却是高度非线性的。再加上变量的随机性，所以LMS算法的收敛性分析十分困难。现今取得的成果都是在一定假定条件下得出的。LMS算法说明2023/7/2534

LMS算法既可用于平稳过程，又可用于确定性过程和非平稳过程。它对于非平稳过程，可跟踪最佳点的变化。LMS算法说明2023/7/25353LMS性能分析独立性理论用于LMS性能分析1)

独立性假定：①输入矢量x(1)、x(2)、……、x(n)之间统计独立；②n时刻的输入矢量x(n)与期望响应的所有过去值d(1)、d(2)…….d(n-1)统计独立；问题：2023/7/2536说明：独立性假定在某些应用，例如自适应波束(空间独立)中成立，但对于大多数信号处理应用中不成立。但由于基此假定的LMS分析简单明了，其结论经实践检验是正确的，且与更严格的小步长理论分析结果类似，因此该分析方法仍有实用价值。3LMS性能分析③n时刻的期望响应d(n)与x(n)有关，但与期望响应的所有过去值统计独立；2023/7/25372)收敛性分析：两边同时取期望值，并应用假定②③，即n时刻的权矢量与n时刻的输入矢量及期望响应统计独立，得2023/7/2538注意到上式与最陡速降法的递推公式完全类似因此，引用类似推导思路可得2)收敛性分析：2023/7/2539与最陡下降法不同之处在于，LMS算法的权系权矢量为随机矢量，它是均值收敛到最佳值。这对于实际应用价值是不大的。为分析LMS算法在收敛过程中的性质，必须研究其方差，即误差的均方收敛特性，即学习曲线2)收敛性分析：2023/7/25403）LMS算法均方误差的统计特性通常2023/7/2541∵w(n)是随机过程即在附近变动，J(n)在之上变动∴3）LMS算法均方误差的统计特性2023/7/25422023/7/25432023/7/2544令权系数误差矢量为：

由于正交性原理，最佳误差与输入矢量无关，并应用独立性假定，ｎ时刻权矢量与同时刻的输入无关，所以第二项为零。对于第三项应用矩阵迹的性质再应用独立性假定，则得LMS算法学习曲线2023/7/2545定义均方误差超量(额外)：

注意：由于权系数误差矢量一般说是非平稳过程，因此其自相关矩阵K(n)是时变的，即均方误差超量是时变的。下面特别讨论它的收敛性。3）LMS算法均方误差的统计特性2023/7/2546

首先注意到Q为正交矩阵，因此，正交变换前后矢量的范数相等。定义这个范数平方的均值为权系数的均方偏差：3）LMS算法均方误差的统计特性2023/7/2547即D(n)的收敛决定于均方误差超量的收敛，并与R的特征值散布有关。

其次，引用LMS算法的权系数迭代公式，可将权系数误差矢量写成如下递推形式：使用类似的正交变换可得：

从而可将其自相关矩阵K(n)表示为递推形式(推导中已应用了正交性原理和独立性假定，即同时刻的权系数与输入统计无关。)3）LMS算法均方误差的统计特性2023/7/2548

当n趋向无穷大时，显然可假定n近似等于n+1，从而有

从上式可知，由于R的非负定性，其特征值皆非负，所以均方误差超量应非负，因此，算法收敛的必要条件为：LMS算法性能分析2023/7/25494)

稳态失调：5)

结论：

对于同一输入过程和步长，稳态失调随阶数M的增大而增大；对于同一步长，稳态失调与总的抽头输入功率成正比；稳态失调与步长成正比。因此，通过加大步长来加快收敛速度将导致稳态失调增加；5LMS算法性能分析2023/7/2550

改进收敛性的途经：使用拟牛顿法(归一化LMS)；

使用变步长算法，以解决收敛速度与稳态失调的矛盾；使用变换域算法，将输入矢量解耦，对各个分量采用不同步长。5.2.2LMS算法2023/7/25515.2.3LMS牛顿算法

2

算法推导：最小均方误差权向量的牛顿法迭代公式为

1

基本思想：LMS牛顿算法是一种LMS改进算法，它在估计梯度时采用了输入向量相关矩阵的估值，使得收敛速度大大快于基本LMS算法，牛顿法可一步到达最佳点。2023/7/2552与LMS算法类似，用瞬时梯度替换牛顿法中的真实梯度，则得此迭代公式可以看作是以自相关矩阵进行归一化的归一化LMS算法。由于自相关矩阵的逆必须递推估计，引入矩阵逆引理估计n时刻的自相关矩阵逆，则得LMS牛顿法的迭代公式：5.2.3LMS牛顿算法2023/7/2553式中遗忘因子一般取接近零的正数，输入的非平稳程度越大，则遗忘因子越大。上式的迭代初值为：自相关矩阵逆的估计还可使用正交化输入矢量进行快速计算。5.2.3LMS牛顿算法2023/7/25545.2.4归一化LMS算法1

基本思想：使步长与抽头输入功率成反比，从而抑制稳态失调随抽头输入功率的线性增长。或者等价为最小化干扰原理-----在每次迭代中，权系数以最小波动方式变化，或等价为瞬时平方误差变化最小。2

公式推导：在约束条件为：使权系数增量：2023/7/2555欧氏范数最小化。使用拉格朗日乘子法，即将上式代入约束条件，可解出最佳乘子值为：上式的最小化解为：5.2.4归一化LMS算法2023/7/2556从而得到归一化LMS的迭代公式为：式中自适应常数是为控制增量大小。为保证抽头输入功率趋向零时不出现计算数值问题，可将迭代公式变化为：5.2.4归一化LMS算法2023/7/25573

说明：迭代公式可记为如下形式：

归一化LMS算法可以看作变步长算法的一种，其变步长为：

无论对于相关输入还是不相关输入，归一化LMS都比基本的LMS呈现更快的收敛速度。5.2.4归一化LMS算法2023/7/25585.2.5变换域块LMS算法

由于LMS算法基本思想仍为最陡下降法，所以其收敛性仍与最陡下降法一样，与R的特征值散布密切相关。特征值散布大一方面导致收敛慢，另一方面又导致最小均方误差增大。

变换域算法的基本思想是：通过某种正交变换，将输入信号解耦(正交化)，从而使输入矢量的每个分量相互独立，M维正规方程变为M个独立正规方程。在每个独立正规方程求解时，分别使用不同步长，以便各方程都达到最佳收敛的目的。2023/7/25595.2.5变换域块LMS算法2023/7/25601

块自适应滤波器1)算法描述①输入数据分块：

k为块编号5.2.5变换域块LMS算法2023/7/2561②输入数据块：5.2.5变换域块LMS算法2023/7/25622)

块LMS算法

一般取L=M，这样A(k)为方阵；不是每个输入样本更新一次权系数，而是每块(含L个输入矢量)才更新一次权系数。

达到收敛时，更新的次数少了，但每次更新用到的数据多了，计算量大了。5.2.5变换域块LMS算法2023/7/25633)

块LMS算法的收敛性：分析方法类似LMS算法

注意：对于平稳过程，相关函数与时间无关。

上式与LMS算法的公式相比，只是步长乘以L，所以有类似结果5.2.5变换域块LMS算法2023/7/25641）算法的依据所以，k块输出的第ｉ个分量可以看作第k块的权系数与第k块的第ｉ个输入矢量的线性卷积。类似φ(k)的第j个分量可以写为：2

快速块LMS算法(频域LMS算法)5.2.5变换域块LMS算法2023/7/2565卷积运算可借助循环卷积在频域快速实现，从而形成频域自适应滤波算法。2)

公式推导：按DFT快速计算线性卷积的重迭保留法，在L=M的条件下，按重迭率百分之五十，取N=2M点的DFT进行运算，则应有取后M个元素取前M个元素5.2.5变换域块LMS算法2023/7/2566上式中取共轭的原因在于x(-(n))的DFT应为x(n)的DFT的共轭

算法流图如下：5.2.5变换域块LMS算法2023/7/2567计算复杂度复杂度比3)收敛速率的提高：

上述算法虽然在较大M时，计算复杂度比基本的LMS算法有较大提高，但收敛速率并无改善，仍受制于R的特征值散布，没有充分发挥变换域算法的优点。

注意到上述迭代运算是在频域实现的，并且权系数的迭代公式实际上是独立的N个方程，即每个频率点一个方程。因此完全可以每个方程取不同的步长。5.2.5变换域块LMS算法2023/7/2568取前M个元素

注意到归一化LMS算法中，最优步长是由输入信号功率来归一化的，这就启发我们可以在每个方程中，用该频率分量的功率来进行归一化步长。5.2.5变换域块LMS算法2023/7/25695.3递归最小二乘自适应滤波最小二乘算法递归最小二乘算法递归最小二乘算法的收敛性2023/7/25705.3.1最小二乘算法1

基本概念①问题的描述：在n时刻巳知一组输入数据x(1)，x(2)，…..，x(n)一组需要的响应设计一个M阶的滤波器(估计器)，使它n时刻的输出

基于最小二乘准则的自适应滤波器无需假定输入是宽带平稳过程，并具有收敛快等优点。2023/7/2571最佳逼近②最小二乘问题的分类：1)当时，计算全部误差的平方加权和。在已知数据段的前后都添加零取样值，即假定x(i)=0（i<1或i>N）。这种方法称为自相关法。5.3.1最小二乘算法2023/7/2572

2)当时，计算前一部分误差的平方加权和。在已知数据的前面添加零取样值，即假定x(i)=0（i<1）。这种方法称为前加窗法。

3)当时，计算后一部分误差的平方加权和。在已知数据段的后面添加零取样值，即假定x(i)=0（i>N）。这种方法称为后加窗法。

4)当时，计算中间一部分误差的平方加权和。在已知数据的前后都不需要添加零取样值。这种方法称为协方差法。5.3.1最小二乘算法2023/7/25735.3.1最小二乘算法2023/7/2574③正交性原理：按误差平方和最小化原则，可得：5.3.1最小二乘算法2023/7/25752正规方程1)方程的推导：将最小估计误差代入正交性原理5.3.1最小二乘算法2023/7/2576时间平均相关矩阵：时间平均互相关矢量：2)最小误差平方和：最小误差平方和可记为：5.3.1最小二乘算法2023/7/25775.3.1最小二乘算法2023/7/2578

5.3.2递归最小二乘算法（RLS）

1

预备知识1)加权最小二乘法：适应非平稳过程(前开窗法)

考虑到输入噪声的影响，尤其是在n=0时的影响，可采用如下正则化处理：2023/7/25792)矩阵求逆引理：5.3.2递归最小二乘算法（RLS）2023/7/25802RLS算法1)公式推导

逆相关矩阵：

增益矢量：①逆相关矩阵更新与增益矢量5.3.2递归最小二乘算法（RLS）2023/7/2581②权系数更新

先验误差：③最小平方误差加权和更新5.3.2递归最小二乘算法（RLS）2023/7/2582④收敛因子(换标因子)5.3.2递归最小二乘算法（RLS）2)初始条件：2023/7/25833)参数选择

遗忘因子λ：接近1但小于1的正常数。0.95<λ<1，λ=1即平稳输入，无限记忆；输入过程的非平稳程度越严重，则λ越小。

正则化参数δ：为输入过程方差①高信噪比(SNR>30db)：α=1，较小的δ；②中信噪比(SNR=10db数量级)：-1<α<0，中等δ；③低信噪比(SNR=-10db数量级)：α<-1，较大的δ；5.3.2递归最小二乘算法（RLS）2023/7/25845.3.2递归最小二乘算法（RLS）④期望响应突变，非平稳严重时，应在突变奌重新初始化，并用较小的δ值开始新一轮迭代。2023/7/25855.3.3递归最小二乘算法的收敛性1

分析假定：①期望响应d(n)与输入矢量x(n)之间滿足下述关系：为最佳估计权系数，为d(n)中不可估计部份，是n时刻的最佳估计误差，显然它与x(n)无关。假定它为零均值、方差为的白噪声。②随机输入信号满足各态历遍性(历经性)。2023/7/25865.3.3递归最小二乘算法的收敛性对于充分大的n有：③加权误差矢量ε(n)的波动比输入矢量波动慢2

权系数的收敛性2023/7/25875.3.3递归最小二乘算法的收敛性2023/7/2588

所以，RLS算法随n趋向无限大，权系数按均值收敛于最佳值；但对于有限的n，由于δ的引入，RLS算法是有偏估计。

类似可证明，对于RLS算法也有：⒊权系数收敛的均方误差定义误差相关阵：5.3.3递归最小二乘算法的收敛性2023/7/2589定义均方误差：对于充分大的n可忽略正则化参数δ的影响得：权系数的均方误差随最小特征值的减小而增大，因此

R特征值散布度加大，会使RLS权系数的收敛性能变差；

权系数的均方误差随n的增加而线性减小，所以，RLS算法权系数按均方渐近收敛于最佳值。5.3.3递归最小二乘算法的收敛性2023/7/2590⒋RLS算法的学习曲线①先验误差与后验误差

在n=1时，P(0)很大所以γ(1)=0即e(1)远小于η(1)；5.3.3递归最小二乘算法的收敛性2023/7/25915.3.3递归最小二乘算法的收敛性

当算法收敛时，k(n)趋向零，所以γ趋向1。即e(n)近似等于η(n)。

在收敛过程中e(n)逐渐增大，而η(n)逐渐减小。②基于先验误差的学习曲线2023/7/25925.3.3递归最小二乘算法的收敛性③结论

RLS算法约经过n=2M次迭代，即可使均方误差达到最小误差的1.5倍，而LMS算法达此水平至少需20M次迭代。因此，RLS比LMS至少快一个数量级。2023/7/2593

RLS算法的均方误差收敛特性与R的特征值散布无关。

RLS收敛快的原因在于采用类似归一化步长。

若n趋于无限大，在不考虑量化误差的条件下，RLS算法无失调。而LMS始终存在与步长有关的失调。5.3.3递归最小二乘算法的收敛性

RLS算法的主要问题之一是每次迭代中的计算量与阶数M的平方成正比。虽然比之最小二乘法(M的三次方成正比)好，但比LMS算法(M成正比)要差。2023/7/25945.3.3递归最小二乘算法的收敛性2023/7/25955.4

最小二乘格型自适应滤波递归最小二乘的投影算子理论用向量空间法研究最小二乘估计问题最小二乘格形算法2023/7/25965.5.1

递归LS的投影算子理论⒈投影算子：对于输入数据矩阵为X(n)的LS问题有投影算子：

正交补投影算子：对于输入数据空间U可定义：投影算子：正交补投影算子：2023/7/25975.5.1

递归LS的投影算子理论由，可定义横滤波算子：

对称性：幂等性：⒉维数递推公式2023/7/2598

假定n时刻的数据空间U为M维(即数据矩陣由M个列矢量构成)，现有另一个不属于U的列矢量V，它与U一齐构成M+1维合空间{UV}。那么根据正交性原理有：5.5.1

递归LS的投影算子理论2023/7/2599定义含n个分量的单位矢量(现时矢量)为：⒊单位矢量⒋时间递推公式：5.5.1

递归LS的投影算子理论2023/7/251005.5.1

递归LS的投影算子理论2023/7/251015.5.1

递归LS的投影算子理论⒌角参量(换标因子)：2023/7/25102

n时刻的角参量表征了n时刻输入与(n-1)输入空间的夹角。使用角参量还可把维数递推式写为：5.5.1

递归LS的投影算子理论2023/7/251035.5.2

用向量空间法研究LS估计问题用算子理论表示的四种横式滤波器定义一个输入矢量：令则数据矩阵X(n)

(n×M维)可记为：⒈最小二乘滤波器(LSF)：

其数据空间为：

n次迭代的权矢量：2023/7/251045.5.2

用向量空间法研究LS估计问题第n个先验误差：

n次迭代的后验误差矢量：

第n个后验误差：⒉前向预测误差滤波器：以前向后验误差为输出的最小二乘滤波器(FPEF)。

n次迭代的后验误差矢量为：2023/7/25105

n次迭代时的权矢量：第n个后验误差：

FPEF的输入：

FPEF的权矢量：5.5.2

用向量空间法研究LS估计问题2023/7/25106⒊后向预测误差滤波器(BPEF)：

n次迭代的后验误差矢量：

n次迭代的权矢量：第n个后验误差：

5.5.2

用向量空间法研究LS估计问题2023/7/251075.5.2

用向量空间法研究LS估计问题

BPEF的输入：

BPEF的权矢量：⒋增益滤波器2023/7/25108

仿后向预测器，可以增益矢量为权矢量构成一个新的滤波器，即增益滤波器。由于该滤波器的正规方程中输入自相关阵与后向予测器相同，因此，它与后向预测器具有相同的输入信号空间。但该滤波器需要的响应是什么呢？5.5.2

用向量空间法研究LS估计问题2023/7/25109

可以将换标因子看成该滤波器的第n个后验误差，并以π(n)作为其需要响应矢量，从而有第n次迭代的后验误差矢量，记为

显然，其第n个后验误差为5.5.2

用向量空间法研究LS估计问题2023/7/251105.5.2

用向量空间法研究LS估计问题

增益滤波器的权矢量可记为：

因此，换标因子即前面定义的角参量，即2023/7/25111LSL算法的推导定义内积运算：⒈预测误差平方和及其递推公式前向预测误差平方和

后向预测误差平方和5.5.3

最小二乘格形算法（LSL）2023/7/251125.5.3

最小二乘格形算法（LSL）投影算子表示

递推公式2023/7/251135.5.3

最小二乘格形算法（LSL）2023/7/251145.5.3

最小二乘格形算法（LSL）2023/7/251155.5.3

最小二乘格形算法（LSL）⒉前、后向予测误差的部分相关系数的更新2023/7/251165.5.3

最小二乘格形算法（LSL）2023/7/25117⒊角参量的更新5.5.3

最小二乘格形算法（LSL）⒋预测误差的更新2023/7/251185.5.3

最小二乘格形算法（LSL）2023/7/251195.5.3

最小二乘格形算法（LSL）5

LSL算法的初始条件及说明1）初始条件2023/7/251205.5.3

最小二乘格形算法（LSL）2023/7/251215.5.3

最小二乘格形算法（LSL）2）

说明：

LSL算法的优点是收敛快(与RLS相同)，并旦数值稳定性好(阶递归)，并且模块化结构，易于硬件实现；2023/7/25122

LSL算法的缺点是计算量稍大于FTF，达16M；若采用归一化格形结构，并采用QR分解及坐标旋转算法(CORDIC)计算量可降为7M(QRD---LSL)；

LSL算法与所有格形算法一样，只能进行预测，而不能直接对任意期望响应d(n)进行估计。若要对d(n)进行估计，则需采用联合处理方法；5.5.3

最小二乘格形算法（LSL）2023/7/251235.5

自适应滤波器的应用

自适应滤波器的应用范围很广，现将其归纳为四个方面：自适应系统模拟（辨识）和逆模拟；自适应控制与逆控制；自适应干扰抵消；自适应预测。

1自适应系统模拟与逆模拟2023/7/251242自适应控制与逆控制5.5

自适应滤波器的应用2023/7/251253自适应干扰抵消

5.5

自适应滤波器的应用2023/7/251264自适应预测

5.5

自适应滤波器的应用2023/7/251275.6

自适应盲信号处理简介自适应盲信号处理的基本概念数学建模可解性与独立性目标函数及其优化自适应盲信号处理算法概述2023/7/251285.6.1盲信号处理的基本概念简介1

定义

这种波形估计允许一定的不确定性当传输信道特性未知时，从一个传感器阵列或转换器的输出信号中分离或估计源信号波形的信号处理过程。关键是要寻求到一个稳定的逆系统(重构系统、神经网络或自适应逆系统)，以便估计源信号波形

2”盲”的含义①源信号波形未知；②源信号混合方式未知2023/7/251295.6.1盲信号处理的基本概念简介2023/7/25130

如果源信号波形或混合方式中有部份信息是已知的，则称半盲信号处理。盲信号处理与系统辨识的差别在于后者的源信号波形至少特性是己知的。

5.6.1盲信号处理的基本概念简介3盲信号处理与独立分量分析（ICA）独立分量分析的主要目的是确立一个线性变换矩阵，使变换后的分量尽可能统计独立。虽然盲信号处理有时也要利用源信号的统计独立特征，但它的重点在于源信号波形的估计精度。ICA是一种可用于BSP的重要算法，但其着眼点是有差别的。ICA主要使用高阶统计量进行2023/7/251314BSP的方法及分类

在盲信号处理中，就源信号经过传输通道的混合方式而言，其处理方法可分为线性瞬时混合信号盲处理、线性卷积混合信号盲处理和非线性混合信号（后非线性混合、完全非线性混合等）盲处理三类。

盲信号处理的目的可分为盲辨识和盲源分离两大类。

盲处理的大部分方法是依据一定的理论构造目标函数的无监督学习方法。5.6.1盲信号处理的基本概念简介分析，而BSP不限于此，它也可与主分量分析(PCA)或奇异值分解(SVD)一样使用二阶统计量(SOS)2023/7/251325BSP的应用前景1)

语音信号处理-----”鸡尾酒会”问题5.6.1盲信号处理的基本概念简介2023/7/251332)医学信号处理5.6.1盲信号处理的基本概念简介2023/7/251343)

混合图象的恢复5.6.1盲信号处理的基本概念简介2023/7/251354)

数字通信5.6.1盲信号处理的基本概念简介2023/7/25136⒈瞬时线性混合5.6.2

数学建模2023/7/25137⒉卷积混合5.6.2

数学建模

多通道盲解卷积2023/7/25138多通道盲解卷积的目的在于调整传递函数矩阵以满足下式成立传递函数矩阵5.6.2

数学建模2023/7/251395.6.2

数学建模2023/7/251405.6.2

数学建模

上式中P为n阶置换矩阵，即每行每列仅有一个1，其余元素皆为零的方阵。它作用于对角阵D(z)，相当于其对其对角元素相互置换。

D(z)为n阶对角阵，其第i个对角元素为⒊

广义多通道盲解卷积-----状态空间模型

上述二种BSP模型可以统一用状态空间模型描述。事实上，所有通过线性系统混合信号的BSP问题都可用该模型描述。2023/7/251415.6.2

数学建模

解上述混合模型的分离模型为

BSP的任务就是计算W(z)使下式成立2023/7/25142式中P为n阶广义置换矩阵，但D(z)是对角元素为成形滤波器的n阶对角阵。5.6.2

数学建模

BSP的状态空间模型是一种高效、通用的模型。①瞬时混合模型是其状态矩阵A、输入混合(分离)矩阵B、输出混合(分离)矩阵C为零时的特例。2023/7/251435.6.2

数学建模②状态空间模型可以描述源信号的多种线性混合和滤波过程。甚至可推广至源信号的非线性混合的数学描述③状态空间模型可分为线性无记忆的输出子系统和动态状态反馈子系统，我们可以对它们用不同的方法辨识或更新2023/7/25144④可通过等价变换为多种规范数学模型⒋非线性混合分离过程一般为两步，第一步先求非线性函数g()，使它满足：5.6.2

数学建模

然后解如下瞬时线性混合问题2023/7/25145

也可用如下非线性状态空间模型描述5.6.2

数学建模2023/7/25146⒈可解性①可解性条件：

源信号矢量s(k)的各分量在统计上相互独立；

H是列满秩的常数矩阵---即所获得的观察信号的数目要大于等于源信号的个数；

源信号是非高斯信号或至多只有一个高斯信号---高斯信号的线性混合仍为高斯信号，已证明它是不可分离的。5.6.3

可解性与独立性2023/7/251475.6.3

可解性与独立性说明：以上条件最先来自独立分量分析理论，已证明对于线性混合的BSP是成立的，但对于非线性混合的情况，可能会更复杂。②可解性的含义：上述可解性并不意味着源信号的唯一的精确复原。事实上BSP问题是一个存在多解的问题，这些多解之间的差别是各分量排列顺序不同和(或)对应分量相差一个常数因子。也就是说恢复了的源信号存在排列顺序和幅度上的模糊性，但各信号的变化规律是源信号的准确再现，因此上述模糊性是允许的。2023/7/251485.6.3

可解性与独立性⒉独立性源信号矢量各分量之间的独立性是能否实现盲分离的重要先决条件，也是衡量盲分离实现程度的一种测度。

信号之间的独立性可用概率密度函数或协方差函数来描述：不相关(协方差为零)：2023/7/25149对任何整数p,q,下式成立则相互独立：统计独立意味着任意高阶矩意义上的不相关，而通常所指的”不相关”是二阶矩意义上的不相关。5.6.3

可解性与独立性当相关函数为零时，则两随机变量正交。所以零均值随机变量正交与不相关等价。

对高斯分布的信号，不相关与统计独立等价。因为高斯分布信号的任意高阶矩皆决定于二阶矩。2023/7/25150若能用某一函数作为测度来衡量信号矢量的独立性，则盲分离的过程就转化为这一测度函数不断优化的过程。这正是BSP自适应算法的基础。自适应优化的测度函数称之目标(代价)函数。BSP的一些统计特性，如一致性、鲁棒性等依赖于目标函数的选取。自适应优化算法常用神经网络实现，优化算法的特性影响BSP的收敛性、数值稳定性等。5.6.3

可解性与独立性若直接对观测到的混合信号进行矩阵变换，使其各分量正交化(白化)，就形成BSP的批处理算法该类算法一般计算量较大。2023/7/25151⒈负熵(Negentropy)①非高斯性与独立性

根据中心极限定理，具有有限方差和均值的n个相互独立的随机信号S(i),(i=1,2,…,n)的线性混合信号X的分布必趋向高斯分布，而不论S(i)原来具有何种分布。因此，X的各分量比S(i)具有更强的高斯性。盲分离的过程就转化为不断增强盲分离过程的输出y的各分量的非高斯性的过程。非高斯性就成为信号独立性的测度，非高斯性的极大化，意味着BSP过程的完成。5.6.4

目标函数及其优化2023/7/25152②熵与差熵熵：对于离散随机变量X，其熵定义为平均自信息量的测度。它是X平均不确定性的描述，具有非负性。差熵：对于连续随机变量X，可以类似的定义其信息熵为下式所示。但由于连续随机变量X的可能取值为无穷多个，其不确定性为无穷大，所以对于连续随机变量X，它只表示平均信息量的相对大小5.6.4

目标函数及其优化2023/7/251535.6.4

目标函数及其优化③负熵在信号具有有限功率时，对于具有相同均值和方差的随机信号中，具有高斯分布的信号的熵最大。为了衡量信号的非高斯性，可定义如下负熵

显然负熵总是非负值，它越大，说明随机信号y的非高斯性越强。应用到BSP中，即负熵越大，说明随机信号y的各分量越趋于统计独立。2023/7/25154

负熵具有正交变换下的不变性，并满足尺度不变原理。但计算中的两信号应具有相同方差和均值。因此常先将信号予处理为零均值和单位方差④负熵的近似表示：

为摆脱信号概率分布密度未知的困难。当信号的概率密度函数与具有相同均值和方差(通常假定为0和1)的高斯分布概率密度函数近似时,可在概率密度函数展开为高阶累量的基础上，可将负熵近似表示为高阶累量：5.6.4

目标函数及其优化2023/7/25155当概率密度函数比较对称时，有的学者建议改为

注意，由于高斯信号的熵为常值，所以又有熵的近似展开式：或者仅取前两项，而忽略较高次项，变为5.6.4

目标函数及其优化2023/7/251565.6.4

目标函数及其优化2

互信息对于离散随机信号X和Y，其互信息定义为：条件熵：

互信息表示X中与Y相关的平均不确定性。所以，若X和Y相互独立，则互信息为零。因此，可用互信息来衡量X与Y的相互独立性，即用互信息作为BSP的目标函数。2023/7/25157

将条件熵的定义代入，还可得互信息定义的另一表示式为：5.6.4

目标函数及其优化特别对于多变量随机信号矢量X，各分量之间的互信息可表示为