核自适应滤波总结报告.doc

精品文档1、 研究背景及意义： 传统的线性自适应滤波算法在处理非线性问题时,相应的性能效果并不理想。在信号预测、系统识别、信道均衡等领域的实际问题中,如果某种复杂的非线性关系存在于系统的输入输出之间,传统的线性方法难以处理这类非线性问题。现有的非线性自适应滤波方法有基于非线性差分方程的递归多项式模型、径向基函数(RBF, Radial Basis Function)、神经网络、基于Volterra级数展开的非递归多项式模型、多层感知(MLP,Multilayer Perception)、神经网络等,这些方法在处理非线性问题时有较好的性能,但是它们当中存在的缺点有:很高的计算复杂度、存在不稳定性、收敛速度不理想、难以确定合理的阶数、非凸最优化解等等。而基于核方法(Kernel Method)构造的自适应算法具有很强的非线性信号的处理能力。2、 常见的核自适应滤波方法：（1）把线性最小均方算法和核方法相结合，提出了核最小均方算法KLMS。（2）通过核方法将仿射投影算法应用到非线性系统中,提出了核仿射投影算法KAPA。（3）核递归最小二乘算法KRLS及扩展的核递归最小二乘算法EKRLS。（4）将核方法与梯度下降法相结合提出的核ADALINE算法及NORMA算法。（5）将核方法与最小平均混合范数算法结合提出的核最小平均混合范数算法KLMMN。三、核方法思想：(1)核函数： 其中,是输入空间X到向量空间F的映射。(2) 再生核希尔伯特空间(RKHS):如果一个核函数满足这两个条件:1 对任意的xX,作为向量的函数归属于向量空间F;2 满足可再生性,即对由核(x,.)组成的关于x的函数生成的空间F中的函数，对于所有的,有。那么，就称为向量空间F中的可再生核函数,定义了完备的可再生核的内积空间就是可再生核希尔伯特空间(RKHS)。(3) Mercer定律：任何一个可再生核可表示为，其中,和是非负的特征值和特征函数。因此,映射可以表示为： (4)常用核函数：1 高斯核：2 多项式核：其中,是高斯核中的核参数,p是多项式核的阶数. (5）基于核方法的非线性自适应滤波器的实现原理：将输入数据（）映射到高维特征空间(RKHS)中，然后对变换后的数据运用相应的线性自适应滤波算法。4、 LMS算法与KLMS算法对比：1、 LMS算法（1）LMS理论算法目标函数是：，而目标函数的梯度向量是：由随机梯度下降算法,最终得到LMS算法的权重系数向量更新表达式为：，其中为学习步长参数。（2） LMS具体算法初始化，选择，每获得，计算 保守收敛条件,其中,相关矩阵在第次迭代时，对于给定的测试点,系统输出为2、 KLMS算法（1）KLMS理论算法 在LMS算法中,假定输入输出映射是线性有限脉冲响应(FIR)模型,如果用表示输入信号,表示参考信号,表示估计误差,表示步长因子,表示在第k次迭代的最优权重系数估计,那么LMS算法的规则为： 由于和之间的维度差异,是比更有效更精确的模型,所以可以用代替通过随机梯度下降法可以为非线性滤波器提供一个有效的方法来估算权重系数向量：其中表示在特征空间F中第次迭代的系数向量的估计值，。 初始化,重复迭代权重系数更新公式，得： 在第k次训练后,权重系数估计值可以看作是由先前和当前输入数据的映射和误差值乘积的线性组合的相加,对于一个新的输入数据,非线性系统的输出为： 可见系统的输出可以用求解核函数的方法将输出结果直接计算出来。（2） KLMS具体算法初始化w(0)=0,选择步长因子和核函数及其相应参数he(1)=d(1),计算While 输入有效 do计算输出：计算误差：5、 仿真结果六 小结 核函数在处理非线性问题上的优势是：（1） 理论上：它能够把输入空间映射到高维特征空间,然后在高维特征空间里进行线性数据处理。把低维空间的非线性运算转化到高维空间的线性运算。（2）数学上：算法的简化。与LMS算法相比,KLMS算法没有用到权重系数,而是将所有过去的误差乘以相应核函数的值直接得到系统的输出,降低计算复杂度。KRLS（核递归最小二乘算法）1、 算法原理 （1） RLS算法通过最小化代价函数 估计权重。 为了解决原算法中输入数据自相关矩阵的逆可能不存在的问题，将数据自相关矩阵正则化，即通过最小化代价函数估计权重。 在KRLS算法中,将输入数据映射到RKHS中的，简写为，每次迭代，通过最小化代价函数来估计权向量。（2） 由得： = 下划线部分由矩阵求逆引理得到的，好处如下：1 中的每个元素可以通过核函数来简化计算；2 权重被明确表示为输入数据的一个线性组合：，其中。（3） 为了避免复杂的求逆运算，可以通过迭代方法来计算：经过一些列数学推导得：其中，具体请参考核自适应滤波P103-104预测误差，预测信号 2、 具体算法：(1)非正则化的KRLS算法：(2) 正则化的KRLS算法： 初始化，其余与上面的一致。这个不同是由的结构决定的。 输入空间的非线性