基于新息的神经网络自适应卡尔曼滤波

1、基于新息的神经网络自适应卡尔曼滤波李忠良 , 陈卫兵 , 邹豪杰 , 罗天资 , 张洪波 , 曾光华(湖南工业大学 计算机与通信学院, 湖南 株洲 412007摘 要 :卡尔曼滤波是一种基于最小方差的递推式滤波算法,系统模型和噪声统计特性的先验知识决定了滤波的性能和估计的准确性,不精确的先验知识将导致滤波性能的明显下降甚至发散。采用 BP 神经网络对系统进行辨识,获得精确的系统状态方程,利用新息自适应估计卡尔曼滤波算法中的过程噪声和测量噪声协方差 矩阵,提出基于新息的神经网络自适应卡尔曼滤波算法。 Matlab 仿真结果表明,与传统卡尔曼滤波算法相比, 改进的卡尔曼滤波算法获得了与 原始信号几

2、乎 一致的 输 出 信号 ,噪声得 到 明显 抑制 。 同时 ,改进的算法不 需要 系统精确的 数学 模型, 在实际 应用中 具有可 行性和 普 适性。关键词 :神经网络 ; 卡尔曼滤波 ; 新息中图分类号 :TP312 文献标志码 :A 文章编号 :1673-9833(201101-0105-04Innovation-Based Neural Network Adaptive Kalman Filter AlgorithmLi Zhongliang, Chen Weibing, Zou Haojie, Luo Tianzi, Zhang Hongbo, Zeng Guanghua(Schoo

3、l of Computer and Communication, Hunan University of Technology, Zhuzhou Hunan 412007, China Abstract :Kalman filter is a recursive algorithm based on minimum variance estimation, filtering performance and theestimated accuracy depend on the priori knowledge of system model and noise statistical pro

4、perties, and imprecise prioriknowledge can cause significant degradation even disperse in the filtering performance. BP neural network is used for systemidentification to acquire the precise system equation. The process noise and measurement noise covariance matrix in adaptiveestimated Kalman filter

5、 algorithm is used to propose a new algorithm of innovation-based neural network adaptive Kalman filter.Matlab simulation results show: compared with the traditional Kalman filter algorithm, the output signal obtained through theimproved Kalman filter algorithm is almost identical with the original

6、signal, the noise is significantly suppressed, meanwhile theimproved algorithm does not need accurate system mathematical model, which is effective and available in practical application.Keywords :neural network; Kalman filter; innovation收稿日期 :2010-11-20湖 南 工 业 大 学 学 报Journal of Hunan University of

7、TechnologyVol.25 No.1Jan. 2011第 25卷 第 1期 2011年 1月0引言卡尔曼(Kalman 滤波是一种基于最小方差估计的递推式滤波方法,广泛用于动态系统分析、估计、 预 测和控制 1。标准的卡尔曼滤波算法,在系统模型、过程噪声和测量噪声的统计特征都已知的条件下, 能够 实现 最 优 估计。 但 在 很多实际应 用 中 ,系统 状 态是 先验未 知的, 因此 , 不精确 的统计特征 会明显降低 卡尔 曼滤波 性能 , 甚至造成 滤波 发散 。 目前 , 国内外 学 者提出了 一系 列 基于标准卡尔曼滤波的 改进 算法 来解决 这些问题 , 从而提高 卡尔曼滤波的

8、 精度 和 普适性 。 文 献 2利 用 新息自适应 估计过程噪声和测量噪声的 协 方 差 矩阵以达到提高 滤波 性能 、 防止 滤波 发散 的 目 的; 文献 3通过 任意时刻施行 2次 卡尔曼滤波 来自适应调1062011年湖 南 工 业 大 学 学 报 整 测量噪声 协 方差, 以提高 滤波 精度 ; 文献 4提出了 一种基于 协 方差 匹配技术 的 Sage-Husa 自适应 滤波算 法, 实现 在 线 估计噪声统计特 性 ; 文献 5-7引 入模 糊 控制 理论 和 神经网络 估计噪声 协 方差 矩阵以提高 滤波 精度 。 总 的 来说 , 这些改进 算法主要 集中 在估计噪声 统计

9、特 性 方 面 , 对 提高 卡尔曼滤波 精度 、 防止 滤波 发 散 具有较 大 应 用 价值 。 但 对 于 实际 的 非 线性 系统, 很 难获得 精确 的噪声统计特 性来 建立 系统模型, 这 就需 要 综合考虑 系统模型和噪声统计特 性 , 来提高 卡尔曼 滤波的 普适性 和滤波 精度 。 因此 , 本 文从 系统 建 模的 角 度 , 利 用 神经网络 良 好 的 非 线性性 和 建 模 功 能 , 提 出 一种基于 新息 的 神经网络自适应 Kalman 滤波算法。1卡尔曼滤波原理和神经网络系统 1.1卡尔曼滤波卡尔曼滤波主要 解决 在 带加 性 噪声信 号 x (t =s (t

10、 +n (t 中提 取有 用信 号 s (t 的 问题 。 实际应 用 中 , 先 将 系 统 离 散 化 ,用 离 散 化后 的差分方程 来 描述连续 系统。卡尔曼滤波 离 散状 态方程 由 过程方程(1和测量 方程(2 描述 :x k = Ak x k -1 + wk -1,(1 y k = H k x k + v k 。(2 式(1和(2 中 :x k 为 k 时刻 系统 状 态向量;y k 为 k 时刻 系统 观 测向量;w k 为 k 时刻 过程噪声, v k 为 k 时刻 测量噪声, 它 们 都是 均值 为 零 的 高 斯 噪声;A k 为 k 时刻 系统 状 态 转移 矩阵 ;

11、H k 为 k 时刻 观 测 矩阵 。假设 系统的过程噪声和测量噪声都是 均值 为 零且 互 不 相关 的 高 斯白 噪声, 其 k 时刻协 方差 矩阵 分 别 为 Q k 和 R k 。 结合 过程方程(1和测量方程(2, Kalman 滤波算法 可表示 为 公 式(3 (7 :,(3,(4 , (5 , (6 。 (7 式(3 (7 中 :为 k 时刻 预测 状态向量,为 k -1时刻 滤波估计 状态向量, 为 k 时刻 预测估计 值 的 协 方差 矩阵, 为 k -1时刻 滤波估计 状 态向量的 协 方差 矩阵, 表示 k 时刻 的滤波 增益 矩阵 。因此 ,在系统模型、 初始 状 态

12、及 噪声统计特 性 已 知的 情况 下, Kalman 滤波 可持续 递推下 去并 实现 最 优 估计。 1.2神经网络系统辨识系统 辨识 8是在 输 入和 输 出 数据 的基 础上 , 从 一 组给定 的模型 类 中 , 确 定 一 个 与 所 测系统 等价 的模 型。基于 神经网络 的系统 辨识 , 指选择合 适 的 神经网 络 模型 对被辨识 系统 进行 正 向 或逆 向 建 模,通过 对输 入 输 出 数据 进行 训练得 到 权值 和 阈值 , 建立相 应 的系 统模型, 实 质上就 是 选择合 适 的 神经网络 模型 来 逼近 实际 的系统。 神经网络 系统 辨识具有 不 要 求 建

13、立 实际 系统的 辨识 格 式、良 好 的 非 线性 映射 能 力 及 强 大的 黑 箱 建 模 能 力 等 优 点 ,在系统 辨识 领域 得 到 广泛 应 用。2神经网络 Kalman 滤波算法解决 Kalman 滤波噪声统计特 性 最 有 效 的方法是 采用 自适应 算法, 常 用的 有 多 模型 自适应 算法和基于 新 息 的 自适应 估计算法。 本 文 的基于 新息 的 神经网络自 适应 Kalman 滤波算法, 其 基 本 思想 是, 首 先利 用 反 向 传播 网络 (back propagation network, BP 进行 系统 辨 识建 模, 训练 出 模型 参 数 A

14、k 和 H k , 再 利 用 新息自适应 调整 过程噪声 协 方差 矩阵 Q 和测量噪声 协 方差 矩阵 R 。 2.1神经网络系统辨识理论 上 已 经 证 明 3层 BP 神经网络 可 以实现任意 非 线性 关 系的 映射 9, 本 文 采 用 3层 BP 神经网络 对 系统 进行 辨识 。 神经网络 隐层 的 层 数 和 神经 元 个数对 系统 辨识 影响 较 大, 如果层 数 和 神经 元 个数设 置 较 大, 会 增 大 运 算量, 降低 效率 ; 设 置 较 小 又 会 影响 模型的 精 度 。一 般当 输 入 层 神经 元 数 为 n , 隐层 神经 元 个数取 经验 值 2n

15、+1, 如果 辨识 的模型 效果 不 好 , 再 对 神经网 络进行 训练 , 根 据 步长 和 误 差 结 果 确 定 适 当 的 隐层层 数 和 神经 元 个数 。下 面 以 一 个 实 例 说明 辨识 的过程,已知 单 输 入 单 输 出 系统, 输 入 /输 出 样 本 信 号 为 X , Y , 从中 取 一 组 作 为 训练 样 本 P 0, T 0, 剩 下的 作 为 仿真样 本 x , y 。 1 根 据 经验先 设定 隐层 神经 元 个数 为 3, 建立 3层 BP 神经网络 :net=newff(minmax(P 0,3,1, tansig , purelin , trai

16、nlm , learngdm , mse ; 2 设定训练 步 数 、 性能 参 数 、学 习速率 和最大 训练 时 间 等 ;3 取训练 样 本对 刚 建立 的 网络进行 训练 、学 习 :net=train(net, P0, T0 ;4 取 仿真 输 入 样 本 x , 对训练 网络进行 仿真 :辨 识 第 1期 107李忠良, 等 基于 新息 的 神经网络自适应 卡尔曼滤波y =sim(net,x ; 5与 仿真 期 望样 本 y 进行 对 比 , 检 验 系统的准 确 性 , 如果误 差 较 大, 重 新 设 置参 数 和 样 本数 进行 训练 , 直 到达到 满 意 效果 。 神经网

17、络经 过 训练后得 到精确 的 权值 和 阈值 , 而 各层 的 传 递 函 数 已知, 这 样 就建立 了 系统的 数 学模 型, 继 而 知 道 系统的 传 输 函 数 ,通过 调 用 Matlab 内 部 函 数 tf2ss 可 以 得 到 系统 空间 状 态 函 数 模型, 从而 得 到 A k 和 H k 。 2.2基于新息的噪声协方差自适应估计 在 Kalman 滤波 中 ,噪声 协 方差 包括 过程噪声 协 方 差 矩阵 Q 和测量噪声 协 方差 矩阵 R , Q 和 R 的 精确度 直接影响 Kalman 的滤波 性能 , 本 文 采 用 新息来自适应 估计 Q 和 R 。 k

18、 时刻新息:。(8 k 时刻新息协方差: 。 (9 由 式(4和(7 得 到 Q k -1的 表 达 式, 稳 定 滤波 时 均 方 误 差估计 趋 于 0, 得 Q k -1近 似为:。 (10 将 式(9 代 入式(5 , 再代入 可化 简为 , 从而 可得 基于 新息 的过程噪声 协 方差 矩阵 Q 的 自适应 估计: 。 (11 由 式(9 变形即 可得 到 基于 新息 的测量噪声 协 方 差 矩阵 R 的 自适应估计: 。 (12 根 据 式(11和(12 ,标准 Kalman 滤波算法 可 以 改 写 成 与 新息 相关 的 表 达 式。 这 样 ,在 应 用 时 就 间接 地处

19、理了 噪声统计 带 来 的 问题 , 再 结合 神经网络 辨识 的 精确 参 数 A k 和 H k , 就 能 使 改进 的 Kalman 滤波 实现 最 优 估计。 3仿真结果 以 正 弦 波信 号 y =sin t 作 为 仿真 对 象 ,在滤波 中 视 为 未 知模型。分 别 在模型 不精确 、噪声特 性不精 准 及 基于 新息神经网络 Kalman 3个 条件下 进行 仿真 , 结 果 如图 14所示 。图 1中 , a 是 原 始 的 纯净 的 正 弦 输 入信 号 (周 期 T =2, 幅 值 为 1 ,用于 仿真 对 比 ; b 是 加 入噪声 污染 的 输 入信 号 ,用于模

20、 拟 现实 的 输 入 环境 。图 2是在系统模型 不精确 ,噪声 协 方差 取 固 定值 时 , 经 过 Kalman 滤波 后 的 仿真 输 出 波 形 。 由 图 2可 知, 输 出 信 号 中 有 明显 的噪声信 号 , 无 法 读 取 周 期,测量 出 幅 值 大 约只 有 0.8, 相 位也 发 生 了 一 定 的 偏 移 , 这 与 前 面 理论 分析的 结 果 相 符 。图 3是 采 用 神经网络 对 系统模型 进行 辨识 ,噪声 统计特 性 没 有 进行实时 修 正 , 取 某 一 时刻 的过程噪声 和测量噪声 协 方差 阵时 , 经 过 Kalman 滤波 后 的 仿真 输

21、 出 波 形 。由 图 3可 知, 输 出 波 形 的 周 期 T=2, 幅 值 约 为 1.3, 相 位 未发 生 偏 移 。 显 然 , 经 过 Kalman 滤波 后 , 有 一 定 的 效果 。 输 出 波 形 较 规则 , 也没 有 明显 的噪声 污染现a 纯净 信 号b 加 噪声信 号 图 1输入信号 Fig. 1Input signals图 2模型不精确时的 Kalman 输出Fig. 2Kalman output of imprecise model图 3噪声协方差不精确时的 Kalman 输出 Fig. 3Kalman output of imprecise noise co

22、variance1082011年湖 南 工 业 大 学 学 报 象 , 但 是 由 于 未 对 噪声统计特 性自适应调整 ,在 输 出 波 形 峰 值 处 发 生 了明显 的 失 真 。图 4是用 BP 神经网络进行 系统 辨识 的 情况 下, 利 用 改进 的基于 新息 Kalman 滤波 后 的 仿真 输 出 波 形 。 由 图 4可 知,滤波 后 的波 形比 较 平滑 , 输 出 信 号 周 期 T =2,幅 值 为 1, 相 位 未发 生 偏 移 。 这 表 明 , 经 过 Kalman 滤波 后 ,噪声 得 到明显 抑 制,滤波 性能 良 好 。 4结论本 文利 用 神经网络 良 好

23、 的系统 辨识 能 力 , 对 改进的基于 新息自适应 Kal m an 滤波模型 参 数 进行 修 正 。 Matlab 仿真 结 果 表 明 ,与 传 统的模型 不 清晰 、噪声特 性不明确时 的 Kalmam 滤波 相 比 , 改进 后 的 Kalman 滤 波 输 出 结 果 与 原 始 信 号 几乎 相 同 ,滤波 性能明显提 高 。 改进 后 的算法 无 需 知 道 系统的 数 学模型,在 非 线 性 随 机系统 中 也 不 需 要 进行线性 化 , 直接 通过 BP 神经 网络进行 暗 箱 建 模, 弱 化 了 Kalman 滤波的条件, 增 强 了 Kalman 滤波 应 用的

24、 普适性 。 参考文献:1付梦印 ,邓志红 , 张 继 伟 . Kalman滤波 理论 及其 在 导航 系 统 中 的 应 用 M. 北京 :科 学 出 版社 , 2003:2, 5.Fu Mengyin, Deng Zhihong, Zhang Jiwei. Kalman FilteringTheory and Its Application in Navigation SystemM.Beijing :Science Press, 2003:2, 5.2覃 方 君 , 许江宁 ,李 安 , 等 . 基于 新息自适应 卡尔曼滤波的 加 速 度 计信 号 降 噪 J. 数据 采 集 与 处 理

25、 , 2009, 24(2:227-231.Qin Fangjun, Xu Jiangning, Li An, et al. Innovation-BasedAdaptive Kalman Filter for Accelerometer Signal De-NoisingJ. Journal of Data Acquisition and processing, 2009, 24(2:227-231.3王 向 华 , 覃 征,杨 新 宇 , 等 . 基于 两 次 Kalman 滤波的 观 测噪声 自适应调整 算法 J. 系统工程与 电子 技术 , 2010,32(2:232-234.Wang

26、 Xianghua, Qin Zheng, Yang Xinyu, et al. AdaptiveAlgorithm for Adjusting Observation Noises Based on Double-Kalman FilterJ. System Engineering and Electronics, 2010, 32(2:232-234.4鲁 平 ,赵 龙 , 陈 哲 . 改进 的 Sage-Husa 自适应 滤波 及 其 应 用 J. 系统 仿真 学报, 2007, 19(15:3503-3505.Lu Ping , Zhao Long, Chen Zhe. Improved Sage-HusaAdaptive Filtering and Its ApplicationJ. Journal of SystemSimulation , 2007, 19(15:3503-3505. 5EI Madbouly E E, Abdalla A E , EI Banby G M. FuzzyAdaptive Kalman Filter for Multi-Sensor SystemC/ IEEEConfer