西安工业信号检测与估计SDE_15 贝叶斯估计和卡尔曼滤波的工程应用

1、2021-7-9SDE_15 一般及线性贝叶斯估计1 贝叶斯估计和卡尔曼滤波贝叶斯估计和卡尔曼滤波 的工程应用的工程应用 Application of Bayesian Estimators )mse AAA p x A dx 单变量 贝叶斯贝叶斯MSEMSE 2 ( )()( ; )Bmse AAA p x A dxdA 双变量 经典经典MSEMSE 贝叶斯原理贝叶斯原理 ()AAP A x dA ()AE A x () ( )() ( ) () ( )() ( ) p x A p Ap x A p A P A x P xp x A p A dA 先验先验PDF的选择是很关键的。的选择是很关

2、键的。 错误的选择将导致差的估计。错误的选择将导致差的估计。 2021-7-9SDE_15 一般及线性贝叶斯估计6 11.3风险函数 Risk Functions Why limit the cost function to just quadratic? 干嘛非要限定风险为二次方？干嘛非要限定风险为二次方？ 上一章：上一章： 替换：替换： 则定义了一个二次型风险函数则定义了一个二次型风险函数 2021-7-9SDE_15 一般及线性贝叶斯估计7 一般贝叶斯法则 General Bayesian Criteria 2. Define Bayes Risk 风险函数风险函数: 估计误差 有关 D

3、epends on choice of estimator 与估计方法有关 3. Minimize Bayes Risk w.r.t. estimate使 风险函数达到最小 得到 估计方法 1. Define a cost function 代价函数代价函数:)(C )(CER w.r.t. 有关 With Regard To ),(xp )( CER 2021-7-9SDE_15 一般及线性贝叶斯估计8 三种常用的代价函数 Three Common Cost Functions 二次型代价函数二次型代价函数 绝对值代价函数绝对值代价函数 成功成功-失败代价函数失败代价函数 2021-7-9S

4、DE_15 一般及线性贝叶斯估计9 The Optimal Estimates for the Typical Costs 1. Quadratic: 2 ( )( )REBmse | ( | ) Ex mean ofpx As we saw in Ch. 10 2. Absolute: ( )|RE (| )medianofpx 3. Hit-or-Miss: mod( | )e ofpx “Maximum A Posteriori” or MAP 最大后验估计量 二次型代价函数二次型代价函数 绝对值代价函数绝对值代价函数 成功成功-失败代价函数失败代价函数 2021-7-9SDE_15 一

5、般及线性贝叶斯估计10 11.7 Example: Bayesian Deconvolution信号处理的例子信号处理的例子 This example shows the power of Bayesian approaches over Classical methods in signal estimation problems (i.e. estimating the signal rather than some parameters) S(t)x(t) w(t) h(t) Measured Data = Samples of x(t) So model as D-T System M

6、odel as a zero-mean WSS Gaussian Process w/ known ACF Rs() Assumed Known Gaussian Bandlimited White Noise w/ Known Variance Goal: Observe x(t) 广泛应用于宇航、机器人导航，控 制，传感器数据融合、雷达系统、导弹追踪等。 近年来更被应用于计算机图像处理，例如头脸识 别，图像分割，图像边缘检测等等。 2021-7-9SDE_15 一般及线性贝叶斯估计21 When and where? Tracking and navigationTracking and

7、navigation 跟踪跟踪与导与导航航 Tracking missiles, aircrafts and spacecrafts 跟踪导弹飞机太空船 GPS technology Visual reality 视觉对象 控制系统 Tracking inTracking in HEP experimentsHEP experiments 2021-7-9SDE_15 一般及线性贝叶斯估计22 KF assumptions 经典经典KFKF的假设的假设 Linear systemLinear system 线线性系性系统统 System parameters are linear functi

8、on of parameters at some previous time 参数与以 前的参数之间呈线性 Measurements are linear function of parameters 观测与 参数之间呈线性 White Gaussian noise White Gaussian noise 高斯白噪声高斯白噪声 White: uncorrelated in time Gaussian: noise amplitude KF is the optimal filter 2021-7-9SDE_15 一般及线性贝叶斯估计23 KF description System: our

9、knowledge of the system System state: unknown system parameters model measurement KF parameters v vi = A vi - 1 m i = H vi noise noise + qi + ri using vectors and matrices estimation of parameters v 2021-7-9SDE_15 一般及线性贝叶斯估计24 卡尔曼滤波器的三个要点卡尔曼滤波器的三个要点 维纳滤波器维纳滤波器: LMMSE of a Signal (i.e., a Varying Par

10、ameter) 连续的连续的 LMMSELMMSE: Sequentially Estimate a Fixed Parameter 状态空间模型状态空间模型: Dynamical Models for Varying Parameters 卡尔曼滤波器：卡尔曼滤波器：可以将其看成噪声中序贯可以将其看成噪声中序贯MMSEMMSE估计量，允估计量，允 许在时间进程中包含未知参数。如果信号噪许在时间进程中包含未知参数。如果信号噪 声是联合高斯的，那么卡尔曼滤波器是最佳声是联合高斯的，那么卡尔曼滤波器是最佳 MMSEMMSE估计量，如果不是联合高斯的，则卡估计量，如果不是联合高斯的，则卡 卡尔曼滤波

11、器是最佳的卡尔曼滤波器是最佳的LMMSELMMSE估计量。估计量。 另外还有多种方法对动态系统建模另外还有多种方法对动态系统建模: There are many ways to mathematically model dynamical systems Differential/Difference Equations Convolution Integral/Summation Transfer Function via Laplace/Z transforms State-Space Model 2021-7-9SDE_15 一般及线性贝叶斯估计25 Thm13.1 一阶高斯一阶高斯-马

12、尔科夫过程马尔科夫过程 状态模型状态模型 This theorem characterizes the probability model for a specific state-space model with Gaussian Inputs 不要与高斯马尔 科夫定理相混淆 Linear State Model: n0 p1 P P known pr known r1 控制噪声 sn: Gauss-Markov 过程的状态矢量 A: “状态转移矩阵”; 假定 |i| 1 B: “输入矩阵 ” sn-1: “起始状态” N (s , Cs) ，不依赖于 un mnmunuE QNnu T ,

13、0 ,0 t x CC A t y 1t y 1t x nnnBuAss1 2021-7-9SDE_15 一般及线性贝叶斯估计26 If we know s(to) and there is no input we know how the A/C behaves for all future times: 13.3 13.3 动态信号模型动态信号模型 tv tv tr tr ts y x y x 00 trvtr xxx 系统状态系统状态: : 收集变量需要明确如何测定系统下一时刻的状态收集变量需要明确如何测定系统下一时刻的状态 ( (在在 没有输入的情况下没有输入的情况下) ) 对于RLC

14、电路：需要知道该电路的电容，电压以及电路中的所有感应 电流。 二维匀速直线运动的例子二维匀速直线运动的例子 Motivational Example: Constant Velocity Aircraft in 2-D A/C positions (m) A/C velocities (m/s) For the constant velocity model we would constrain vx(t) 1; 1, 0; 11 2 2 nnMnhnKInnM nnsnhnxnknnsnns nhnnMnh nhnnM nK BQBAnnAMnnM nnsAnns CsssEM sEs NW

15、GNnwpnhnwnsnhnx rQNurpBpppsnBunAsns T T T n TT s T s n TT 状态模型：状态模型： 观测模型：观测模型： 初始值：初始值： 预测：预测： 最小预测最小预测MSEMSE（p p* *p p） 卡尔曼增益卡尔曼增益(p(p* *1)1)： 修正：修正： 最小最小MSEMSE: 2021-7-9SDE_15 一般及线性贝叶斯估计35 矢量状态矢量观测 1| 1|1| 1|1| 1| 11| 1| 11| 1| 11-s1| 111| 1 11| 1 1, 0; 1; 1, 0; 11 1 nnMnHnKInnM nnsnHnxnKnnsnns n

16、HnnMnHnCnHnnMnK BQBAnnAMnnM nnsAnns CsssEM sEs MnCNnwPMnHMxnwnsnHnx rQNurpBpppsnBunAsns TT TT s T s 状态模型：状态模型： 观测模型：观测模型： 初始值：初始值： 预测：预测： 最小预测最小预测MSEMSE（p p* *p p） 卡尔曼增益卡尔曼增益(p(p* *1)1)： 修正：修正： 最小最小MSEMSE: 2021-7-9SDE_15 一般及线性贝叶斯估计36 卡尔曼滤波器流程图 Kn Az -1Hn xn nx nuB nns| 1| nnx1| nns + + + - 动态模型 观测模型

17、 2021-7-9SDE_15 一般及线性贝叶斯估计37 卡尔曼滤波器的重要性质 1 1 卡尔曼滤波器将序贯卡尔曼滤波器将序贯MMSEMMSE扩展到了未知参数按扩展到了未知参数按 照动态模型随时间变化的情况。照动态模型随时间变化的情况。 2 2 不要求矩阵求逆。不要求矩阵求逆。 3 3 卡尔曼滤波器是一种时变滤波器。卡尔曼滤波器是一种时变滤波器。 4 4 卡尔曼滤波器提供了它自身的度量。卡尔曼滤波器提供了它自身的度量。 5 5 预测阶段增加了误差，而修正阶段减少了误差。预测阶段增加了误差，而修正阶段减少了误差。 6 6 预测是卡尔曼滤波器的一部分。预测是卡尔曼滤波器的一部分。 7 7 由不相关

18、新息序列驱动的卡尔曼滤波器，在稳由不相关新息序列驱动的卡尔曼滤波器，在稳 态的情况下可以看作为白化滤波器。态的情况下可以看作为白化滤波器。 8 8 对于每一个估计量对于每一个估计量 ，就使贝叶斯，就使贝叶斯MSEMSE最小而最小而 言，卡尔曼滤波器是最佳的。言，卡尔曼滤波器是最佳的。 ns 2021-7-9SDE_15 一般及线性贝叶斯估计38 13.7 扩展卡尔曼滤波器 Extended_Kalman_filter nwnsnHnX nBunAsnS 1 通常，我们可能遇到状态或观测方程是非线性的序贯状态估计 那么，取代我们的线性卡尔曼滤波器模型： 状态方程： 观测方程： 尽管如此，大多数的

19、应用是非线性状态或者非线性观测。 优化卡尔曼滤波器来解决非线性的模型通常来说是比较困难的。 扩展的卡尔曼滤波器，它不具有最佳的特性，他的性能取决于 线性化的精度。这是一种动态线性化，事先无法确定他的性能 2021-7-9SDE_15 一般及线性贝叶斯估计39 EKF Motivation: 1 0 0 0 0 1 0 0 1000 0100 010 001 1 BA nBunAsns 例1：线性状态方程和非线性观测方程。 一个匀速的飞行器： nv nv nr nr ns y x y x A/C positions (m) A/C velocities (m/s) 状态模型 状态方程与直角坐标系

20、中的 位置相对应 2021-7-9SDE_15 一般及线性贝叶斯估计40 nw nw nr nr nrnr nX R x y yx 1 22 tan 观测方程是非线 性的 观测模型： 根据对状态的观测我们得到： 2021-7-9SDE_15 一般及线性贝叶斯估计41 nW nW n nS n nR nX R 0010 0001 例2：线性观测方程和非线性状态方程。 n nS n nR ns A/C Range & Bearing A/C Speed & Heading 观测模型 线性观测方程： 2021-7-9SDE_15 一般及线性贝叶斯估计42 nunnSnunnS nunnSnunnS

21、nnSnnRnnSnnR nnSnnRnnSnnR n nS n nR ns xy yx 1cos1/1sin1tan 1sin11cos1 1cos11cos1/1sin11sin1tan 1sin11sin11cos11cos1 1 22 1 22 很显然，现在状态方程是非线性的。 综上所述， 我们不能应用标准卡尔曼滤波器，因为它适用于线性的状 态方程和观测模型。 2021-7-9SDE_15 一般及线性贝叶斯估计43 非线性模型 nwnShnX nBunSanS n 1 我们可能遇到状态或者观测方程是非线性的序贯状态估计， 于是，我们有： a a(.) 与 h h n (.) 在未知参数

22、之间是非线性的。 2021-7-9SDE_15 一般及线性贝叶斯估计44 线性化模型 1 1| 11 1 1| 11 1| 11 | nA nnsns ns a nnsansa nnsns nH nnsns nnsns ns h nshnsh n nn 1| 1| 11| 状态方程： 观测方程： 非线性严重时出现滤波发散问题非线性严重时出现滤波发散问题 2021-7-9SDE_15 一般及线性贝叶斯估计45 使用线性化模型 1| 111| 111nnsnAnnsanBunsnAns 1|1|nnsnHnnshnwnsnHnx n 2021-7-9SDE_15 一般及线性贝叶斯估计46 1| 1

23、|1| 1|1| 11| 111| 1 1 1| 11| 1 1| 11| 1 1 1|1| 11 nnMnHnKInnM nnsnHnxnKnnSnnS nHnnMnHnCnHnnMnK BQBnAnnMnAnnM ns h nH ns a nA nnsas CMs TT TT nnsns n nnsns Ss 扩展卡尔曼滤波器（矢量矢量） 初始值： 预测： 线性化： 预测MSE矩阵： 卡尔曼增益： 修正： 最小MSE矩阵： 2021-7-9SDE_15 一般及线性贝叶斯估计47 13.8信号处理的例子 dtvhty T t 0 例13.3 时变信道估计 这个系统的输出输入描述是： T是最大

24、延迟 Model using a time-varying D-T FIR system knvkhny p k n 0 在时变信道中改变系数n 2021-7-9SDE_15 一般及线性贝叶斯估计48 状态方程 nunAhnh1 假定节拍加权之间是不相关的，由于联合高斯的假定，因此 也是独立的。 可以令 A Q 和 Ch是对角矩阵。 假定，加权数从样本到样本之间变化缓慢。 covh-1 = M-1|-1 covun 2021-7-9SDE_15 一般及线性贝叶斯估计49 测量模型 nwknvkhnx p k n 0 nwhvnx n T 测量模型为： 方差 的 WGN 已知 2 Observa

25、tion .Matrix.State Vector 2021-7-9SDE_15 一般及线性贝叶斯估计50 特例 0001. 00 00001. 0 999. 00 099. 0 1QAnunAhnh p = 2 (1 Direct Path, 1 Multipath)Example: TDL系数的一个现实 Note: hn0 衰减得更快。 且随即得偏移更小。 2021-7-9SDE_15 一般及线性贝叶斯估计51 信道输入 无噪声信号输入。 信道输出 2021-7-9SDE_15 一般及线性贝叶斯估计52 卡尔曼滤波器的估计 1 . 01001| 1001| 1 2 IMh T 有关起始状态

26、 的知识较少 在理论推导上，卡尔曼滤波 器的初始状态估计由s-1 的均值给出。实际中这很少 知道，所以我们通常选择具 有大的起始MSE矩阵的任意 起始状态估计，以避免卡尔 曼滤波器偏离假定的状态。 2021-7-9SDE_15 一般及线性贝叶斯估计53 卡尔曼增益 卡尔曼滤波器的 最小MSE 这些时间是零 （零输入）观测 中只包含噪声 单调递减 2021-7-9SDE_15 一般及线性贝叶斯估计54 雷达目标跟踪 2 2 000 000 0000 0000 cov 0 0 1 1 1 1 1000 0100 010 001 u u x x y x y x y x y x uQ nu nu nv

27、 nv nr nr nv nv nr nr 2 2 1 22 0 0 cov tan R R x y yx wC nw nw nr nr nrnr nx 状态模型： 观测模型： 受到由风，轻微的速度修正等产生的扰动。 2021-7-9SDE_15 一般及线性贝叶斯估计55 扩展卡尔曼滤波器EKF问题 2 2 000 000 0000 0000 cov u u uQ 需要一下几点： 1.观测模型的线性化。(see book for details) 2.驱动噪声的协方差。 假定风，速度修正等在任何方向以同样的幅度出现。（假定是它们是独立的） 精确的 取决于从样本到样本之间速度分量的变化，这刚好是

28、加 速度的 倍，并且可以从飞行物理学推导出来。 2 u 3.观测噪声的协方差。 4.初始化问题。 2021-7-9SDE_15 一般及线性贝叶斯估计56 状态模型 smvv mrr smsm yx yx uu /2 . 012 . 01 51101 /001. 0/0316. 0 sec1 222 2021-7-9SDE_15 一般及线性贝叶斯估计57 观测模型 22 22 01. 0deg7 . 51 . 0 1 . 03162. 0 radrad mm R RR 事实上，当目标越来越 远的时候，这就会更不 准确了，这是因为返回 信号越来越微弱。 2021-7-9SDE_15 一般及线性贝叶

29、斯估计58 直接测量 由于驱动噪声输入的影 响而增加的新参数的不 确定性，有可能大到足 以抵消观测新的数据样 本所得到的知识，从而 使得最小MSE增加。 对于，非线性观测模型扩展卡尔曼滤波器 噪声污染的与真实的rxn 2021-7-9SDE_15 一般及线性贝叶斯估计59 扩展卡尔曼滤波器 IMs T 1001| 100551| 1初始化： 大约20个样本后，扩 展的卡尔曼滤波器靠 近了“航迹”。 关于起始状态的信息较少 2021-7-9SDE_15 一般及线性贝叶斯估计60 较差估计 扩展的卡尔 曼滤波器靠 近了轨迹 最小MSE并不简单的单 调递减，相反，在部 分时间内是增加的。 2021-

30、7-9SDE_15 一般及线性贝叶斯估计61 Unscented Kalman Filter UKF 无迹卡尔曼滤波器 Why yet another KFWhy yet another KF？ EKF is difficult to tune, the Jacobian can be hard to derive, and it can only handle limited amount of nonlinearity 扩展KF很难转换，雅克比很难得到且仅能 对有限的非线性问题操作 PF can handle arbitrary distributions and non- linearities but is computationally very complex UKF gives a nice tradeoff between PF and EKF 2021-7-9SDE_15 一般及线性贝叶斯估计62 Unscented Transformation The unsc