硕士论文-基于流形的粒子滤波研究及其在人脸跟踪中的应用.doc

摘 要 I 工学 硕士学位论文 基于流形的粒子滤波研究及其 在人脸跟踪中的应用 学生姓名 指导教师 江苏科技大学 二 OO 九年三月 摘摘 要要 本文系统介绍了适用于解决非线性非高斯系统问题的粒子滤波的基本原理和关键 技术，针对标准粒子滤波（PF）中存在的粒子退化及算法实时性问题，把流形、权值 选择和线性优化重采样等思想引入到 PF 中进行算法改进，提出了基于施蒂费尔流形 和权值选择的粒子滤波（SM-WS-PF） 、基于施蒂费尔流形和线性优化重采样的粒子滤 波（SM-LOCR-PF） ，并将改进算法应用到非线性、非高斯系统状态估计中，与 UPF 进 行了性能仿真对比分析，仿真结果表明改进算法不仅能增加粒子多样性，有效防止粒 子退化现象，改善滤波精度，而且能提高算法的实时性和鲁棒性。同时本文还总结了 ABSTRACT II 粒子滤波主要收敛性结果及其分析证明，考虑到硬件资源的承载能力，本文还设计了 一种结合似然分布自调整和样本自适应调整两种方法的改进自适应粒子滤波，最后采 用捷联惯导误差模型对设计的自适应算法进行仿真分析。 人脸跟踪是属于计算机视觉研究领域的一个重要分支，它作为人脸信息处理中的 一项关键技术，在基于内容的图像与视频检索、视频监控与跟踪、视频会议以及智能 人机交互等方面都有着重要的应用价值。实际研究表明将粒子滤波引入人脸跟踪领域 能很好的保证跟踪精度和鲁棒性，但是却丧失了实时性；而且当目标所在环境中存在 多个人脸时，通常的粒子滤波算法会导致发散，所以本文又加入了 Isomap 学习方法。 实验分析表明，本文提出的 SM-PF 和 Isomap-SM-PF 算法，尤其是后者，能大大提高 算法实时性，在人脸姿态变化、旋转、遮挡、背景等发生变化时也能很好的进行跟踪， 表现出一定的优越性。 关键字关键字 粒子滤波；收敛性证明；流形；自适应；人脸跟踪 摘 要 III ABSTRACTABSTRACT This paper systematically introduced the basic principles and the key technologies of the particle filter which is properly used to solve the problems of the non-linear and non- Gaussian systems. To solve the problem of particle degeneracy and overload calculation in particle filter (PF), we applied manifold learning, weight selected and linear optimizing resampling method to PF, which replaced the traditional resampling method, and proposed the improved particle filter based on Stiefel Manifold , which combines weight selected method and linear optimizing resampling method respectively together, called SM-WS-PF and SM-LOCR-PF.We adopted improved PF to non-linear and non-Gaussian system state estimation, and analyzed the tracking performance of SM-WS-PF, SM-LOCR-PF and UPF. Simulation results show that improved algorithms can effectively solve the problem of particle degeneracy, increase particle diversity, and improve filter accuracy and real-time performance of the algorithm. In addition, We analysis and prove the main convergence results of particle filter. Considering the capacity of hardware resources, we also design a new adaptive particle filter in view of the algorithmic limitations caused by configuration of hardware,and adopt the SINS error model to testify the performance of the new adaptive algorithm. Face tracking is an important branch of computer vision research filed, as information processing in the face of a key technology in content-based image and video search, video surveillance and tracking, video conferencing, as well as intelligent human-computer interaction, and so on. Nowsdays, more experiment results indicate that Particle filter can show very good performance in this area to ensure the accuracy of tracking and robustness, but the loss of real-time. Further, it is still some problems that we should concern, the common PF algorithm will lead to divergence when we track face among several persons. In the paper, the proposed SM-PF and Isomap-SM-PF algorithm are used to solve this shortcomings. Simulator experimental results showed the algorithms robustness to the agile motion of face, the change of il- lumination and partial occlusion in the presence of complex background, especially the Isomap-SM-PFs performance. Keywords: Particle filter; Convergence Proof; Manifold; Adaptive particle filter; Face tracking 目 录 VI 目 录 摘摘 要要 I ABSTRACT.II 第第 1 章章 绪绪 论论1 1.1 选题的意义和实用价值.1 1.2 国内外研究现状和发展趋势.2 1.2.1 粒子滤波的发展与应用2 1.2.2 粒子滤波的缺陷和现有的解决方法.2 1.2.3 需要深入研究的问题.4 1.3 课题研究内容和主要章节安排.5 1.3.1 课题研究内容5 1.3.2 课题主要章节安排.6 第第 2 章章 粒子滤波技术及其收敛性分析证粒子滤波技术及其收敛性分析证明明7 2.1 滤波问题常用框架7 2.1.1 滤波常用框架.7 2.1.2 动态空间模型.8 2.1.3 递推贝叶斯估计.8 2.2 粒子滤波理论.9 2.2.1 标准粒子滤波算法.9 2.2.2 粒子集的退化和重采样.10 2.2.3 标准粒子滤波伪代码.11 2.3 粒子滤波主要收敛性结果分析.13 2.3.1 基本问题描述.13 2.3.2 粒子滤波引入.14 2.3.3 主要的结论.15 2.3.4 修正粒子滤波.18 2.3.5 命题 1 的证明20 2.4 本章小结.28 第第 3 章章 基于流形分布的改进粒子滤波研究基于流形分布的改进粒子滤波研究29 3.1 标准粒子滤波的缺点29 3.1.1 选取好的重要性密度函数29 3.1.2 重采样.30 3.2 改进粒子滤波研究.31 3.2.1 改进重要性密度函数的粒子滤波31 3.2.2 改进重采样环节处理的粒子滤波31 3.3 基于施蒂费尔流形的粒子滤波研究.31 3.3.1 施蒂费尔流形31 3.3.2 矩阵变量分布.32 3.3.3 流形上的状态空间模型.32 目 录 VII 3.3.4 有效粒子数.33 3.3.5 SMPF 算法描述 33 3.4 混合退火粒子滤波研究.34 3.4.1 混合退火粒子滤波基本思想.34 3.4.2 混合退火建议分布.34 3.4.3 混合退火粒子滤波36 3.5 基于权值选择的粒子滤波.36 3.5.1 权值优选思想36 3.5.2 基于权值选择的粒子滤波算法37 3.6 线性优化重采样粒子滤波.37 3.6.1 线性优化重采样思想37 3.6.2 线性优化重采样粒子滤波38 3.7 基于施蒂费尔流形和权值优选的粒子滤波研究39 3.8 基于施蒂费尔流形和线性优化重采样的粒子滤波研究40 3.9 改进粒子滤波仿真分析41 3.10 本章小结.45 第第 4 章章 自适应粒子滤波研究自适应粒子滤波研究47 4.1 似然分布自适应调整.47 4.2 样本数自适应粒子滤波.48 4.2.1 理论基础.49 4.2.2 样本数自适应粒子滤波.50 4.3 改进自适应粒子滤波.51 4.4 自适应粒子滤波仿真分析.52 4.5 本章小结.54 第第 5 章章 粒子滤波算法在人脸跟踪上的应用粒子滤波算法在人脸跟踪上的应用55 5.1 人脸跟踪介绍.55 5.1.1 人脸跟踪问题55 5.1.2 人脸跟踪问题的难点55 5.1.2 人脸跟踪方法56 5.1.4 本章所采用的人脸跟踪方法60 5.2 跟踪算法相关理论基础.61 5.2.1 颜色直方图.61 5.2.2 二阶直方图.62 5.2.3 加权颜色直方图.63 5.2.4 基于 Bhattacharyya 系数的位置度量64 5.3 基于直方图的均值偏移人脸跟踪算法65 5.3.1 均值偏移算法的原理.65 5.3.2 均值偏移人脸跟踪算法实现66 5.4 基于直方图的粒子滤波人脸跟踪算法.69 5.4.1 粒子采样.70 5.4.2 粒子状态转移.70 5.4.3 粒子更新.71 5.4.4 目标位置确定.71 目 录 VIII 5.4.5 重采样.72 5.4.6 粒子滤波人脸跟踪算法实现.72 5.5 基于椭圆拟合的人脸跟踪算法74 5.6 基于流形的人脸跟踪算法75 5.6.1 流形维数约简技术75 5.6.2 等距映射 Isomap76 5.6.3 局部线性嵌入 LLE 76 5.6.4 基于流形的粒子滤波人脸跟踪算法.77 5.7 人脸跟踪仿真79 5.7.1 人脸跟踪仿真结果79 5.7.2 仿真分析.82 5.8 本章小结.83 结结 论论85 参考文献参考文献89 致致 谢谢93 CONTENTS VII CONTENTS Abstract in Chinese I Abstract in English .II Chapter 1 Intrduction1 1.1 Theory value and practical significance.1 1.2 Present situation and development trend2 1.2.1 Development and application of particle filter 2 1.2.2 Defects and exsit solutions of particle filter.2 1.2.3 Further research4 1.3 Research contents and main sections5 1.3.1 Research contents.5 1.3.2 Main sections .6 Chapter 2 Particle filter technology and its convergence analysis7 2.1 Common framework of Filtering problems7 2.1.1 Commom framework.7 2.1.2 Dynamic space model8 2.1.3 Recursive bayesian estimation.8 2.2 Particle filter theory9 2.2.1 Standard particle filter algorithm.9 2.2.2 Degeneracy problem and resampling.10 2.2.3 Standard particle filter algorithm pseudo-code11 2.3 Particle filter convergence analysis13 2.3.1 Basic problem description13 2.3.2 Particle filter introduction14 2.3.3 Main results15 2.3.4 Modified particle filter.18 2.3.5 Proposition 1 prove20 2.4 Summary.28 Chapter 3 improved particle filter based on manifold.29 3.1 Shortcomings of standard particle filter .29 3.1.1 Choose good importance density function.29 3.1.2 Resampling methods30 3.2 Research on improved particle filter 31 3.2.1 Improved importance density function31 3.2.2 Improved resampling methods.31 3.3 Improved particle filter based on stiefel manifold31 3.3.1 Stiefel Manifold .31 3.3.2 Matrix variable distribution .32 3.3.3 State space model on the manifold 32 3.3.4 Effective particles 33 CONTENTS VIII 3.3.5 SMPF description.33 3.4 Research on Hybrid annealing particle filter34 3.4.1 Basic idea of hybrid annealing particle filter.34 3.4.2 Hybrid annealing proposal distribution34 3.4.3 Hybrid annealing particle filter describtion .36 3.5 Particle filter based on weight-selected36 3.5.1 Weight-selected method.36 3.5.2 Weight-selected particle filter37 3.6 Linear optimization resampling particle filter37 3.6.1 Linear optimization resampling method 37 3.6.2 Linear optimization re-sampling particle filter38 3.7 Particle filter based on stiefel manifold and weight-selected.39 3.8 Particle filter based on stiefel manifold and Linear optimization resampling40 3.9 Improved particle filter simulation analysis.41 3.10 Summary.45 Chapter 4 Research on adaptive particle filter.47 4.1 Likelihood distribution adaptive adjustment47 4.2 Particle numbers adaptive adjustment48 4.2.1 Theoretical basis 49 4.2.2 Particle numbers adaptive adjustment particle filter50 4.3 Improved adaptive particle filter 51 4.4 Adaptive particle filter simulation analysis52 4.5 Summary.54 Chapter 5 Particle filter tracking.55 5.1 Face tracking introduction55 5.1.1 Face tracking problems55 5.1.2 Face tracking difficulties55 5.1.3 Face tracking methods .56 5.1.4 Improved face tracking methods60 5.2 Tracking algorithm related theory basis.61 5.2.1 Color histogram61 5.2.2 Second-order histogram.62 5.2.3 Weighted Color histogram.63 5.2.4 Bhattacharyya coefficient 64 5.3 Mean shift face tracking based on histogram.65 5.3.1 Mean shift principle.65 5.3.2 Mean shift face tracking algorithm66 5.4 Particle filter face tracking based on histogram .69 5.4.1 Particle sampling70 5.4.2 Particle state transition.70 5.4.3 Particle update71 5.4.4 Target location .71 5.4.5 Resampling.72 5.4.6 Particle filter face tracking algorithm 72 CONTENTS IX 5.5 Elliptic fitting face tracking algorithm .74 5.6 Face tracking based on manifold75 5.6.1 Manifold dimension reduction techniques.75 5.6.2 Isometric Mapping.76 5.6.3 Local Linear Embedding76 5.6.4 Particle filter face tracking algorithm based on manifold77 5.7 Face tracking simulation.79 5.7.1 Face tracking simulation results.79 5.7.2 Simulation Analysis.82 5.8 Summary.83 Conclusions.85 References.89 Acknowledgements.93 第 1 章 绪 论 1 第第 1 章章 绪绪 论论 1.1 选题的意义和实用价值选题的意义和实用价值 非线性、非高斯随机系统的数据分析和处理在统计学、语音和图象处理、计算机 视觉、机器学习及自动控制等领域有着广泛的应用。以往由于实时处理和计算存储量 的要求，通常用递推滤波算法来求解此类问题，即所谓的卡尔曼滤波理论，包括扩展 卡尔曼滤波(EKF)、修正增益的扩展卡尔曼滤波(MGEKF)、多模型算法（MM）等。 其基本思想是通过参数化的解析式对系统的非线性进行近似以得到满意的估计精度。 但扩展卡尔曼滤波仅适用于滤波误差和预测误差很小的情况，否则由于滤波初期的估 计协方差下降太快而导致滤波不稳定甚至发散；修正增益的扩展卡尔曼滤波虽然通过 改进增益矩阵而相应改善了状态协方差的估计性能，但其对量测误差有一定的限制， 若量测误差较大，算法在收敛精度、收敛时间和稳定性等方面的表现均不太理想。并 且两者仅仅利用了非线性函数 Taylor 展开式的一阶偏导部分（忽略高阶项） ，常常导 致在状态的后验分布的估计上产生较大的误差，影响滤波算法的性能。总之，从理论 上来说，当系统为线性系统，且过程和量测噪声为高斯分布时，卡尔曼滤波可以获得 最优状态估计；当不符合上述条件时，其滤波和预测精度将很难保证。因此，对于非 线性、非高斯分布的状态模型，若仍简单地像卡尔曼滤波理论那样，仅仅采用均值和 方差表征状态概率分布，将导致滤波性能变差。 近几年发展起来的粒子滤波是一种基于 Monte Carlo 思想的非线性非高斯系统滤 波方法，它完全突破了卡尔曼滤波理论框架，对系统的过程噪声和量测噪声没有任何 限制。它通过预测和更新来自于系统概率密度函数的采样集，来近似非线性系统的贝 叶斯估计。它在非高斯、非线性系统的数据分析和处理领域有着广阔的前景，目前的 研究领域主要集中在以下几个方面： 1、用于目标跟踪、导航与定位。飞行器的完整导航及飞行器和汽车的目标跟踪， 汽车定位，汽车防撞等。 2、粒子滤波用于故障诊断。粒子滤波有能力处理任何非线性函数和任何噪声分 布的系统。高性能计算机的出现使该算法变得流行。 3、粒子滤波用于参数估计与系统辨识。粒子滤波首先将系统分为线性部分和非 线 性部分进行处理，使粒子滤波可在更复杂系统中应用，同时也减少了那些用线性滤波 可以处理的变量。 4、计算机视觉。图像跟踪的难点在于目标运动区域提取、目标被障碍物遮挡以 及目标线路交叉跟踪问题。 江苏科技大学工学硕士学位论文 2 5、金融领域数据分析。金融领域的许多问题可归结为模糊随机系统估值问题。 除此以外，粒子滤波在语音信号处理、生物学与生物化学、地球科学等领域中也 有相关应用,并提出了许多改进的算法。 1.2 国内外研究现状和发展趋势国内外研究现状和发展趋势 1.2.11.2.1 粒子滤波的发展与应用粒子滤波的发展与应用 近年来，在机动目标跟踪、数据统计分析、图像处理等领域出现了一种基于贝叶 斯采样估计的序列重要采样(Sequential Importance Sampling, SIS)非线性滤波方法1-3。 1993 年 Gordon 等提出了一种新的基于 SIS 的 Bootstrap 非线性滤波方法，从而奠定 了粒子滤波(Particle Filter, PF)算法的基础。随着计算存储成本的下降，基于贝叶斯原 理的序贯蒙特卡罗粒子滤波逐步得到重视，它在非高斯、非线性系统的数据分析和处 理领域有着广阔的应用前景。该算法通过寻找一组在状态空间中传播的随机样本对后 验概率密度函数进行近似，以样本均值代替积分运算，从而获得状态的最小方差估计， 这些样本被称为“粒子”。当粒子数足够大时，可认为逼近最优贝叶斯估计，其核心思 想是用由粒子及其权重组成的离散随机测度去近似相关的概率分布，并且不断地根据 算法更新递推离散随机测度。粒子滤波算法可以解决任何非线性滤波问题，它不需要 对状态变量的概率密度作过多的约束，不要求随机量必须满足高斯分布，是非高斯非 线性系统状态估计的“最优”滤波器，因此近年来该算法在计算机视觉、自适应估计、 语音和图象处理、机器学习、统计学和现代信号处理等领域获得了广泛的应用4-6。 目前已有许多会议和讨论组都将粒子滤波作为专题进行深入讨论和学术交流7-9。文 献9 同时提出了粒子滤波硬件的初步实现。 1.2.21.2.2 粒子滤波的缺陷和现有的解决方法粒子滤波的缺陷和现有的解决方法 在标准粒子滤波中，为了求解方便，一般取重要度密度为先验概率密度，但是这 种方法丢失了当前时刻的量测值，使得当前时刻的状态严重依赖于模型。如果模型不 准确，或者量测噪声突然增大，则这种选取方法将不能有效地表示概率密度函数的真 实分布，同时在这种分布下，计算权重时没有考虑系统的模型噪声。 另一方面，粒子退化是标准粒子滤波的主要缺陷。粒子退化是指随着迭代次数的 增加，粒子丧失多样性的现象。即经过若干次迭代后，除一个粒子外，其余粒子的权 值可忽略不计，从而使大量计算浪费在对求解后验概率几乎不起任何作用的粒子的更 新上。Doucet 从理论上证明了粒子退化现象的必然性。解决该问题的最有效方法是 选择好的重要性概率密度函数和采用重采样方法。 好的重要性概率密度函数的选择准则是使重要性权值的方差最小，从而提高采 第 1 章 绪 论 3 样效率，减轻粒子退化现象，重要性概率密度函数应尽可能接近系统状态后验概率密 度函数。文献10给出了一种最优重要性概率密度函数，但它需要从状态转移概率密 度函数采样并计算出下一状态转移概率密度函数的积分。从工程角度看，很多时候都 采用系统状态转移概率作为次优的容易实现的重要性概率密度函数，而导致滤波效果 差强人意。 重采样是解决粒子退化问题的另一个方法，其目的是增加权值较大的粒子数目， 同时减少权值较小的粒子数目，把注意力集中在大权值粒子上。包括系统重采样、分 层重采样和残差重采样等方法。其基本思想是通过对粒子和相应权值表示的后验概率 密度函数重采样产生新的支撑点集。系统重采样由于实现简单，算法复杂度低而得到 了广泛运用。 但是重采样同时导致了粒子不能并行处理以及采样枯竭现象，从而很难保证估计 精度。为解决采样枯竭，保证粒子的多样性，又提出了移动重采样算法、正则化方法 等。 为解决粒子滤波的粒子退化问题，国内外学者提出了不少改进的粒子滤波算法。 主要思路是改进状态空间模型以选取好的重要性概率密度函数，或采用效率更好的重 采样方法。主要算法有： 重要性重采样(Sampling Importance Resampling-SIR)粒子滤波：在标准粒子滤波的 基础上引入重采样，相对于标准粒子滤波而言，该算法减少了计算量，增强了算法的 鲁棒性。 正则粒子滤波(Regularised Particle Filter-RPF) 11：正则化方法通过引入核密度函 数和核带宽系数，以连续形式计算状态后验概率。较之于标准粒子滤波的离散形式， 该算法可以有效缓解重采样过程造成的粒子退化问题，在过程噪声较小时可获得较好 的滤波精度，但不能保证样本粒子都能近似表示状态后验概率，而且对非高斯情况核 函数和核带宽系数不能达到最优，只是一种次优滤波方法。 无味粒子滤波(Unscented Particle Filter-UPF)12：无味粒子滤波将Unscented卡尔曼 滤波算法引入到标准粒子滤波中，利用无味变换可获得远好于EKF精度的优点，大大 提高了粒子滤波的精度。 高斯粒子滤波(Gaussian Particle Filter-GPF)13-14：它将高斯滤波和粒子滤波结合。 其前提是用高斯分布来近似后验分布，它比其它的高斯滤波方法适用性更强，能处理 更多的非线性动态系统问题；而与一般的粒子滤波相比，因为GPF用高斯分布近似后 验分布，所以只要所用的高斯分布是正确的，就不会产生粒子退化问题，就不需要对 粒子进行重采样，从而降低了算法计算量和复杂度。 高斯和粒子滤波(Gaussian Sum Particle Fiiter-GSPF)15：针对高斯滤波在后验分布 不能用高斯分布近似的非线性动态空间模型，或者非线性系统非加性高斯噪声模型时， 江苏科技大学工学硕士学位论文 4 GPF的滤波性能不佳的情形，提出了高斯和粒子滤波法：即用多个高斯分布加权累加 来近似滤波和预测分布。 高斯-厄米特粒子滤波(Gauss-Hermite Particle Filter-GHPF)16：该方法用GHF代替 EKF得到后验概率密度的预测样本。由于GHF的估计精度要高于EKF，且状态方差有 较重的尾部，因此其估计精度有了明显的提高。GHPF以这种次优的重要性概率密度 函数取得了很高的估计精度。 此外，还有拒绝采样方法等针对重采样的改进方法；文献17通过引入进化算法， 以增加重采样过程中粒子的多样性；文献18提出了粒子滤波对高维状态空间多峰似 然估计，文献19介绍了似然分布可调整的局部重采样粒子滤波，文献20提出了一种 基于梯度信息和方差可调的自适应粒子滤波算法。 1.2.31.2.3 需要深入研究的问题需要深入研究的问题 上述的各种针对实际问题的改进粒子滤波算法对非线性系统的状态模型仍有一定 的限制，如要求系统状态的后验分布必须能够用高斯分布近似，等等，因而对粒子滤 波的重要性概率密度函数的通用选择方案的研究缺乏一般借鉴意义；现有的各种粒子 滤波算法仍未能很好地解决重采样过程中的计算量较大的问题，出现采样枯竭而面临 粒子退化时容易导致发散现象。 另一方面，在实际应用中，粒子滤波的样本集合不能太大，否则将增加算法的计 算量；但是样本集合太小，又会导致样本贫化现象，影响到粒子的多样性，使得估计 精度下降。因此探讨将各种优化算法引入到重采样过程中，通过优化搜索保留那些能 够反映系统概率密度函数的最好粒子，改善粒子集的多样性，是解决粒子退化问题的 好思路。同时，当运用粒子滤波进行多目标跟踪时，一定情况下会出现发散现象，如 何抑制多目标跟踪时的发散现象也是今后的重点。 对于不确定性系统来讲，系统的不确定性是由过程和量测噪声的概率分布来表示 的，鉴于有时量测信息的不完整，很难构建系统的分布函数，如何对系统的不确定性 进行处理，得到合适的表征系统过程和量测分布函数的同等信息也是现今新兴的一个 研究方向。 虽然当前出现了不少关于粒子滤波的文献，但主要是针对以上所提到的粒子退化 问题的解决方案，很少有文献涉及到对粒子滤波方法的严格证明21，未能从数学上 解决算法收敛性的证明问题。各种文献的仿真和实验数据从各个侧面验证或证明了粒 子滤波算法的有效性，但仍缺乏说明粒子滤波算法性能的综合指标体系。这是继续研 究粒子滤波算法的一大瓶颈，也是未来研究的重要方向。 目前，粒子滤波算法在国外发展得很快，并取得了许多研究成果。国内许多学者 也开始积极探索粒子滤波的各种改进算法，并成功地将粒子滤波算法应用到人脸识别、 第 1 章 绪 论 5 语音增强、目标跟踪、故障诊断等诸多领域22-24，促进了国内粒子滤波算法理论和应 用研究的发展。但是目前国内外，粒子滤波在控制领域中的应用还比较少，如何将粒 子滤波引入控制领域，有很好的发展前景。 贝叶斯方法为动态模型的估计问题提供了一类严谨的解决框架，它利用己知的信 息建立系统的概率密度函数，可以得到对系统状态估计的最优解。对于线性的、正态 的估计问题，期望的概率密度函数仍然是正态分布，它的分布特性可以用均值和方差 来描述，卡尔曼滤波器很好的解决了这类估计问题；对于非线性系统的估计问题，最 经典并得到广泛应用的方法以扩展的卡尔曼滤波为代表，这类方法需要对模型进行线 性化，同时要求期望的概率密度函数满足正态分布，然而在对实际系统建模时，模型 往往是非线性非正态的。此时，最优估计很难实现。 1.3 课题研究内容和主要章节安排课题研究内容和主要章节安排 1.3.11.3.1 课题研究内容课题研究内容 粒子滤波方法作为一种基于贝叶斯估计的非线性滤波算法，在处理非线性非高斯 时变系统的参数估计和状态滤波问题方面有独到的优势。但由于粒子滤波是近年来出 现的新算法，算法本身还不很成熟，仍有大量的问题亟待解决，本论文的研究内容和 目标包括： 1、在标准粒子滤波中，为了求解方便，一般取重要性密度为先验概率密度，但 是这种方法使得当前时刻的状态严重依赖于模型。如果模型不准确，或者量测噪声突 然增大，则这种选取方法将不能有效地表示概率密度函数的真实分布。重要性密度函 数的选择不当将导致粒子滤波的退化现象，使得大量的计算浪费在对求解后验概率密 度几乎不起作用的粒子的更新上，影响算法的计算效率。尽管目前的改进算法，如高 斯粒子滤波等可以在一定程度上缓解退化现象，但是这些算法对非线性系统的状态模 型仍有一定的限制，如要求后验分布必须能够用高斯分布近似。因此本论文考虑采用 流形分布为建议分布，将系统模型置于流形上，获得粒子滤波的重要性概率密度函数 的通用选择方案，使得非线性模型的重要性概率密度函数的选择不会较多地依赖系统 的状态模型。 2、粒子的多样性是决定粒子滤波估计精度的关键，它和粒子退化是一对矛盾， 现有的重要性密度函数选择和重采样技术虽然可以在一定程度上解决退化问题，但是 无法保证粒子的多样性。因此本论文考虑权值选择和线性优化重采样方法，将采样阶 段的样本和权值进行处理，通过选择权值较大的粒子，同时减少重采样过程中重复点 的选取，从而减少粒子退化现象的发生。 3、粒子滤波同样也会面临“维数灾难”难题。在一般情况下，系统的状态往往位 江苏科技大学工学硕士学位论文 6 于一个约束子空间中，而该子空间的维数要远远小于整个状态空间的维数。因此本论 文考虑将流形学习和粒子滤波结合起来，解决系统状态位于低维施蒂费尔流形或 Riemann 流形上的滤波问题，此时粒子滤波算法的关键是在约束流形上获得系统状态 的量测样本。 4、粒子滤波的实时性也是一个很值得考虑的问题，大量研究和实验表明，采样 频率、粒子数目显著影响粒子滤波性能及其复杂度，采用较多的粒子数和较高的采样 频率可获得良好的跟踪效果，但其复杂度可能对硬件资源提出挑战。为有效利用系统 资源完成目标跟踪，在保证一定跟踪精度和较低失跟率的前提下，应尽量降低采样频 率, 减少粒子数目，由此可提高跟踪目标数上限，同时增加分配给搜索新目标的资源, 从而提高探测率。一些现有的在线改变粒子数的方法，如距离采样KullbackLeibler (KLD)和似然分布自适应。这些方法都是在概率密度集中在状态空间的小范围内(即状 态分布不确定性较小时)时候采用小量的粒子数，反之采用较多的粒子。考虑到实际 系统的硬件条件，KLD方法的计算负荷过高。而似然分布自适应方法中，当非归一化 似然度超过预设阈值时，新粒子才会被产生，而没有粒子数目上的上下限约束，实用 效果欠佳。本文主要是从硬件资源的角度考虑，在保证一定精度和跟踪效果的情况下， 设计所需粒子数少、计算复杂度低的自适应粒子滤波算法。 1.3.21.3.2 课题主要章节安排课题主要章节安排 第 1 章为绪论，介绍粒子滤波的国内外发展现状、趋势以及需要深入解决的问题， 指出本论文的研究实用价值。 第 2 章介绍粒子滤波技术的基本原理，对标准粒子滤波算法的优缺点进行一定程 度上的分析，最后给出粒子滤波技术的主要收敛性分析证明。 第 3 章重点介绍基于流形分布的粒子滤波。同时将权值选择和线性优化重采样思 想引入到算法设计过程中，设计基于施蒂费尔流形和权值选择的粒子滤波与基于施蒂 费尔流形和线性优化重采样的粒子滤波，并采用单变量非静态增长模型作为仿真对象， 对算法的性能进行比较分析。 第 4 章主要从减少算法计算量和增加算法实时性两个角度考虑，介绍自适应粒子 滤波设计。在似然分布自调整和样本自适应调整两种自适应滤波技术的基础上，结合 两者的优点，设计一种改进的自适应粒子滤波，最后采用捷联惯导误差模型对设计的 自适应算法进行仿真分析。 第 5 章是本文的主要实际应用部分，主要是将本文设计的 SM-PF 算法应用到人 脸跟踪上，同时考虑到面对多人环境，粒子滤波单人脸跟踪容易发散，将 ISOMAP 学习和 SM-PF 结合，得到新的 ISOMAP-SM-PF 算法，最后通过结果比较分析，指出 本文新算法的实际应用价值。 第 1 章 绪 论 7 最后一部分是本论文的总结和展望。对论文所做工作进行全面的总结。 江苏科技大学工学硕士学位论文 8 第第 2 章章 粒子滤波技术及其收敛性分析证明粒子滤波技术及其收敛性分析证明 粒子滤波(particle filter)，又称序贯蒙特卡罗方法，是一种基于蒙特卡罗方法和递推贝 叶斯估计的统计滤波方法，它依据大数定理采用蒙特卡罗方法来求解贝叶斯估计中的积分 运算。其基本思想是：首先依据系统状态向量的经验条件分布在状态空间产生一组随机样 本的集合，这些样本称为粒子；然后根据量测量不断地调整粒子的权重和位置，通过调整 后的粒子的信息，修正最初的经验条件分布。其核心思想是：用由粒子及其权重组成的离 散随机测度近似相关的概率分布，并且根据算法递推更新离散随机测度。当样本容量很大 时，这种蒙特卡罗描述就近似于状态变量真实的后验概率密度函数。这种技术适用于任何 能用状态空间模型以及传统的卡尔曼滤波表示的非高斯背景的非线性随机系统，精度可以 逼近最优估计，是一种很有效的非线性滤波技术。 2.1 滤波问题常用框架 2.1.12.1.1 滤波常用框架滤波常用框架 滤波的概念其实是结合在线得到的量测值对系统状态(参数或隐变量)进行序贯估计的 问题。 序贯估计问题介绍： 1、后验概率(posterior density)：。其中为系统状态变量，| kk p XZ 12 , kk Xx xx 为系统量测值。 12 , kk Zz zz 2、递推计算得到边缘后验概率，即滤波密度，这里就省却了保留存储所| kk p xZ 有的历史状态。 3、在获得滤波密度的前提下，系统状态的一系列估计值可以得到： 1)均值(系统状态的最小均方差估计)： | kkkkkkk xE xZx p xZdx 2)模式、中值、置信度、峰态等。 k z 1k z 2k z 1k x 2k x k x observed unobserved | kk p zx 1 | kk p xx 图 2.1 滤波的常规框架 Fig 2.1 the conventional framework of filtering 第 2 章 粒子滤波技术及其收敛性分析证明 9 2.1.22.1.2 动态空间模型动态空间模型 时变问题分析的一般动态状态空间模型分为状态转移模型和量测模型 1 | kk p xx ，其中代表系统在时间的状态变量（隐含变量或参数） ；为系| kk p zx x n k xRk y n k zR 统在时间的量测值。对于非线性非高斯过程，其模型可表示为k (2.1) 11 , kkk xf xv (2.2), kkk zh x n 其中表示输出量测值，为系统的状态变量；和分别为 y n k zR x n k xR v n k vR n n k nR 过程噪声和量测噪声，和是相互独立、协方差分别为和的零均值加性噪声序 1k v k n k Q k R 列；，为有界非线性映射。: xx nn fRR: nn nn h RR 为了使状态方程和量测方程能描述更为一般的动态系统，这里作以下假设： 1、状态符合一阶马尔可夫过程。 1201 |,| kkkkk p xxxxp xx 2、量测相对于状态是独立的。 |,| kkkk p zxAp zx 2.1.32.1.3 递推贝叶斯估计递推贝叶斯估计 根据给定的状态空间模型，可以递推得到如下滤波概率密度： (2.3) 1 1 11 11 111 11 1 1 | | ,| , |,| | |,| | | | kkk kk k kkkk kk kkkkkk kkk kkkkkkk kkkk kkkk kk p Zxp x p xZ p Y p yZxp x p z Y p yZxp Zxp x p zYp Z p zZxp xZp Zp x p zZp Zp x p zxp xZ p zZ 即 1 1 | | |normalizing constant kkkk kk kk p zxp xZlikehoodpriorlikehoodprior p xZ p zZevidence 其中，为似然函数，为先验概率，转移概率为，似然函数由| kk p zx 1 | kk p xZ 1 | kk p xx 量测模型得出，先验概率由转移概率和上一相邻时刻的滤波密度推得。而转移概 11 | kk p xZ 率可由状态方程得到。为归一化常数，可由量测模型和似然函数决定，即 1 | kk p zZ 。 1k1 |z | kkkkkk p zZpxp xZdx 江苏科技大学工学硕士学位论文 10 2.2 粒子滤波理论 粒子滤波提供了一种方便而有效的从非高斯、非线性、高维的量测数据中计算后验概 率的方法，非常灵活，容易实现，可以并行化，实用性强，在工程学、应用统计学等领域 获得了最新发展。下面介绍粒子滤波基本原理1-2,21,25-26。 2.2.12.2.1 标准粒子滤波算法标准粒子滤波算法 本章采