多目标跟踪方法研究综述(图文)

1、多目标跟踪方法研究综述(图文)论文导读：随着复杂环境中对检测和跟踪多个被遮挡的人和计算他们的精确位置的需要，多视点的方法成为研究的热点。尽管通过相机不能很好的解决目标跟踪问题，但却提出了一些很好的想法，如选择最佳视点，但这些方法都以实际环境模型和相机校正为特征。除此之外，也有在原来的单视点跟踪系统进行扩展的多视点跟踪方法。随着监控设备的发展和设施的铺设，多视点的场景图像是很容易得到的，因此借助信息融合的思想，充分利用不同角度对目标的描述信息，可以很大的改进目前基于单视点的多目标检测和跟踪的精度，能够很好的解决单视点方法中不能很好解决的遮挡问题。关键词：单视点，多视点，目标跟踪，信息融合1、多目

2、标跟踪的一般步骤基于视频的多目标跟踪技术融合了图像处理、模式识别、人工智能、自动控制以及计算机视觉等众多领域中的先进技术和核心思想。不同的多目标跟踪方法其实现步骤有一定的差异，但多目标跟踪的主要流程是相同的，如图1所示，其主要包括图像预处理、运动目标检测、多目标标记与分离、多目标跟踪四个步骤。 图1多目标跟踪基本流程图2、多目标跟踪方法多目标跟踪方法可以根据处理图像或视频获取视点的多少分为两大类，一类是单视点的多目标跟踪，另一类就是多视点的多目标跟踪。2.1 单视点的方法单视点方法是针对单一相机获取的图像进行多目标的检测和跟踪。该方法好处在于简单且易于开发，但由于有限的视觉信息的获取，很难处理

3、几个目标被遮挡的情况。块跟踪（Blob-tracking）是一种流行的低成本的跟踪方法6-7。论文检测。这种方法需要首先在每一帧中提取块，然后逐帧寻找相关联的块，从而实现跟踪。例如BraMBLe系统8就是一个基于已知的背景模型和被跟踪的人的外表模型计算出块的似然性的多块跟踪器。这种方法最大的不足之处在于：当由于相似性或者遮挡，多个目标合并在一起时，跟踪将导致失败。因此，可以取而代之的方法是通过位置、外观和形状保留清晰目标的状态。文献9利用组合椭圆模拟人的形状，用颜色直方图模拟不同人的外观，用一个增强高斯分布模拟背景以便分割目标，一旦场景中发现对应于运动头部的像素，一个MCMC方法就被用于获取多

4、个人的轮廓的最大后验概率，在单相机的多人跟踪应用中取得了非常有意义的结果。Okuma等人提出了一种将Adaboost算法和粒子滤波相结合的方法10。该方法由于充分利用了两种方法的优点，相比于单独使用这两种方法本身，大大降低了跟踪失败的情形，同时也解决了在同一框架下检测和一致跟踪的问题。Brostow等人提出了一个用于在人群中检测单个行人的特征点轨迹聚类的概率框架11。这个框架有一个基本假设是一起运动的点对可能是同一个个体的一部分，并且把它用于检测和最终的跟踪。对于完全和部分遮挡目标以及外观变化，这些方法和另外一些相似的方法都有很大的局限性。为了解决遮挡问题，一系列单视点跟踪技术应运而生。典型的

5、方法是利用块合并来检测遮挡的发生12。当被跟踪的点消失，跟踪特征点的方法就简单的将其作为一个被遮挡特征点。近年来，基于目标轮廓和外观的跟踪技术利用隐含的目标到相机的深度变化来表示和估计目标间的遮挡关系。但大多数方法都只能解决部分遮挡，不能解决完全被遮挡的情况。另外，小的一致运动被假设为是可以从遮挡视点中可以预测运动模式的，这些给没有预测运动的较长时间的遮挡的处理带来问题。尽管这些单视点的方法有较长的研究历史，但这些方法由于不能明锐的观察目标的隐藏部分，因此不能很好的解决有2或3个目标的遮挡问题。2.2 多视点的方法随着复杂环境中对检测和跟踪多个被遮挡的人和计算他们的精确位置的需要，多视点的方法

6、成为研究的热点。多视点跟踪技术的目的就是利用不同视点的冗余信息，减少被遮挡的区域，并提供目标和场景的3D信息。尽管通过相机不能很好的解决目标跟踪问题，但却提出了一些很好的想法，如选择最佳视点，但这些方法都以实际环境模型和相机校正为特征。90年代后半期，在很多文献中给出了多视点相关的多目标跟踪方法。论文检测。比如利用一个或多个相机与观察区域相连的状态变化映射，同时给出一系列的行为规则去整合不同相机间的信息。利用颜色在多个视点中进行多目标的跟踪的方法，该方法模拟了从基于颜色直方图技术的背景提取中获得的连接块并应用其去匹配和跟踪目标。除此之外，也有在原来的单视点跟踪系统进行扩展的多视点跟踪方法。该方

7、法主要是通过一个预测，当预测当前的相机不在有一个好的视点时，跟踪就从原来凯斯的那个单相机视点的跟踪转换到另外一个相机，从而实现多视点的跟踪。基于点与它对应的极线的欧氏距离的空间匹配方法、贝叶斯网络和立体相对合并的方法都是多目标多视点跟踪的常见方法。尽管这些方法都试图去解决遮挡问题，但由于遮挡的存在，基于特征的方法都不能根本解决，其次，这些方法中的遮挡关系的推理一般都是根据运动模型，卡尔曼滤波或者更普遍的马尔科夫模型的时间一致性来进行的。因此，当这个过程开始发散，这些方法也不能恢复遮挡关系。论文检测。最近一种基于几何结构融合多个视点信息的Homegraphicoccupancy consrrai

8、nt (HOC)12方法，可以通过在多场景平台对人的定位来解决遮挡问题。仅采用随时间变化的外表信息用于从背景中检测前景，这使得在拥挤人流的场景中的外表遮挡的解决更健壮。利用多视点中的前景信息，主要是试图找到被人遮挡的场景点的图像位置，然后这些被遮挡的信息用于解决场景中多个人的的遮挡和跟踪问题。在这种思想指导下，Mittal，Leibe，Franco等的研究工作和机器人导航中基于遮挡网格的距离传感器的并行工作是相似的，这些方法在融合3D空间信息的时候需要进行校正相机。但HOC方法是完全基于图像的，仅需要2D结构信息进行图像平面的融合。当然也有另外一些不需要进行相机校正的算法被提出，但需要学习一个

9、与相机最小相关的信息。在目标跟踪过程中，由于这些方法依赖于单个相机的场景，对于拥挤场景中目标分布密度增加九无能为力了。在HOC的多视点的目标跟踪中，对于任何单一相机的场景，或者相机对的场景，都不需要进行定位和跟踪目标，而是从所有相机的场景中收集证据，形成一个统一的框架，由于该方法能够从多个时间帧的场景中进行场景被遮挡概率的全局轨迹优化，因此可以同时进行检测和跟踪。3、总结动态目标检测与跟踪是智能监控系统的重要组成部分，它融合了图像处理、模式识别、自动控制及计算机应用等相关领域的先进技术和研究成果，是计算机视觉和图像编码研究领域的一个重要课题，在军事武器、工业监控、交通管理等领域都有广泛的应用。

10、尤其是对于多目标检测与跟踪中的遮挡与被遮挡的处理，对提高智能监控中目标的行为分析有着重要的意义。随着监控设备的发展和设施的铺设，多视点的场景图像是很容易得到的，因此借助信息融合的思想，充分利用不同角度对目标的描述信息，可以很大的改进目前基于单视点的多目标检测和跟踪的精度，能够很好的解决单视点方法中不能很好解决的遮挡问题。参考文献1胡斌, 何克忠. 计算机视觉在室外移动机器人中的应用. 自动化学报, 2006, 32(5): 774-784.2A.Ottlik, H.-H.Nagel. Initializationof Model-Based Vehicle Tracking in Video

11、Sequences of Inner-City Intersections.International Journal of ComputerVision, 2008, 80(2): 211-225.3Lin Zhu, Jie Zhou, Jingyan Song. Tracking Multiple Objects Through Occlusionwith Occlusion Sampling and Position Estimation. Pattern Recognition, 2008,41(8): 24472460.4Luo Cheng, Cai Xiongcai, Zhang

12、Jian. Robustobject tracking using the particle filtering and level set methods: Acomparative experiment. Proceedings of the 2008 IEEE 10th Workshop onMultimedia Signal Processing, Australia, 2008: 359-364.5Li Zhu, Yabuta Kenichi, Kitazawa Hitoshi. Anew method for moving object extraction and trackin

13、g based on the exclusiveblock matching. 3rd Pacific Rim Symposium on Image and Video Technology, Tokyo,2009: 249-260.6I. Haritaoglu, D. Harwood, and L. Davis. Who,when, where, what: A real time system for detecting and tracking people. InFGR, pages 222-227, 1998.7M. Han, W. Xu, H. Tao, and Y. Gong.

14、An algorithmfor multiple object trajectory tracking. In Conference on Computer Vision andPattern Recognition, volume 1, pages 864-871, June 2004.8M. Isard and J. MacCormick. Bramble: a bayesianmultiple-blob tracker. In Conference on Computer Vision and PatternRecognition, volume 2, pages 34-41, July

15、 2001.9T. Zhao and R. Nevatia. Tracking multiple humansin complex situations. IEEE Trans. Pattern Anal. Mach. Intell., 26(9):1208-1221,2004.10 K. Okuma, A. Taleghani, N. de Freitas, J. Little, and D. Lowe. Aboosted particle filter: multitarget detection and tracking. In ECCV, Prague,Czech Republic, May 2004.11 G.J. Brostow and R. Cipolla. Unsuper