稀疏表示目标关联.doc

无重叠视域多摄像头目标关联综述摘 要：随着视频监控技术的快速发展，多监控摄像机信息融合的研究逐渐被重视起来，作为核心技术之一的无重叠视域多目标关联也成为了研究的焦点。这个研究焦点是计算机视觉研究领域的一个新兴的、多学科交叉的研究方向。文章对国际上关于此方向从开始到现在的重要研究成果，做出了比较详细的论述，把对该问题的研究归纳为三个主要的组成部分，并依次介绍了这三部分的研究进展，最后简要分析了这个方面研究的难点和未来的发展趋势。关键字：视频监控、无重叠视域多摄像头、目标关联Abstract: With the rapid development of visual surveillance technology, the research about multi-camera information fusion is gradually paid more attention to. Thus, as one of the core techniques, objects tracking across non-overlapping multi-camera become the focus. This focus is a rising direction of computer vision, which crosses several subjects. This paper discusses the important achievements of this topic all over the world from beginning to present in detail. All of them are clustered into three parts and introduced orderly. Finally, some difficulties and future directions are analyzed concisely.Keywords: visual surveillance, non-overlapping multi-camera, objects matching1引言 在单摄像机智能监控算法逐渐成熟的同时，近年来，多摄像机之间的信息关联和信息融合的研究逐渐被重视。由于被监控区域的广阔和摄像机视域有限之间的矛盾，以及在计算量和经济等方面的考虑，不可能用摄像机全部覆盖所有的被监控区域。因此在无重叠视域多摄像机监控环境下的目标跟踪就成为了广域视频监控研究的重要内容之一。在无重叠视域多摄像机视频监控系统中，目标在时间和空间上都是分离的，如何将不同摄像机中相同目标进行有效地关联是多摄像机目标跟踪的关键问题。本文主要针对无重叠视域多目标关联技术的研究现状进行了系统的介绍,包括问题描述、一般框架、关键问题、主要方法介绍，并分析了各方法的优缺点。2关键问题概述 无重叠视域多目标关联的一般结构图如图1所示：摄像机1摄像机2摄像机3检测跟踪模块检测跟踪模块检测跟踪模块关联模块目前，多目标跟踪算法的主要难点是数据关联问题。背景的复杂性，目标比例变化、目标颜色与背景颜色的相似程度、背景的稳定程度，多目标的交互及各种特殊情况的发生都会给多目标跟踪带来困难。当前多目标跟踪中存在的难题主要包括以下几个方面：遮挡问题：遮挡是多目标跟踪中的常见情况，目标可能被背景中静止的物体遮挡，也可能被另外的目标遮挡，或者自遮挡，并且遮挡的程度也不同。目标被遮挡的过程一般可分为两个阶段：一是目标进入遮挡过程，这期间目标信息丢失越来越严重，二是目标出离遮挡过程，也即目标渐渐离开遮挡，这期间目标信息逐渐得到恢复。遮挡表现为目标信息的逐渐丢失，而跟踪算法的关键就是搜索到足够多的目标信息，判定目标所在，所以遮挡给目标跟踪的可靠性带来很大困难，可能导致跟踪的不稳定甚至丢失目标。如何有效的处理遮挡，特别是严重的遮挡，一直是多目标跟踪中的一个难点，目前多数系统都不能处理较严重的遮挡问题，也不能提供标准来判断何时停止及何时重新开始跟踪，且在目标丢失情况下没有相应的重新获取目标的引导方法。目标数目的随机性：数目可变也是多目标跟踪中的常见问题。目标总数的变化来自于新目标的随机出现、旧目标的消失以及由于旧目标的分裂与合并(即遮挡)。目标总数的变化有两种情况：一是总数的增加，包括新目标的出现和旧目标的分裂；二是总数的减少，包括旧目标的消失和目标合并。如何准确得到当前帧的目标个数，是多目标跟踪中的又一个难点。背景的复杂性：目标所处场景的复杂程度、稳定程度影响着目标跟踪的效果，背景中的干扰因素主要包括：光线亮度的变化，使背景颜色也发生变化；背景中物体的变动，当背景中增加、移去或者移动某些景物并持续一段时间时，背景发生变化，应及时更新背景；背景中存在与目标特征类似的物体时，将增加目标跟踪的难度，可能使跟踪收敛到干扰所在位置；阴影问题，阴影属于非运动目标区域，但是与背景颜色上存在差别，给运动目标检测带来困难。目标外观变化和不同目标外观的区分：目标外观特征包括目标形状和纹理等信息，对于非刚性目标，由于目标比例和形状的变化以及目标运动的不确定性(机动目标)，导致目标信息的丢失，很容易发生跟踪失败。在监控视频中，目标外观往往非常相似，如何选取合适的特征以较好的区分不同目标外观来实现准确的数据关联。实时性要求：视频图像含有大量的数据，要保证目标跟踪的实时性要求，必须选择计算量小的算法，但是目标跟踪另一个重要性能是跟踪的准确性，而准确性的保证往往是在复杂运算和处理的基础上的，这就造成了两者的矛盾。一个好的运动目标跟踪系统必须要兼顾两者，要对两个性能指标加以平衡。3多目标关联方法概述正是由于上述问题的存在，研发具有鲁棒性、实用性的多目标关联算法一直是无重叠视域目标跟踪的难点。随着其它学科(如生物学、计算机图形学、概率论与统计学、随机过程等)的发展，多目标关联的新思路、新方法层出不穷。以下对近年来国内外解决多目标核心问题的主流方法进行总结与分析，并比较各方法的优缺点。3.1 单摄像头运动目标提取 运动目标检测是目标关联的前提，只有在目标被检测出之后，才能对被检测出的目标进行关联。运动目标检测的主要任务是在图像中检测出各个独立的运动目标，便于后续的特征提取和关联等过程。运动目标检测技术已经有大量的研究，形成了三种传统的运动目标检测方法：帧间差分法1,2、背景差分法3-9和光流法10。其中光流法计算大都相当复杂，且抗噪性能差，难以实时应用，帧间差分法和背景差分法是目前最广泛的运动目标检测方法2。运动目标检测通常采用以下几种方法5-6：（1）帧间差分法：基本思想是将视频中相邻两帧或多帧图像做差分，然后利用阈值进行分割，将超过阈值的当做前景，其他的当做背景。优点是实时性好，算法复杂性比较小，容易实现。缺点是目标内部一般会有不连续的空洞。目前对于帧间差分法一般用来做前期检测，（2）背景差分法：背景差分法是视频监控中最为常见的运动目标检测方法，它的基本思想是将当前帧图像与参考背景图像做差分运算，然后设定一定的阈值来检测运动目标。背景差分法的关键是背景图像的选取和背景模型的建立。最简单方法是直接从视频中抽取一帧图像或者对一段时间内的视频序列中每个像素做均值滤波或中值滤波，然后将得到的图像作为参考背景图像。目前研究人员大多数都在研究如何开发不同的背景模型，期望建立更加合理的背景模型并对其及时进行更新，希望借此能够抵消背景的干扰和变化。从上世纪末至今，出现了一大批背景差分法的方法，比如混合高斯模型背景差分法7、无参数估计背景差分法8、核密度估计背景差分法9、码本背景差分模型10等算法。但是，在多摄像机监控系统中，由于图像背景存在变化，不能直接采用背景差分法，本文在第二章中针对多摄像机环境下背景扰动的问题进行了实验，实验结果表明利用改进的扭曲背景差分模型，可以有效去除背景扰动的影响，一定程度上提高了检测的准确率。(3)光流法：基于光流法的运动目标检测是利用了运动目标随时间变化的光流特性，为视频序列中每一个像素点赋予一个速度矢量，从而对应产生一个运动场，一般情况下认为光流场对应于运动场，研究光流场就是为了从图像序列中近似计算得到运动场的信息，然后根据各个像素点的速度矢量特征，实现图像序列的动态分析。假如图像序列中不出现运动目标时，光流矢量在整个图像区域是连续变化的。反之，运动物体所形成的速度矢量就会与邻域背景速度矢量不同，从而检测出运动目标的具体位置。该算法同时能够在摄像机运动的情况下检测运动目标，但计算复杂，实时性不高。3.2 单摄像头目标跟踪3.1 基于多特征融合与自适应模板的多目标跟踪算法视觉特征对于跟踪算法的性能有很重要的影响，所选的视觉特征应该能很好的区分跟踪目标与背景。针对单一视觉信息描述目标不够充分、跟踪目标不够稳定的缺点，出现了许多基于多特征融合的多目标跟踪算法11-15。文献11将颜色、纹理和运动信息三个特征相结合描述目标，该算法采用固定不变的模板，然而当背景和目标外观变化时，易出现失跟。文献13针对此问题提出了多特征融合与自适应模板相结合的多目标跟踪算法，能有效处理模板随时间变化的情况，但是算法计算量大。文献14为了提高算法的实时性，基于在线自适应模板选择特征个数，计算量大大降低。上述文献都是将多特征用于目标描述。文献15(针对人脸)将多特征融合技术用于判断新目标的出现；基于在线学习的自适应模板以适应背景与目标外观的变化；以目标观测概率小于某一阈值判断旧目标的消失；对每一个目标单独建立一个粒子滤波器，实现多个目标的跟踪。该方法能在较简单场景下自动判断新目标的出现与旧目标的消失，处理目标部分遮挡及背景变化，但是未能处理目标的分裂与合并(严重遮挡)。3.2 基于运动信息的多目标跟踪算法目标总数可变一直是多目标跟踪中的难点，有效地对可变数量目标的判定取决于目标检测的准确度。目标的运动信息是目标检测中一项重要特征，运动检测技术包括光流法、差分法等。目前，比较常用的是差分法。文献16针对人的跟踪中常出现的变形、遮挡以及多目标跟踪中常出现的目标合并、分裂、消失、新增等情况。利用背景差分法,差分值分别代表背景和目标。当目标数量发生变化时,采用基于相交区域面积的关联矩阵判断场景中各种特殊情况的发生。当目标轻微合并时，采用基于颜色直方图的均值漂移算法分别跟踪合并在一块的各个目标，当目标分裂时，要判断分裂出的目标属于遮挡前的哪一个目标，用巴氏距离表示分裂前各目标和分裂后目标直方图的关联度，取最大值者作为关联目标。3.3 基于3D 空间的多目标跟踪算法现实世界中的物体都是三维的，而人眼所获得的图像是二维的，对2D 图像来说目标间容易出现遮挡，而对3D 图像来说每个目标只有一个位置，可有效地解决多目标间遮挡问题。因此，有些研究者对基于3D的多目标跟踪算法17-19进行了研究。这里的3D 体现在：3D 模型描述目标，3D 状态空间。文献18提出了基于粒子滤波的多摄像头3D 单人跟踪算法，将3D模型和多目视频采集机制嵌入到粒子滤波框架中。利用目标空间位置的惟一性，能对严重遮挡的人进行较准确地跟踪。3D 模型可有效地处理目标分裂与合并问题，文献19提出了基于MCMC 的3D 多目标跟踪算法。由于多摄像头必须同步工作，且成本较大，文献19中使用单摄像头机制。文中用两个椭圆体表示一个目标，用3D 坐标表示状态向量。对多目标用联合状态空间表示。采用一阶动态模型传递状态，利用此状态参数得到模拟二值图，同时对背景建模，利用背景差分法得到背景提取二值图，计算两个二值图相交区域像素点个数与相并区域像素点个数的比值，此值作为状态权值，选择权值大的部分粒子的状态平均和作为目标的最优位置估计。3.3 多目标关联 2.1 目标关联目标关联是指把在不同时刻出现在不同摄像机前的目标进行关联，从而识别出相同的目标，实现不同摄像机中同一目标的对应。这里的关联不同于传统单目摄像机跟踪理论中的目标关联，由于目标物体在不同摄像机前的颜色、形状和摄像机的观测距离、观测角度等方面的巨大的差异，以及各个摄像机的内部参数和监控区域中光照等环境条件的不同等种种复杂的原因，传统计算机视觉理论中关于单目摄像机跟踪关联的很多方法都不再适用。所以，无重叠视域摄像机之间的目标关联20,21需要建立适合自己特殊问题的新的理论体系。目前已有的关联方法主要包括对目标建立表现模型（Appearance Model），目标在不同摄像机中的表现模型之间的转移模型（Transfer Model）的估计，以及表现模型相似度的估计等研究内容。表现模型是指利用目标物体在不同摄像机前出现时表现出的特征所建立的模型。这些特征主要包括颜色特征、点特征、线特征、区域特征、几何特征、模型特征等等。在已有的研究成果中，研究者往往选取这些特征中的一种或几种联合建立表现模型来参与关联。在特征提取的过程中，某些特征需要先对摄像机进行标定，例如：点特征、几何特征22；然而，考虑到随着摄像机数量的急剧增加，对每个摄像机都进行标定和对应变得愈发困难，所以现有的研究工作大都采用不事先标定摄像机的方法进行特征抽取与关联。另外，为了弥补不同检测视频中同一目标的表现模型之间的变化差异，转移模型的估计就显得非常重要。而且，在衡量表现模型之间相似度的过程中，针对不同表现模型的相似度度量方法也同时被提出。2.1.1 基于线特征的方法由于刚体目标的线特征比较容易抽取，而且对光照、时间、地点等环境变化不敏感，因此，线特征在车辆目标关联方面得到了较多使用。Shan23-25和Guo26-29等人的研究组近几年一直在研究高速公路环境中多摄像机监控下的车辆关联和跟踪问题。他们针对车辆的刚体特征采用了以线特征为基础，其它特征为辅助的表现模型建构方法。文献23, 25提出了一个非监督学习的方法来提取视频中车辆的线特征，然后基于线特征来关联车辆，这个方法在两个视频中车辆的形状差别很小的情况下取得了不错的效果。同样基于线特征，文献24不直接对车辆的表现模型进行关联，而是首先对不同的摄像机建立各自的关于观测目标的内嵌原型（Embedding Prototype）, 然后通过内嵌原型间接地进行关联，这样做在某种程度上提高了算法对目标形状和姿态变化的鲁棒性。文献26-28在基于线特征的方法基础上，首次融合点特征、区域特征等特征共同建立表现模型对车辆进行关联。由于多种特征的融合关联，这使得她们的算法可以在小于30 度的姿态变化条件下取得大于90%的关联准确率。在24的研究基础上，文献29把原型内嵌和内嵌转移相结合，提出了更加适应目标姿态、光照条件和分辨率等大幅度变化的关联算法。2.1.2 基于颜色特征的方法颜色特征由于具有很好的区分性，因此成为众多特征中被研究最多的一种。Cheng30-32和Madden33, 34等人研究室内监控环境下行人的关联跟踪。他们通过在线k 均值聚类的方法建立了一种最大颜色光谱直方图表示模型（MCSHR）来构建表现模型，并给出了针对这种模型的相似度估计算法；而且，他们还进一步利用相邻的3-5 帧图像建立累积的最大颜色光谱直方图表示模型（IMCSHR）来克服短期内目标的小幅度姿态变化。除此之外，在文献33中，他们还尝试采用监控视频中人的身高作为关联的特征要素，并给出了身高的估计算法。在利用颜色特征方面，还有许多研究者做出了有意义的工作。例如：Orwell 等人34采用两种方法对目标的颜色直方图进行建模，一种是混合高斯参数化和交叉熵距离测量相结合的方法，另一种则是最大熵编码和 2 距离测量相结合的方法，实验表明这两种方法都具有不错的效果。Bowden35和Gilbert36, 37等人先把目标的颜色直方图进行芒赛尔颜色空间的一致颜色转换（CCCM），然后进行关联，这种方法对于低解析度目标的关联体现了很好的效果；其中，文献19还利用对颜色直方图转移矩阵的估计来提高关联的准确性。Park 等人38把目标行人的前景图像从上到下分为三部分，用下两部分颜色的色调作为主要颜色特征，再结合目标身高等特征来参与关联计算。在处理不同摄像机之间的颜色变化的问题上，Porikli 和Divakaran39, 40提出了基于颜色直方图的非参数非线性颜色转移函数模型和相关的距离度量，并给出了简化算法。 Javed 等人41-42也针对目标的颜色直方图建立了不同视频之间的亮度转移函数（BTF），他们的函数包含光照、场景几何，以及摄像机的焦距、光圈和曝光时间等参数。他们还证明了这些参数可以用低维空间参数来表示，并使用概率主成分分析（PPCA）的方法实现了降维计算。同样是估计颜色转移函数，Jeong 和Jaynes43却采用目标的色度而不是亮度，他们的算法体现了更好的关联性能。4 无重叠视域多目标关联技术的未来发展方向多目标关联技术是计算机科学、机器视觉、图像处理、人工智能、模式识别等多学科的结合，是一个尚在发展中的研究方向，还有很多技术难点有待解决。通过对多目标关联的难点及其相关方法的分析，多目标关联技术研究未来的发展方向为：一、结合模式识别和机器学习相关算法提高决策准确率；二、研究更为准确的目标表现模型。5 结束语本文对无重叠视域多目标关联相关的问题和技术进行了综述。目前，无重叠视域多多目标关联算法的一般流程是：基于运动特征、差分法或分类器检测出目标，然后对目标进行单摄像头跟踪，在跟踪过程中提取出较好的目标特征，最后在多摄像头间进行相同目标的关联。国内外众多研究者综合运用各学科知识，大胆尝试，无重叠视域多目标关联算法具有广阔的研究前景。6参考文献1 TAN Ji-yuan, WU Cheng-dong, ZHOU Yun,HOU Jun,WANG Qiaoqiao,Research of abnormal target algorithm in intelligent surveillance system, Mechanical & Electrical Engineering Magazine,vol. 26, pp.l2-15, March 2009.2 Valera M，Velastin S.AIntelligent distributed surveillance systems JIEE ProcVision Image Signal Process，2005，152 (2)：192-2043 C. Stauffer and W. Grimson. Learning patterns of activity using real-time tracking. IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI),22(8):747757, 2000.4 Z. Zivkovic and F. van der Heijden. Efficient adaptive density estimation per image pixel for the task of background subtraction. Pattern Recognition Letters,27(7):773780, 2006.5 Yongquan Xia; Shaohui Ning; Han Shen; , Moving targets detection algorithm based on background subtraction and frames subtraction, Industrial Mechatronics and Automation (ICIMA), 2010 2nd International Conference on , vol.1, no., pp.122-125, 30-31 May 20106 V. Reddy, C. Sanderson, and B. C. Lovell. Robust foreground object segmentation via adaptive region-based background modelling. In International Conference on Pattern Recognition (ICPR), Turkey, 2010.7 A.Elgammal, Effcient nonparametric kernel density estimation for realtime computer vision, Ph.D. thesis, Rutgers, The State University of New Jersey (2002). 8 Mittal, A.; Paragios, N.; , Motion-based background subtraction using adaptive kernel density estimation, CVPR 2004. 9 Shengcai Liao; Guoying Zhao; Kellokumpu, V.; Pietikainen, M.; Li, S.Z.; , Modeling pixel process with scale invariant local patterns for background subtraction in complex scenes, CVPR 2010 10 Barron, J.L.; Fleet, D.J.; Beauchemin, S.S.; Burkitt, T.A.; , Performance of optical flow techniques, Computer Vision and Pattern Recognition, 1992. Proceedings CVPR 92., 199211 Takala V, Pietikainen M. Multi-object tracking using color, texture and motion. VS, 2007:17.12 Ma LL, Cheng Jian, Lu HQ. Multi-cue collaborative kernel tracking with cross ratio invariant constraint.ICCVGIP, 2008:665672.13 Kumar P, Brooks MJ. An adaptive bayesian technique for tracking multiple objects. Pattern Recognition,2007:657665.14 Li Z., Gong HF, ZHu SC. Dynamic feature cascade for multiple object tracking with track ability analysis.EMMCVPR, 2007:350361.15 Pernkopf F. Tracking of multiple targets using online learning for reference model adaptation. IEEE Trans on SMC-B, 2008,38(6):14651475.16 常发亮, 马丽, 乔谊正. 视频序列中面向人的多目标跟踪算法. 控制与决策, 2007,22(4):418422.17 Osawa TS, Wu XJ, Wakabayashi KR. Human tracking by particle filtering using full 3d model of both target and environment using full 3d model of both target and environment. ICPR, 2006.18 Yao Jian, Odobez JM. Multi-camera 3D person tracking with particle filter in a surveillance environment. EUSIPCO, 2008:2529.19 Osawa T, Sudo K, Arai H. Monocular 3D tracking of multiple interacting Targets. ICPR, 2008:14.20 刘少华.非重叠监控摄像机网络中目标跟踪与识别算法研究D.博士论文.国防科学技术大学：2009.21 孔庆杰. 面向广域视频监控的无重叠视域多摄像机目标跟踪J. 2007年全国模式识别学术会议论文集，2007.22 Nils T Siebel, Stephen J Mayban. The ADVISOR Visual Surveillance SystemA. In: Proceedings of the ECCV Workshop on Applications of Computer VisionC, Prague, 2004: 103-111.23 P.Spagnolo, T.DOrazio M.Leo, A.Distante. Moving object segmentation by background subtraction and temporal analysisJ.Image and Vision Computing,2006,24(5):411-42324 Stauffer C,Grimson WEL. Adaptive Background Mixture Models for Real-Time Tracking. In Proc. Computer Vision and Pattern Recognition 1999(CVPR 99), June 1999.25 Elgammal A, Harwood D, Davis L, Non-parametric Model for background Subtraction. In Proc. Of ICCV 99 FRAME-RATE Workshop, 1999.26 Han B,Comaniciu D, Davis L, Sequntial kernel density approximation through mode progagation:applications to background modeling. In Proc. ACCV-Asian Conf. On Computer Vision,2004.27 Kim K, Chalidabhongse TH, Harwood D, Davis L. Real-time forground-background segment using codebook model. Real-Time Imaging,2005.28 Robert T Collins, Alan J Lipton, Takeo Kanade, et al. A system for video Surveillance and MonitoringR. Pittsburgh: Carnegie Mellon University, 2000: 1-68.29 P.Spagnolo, T.DOrazio M.Leo, A.Distante. Moving object segmentation by background subtraction and temporal analysisJ.Image and Vision Computing,2006,24(5):411-42330 李毅, 孙正兴, 远博.一种改进的帧差和背景减相结合的运动检测方法J.中国图象图形学报,2009,14(5):1162-1168.31 杨涛，李静 潘泉，一种基于多层背景模型的前景检测算法J.中国图象图形学报，2008,13（7）：1301-130832 黄鑫娟, 周洁敏, 刘伯扬.自适应混合高斯背景模型的运动目标检测方法J.计算机应用,2010,30(1):71-7433 Ko, T， Soatto, S，Estrin, D. Warping background subtraction C. IEEE Conference