基于2-d仿真的运动目标跟踪和判别系统

基于2-d仿真的运动目标跟踪和判别系统

视觉环境检测不仅是一个非常挑战的研究问题，也是计算机视觉的重要应用，因此引起了人们的关注。相关的技术问题主要有两点:一是监测;二是对目标进行动作分析(activeanalysis)以实现智能监控(smartsurveillance)。在监测方面,为实现大视场,系统可使用多个摄像机或单个运动摄像机。前者的实现和安装都很复杂,因而我们选择简便可行的后者。此时为监测运动目标,系统需要区分背景运动(静止环境在运动摄像机中投影的运动)和目标自运动,为此需要用某种运动模型拟合背景运动,则自运动目标可作为背景运动的出格点被检测出来。背景运动模型估计时由于出格点的存在,必须使用鲁棒的参数估计方法。在目标(一般是人)的动作分析方面,通常的方法需要分辨出人体的各部分或大致形状,这样计算复杂,而且对目标检测的要求很高;或是需要预先进行训练,不能在安装系统后马上使用。本系统中由于目标往往离摄像机很远,其形状难以精确检测,因此我们利用周期性度量只给出定性判别,即目标是人,还是汽车、坦克类的机动目标。1目标跟踪跟踪阶段系统的处理流程如图1所示。该系统有两种工作状态:全景图拼接和目标跟踪。在全景图拼接阶段,摄像机环拍一周后得到场景的两幅全景图,一幅镶嵌有环拍过程中检测到的运动目标,另一幅则滤去了运动目标;在目标跟踪阶段,系统在检测出运动目标后能实现可靠跟踪,并控制摄像机盯住该目标。在两种状态下都可进行目标判别。2背景运动目标的近自然实现在主运动分析的模型选择方面,一般说来,模型简单,则计算简单且稳定,但适用范围受到限制;模型复杂,能够适用于一般的环境中,但计算复杂,难以应用于实时系统;鲁棒性也差,在短基线情况下的计算稳定性难以保证。在本系统的工作环境下,目标和背景都在远处,而摄像机又没有平移,因此2-D运动模型是合适的选择。文提出了2-D仿射运动模型。该模型计算简单,稳定性好,不需要标定摄像机,虽然限制摄像机的运动方式为纯旋转,但与本系统的实验环境相符合,选择该模型来描述背景运动:设(u,v)和(u′,v′)是相邻两帧上的一组对应点,由于帧间摄像机运动是小角度的旋转,有:{su′=u+αv-Τu‚sv′=v-αu-Τv‚(1)其中:s为一尺度因子,(Tu,Tv)是平移向量,α是旋转角。我们的实际算法有下面一些特点:1)利用SAD(sumofabsolutedifference)的块匹配算法既避免了低层匹配特征提取中的不精确,又比相关运算节省了计算时间,效果良好;2)灰度均衡化在一定程度上消除了光照变化的影响;3)采用多分辨率的块匹配算法,使计算复杂度从O(n2)减少到O(k·lg(n));4)使用鲁棒M-估计来计算模型参数,在出格点较多的情况下仍能得到很好的结果。系统在环境监控的同时能得到镶嵌或滤去了运动目标的全景图,从而使用户对整个环境有一个总体把握。拼接在完成主运动参数估计后,用逐步拼接竖条纹的方法累进完成。这样不需要保存采集的图像,当前帧到全景图所在的柱面坐标系的变换也可在要拼接的竖条内进行,大大节省了时间和空间。系统用中值滤波滤去运动目标,并为检测到的目标维护一缓冲区序列,最后将目标镶嵌到全景图中。图2是镶嵌了运动目标的全景图。视频数据是用手提摄像机在清华图书馆获得,图像分辨率384×288,景物的距离在10m以外。数据是由人旋转一周取得,摄像机不能保持水平方向,因而得到的全景图在对准到第一帧的坐标系统后不在柱面上。注意:镶嵌的运动目标在图中用反相(即颜色值的分量取反)标出。3目标跟踪和跟踪补偿了主运动后就可在残差图上聚类运动目标。设相邻两帧图像为f1(X),f2(X),帧间运动参数是s,α,Tu,Tv,则残差图D(X)可表示为:D(X)=|f´2(X)-f1(X)|‚(2)其中:f´2(X)=f2(R-1(X/s-Τ))‚(3)R=[1α-α1]‚Τ=[-Τu-Τv].(4)f′2(X)是f2(X)相对于f1(X)补偿了背景运动的图像。用矩形表示得到的每个运动目标,矩形的参数按下面的方法获得:得到残差图后先去除孤立的噪声点,然后根据同一目标内各点的间距小、不同目标间间距大的原理,按最近邻聚类的方法得到聚类结果。图3是运动检测的结果。为了可靠地检测目标,去除可能的误检测,补上漏检测,系统维护一个运动目标的缓冲池来实现可靠跟踪。原理是目标运动的时空连续性。只有连续在类似位置上出现的目标才认为是可靠的检测,而偶尔出现的目标被当作误检测去除;类似地,某一目标连续消失两帧以上才认为是目标消失,否则系统就认为是漏检测而将它补上。在可靠地检测出运动目标后,系统通过限制目标检测的搜索区域来加快速度、实现跟踪。如果局部搜索的效果不好(与缓冲池中的结果相差很远),系统会自动改成全局搜索。这样在减少检测时间的同时又不降低系统性能。在目标跟踪阶段,系统要根据检测出的目标方位调整摄像机朝向以实现主动跟踪。设当前帧上运动目标到图像中心的偏移是(dx,dy),则要盯住运动目标,摄像机的水平旋转调整量α和俯仰调整量β应满足tanα=dxf‚tanβ=dyf,其中f是摄像机的焦距,系统对f的计算引入反馈机制,即根据上次对摄像机角度调整的结果修改f,从而使平台的转动更平稳。4f使用证信号出的目标调度文对图像序列中周期性的检测和度量问题进行了研究。它依赖于多帧上对同一目标的准确定位和准确大小估计,得到该区域上的一个模板作为周期性评价,模板中每一点的取值都是一个时域序列频谱分析的结果。它利用时空图来定位目标,要求周期性运动的目标不平移,或者背景不动,这并不适用于我们的具体环境;它得到的评价是定义在一个矩形区域上的模板,这样对目标检测提出很高的要求,要求目标能准确定位、目标的朝向不变、目标能检测出完整的形状,这在目标较远的情况下也是极为困难的。对一个目标给出一个数值来量度周期性的强弱。实验显示,该方法对目标检测中的不精确、不完整有较强的鲁棒性。受文的启发,利用目标的周期性完成判别工作。所谓周期性,是指空域纹理在时域上的周期性变化。Fourier频谱分析是进行周期性度量的有效工具。设f(t)为一时变序列,则其频谱F(w)=|∫f(t)e-i2πwtdt|2能反映该序列的周期性性,F(w)的能量越集中于某几个离散值(谐波)处,就表示f(t)的周期性越强。本系统使用基于频谱的度量来完成周期性判别,即用谐波能量和总能量的比来量度时域上的周期性。为了对每一目标给出单一的评价值,对每一帧上的运动目标区域赋以单个评价值P,则最终评价可通过对一维数组Pi,i=1,…,N(N是考虑的总帧数)进行频域分析得到。P的选择必须满足以下条件:1)该值的变化应能正确反映目标区域的周期性变化;2)该值的选择应对目标区域大小、目标的完整性、目标运动时的背景以及目标朝向的变化有好的鲁棒性。据此确定P的步骤是:在将目标区域二值化后,先进行预处理以去除孤立噪声点,再计算区域中每行目标点的方差Dk,令Ρk=Dk/n12k,其中nk是该行目标点的数目,设该帧中Pk值大于0的行数为m,选择Pk序列中从大到小第m/4个元素作为该帧的周期性度量P。实验显示P的变化对应于人走动时上下肢的周期性摆动。图4、图5是运动目标判别的实验结果,分别对应于人和车辆。其中图4、图5(a)是原始序列的一段,(b)是检测出运动目标后减去背景并二值化的结果,(c)是得到的序列Pi,(d)是其频谱。系统根据频谱图中最大的几个能量值之和与总能量的比值来进行目标判别。实验显示,该方法对目标检测中的不精确、不完整有好的鲁棒性。5实时图像采集本系统采用了多种加速技术以达到实时:1)利用MMX(multi-mediaextension)技术实现块匹配;2)运动检测时的二值化处理;3)限制搜索范围进行运动跟踪;4)实时拼接。本系统既用磁盘数据(室外的图书馆序列)进行了测试,也在旋转平台上(室内环境)进行了实时图像采集。实验在PⅡ266的PC机上完成。磁盘数据的图像分辨率为384×288,共235帧,每帧的主运动估计耗时50～60ms,运动检测要40ms,而跟踪只需40ms,全景图的拼接时间不超过5ms,总时间(不包括磁盘数据的载入)在检测时是105ms,跟踪只需70ms;实时采集时的图像分辨率为320×240,摄像机环拍一周共采图110～120帧,每帧的主运动估计耗时40～50ms,运动检测要35ms,而跟踪只需5～10ms,全景图的拼接时间不超过5ms,总时间(不包括图像采集)在检测时是95ms,跟踪只需55ms,图像采集要40～50ms,帧速为6.5帧/s,环拍一周并进行全景图拼接可在20s之内完成。6帧间运动目标的判别和动态补偿实现了一个自然环境中的运动目标快速检测、跟踪和判别系统。用简单的2-D仿射模型来拟合主运动;鲁棒参数估计方法可在出格点存在的情况下正确求解帧间运动参数;基于出格点聚类得到运动目标区域;限制搜索范围、维护运动目标缓冲池以实现