（计算机应用技术专业论文）视频运动目标跟踪系统研究.pdf

摘要 视频运动目标跟踪系统研究 计算机应用技术专业硕士研究生张贝贝 指导教师肖国强教授 摘要 视频中运动目标跟踪是计算机视觉领域中富有挑战性的课题之一，在军事制导、视觉导 航、安全监控、智能交通、视频编码、医疗诊断和气象分析等众多领域中有着厂“阔的应用前 景，跟踪算法的研究具有重要的实际意义和理论价值。 视频运动目标跟踪系统包括两个重要部分：运动目标检测与跟踪。本文的主要工作如下： 在运动目标检测方面，主要包括基丁帧间差分法，基于背景差分的方法和基于光流场的 方法。本文根据所处理的视频图像的特点，采用了基于多帧边缘差异的目标检测算法。该算 法利用一组帧的边缘差异来提取运动对象区域，通过聚类方法去除背景像素点，利用形态学 算子得到对象分割模板。该方法的优点是操作简便、速度快、易于实现。 在运动目标跟踪方面，运动目标跟踪算法直接影响着运动目标的准确性和稳定性，现有 的目标跟踪算法大多需要处理的数据量大，运算复杂。本文在对目标检测和跟踪算法分析的 基础上，提出了两种目标跟踪算法：“基于形心和矢量的视频对象跟踪”算法和“基丁运动估 计的k a l m a n 滤波视频对象跟踪”算法。“基于形心和矢量的视频对象跟踪”算法：视频对象 分割后，使用区域增长法将视频对象分成若干个区域，然后利用视频序列中连续两帧中每个 区域的形心和欠量的方向，快速、有效地自动跟踪多个目标对象。“基于运动估计的k a l 珂a n 滤波视频对象跟踪”算法：首先进行视频对象分割，求出运动目标的形心。再利用视频序列 中连续两帧的形心和运动矢量信息，用k a l m a n 滤波对运动目标的形心在下一帧的位置进行预 测，从而快速、有效地自动跟踪多个目标对象。实验结果表明，这两种算法对运动目标的出 现和消失，以及非刚性物体的尺度变化和变形，具有较强的鲁棒性。 关键字：运动目标跟踪多帧边缘差异形心运动矢量k a l m a n 滤波 a b s t r a c t t h er e s e a r c ho ft h e m o v i n go b j e c t s t r a c l 【i n gs y s t e m m 勾o r ：c o m p u t e ra p p l i c a t i o nt e c h n o l o g y a u t h o r ：b e ib e iz h a n g s u p e i s o r ：p r o fg u o q i a n gx i a o a bs t r a c t m o v i n go b je c tt r a c k i n gi nv i d e 0s e q u e n c e si st h e 缸1 d 锄e m a la n dc h a l l e n 西n g r e s e a r c ht o p i c si nt h ea r e ao f c o m p u t e rv i s i o na tp r e s e n t t h e yh a v e 野e a tr e s e a r c ha n d a p p l i c a t i o nv a l u e si nm o d e mi n d u s t 吼m i l i t a n a v i g a t i o na n ds p a c e n i 曲ta r e a t h em o v i n go b j e c tt r a c k i n gs y s t e mi n c l u d e st w oi m p o r t a n tp a r t st h a ta r em o v i n g o b j e c td e t e c t i o na n dt r a c k i n g t h em a i nc o n t r i b u t i o n si nt h i sd i s s e n a t i o na r e2 u sf 0 1 l o w ： t h r e em e t h o d so fm o v i n go b j e c td e t e c t i o n ，i n c l u d i n gd i 仃e r e n c eb e t 、e e na d j a c e n t f a m e s ，b a c k 乒o u l l ds u b t r a c t i o na i l do p t i c a ln o w ，a r ed i s c u s s e d a c c o r d i n gt ot h e c h a r a c t e r i s t i co fv i d e o ，w eu s et h es e g m e n t a t i o na l g o r i t h mb a s e do nc h a l l g eo f m u l t i 一位i i l l ee d g e s b a s e do nt h i sa l g o r i t h m ，e d g ed 调b r e n c e sb e t w e e nag r o u po f 仔a m e sa r eu s e dt od r a wt h ea r e ao f m o v i n go b j e c t s ；t h e n ，b a c k 孕o u n dp i x e l sa r e r e m o v e dt h r o u g hs e t t i n gu pp i x e l - m e a s 谢n gw i n d o wa n dt h et h r e s h o l d ；t h ea r e a so f o b je c t s a r es e t u pb ym o 印h o l o g yo p e r a t o r t l l i sm e t h o dh a sm ea d v a n t a g e so f h i g h s p e e da n dc o n v e n i e n to p e r a t i n g t h ea c c u r a c ya n ds t a b i l i t yo fo b j e c t 妇c k i n gd 印e n do nt h ea 1 9 0 r i t h mo f m o v i n g o b je c tt r a c k i n gt oa 铲e a te x t e n t m o s to ft h ee x i s t i n ga p p r o a c h e sh a v et op r o c e s s ea1 0 t o fd a t a a n d ，t h e r e f o r e ，t h e ya r ev e 巧c o m p l i c a t e d 1 w oo b je c tt r a c k i n ga l g o r i t l n s ， t r a c k i n gv i d e oo b j e c tb a s e do nc e n t r o i da n dv e c t o ra n dk a l m a nf i l t 翻n gf o rt r a c k i n g v i d e oo b je c t sb a s e do nm o t i o ne s t i m a t i o n ，a r ep r o p o s e di nt h i sd i s s e n a t i o n t h eb a s i c i d e ao ft h ef o m l e ri sa sf o l l o w s a f t e rv i d e oo b j e c t ss e 星m e n t a t i o n ，v i d e oo b i e c t sa r e d i v i d e di n t os o m er e 百o n su s i n gr e g i o n g r o w i n gm e t h o d t h e nw i mt h ec e n t r o i da n d m ed i r e c t i o no ft h ev e c t o ro fe a c hr e g i o ni ns u c c e s s i v et w o 仔a m e so fav i d e os e q u e n c e ， i ti sa b l et ot r a c km u l t i p l en o n d g i dm o v i n go b je c t sf a s t ，e m c i e n t l ya n d a u t o m a t i c a l l y t h eb a s i ci d e ao ft h e1 a n e rc a nb ed e s c r i b e da s f 0 1 1 0 w s f i f s t l y ，v i d e oo b je c t sa r e s e g m e n t e da 1 1 dm e i rc e n t r o i d sa r ec a l c u l a t e d t h e n ，k a l m 锄f i l t e r i n gi su s e dt op r e d i c t t h eo b j e c tc e n t l o i d si nt h en e x t 行锄ew i t ht h ei n f o 咖a t i o no fc e n t r o i d sa i l dm o t i o n i n j 0 yw o r d s ： m o v i n go b j e c tt r a c k i n g m u l t u i f r a m e s e d g ed i f f e r e n c ec e n t r o i d v e c t o r m o t i o n 。v e c t o r k a i m a n f i l t e r i g 吣喇 乜 m 眦盯 m 吨 ；刍 m南砌如耐 m 培 删 溉 嘲 略 的 鼢 吣州 m 诅 们 眵竺 酣哳 呐一 p 雒m 毗 砒 吼 淼一 独创性声明 本人提交的学位论文是在导师指导下进行的研究工作及取得的 研究成果。论文中引用他人已经发表或出版过的研究成果，文中已加 了特别标注。对本研究及学位论文撰写曾做出贡献的老师、朋友、同 仁在文中作了明确说明并表示衷心感谢。 学位论文作者：孤贝处签字日期：加矿年乎月彩日 学位论文版权使用授权书 本学位论文作者完全了解西南大学有关保留、使用学位论文的规 定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允 许论文被查阅和借阅。本人授权西南大学研究生院( 筹) 可以将学位 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩 印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书，本论文：口不保密， 口保密期限至年月止) 。 学位论文作者签名：刍淑贝 签字日期： 剃年午月万日 导师签名：乞膨 1一 签字日期：廖括年办月必日 第一章绪论 第一章绪论 本章着重阐述了论文研究的背景和研究意义，分析视频目标跟踪系统国内外 相关领域的主要研究成果及存在的问题。最后介绍了本论文的研究内容以及论文 的结构安排。 1 1 研究背景及意义 视频运动目标跟踪作为核心课题之一，融合了图像处理、模式识别、人工智 能、自动控制以及计算机等许多领域的先进技术。由于目标跟踪的结果蕴含了场 景中每个运动目标的大量时空信息，视频跟踪技术【1 3 】自二十世纪六十年代以来， 得到了极大的发展，它在军事视觉制导、机器人视频导航、安全监测、交通管制、 医疗诊断、虚拟现实和参数现实、战场警戒、视频压缩以及气象分析等许多方面 都有广泛应用【】。近年来，视频跟踪技术在许多行业中获得应用，影响也日益扩 大，引起众学者对其关注。 运动对象的分割，也叫视频分割，是将视频图像序列划分成若干的运动对象， 并在时间轴上对这些运动对象进行跟踪。通常一个视频场景由背景和目标组成， 而视频序列中的运动目标往往是视频序列的重要组成部分，因此如何分割出视频 对象，对视频图像分析具有重要的意义。视频分割在很多领域有非常重要的作用， 在视频编码中，基于内容和利用人眼视觉特性的新一代编码技术已经提出，提取 视频对象可以有效地提高压缩效率，并为存储和传输提供便利。在m p e g 4 标准和 正在制定的m p e g 7 标准中提出了基于对象的检索和浏览技术，而视频对象分割技 术则是其关键技术之一。另外视频分割在模式识别、计算机视觉、视频检索等领 域得到了广泛的应用1 7 】。 目标跟踪是对运动对象分割的一个自然延伸，更是随着数字视频技术的发展 以及应用而产生的一个新的研究课题。由于目标跟踪的结果蕴涵了场景中的每一 个运动的大量时空信息( 实际反映了该视频流中的主要的内容信息) ，因此该课题 在基于内容的视频传输、视频检索、医学图像分析以及数字监控等各个领域有着 十分重要的作用。另外目标跟踪技术在军事以及民用方面也被广泛应用，例如， 在军事领域的战地侦察中，运动目标的跟踪不仅能给侦察员提供目标线索，同时 也能根据跟踪得来的数据，控制相关武器迅速锁定目标，奠定胜局【8 】。在复杂的背 景下，人眼观察运动的目标是很容易的( 基于大量的先验知识) ，但是如何使计算 机能够有效的跟踪视频流中的运动目标，却是一项富有挑战性的工作，因此研究 针对运动目标跟踪的系统是非常有意义的一项工作。 阳南入学硕士学位论文 1 2 研究现状与存在的问题 随着网络带宽的增加和多媒体技术的发展，互联网“流媒体”的应用日益广 泛。国际压缩编码标准m p e g 一4 的制定，不仅使得与流媒体应用有关的技术得到 了标准化，而且m p e g 4 中，基于内容的交互功能的提出，也对现有视频处理技术 提出了挑战。通过定义视频对象面( d e oo b j e c tp 1 a 1 1 e ，v o p ) 。m p e g 一4 提出了基 于内容的交互功能，这使得视频分割研究也逐渐集中于基于对象的分割【9 1 1 1 。 通常意义下的分割是指根据给定的标准对图像和视频进行标记分离的一种操 作，而基于对象的视频分割则是指将视频序列按一定的标准分割成区域，其目的 是从视频序列中提取出语义上有一定意义的实体，也就是要提取出m p e g 4 所定义 的视频对象。目前这方面的研究一般都是将运动对象视为有意义的实体，所以其 分割是指利用对象的某些特征信息来将前景( f o r e g r o u n d ) 运动物体从背景 ( b a c k g r o u n d ) 中提取出来。由于提取的复杂性，国内当前的研究大都只针对静止的 背景，但国外已有许多的研究开始涉及运动背景的情形。 视频运动目标提取的目的是从序列图像中将变化区域从背景图像中提取出 来。运动区域的有效分割对于目标分类、跟踪和行为理解等后期处理是非常重要 的，因为以后的处理过程仅仅考虑图像中对应于运动区域的像素。然而，由于背 景图像的动态变化，如天气、光照、影子及混乱干扰等的影响，使得运动检测成 为一项相当困难的工作。 国内外在视频运动目标提取这一课题做了许多研刭1 锄4 1 。国外已经取得了一 定的较好成果【1 8 】【1 9 】【2 4 】，许多相关技术己经开始应用到实际系统中，但是国内效果 相对落后，尤其应用到军事领域，国内相差较大。 目前有比较多的文献对于运动目标跟踪的算法进行了讨论【1 2 卅5 1 ，常用的数学 工具有卡尔曼滤波( k a l m a i lf i l t e r ) 、c o n d e n s a t i o n 算法及动态贝叶斯网络( d y n 锄i c b a y e s i 弛n e 觚o r k ) 等，其中卡尔曼滤波是基于高斯分布的状态预测方法， c o n d e n s a t i o n 算法是以因子抽样为基础的条件密度传播方法，结合可学习的动态模 型，可完成鲁棒的运动跟踪。目前，就跟踪对象而言，有跟踪刚体目标如车辆等 和跟踪非刚体目标如人等；就跟踪视角而言，有对应于单摄像机的单一视角、对 应于多摄像机的多视角和全方位视角；当然还可以通过跟踪空问( 二维或三维) 、 跟踪环境( 室内或室外) 、跟踪个数( 单目标或多目标) 、摄像机状态( 运动或固 定) 等方面进行分类。比较典型有差分图像算法、光流算法、轮廓跟踪算法、模 型跟踪算法、特征跟踪算法、区域跟踪算法、对象跟踪算法等。 2 第一苹绪论 1 2 1 视频运动目标提取 视频序列可看作一类特殊的三维图像，它是三维场景在二维图像平面上某一 时刻的投影。所谓视频对象是指视频图像序列中具有语义意义的实体。它可以是 任意形状的区域，一般由它的边缘轮廓来界定，其内部通常具有不一致的低层次 特征，例如，颜色、亮度、纹理等。 所谓视频分割就是通过将视频序列中每一帧图像分割成任意形状的图像区 域，也就是所谓的视频对象面v o p ，并使每一个v o p 能描述一个具有语义意义的 对象或感兴趣的视频内容。视频分割的传统做法是基于帧的分割，从某种程度上 讲，它只是真正视频分割的一个前期步骤，而基于对象的视频分割与传统的分割 方法不同，它的最终的目的是要得到具有实际意义和使用价值的信息。因而，如 何提取或分割出视频对象( v i d e o0 b j e c t ，v o ) 就成为基于对象的视频分割中一个重 要的问题，然而，完全自动的提取语义上有意义的视频对象是非常困难的。通过 提取视频对象可以很大程度地提高压缩效率，这不仅可为传输和存储视频图像提 供便利，还可对静止或动态场景进行查询和交互。由于利用提取得到的“关键帧”， 不仅可以更好地进行检索，也能为互联网浏览和查询提供一个简便而有效的方式， 因此，基于对象的视频分割技术己成为基于内容的检索、编码和视频数据库操作 的关键技术，其不仅是计算机视觉研究的难点之一，同时也是新一代多媒体交互、 流媒体应用等新兴领域的研究热点。 从时间域和空间域来分，传统的视频目标提取大致可以分两类，一类以空阿 同性为准则，先用形态学滤波器或其它滤波器对图像作预处理；然后对该图像的 亮度、色度或其它信息作空间上的分割以对区域作边缘检测；之后作运动估计， 并合并相似的运动区域以得到最终的提取结果。另一类算法主要以时间变化检测 作为准则，这类算法主要通过帧差检测图像上的变化区域和不变区域，将运动物 体与静止背景进行分割。 从利用的信息来分，主要可以分为利用运动信息方法、利用密度信息方法、 利用时空亮度梯度信息方法以及综合利用不同信息等几大类。利用运动信息主要 是通过首先计算运动场，然后对场景分割，提取运动目标，如光流算法。n 嘶1 2 列 等人提出利用高阶统计方法将运动目标从静止背景分离出来的算法，该算法主要 利用了密度信息，同时还考虑了运动背景的情况。h o t t e r 和t h o m a 【2 6 】等人提出了基 于分层结构的自项向下的运动法，其主要利用时空亮度梯度信息，通过对不同的 运动物体计算出不同的运动参数来将不同的运动对象分割出来。通常情况下，由 于利用单一信息不能得到满意的分割效果，因此，现在越来越多的研究开始利用 信息融合技术来将根据不同信息分割得到的结果进行融合，以得到较好的分割效 西南大学硕十学位论文 果。p e d e r s i n 【2 7 】等人提出了同时利用运动场和亮度信息的分割方法，由对象在三维 场景中的运动来产生相应二维图像序列的一致性运动场。因为图像序列的某些区 域在时间轴上的运动具有一致性，所以可将图像分割成具有一致运动的区域，由 此来提取运动目标。 从自动程度上目标提取可分为自动提取和半自动提取两种提取方式。在目标 分割或提取算法研究的早期，主要集中在自动提取法。后来人们逐渐地认识到凭 借现有的技术实现全自动地v o p 分割或许为时过早，借助于人工的半自动提取方 法，也许是可行的折衷选择。自动提取方法包括基于运动信息的时空提取法、基 于变化区域检测的时空提取法、基于运动跟踪的时空提取法等等。其中基于运动 跟踪的时空提取法又包括基于运动参数模型的跟踪算法、基于对象轮廓的跟踪算 法、基于活动轮廓模型的算法等。借助于人工参与半自动提取方法主要分为两步： 帧内提取和帧间提取。帧内提取即在视频序列的关键+ a ，在用户的参与下确定 精确边界，然后在后续中再采用自动跟踪的提取算法来实现帧间提取。 目前几种常用的方法如下： ( 1 ) 背景减除( b a c k 酉o u n ds 讪i t r a c t i o n ) 背景减除方法【2 8 】【3 2 1 是目前运动分割中最常用的一种方法，它是利用当前图像 与背景图像的差分来检测出运动区域的一种技术。它一般能够提供“最完全的特 征数据”，但对于动态场景的变化，如光照和外来无关事件的干扰等特别敏感。其 效果如下图1 1 所示： 溯邋 曝 ( a ) 背景参考图( b ) 当前视频帧( c ) a 与b 的帧差图 图1 一l 背景减除法中，运动目标区域提取示意图 ( 2 ) 时间差分( t c m p o r a ld i 能r e n c e ) 时间差分【3 3 j 【3 4 j 方法是在连续的图像序列中两个或三个相邻帧间采用基于像素 的时间差分并且阈值化来提取出图像中的运动区域。例如l i p t o n 【3 3 】利用两帧差分方 法从实际视频图像中检测出运动目标，进而用于目标的分类与跟踪；一个改进的 方法是利用三帧差分代替两帧差分，如v s a m 【3 5 】开发了一种自适应背景减除与三 帧差分相结合的混合算法，它能够快速有效地从背景中检测出运动目标。时间差 分运动检测方法对于动态环境具有较强的自适应性，但一般不能完全提取出所有 4 第一章绪论 相关的特征像素点，且产生的运动边缘经常中断。其效果如图1 2 所示。 锄 i 滗 礼l - ，l l 端。 铀l l 。隰 淄i j ! ：一( f7 = | = 姒： ( a ) 前一帧图( b ) 后一帧图( c ) 前后两帧的帧差图 图1 2 时间差分法中，运动目标边缘提取示意图 ( 3 ) 光流( o p t i c a lf l o w ) 基于光流方法【3 8 的运动检测采用了运动目标随时间变化的光流特性，如 m e v e r 等【3 6 】通过计算位移向量光流场来初始化基于轮廓的跟踪算法，从而有效地提 取和跟踪运动目标。该方法的优点是在摄像机运动存在的前提下也能检测出独立 的运动目标。然而，大多数的光流计算方法相当复杂，且抗噪性能差，如果没有 特别的硬件装置则不能被应用于视频流的实时处理。关于光流更加详细的讨论可 参见b 鲫r o n 【3 7 】等的文章。当然，在运动变化检测中还有一些其它的方法，如f r i e d m a n 与r u s s e l l 【3 9 】利用扩展e m ( e x p e c t a t i o nm a x i m i z a t i o n ) 【4 0 】算法，为每个像素建立了混 合高斯分类模型，该模型可以自动更新，并能自适应地将每个像素分类为背景、 影子或者运动前景，在目标运动速度缓慢的情况卜亦能较好地完成运动区域的分 割，并可以有效地消除影子的影响；另外，s t r i n g a 【4 1 】也提出了一种新颖的基于数 学形态学的场景变化检测算法，在变化的环境条件下获得了相对稳定的分割效果。 上述三种目标检测方法各有优劣，相对适用范围见表1 1 。 表卜1 三种目标方法的比较 方法背景减除法时间差分法光流分析法 运动目标位置、人小、运动目标位置、大小、 所得信息运动目标边界信息 形状等信息形状等信息 适用范i 制摄像头固定 摄像头固定摄像头固定、运动 外界条件变化的影l 响 火 小 中 复杂度 中 小 人 以上方法都是在算法下自动完成运动目标的提取，由于在图像分割中固有的 困难，即使用上时问维的信息，仍然不能准确完整的提取出运动目标，影响到后 续的跟踪处理。解决的办法是，针对特定应用场合，在人的参与下，可以加上一 些先验知识的约束，提高运动对象检测和跟踪的准确度。 1 2 2 运动目标跟踪 跟踪等价于在连续的图像帧间创建基于位置、速度、形状、纹理、色彩等有 曲南大学硕士学位论文 关特征的对应匹配问题。在不同视角下，跟踪的具体方法有些不同，但总体上可 分为四类，并以人的跟踪为例大概介绍。 ( 1 ) 基于模型的跟踪( m o d e l b a s e dt r a c l 【i n 曲 比如对人的跟踪，人体表达方法有： 线图法( s t i c kf i g u r e ) ：该方法尤其适用于对人的表示，人运动的实质是骨 骼的运动，因此该表达方法将身体的各个部分以直线来近似，例如k a r a u l o v a 【4 2 】建 立了人体运动学的分层模型，用于单目标视频序列中人体的跟踪。 二维轮廓( 2 dc o n t o u r ) ：该目标表达方法的使用直接与目标在图像中的投影 有关，如j u 等【4 3 】提出的纸板人模型，它将人的肢体用一组连接的平面区域块所表 达，该区域块的参数化运动受关节运动( a n i c u l a t e dm o v e m e n t ) 的约束，该模型被用 于关节运动图像的分析；n i y o g i 与a d e l s o n 【4 4 】利用时空切片方法进行人的跟踪：首 先观察由人的下肢轨迹所产生的时空交织模式，然后在时空域中定位头的运动投 影，接下来识别其它关节的轨迹，最后利用这些关节轨迹勾画出一个行人的轮廓。 立体模型( v o l u m e t r i cm o d e l ) ：它是利用广义锥台、椭圆柱、球等三维模型来 描述人体的结构细节，因此要求更多的计算参数和匹配过程中更大的计算量。例 如r o h r 【4 5 】使用1 4 个椭圆柱体模型来表达人体结构，坐标系统的原点被定位在躯干 的中心，目的是想利用该模型来产生人的行走的三维描述，实现单目图像序列中 人的跟踪。 模板匹配是利用预知的对象特征，产生匹配模板，并在待匹配图像中搜寻对 象，当相关函数有了极值时，就可以判定为对象。设：模板叠放在图像上，自上 而下，自左而右平移，可以使用如下相关函数： mm 最，y ( f ，) 玎( f ，) 】2 r ( x ，y ) = 旦专卜矿一 ( 1 1 ) 阪y ( f ，川2 一 f = 1 户l 其中( x ，y ) 为其覆盖下的那一块子图左上角的坐标，( f ，) 为像素点在模板内的 坐标，z ( f ，) 为模板像素点的灰度值，最，( f ，) 为图像相应点的狄度，m 为模板长、 宽方向像素点个数。 在理想情况下， 最，y ( f ，) 一r 丁( f ，歹) 一。 其中c 为常数，此时r ( 彳，y ) 能取到最大值，从而得到最佳匹配点。 对模板模型的直接匹配，实际上是对静态对象图像的处理分析，在运动对象 较大时，计算量太大，难以实时应用。 6 第一章 绪论 ( 2 ) 基于区域的跟踪( r e g i o n b a s e dt r a c l ( i n g ) 基于区域的跟踪方法目前已有较多的应用，例如w r e n 【4 6 】等利用小区域特征进 行室内单人的跟踪，文中将人体看作由头、躯干、四肢等身体部分所对应的小区 域块所组成，利用高斯分布建立人体和场景的模型，属于人体的像素被规划于不 同的身体部分，通过跟踪各个小区域块来完成整个人的跟踪。基于区域跟踪的难 点是处理运动目标的影子和遮挡，这或许可利用彩色信息以及阴影区域缺乏纹理 的性质来加以解决，如m c k e i l l l a 【2 9 】等首先利用色彩和梯度信息建立自适应的背景 模型，并且利用背景减除方法提取运动区域，有效地消除了影子的影响；然后，跟 踪过程在区域、人、人群三个抽象级别上执行，区域可以合并和分离，而人是由 许多身体部分区域在满足几何约束的条件下组成的，同时人群又是由单个的人组 成的，因此利用区域跟踪器并结合人的表面颜色模型，在遮挡情况下也能够较好 地完成多人的跟踪。 ( 3 ) 基于轮廓的跟踪( c o n t o u r - b 船e dt r a c k i n 曲 基于轮廓的跟踪思想是利用封闭的曲线轮廓来表达运动目标，并且该轮廓能 够自动连续地更新。例如p a r a g i o s 与d 甜c h e 【4 7 】利用短程线的活动轮廓、结合l e v e l s e t 理论在图像序列中检测和跟踪多个运动目标；p e t e r f r e u n d 【4 8 】采用基于卡尔曼滤 波的活动轮廓来跟踪非刚性的运动物体；i s a r d 与b l a k e 【4 9 】利用随机微分方程去描述 复杂的运动模型，并与可变形模板相结合应用于人的跟踪。相对于基于区域的跟 踪方法，轮廓表达有减少计算复杂度的优点，如果开始能够合理地分开每个运动 目标并实现轮廓初始化的话，即使在有部分遮挡存在的情况下也能连续地进行跟 踪，然而初始化通常是很困难的。 ( 4 ) 基于特征的跟踪( f e a t u r e b a s e dt r a c k i n g ) 基于特征的跟踪包括特征的提取和特征的匹配两个过程。p 0 1 a n a 与n e l s o n 的文 章【5 0 】就是一个很好的点特征跟踪的例子，文中将每个运动目标( 行人) 用一个矩 形框封闭起来，封闭框的质心被选择作为跟踪的特征；在跟踪过程中若两人出现 相互遮挡时，只要质心的速度能被区分开来，跟踪仍能被成功地执行；该方法的 优点是实现简单，并能利用人体运动来解决遮挡问题，但是它仅仅考虑了平移运 动，如果结合纹理、彩色及形状等特征可能会进一步提高跟踪的鲁棒性。另外， s e g e n 与p i n g a l i 的跟踪系统【5 1 1 使用了运动轮廓的角点作为对应特征，这些特征点采 用基于位置和点的曲率值的距离度量在连续帧间进行匹配。以卡尔曼滤波形式的 点、线特征的跟踪技术在计算机视觉领域中已被很好地开发，如j a i l g 与c h o i 5 2 】利 用区域的形状、纹理、色彩和边缘特征信息建立了活动模板，结合卡尔曼滤波的 预测方法，使特征匹配能量函数最小化来完成运动目标的跟踪过程，该活动模型 7 _ 曲南大学硕士学位论文 对于非刚性物体的跟踪具有很好的自适应性。需要指出，基于多摄像机的人的运 动跟踪也得到了一定的研究，如u t s u m i 【5 3 】利用多摄像机对人进行跟踪，通过选择 最好的视点来解决人与人之间的互遮挡和自身遮挡问题：c a i 等【5 4 】提出了在不同 摄像机之间进行目标匹配的概率方法，并且对相邻摄像机之间的自动切换问题作 了探讨。 1 3 运动跟踪的难点问题 到目前为止，运动分析研究已经取得了很大的成果，一些运动分析系统在实 际应用中也取得了较好的效果，但下述几个方面仍是今后研究的难点问题： ( 1 ) 运动分割( m o t i o ns e g m e n t a t i o n ) ：快速而准确地进行运动分割是个相当重要 但又是比较困难的问题。这是由于动态环境中捕捉的图像受到多方面的影响。比 如天气的变化、光照条件的变化、背景的混乱干扰、运动目标的影子、物体与环 境之间或者物体与物体之间的遮挡、甚至摄像机的运动等，这些都给准确有效地 运动分割带来了困难，以运动目标的影子为例，它可能与被检测的目标相连，也 可能与目标分离。在前者情况下，影子扭曲了目标的形状，从而使得以后基于形 状的识别方法不再可靠：在后者情况下，影子有可能被误认为是场景中一个完全错 误的目标。所以在图像的运动分割中如何建立对于任何复杂环境的动态变化均具 有自适应性的背景模型仍是相当困难的问题。 ( 2 ) 遮挡处理( o c c l u s i o nh a n d l i n g ) ：目前，大部分运动分析系统都不能很好地解 决目标之间互遮挡和人体自遮挡问题，尤其是在拥挤状态下，多人的检测和跟踪 问题更是难于处理。遮挡时，人体只有部分是可见的，而且这个过程一般是不可 训练的，简单依赖于背景减除进行运动分割的技术此时将不再可靠，为了减少遮 挡或深度所带来的歧义性问题，必须开发更好的模型来处理遮挡时特征与身体各 部分之间的准确对应问题。另外，一般系统也不能完成何时停止和重新开始身体 部分的跟踪，即遮挡前后的跟踪初始化缺少自主方法。目前有人利用统计方法可 获得的图像信息中进行人体姿势、位置等的预测，不过，对于解决遮挡问题最有 实际意义的潜在方法应该是基于多摄像机的跟踪系统。 对于运动目标的检测与跟踪算法可以从三个方面进行评价：算法精确度： 在尽可能减少人工参与的情况下，算法应该具有较低的漏检率和误检率，并且能 够得到运动目标的精确边界。计算复杂度：在一定的质量条件下，算法的复杂 度尽可能小。算法通用度：算法对目标先验知识( 颜色、形状、运动和类型等) 的依赖程度尽可能低。事实上，任何算法都要在精确度，复杂度以及通用性等方 面进行折中考虑，对于不同的应用环境、图像类型和性能要求，都有各自不同跟 8 第一章绪论 踪方法，而不同的跟踪算法往往是针对不同的目标特征描述来设计的。 1 4 论文研究的内容及其所做的工作 如前所述，运动目标的跟踪是计算机视觉、运动图像编码、基于内容的检索、 安全监控等视频分析和处理的关键步骤。基于视频信息处理和技术发展的基础理 论研究的必要性，本课题重点研究固定场景下的人体运动目标的跟踪技术，研究 了区域分割、形心、k a l m a l l 滤波器、运动矢量等，提出了”基于形心和矢量的视频 对象跟踪”和“基于运动估计的k a l m a n 滤波视频对象跟踪”两种跟踪算法。首先利用 背景差分的方法，把运动目标检测出来；然后利用视频序列连续两帧中区域的形 心及其矢量方向进行视频跟踪，或者利用k a l m a n 滤波器和运动矢量跟踪算法。该 系统采用v is u a lc + + 6 0 在w i n d o w s 下编程实现，能对视频文件或u s b 摄像机的视频 流进行处理，本系统在p 41 7 g ，5 1 2 m 内存的计算机、w i n d o w sx p 操作系统下正确 运行，文中实验结果均采用此环境。 1 5 论文的创新点 1 我们在区域分割、形心及方向矢量的深入研究的基础上，提出了基于形心 和矢量的视频对象跟踪算法的跟踪方法，实验结果证明该算法有效、可行。 2 我们对基于形心和矢量的视频对象跟踪算法的跟踪方法进行改进，加入 l 【a l i i l a l l 滤波器和运动矢量，提高算法的运行速度和可靠性。 1 6 论文的结构 本文的主要工作内容及章节安排如下： 第一章：介绍视频运动目标检测与跟踪的背景、发展情况和现状，分析现有 的各种检测和跟踪技术的优缺点，阐明本文工作的意义和内容安排。 第二章：首先将视频运动目标检测技术按照不同的环境进行分类，随后具体 分析针对固定场景下视频运动对象的分割方法，介绍本文所采用的基于多帧边缘 差异的视频运动对象分割方法。 第三章：详细阐述了本文提出的基于形心和矢量的视频对象跟踪算法的跟踪 方法，该算法用形心和矢量可以同时对多个运动对象进行跟踪，对运动物体的出 现和消失，以及非刚性物体的尺度变化和变形，具有较强的鲁棒性。 第四章：本章首先叙述了当前用于目标跟踪跟踪的k a l m a n 滤波技术并分析了 其优缺点，随后提出了基于运动估计的k a l i l l a n 滤波视频对象跟踪算法，实验结果 9 西南大学硕士学位论文 表明该方法简单、快速、有效。 第五章：全面总结了本文研究成果以及存在的不足，指出了后续研究工作的 方向以及该领域研究的发展趋势。 i o 第二二章基于多帧边缘差异的视频运动对象分割方法 第二章基于多帧边缘差异的视频运动对象分割方法 2 1 引言 目标跟踪的首要任务是确定场景中有运动的目标，就是检测视频中被监视的 场景图像是否有所变化。如果图像有变化，则说明有新的目标出现，反之则认为 没有新目标出现。 通常一个好的视频目标检测算法应具有以下的特征：在各种天气条件下应是 鲁棒的；对环境光线的变化应是鲁棒的；能适应场景中个别物体运动的干扰，如 树木的摇晃，水面的波动。 一个好的背景维持算法应该能够避免以下几个问题： 目标运动带来的问题：在一个背景中移动的目标，当其移动后，移开的地方 不应该作为前景目标的一部分； 时间性问题：系统对亮度随时间缓慢的变化是鲁棒的；部分背景晃动问题， 如树枝、显示屏等。一个前景的象素不应被背景模型所替代； 初始化问题：在一些监视场景中，没有运动目标的“纯 背景图像是不可得 到； 前景孔洞问题：当一个色彩均匀的目标运动时，其内部的象素不被检测到； 目标丢失问题：一个运动目标长期停止在场景中，而成为背景图像的一部分； 阴影问题：目标的阴影也会成为前景目标的一部分。 人们总希望一个好的视频目标检测和提取算法，能适用于监视各种环境，但 实际应用中要解决这个问题是十分困难的，因为实际应用中不但要考虑到算法要 尽量适应于多种环境，而且除非有专门的硬件支持，否则研究者不得不在算法的 复杂度、可靠性以及实时性等方面折衷考虑。目前大多数视频目标检测和提取算 法或多或少是针对解决某一问题而提出的，这样也就带来了对视频目标检测算法 的分类。 一般而言，视频目标检测算法可以按照被监视场景是室内还是室外进行分类， 算法可分为室内监视算法与室外监视算法。显然对于一个室内监视系统而言，环 境条件变化是较小，因此监视算法相对易于设计，而其监视内容主要是人以及场 景中的物品，如被遗留在场景中的物品或者是从场景中移动走的物品等等。另一 个区分视频目标检测和提取的标准是看场景与摄像头之间是否存在相对运动，当 视频中背景与摄像头之间位置保持相对不变，那么背景图像的大小和位置在不同 帧中将保持不变，所以可以直接利用帧间同一位置象素的亮度或颜色的差值来进 行变化检测并提取目标。而背景与摄像头之间存在着相对运动时，必然会引起背 1 1 两南人学硕十学位论文 景图像的位置，大小和形状在不同帧中有所改变，显然利用帧间的差异来做为检 测背景变化的标准是不合适的，其算法应与背景静止时的变化检测算法有所区别。 因此在视频监视中，往往根据摄像头与背景之间是否有相互运动，将视频监视算 法分为静止背景和运动背景的目标检测和提取两类。显然综合上述两种分类方法 视频监视可有室内静止背景、室外静止背景、室内运动背景、室外运动背景四种。 本章着重介绍静止背景下视频序列中目标检测和提取方法。 2 2 视频运动对象对象分割的概述 运动目标检测常用的方法主要有两类光流法和差分法。由于光流法计算复杂， 不适宜实时处理【37 1 ，目前普遍采用差分法进行运动目标检测。 整个检测过程分为三个层次，首先是基于像素级的检测，其次是面向变化区 域级的检测，最后是面向帧级的检测。基于像素级的检测是指对包含运动目标的 视频序列图像进行差分，二值化，逐点检测判断背景与运动目标；面向变化区域级 的检测是指对像素检测后得到的二值图像中的目标区域采用形态学滤波和连通性 检测的方法提高检测的准确度；面向帧级的检测是指对整帧图像进行去噪处理，使 其适应环境光线变化。本节结合大量的文献，总结出目前常见的运动目标检测所 涉及到的几部分问题。它们包括差分、二值化、形态学滤波、连通性分析。在下 文中将进行详细讨论。 2 2 1 差分 差分是面向像素级的变化像素检测，可以分为连续帧间差分法和背景差分法。 连续帧间差分法【3 5 1 是将连续两帧进行比较，从中提取出运动目标的信息，如图2 1 所示： 图2 1 相邻两帧图像差分法基本原理流程 这种方法对动态环境有较好的适应性，但提取出运动目标的完整性较差还会 引起不良后果：一种是两帧问物体重叠部分没有检测出来，即只检测出物体的一 部分；另一种是检测出物体在两帧中的信息，即检测出的目标比真实的物体大很 多。 1 2 第二章基于多帧边缘差异的视频运动对象分割方法 背景差分法是将当前帧与背景帧进行比较，从中提出运动目标的信息，如图 2 2 所示，这种方法能够较完整地提取目标点，但对场景的动态变化( 如光照或外 部条件引起的场景变化) 较为敏感。 图2 - 2 基本背景差分法原理流程 随着计算机处理速度的提高，人们在速度允许的情况下努力提高着检测的准 确性，采用帧间差分尽管可以满足实时性要求，但是由于其提取运动目标的完整 性较差难以满足实际应用中对准确度的要求，人们更加偏重于采用背景差分法。 为了保证系统能够对动态环境有较好的适应性，于是人们提出了各种将连续帧间 差分法和背景差分法结合起来的方法。如础m 等 5 5 】提出的将两者结合起来的运动目 标检测模型，如图2 3 所示。 五+ 1 图2 3 m 运动目标检测模型 然而这种方法忽视背景也会随环境变化发生改变，没有考虑背景的更新问题。 e l i a 等 5 6 1 提出的采用双背景和相邻帧差分相结合的方法，这种方法将背景分为短期 背景和长期背景分别来解决光线的快速变化和背景中运动目标长时间滞留的问 题。这种算法要处理两帧背景，很明显这样增加了算法的复杂度。 2 2 2 二值化 运动目标的视频序列图像进行差分后，要对差分图像进行二值化处理，逐点 检测判断背景与运动目标，这是基于像素级的检测。传统的二值化方法是设定固 定的阈值t ，当差分值小于阈值t 时，将其判为背景像素，反之则为目标像素。见 式( 2 1 ) ， 1 3 两南大学硕士学位论文 椭寸躲d 怒譬 亿- ， 阂值的大小是由经验值确定的，在不同的环境条件下，阈值不是固定的，所 以简单的给定阈值的方法是不可取的。人们将分割的方法引入差分图像的二值化 处理问题中，希望通过分割算法能够自动选取合适的阈值将差分图像分成目标与 背景两类。如k i m 【5 7 1 等采用自适应阈值分割法，它首先假定差分图像的直方图是三 个加权单峰高斯模型混合而成，那么差分图像的混合概率密度函数为 删，= 南唧 - 筹 + 赢唧 _ 警 + 赢e 冲 - 错 ( 2 2 ， 其中，奶为差值数量，以为单高斯模型的均值，正为均值的标准差。这样阈 值问题变成了寻找鼠和易划分三个高斯模型。由于是差分图像，秒卜2 5 5 ，2 5