（电路与系统专业论文）视频目标跟踪方法研究[电路与系统专业优秀论文].pdf

摘要 摘要 视频目标跟踪是计算机视觉研究领域的一个重要组成部分，它融合了计算 机图像处理、模式识别、人工智能及自动控制等诸多相关领域的知识，形成了 一种能从图像序列中自动检测目标，提取目标位置信息，自动跟踪目标的技术。 可用于目标识别、目标分类、行为理解、智能监控等领域，本文针对视频目标 跟踪作了研究，主要内容和创新点如下： 1 提出一种视频目标跟踪方法，采用均值漂移和粒子滤波方法跟踪，结合 了概率主成分分析目标建模及改进的图切分方法，该方法在精确定位目标的同 时能较好获取目标的运动姿态。 2 提出了基于纹理的视频目标检测方法和阴影检测方法，纹理由局部二元 图统一模式纹理直方图表征。视频目标检测方法具有较好的通用性，能在一定 程度上处理视频运动阴影问题。视频阴影检测方法利用了局部二元图纹理特性， 检测出来的阴影较为完整。 3 采用概率主成份分析目标建模方法，较好地解决了目标丢失的问题。利 用预测和局部搜索，能在一定程度上解决遮挡问题。验证实验表明了该方法的 有效性。 4 设计并完成了一个实验性的视频目标跟踪软件系统，采用模块化实现， 由目标检测、阴影检测和目标跟踪等模块组成，进行了实验验证，取得了良好 的实验结果。该系统为以后研究工作的实验测试提供了便利。 本文仅研究了在摄像机固定的场景下的目标检测和阴影检测方法，目标跟踪 方面主要研究的是单目标的跟踪和简单的遮挡处理，下面的研究工作重点放在 动态场景下的结合颜色和纹理等信息的目标检测和阴影检测方法以及复杂场景 下的多目标跟踪方法的研究上。 关键词：目标检测、阴影检测、目标跟踪、局部二元图、概率主成分分析、均 值漂移、粒子滤波、图切分 a b s t r a c t i 。h e t e c h n o l o g yo fv i d e ob a s e do 场e c td e t e c t i o n a i l d 仃a c l ( i n gi so n eo fm e h o t 8 p o t si nm ef i e l do fc o m p u t e rv i s i o n ，a 1 1 dp r o v i d ea ni m p o r t a l l td a t as o u r c ef o r v 1 s 叫a n a j y s l sa n du n d e r s t a n d i n g i nt h i sd i s s e r t a t i o n ，t h er e s e a r c hi sf o c u s e do nt h e h r e ec r i i c a lp r o b l e m so fv i s u a lt a 唱e tt i a c k i n g o b j e c td e t e c t i o n ，s h a d o w d e t e c t i o n a i l do b j e c tt r a c k i n g t h em a i nc o n t r i b u t i o n so ft h j s d i s s e r t a t i o na r es u m m 撕z e da l s l a no b j e c tc o n t o u rt r a c k i n ga l g o r i t h mb a s e do np a n i c l ef i l t e r a 1 1 dg r a p hc u t h a sb e e np m p o s e d w | e i m p r o v et h ea c c u r a c yo ft l l e f o r e g r o u r l de x t r a c t i o nb v e m b e d d i n gt e x t u r ei n f o 肋a t i o na n dd i s c r i m i n a t i v e 佗a t u r e ss e l e c t i o nm e t h o di n t 0t h e g r 印hc u ta 1 9 0 n t 胁a na d a p t i v et r a c k e r b a l s e do nt h e i n t e g r a t i o n0 fp 抓i c l ef i i t e ra n d m e a ns h l 士th a sb e e np r o p o s e d ，w h i c hi s c o n c i s e ra n de 恐c t i v ec o m p a r e d 谢mt h e e x l s t m gm e t h o d so fa 妯n d t h eo 场e c tm o d e l u t i l i z i n gp r o b a b i l i s t i cp r i n c i p a l c o m p o n e n ta i l a l y s l sg i v e ss o m e g u i d a n c et 0 l eh a i l d l i n go fn l eo c c l u s i o n e x p e n m e n t so nv 撕e t yr e a l 。w o r l dv i d e od a t ad e m o n s 仃a t e 恤p r o p o s e ds c h e mn o t o 圳yj o c a t e st h et a 唱e ta c c u l a t e l yb u te x t r a c t st h eo b j c e c tc o n t o u rq u i t ew e l l z av 1 d e oo b j e c td e t e c t i o na l g o r i t h ma n da m o v i n gs h a d o wd e t e c t i o na i g o r i t l n b a s e do nt e x n l r ew h i c hi sr e p r e s e n t e d b yt h eh i s t o 伊锄o f t h eu n i f 0 肋p a t t e mo ft h e l o c a ib m a 巧p a t t e m ( l b p ) h a v eb e e np r o p o s e d v i d e oo 巧e c td e t e c t i o n a l g o r i t h mc a l l e x t r a c tt h em o v m gt a r g e tq u i t e 、v e ua n dd e a l 晰t h 廿1 ei s s u eo f m o v i n gs h a d o wt o s o m ee x t e n tb e c a u s eo f t 王l e c h a r a c t e r i s t i co fl b p t h em o v i n gs i l a d o wd e t e c t i o n a j g o n t h mr e q u l r e s0 1 1 l yas m a l ln u m b e ro fp a r a m e t e r sa i l d e x p e r i m e n t so nv a r i e t 、， r e a l 。w o n dv l d e od a t ad e m o n s t r a t em ef a v o r a b l ep e r f o n n a i l c ea 1 1 d r o b u s t n e s so f 也e p r o p o s e ds c h e m e 3 a t r a c 妯n ga l g o r i t b a s e do nt h ea ( 1 a p t i v ea p p e 绷l c em o d e lh a sb e e n p o p o s e d ，l nw h i c hm ea d a m i v em o d e li s u t i l i z i n gm ep r o b a b i l i s t i cp r i n c i p a l c o m p o n e n ta i l a l y s i s t h eo b j e c tm o d e lb a s e do nt l l ep r o b a b i l i s t i cp r i n c i p a lc o m p o n e m a n a l y s l s 1 sr o b u s t e r 觚dm o r ea c c u r a t e c o l n p a r e dw i t ht l l eo b j e c tm o d e li nm o s t i i l e x i s t i n g0 b j e c tt r a c k i n gm e t h o da i l dw ec 觚d e a lw i t ht h ei s s u eo f 0 b j e c t 面硒n 矿 b a s e do nt h em o d e l 缸r r t h e n n o r ew ec a i ll o c a t et h et a r 萨tm o r ea c c u r a t e l ya n d h a n d l e t h ei s s u eo fo c c l u s i o nt os o m ee x t e n tb ys o m ep r e d i c t i o na n dl o c a ls e a r c h 。w b d e m o n s t r a t em ef a v o r a b l ep e 响吼a n c ea 1 1 dr o b u s t n e s so ft h ep r o p o s e ds c h e m eb y e x p e r i m e n t so fm ei n t e g r a t i o no fm i sa d 印t i v eo b j e c tm o d e l a i l dm e a ns h 谂m e t l l o d 4 a ne n p e r i m e n t a lv i d e oo b j e c tt r a c k i n gs y s t e mh a sb e e nd e s i g n e da n d v e r i 丘e d b ye x p e r i m e mr e s u l t s o u rm a i nw o r ki sf o c u s e do no b j e c td e t e c t i o na n ds h a d o w d e t e c t i o nu i d e raf i x e d c a m e r as c e n e 、 m e ni tc o m e st oo b j e c tt r a c k i n g ，w em a i l l l yr e s e a r c _ ho ns i n 酉eo b j e c t t r a c k i n g t h ef 0 1 l o w i n gw o r k w i l lb ef o c u s e do nm er e s e a r c ho fo b j e c td e t e c t i o na i l d s h a d 。wd e t e c t i o nu n d e ram o v i n gc a m e r as c e n e ，a n dm u l t i - o b j e c tt r a c k i n g k e yw o r d s ：o b j e c td e t e c t i o n 、s h a d o wd e t e c t i o n 、o b j e c t 仃a c k i n g 、l o c a lb i n a r y p a t t e m 、p r o b a b i l i s t i cp r i n c i p a lc o m p o n e n t a j l a l y s i s 、m e a ns h i r 、p 枷c l ef i l t e r 、g r a p h i v 中国科学技术大学学位论文原创性和授权使用声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作 所取得的成果。除已特别加以标注和致谢的地方外，论文中不包含任 何他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究 所做的贡献均己在论文中作了明确的说明。 本人授权中国科学技术大学拥有学位论文的部分使用权，即：学 校有权按有关规定向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅，可以将学位论文编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 保密的学位论文在解密后也遵守此规定。 作者签名： 卟 第一章绪论 第一章绪论 运动目标的分割与跟踪是当前计算机视觉中非常活跃的一个研究领域。人类 通过感官感知外界的信息，而视觉信息是人类获取的主要信息。运动图像序列 中包含了比静态图像更多的有用信息。运动对象的分割，是将视频图像序列划 分成若干的运动对象，并在时间轴上对这些运动对象进行跟踪，为以后的研究 工作莫定基础，如目标识别、目标分类、基于对象的编码技术以及基于内容的 视频检索等。但是复杂的现场环境以及跟踪应用的实时性，对目标的跟踪算法都 提出很高的要求。本章首先介绍视频目标跟踪的研究背景和意义，以及相关的 研究现状进行介绍；然后简要阐述本文所做的研究工作，以及文章的组织结构 等内容。 1 1 研究背景及意义 计算机视觉的研究目的是使用计算机代替人眼及大脑对景物环境进行感 知、解释和理解。随着计算机技术的不断发展，利用计算机来实现人类的视觉 功能成为目前计算机领域中最热门的课题之一。 视频跟踪技术作为计算机视觉的一个重要课题，近年来引起越来越多的研 究者们关注，这主要由于两方面原因：一方面，计算和存储成本的大幅度下跌 使得以视频速率或近似视频速率采集存储图像序列成为可能：另一方面，视频 跟踪技术的极为广阔市场应用前景也是推动此研究的主要动力。视频跟踪技术 除了在智能视频监控系统中具有非常重要的应用外，在人机交互【1 】、运动分析、 目标识别、目标分类、机器人视觉导航【2 5 】、图像压缩、交通检测和虚拟现实 等领域也有重要应用。 除了上述民用方面的应用之外，基于图像序列的运动目标检测与跟踪技术 在军事领域，特别是制导和导航方面也有广泛的应用前景。 有了视频目标的检测和跟踪，不仅为人机交互、目标运动描述、目标识别 和目标分类等提供了基础。而在获取了跟踪定位到的目标的轮廓后，可以得到 目标的运动姿态，为运动目标的姿态识别、行为理解和安全监控等提供了理论 第一章绪论 基础 综上所述，研究运动目标检测与跟踪技术有很大的现实意义和应用价值。 1 2 视频目标跟踪概述 本节对视频目标跟踪方法进行简要的概述，描述基于视频目标跟踪的系统 结构，关键技术问题。本文着重研究基于视频目标跟踪应用系统里的目标检测、 阴影擦除和视频目标跟踪方法。 基于视频目标跟踪的应用系统框架如图1 1 所示： 图1 1 基于视频目标跟踪的应用系统框架图 一般的视频目标跟踪系统：首先要解决的就是背景建模，对视频环境的学 习建模；然后是检测视频中的运动目标，同时由于自然光等的影响运动目标不 可避免的带有运动阴影，而此投影经常作为运动目标检测出来，影响了目标检 测及后续的跟踪、行为理解和描述及身份确认等的精确性，所以在目标检测阶 段还得处理视频阴影闽题：一旦检测出运动目标，就可以进行后续的跟踪处理 了。 上面就是一般的视频目标跟踪的一个流程，其间再结合模式识别和模式分 类的方法，就有了1 1 节里提到的各种应用。 第一章绪论 1 3 视频目标跟踪的关键问题 通过对基于视频目标跟踪的应用系统框架的了解，可以看出视频目标检测、 视频阴影检测和视频目标跟踪是相关领域研究的关键问题。下边就对这几个问 题进行介绍。 1 3 1 视频目标检测 目标检测是指提取序列图像中与背景相对运动的前景目标，是视频监控的基 础。运动区域的有效检测对于目标分类、跟踪和行为理解等后期处理非常重要， 因为后续的处理过程仅仅考虑图像中对应于运动区域的像素，常用的视频目标 检测方法有以下几种： 1 3 1 1 时间差分法 时间差分法【6 】 7 】 8 】是通过计算连续图像序列中的两个或三个相邻帧间的 基于像素的时间差分，并且阈值化来提取运动区域的一种方法。一个改进的方 法是利用三帧差分代替两帧差分，如v s a m 【9 】则开发了一种自适应背景减除与 三帧差分相结合的混合算法，它能够快速有效的从背景中检测出运动目标。时 间差分运动检测方法算法简单，对于动态环境具有较强的适应能力，但一般不 能完全提取出所有相关的特征像素点，在运动实体内部容易产生空洞现象，检 测效果不是很理想，适用于简单运动检测的场合。 1 3 1 2 光流法 基于光流方法 1 0 的运动检测采用了运动目标随时间变化的光流特性，通过 计算光流来检测运动。如文献【1 1 通过计算位移向量光流场来初始化基于轮廓的 跟踪算法，从而有效的提取和跟踪运动目标。该方法的优点是在摄像机运动存 在的前提下也能检测出独立的运动目标。然而大多数的光流计算方法相当复杂， 且抗噪性能差，如果没有特别的硬件装置则不能被应用于全帧视频流的实时处 理。 1 3 1 3 背景建模法 背景建模法是目前运动检测中最常用的一种方法，它是利用对图像序列进 第一章绪论 行学习得到背景对应的统计模型，然后利用此统计模型检测运动目标的一种技 术，可以归纳到背景消除法。 文献 1 2 】中，利用最小、最大强度值和最大时间差分值为场景中每个像素进 行统计建模，并且进行周期性的背景更新；文献【1 3 ，1 4 】采用基于卡尔曼滤波的自 适应背景模型以适应天气和光照的时间变化；s t a u f f e r 等人 1 5 1 8 利用自适应的 混合高斯背景模型( 即对每个像素利用混合高斯分布建模) ，并且利用在线估计来 更新模型，从而可靠的处理了光照变化、背景混乱运动的干扰等影响。基于高 斯混合背景模型的运动检测具有较高的稳定性、可靠性和实时性，因而被广泛 采用。基于核函数概率估计的背景建模 1 9 】相对基于高斯混合模型的背景建模优 势在于不用对背景的统计模型做任何的假设，具有一定的通用性。 现在很多背景建模方法利用了视频的时域特点，利用了前几帧的图像序列， 在文献 2 0 】 2 1 中利用自回归方法进行背景建模，而文献 2 2 】利用隐马尔可夫方 法进行背景建模。还有人利用边缘特性进行背景建模，文献 2 3 】中利用把第一帧 图像划分为大小相同的模块，对每块计算边缘特性直方图，来得到背景模型。 文献 2 4 】里计算每个像素点附近的局部二元图( l o c a lb i n a 巧p a n e m s ，l b p ) 纹理直方图，并以此作为此像素点特征，进行学习得到背景模型，优点也是不 用对背景模型的分布做任何假定，且对能一定程度上处理光照变化，这是由于 l b p 对局部亮度单调变化免疫的特点。 1 3 2 视频阴影检测 上一节着重讲述了视频目标检测方法，然而运动目标检测中，目标阴影常 被误分为运动目标，影响了视频的理解，为了获得更好的运动目标分割结果， 需检测出目标阴影 2 5 2 8 】。 目前的阴影检测的方法一般分为两类，一类是基于模型的检测方法；另一 类是基于阴影属性的检测方法。 1 3 2 1 基于模型的阴影检测方法 基于模型的算法中模型的建立需要场景、对象和光照等方面的先验知识支 持，模型的建立过程较复杂。 k o l e r 等在文献 2 5 】中，从空间物体三维建模的角度出发，进行阴影的检测。 这种方法不仅需要建立运动车辆和背景环境的三维几何模型，而这些往往都是 4 第一章绪论 很难确定的，具有很大的局限性是很难实现的。k i d e o g 2 6 等人提出用双目摄像 机去除阴影的方法，他们认为在两个摄像机中通过运动分割方法产生的前景中， 不存在视差的区域则可能是阴影区，但这个条件并不一定充分。n a d i m is 和 b l l a n ub 在f 2 7 】中提出的方法是一种的依据照明和反射的物理模型方法，不依赖 物体、背景的类型和画面的几何性，但是需要训练，计算场景中来自阴影的每 个背景表面的颜色向量。 基于模型的方法由于具有某种知识模型的支持，会取得效果相对较好的检 测结果，但是其模型往往非常复杂，与非模型方法相比需要花费大量的计算时 间，尤其在背景比较复杂、光照条件比较差的场合下，模型的复杂度和计算时 间都会迅速增加。 1 3 2 2 基于阴影属性的阴影检测方法 基于阴影属性的方法是通过分析边缘、纹理信息、不同颜色空间和阴影特 征点等来检测阴影的。 在文献【2 8 】中，a n g i ew k 5 等人提出了用边界信息去除交通视频中阴影的 方法。在文献【2 9 中，h o a n g m a 等人根据阴影不改变背景的纹理这一特性，利 用基于纹理的方法进行了目标提取，该方法可直接将阴影去除，但运算量大， 阈值不好设定。 a b e v i l a c q u a 3 0 】等人对固定摄像机拍摄的灰度图像序列中的阴影去除进行 了研究，他根据阴影区比背景区暗和灰度直方图来确定阴影的大概区域，然后 对这个区域求梯度找出梯度相似的区域，同时满足这两个条件的区域就是阴影。 2 0 0 5 年，d u q u ed 等人利用阴影特性，基于h s v 颜色空间进行了阴影检测 3 l 】。m a r t e l b r i s s o n 等人利用高斯混合模型的学习特性对阴影进行学习和检测 3 2 】，增加了分割的鲁棒性，该方法的阴影判定是基于阴影在y u v 颜色空间的 特性。l e o n e 等人 3 3 】给出了利用阴影区域和背景的纹理相似性进行阴影检测的 方法，该方法的纹理表征基于g a b o r 函数，计算复杂度较高，且开始还得进行 复杂的参数训练，以获取一组g a b o r 子函数集，用来提取图像块的纹理特征。 j a c q u e s 【3 4 】等基于阴影点的亮度与相应背景点的亮度成比例这一假设，利用 归一化的交叉相关系数( n o m a l i z e dc r o s s c o r r e l a t i o n ) 进行阴影粗检测，然后利用 局部阴影区域中阴影点的亮度与相应背景点的亮度比例的均匀性，进行阴影的 进一步检测，此方法对阴影的检测效果较好，但是极易把运动物体误分为阴影。 第一苹绪论 1 3 ，3 视频目标跟踪 在前边提取了运动目标并对其进行了阴影擦除处理之后，目标跟踪系统的 关键步骤就是后续的目标跟踪。 首先我们对跟踪问题做下简单的描述。 1 3 3 1 视频目标跟踪问题描述 在视频跟踪方法中，跟踪问题可以看成是一种贝叶斯估计问题，可以认为 是从历史观测数据乙= z ，气 中推理尼时刻的目标状态值，即估计 p ( 讫i 乙) 。状态变量可以包括目标的位置、大小及运动速度，也即视频目标跟 踪里需要跟踪掌握的信息。假设状态变量初始概率密度函数p ( ) 作为先验知识 已知，那么p ( i 乙) 可以通过预测和更新两步可以递推得到： p ( j 乙一。) = i p ( 坼i 扳一。) p ( 讫一li 乙一l 地一。 ( 1 1 ) p c 她，= 掣券 2 ， 式中p ( i 一。) 由目标的运动状态方程定义，p ( z 。l 砟) 由目标的观测方程定 义，p ( z 。l 乙一。) 为归一化常数，具有如下形式： p ( 气i 乙一1 ) = l p ( z 七l 诈) p ( 稚i z ：一l 地 ( 1 3 ) 在获得了后验概率密度估计后，对于任何被估函数g ( 坼) ，其最小方差意义下 的最优估计可以由条件均值给出 ，( g ( ) ) = e 【g ( 黾) iz j 】= i g ( 吒) p ( 以l 乙) 呶 ( 1 4 ) 式( 1 1 ) 和式( 1 2 ) 构成了贝叶斯估计的基础，分别为预测及更新方程。由于在 ( 1 1 ) 和式( 1 2 ) 中存在高维积分运算，实际中很难求解出状态的最优解析解的形 式，利用上两式子得到状态解仅仅是概念上的，实际中要利用数学工具来近似。 最常用的有k a l m a n 滤波 3 5 】、基于网格的滤波方法( g r i d b a s e df i l t e 曲g ) 3 6 】、 u n s c e n t e dk a l m a l l 滤波方法 3 7 ，3 8 】以及m o n t ec a r l o 方法【3 9 等。这些方法都不 是最优的，如k a l m a n 滤波方法，在模型为线性，p ( i 吒一。) 和p ( ni 以) 均为高 斯分布情况下可以得到m m s e ( m i n i m u mm e a ns q u a r ee n 0 r ) 意义上的坼的最优 估计。但是实际应用中状态估计问题往往不是高斯线性的；基于网格的滤波方 6 第一章绪论 法通过确定的数值积分方法，能得到精确的估计结果，但是高维情况下计算量 太大；u n s c e n t e dk a l m a n 滤波对非线性模型的描述精确度更高，但是对于具有多 峰值的后验分布估计仍较困难，对噪声分布也有限制。基于m o m ec a r l o 方法近 年来在跟踪领域得到了广泛的应用，主要因为它对模型和噪声分布没有限制。 1 3 3 2 视频目标跟踪方法的分类 上一节我们对跟踪问题的基本原理进行了描述，并对当前使用的几种数学 工具进行了比较。各类跟踪算法的实现均是在上面的几种数学框架下进行的。 在利用这些数学工具进行目标状态估计时，其中最关键的环节是：目标运动模型 和观测模型的设计几乎所有的跟踪算法均是在这两部分做工作，算法的优劣也 是体现在这两块的设计上。对于视频目标。其中最关键的部分是用什么方法来 描述图像中的目标特征，然后建立鲁棒的观测模型。国内外学者对视频目标跟 踪已经作了大量的研究，提出了许多有效跟踪算法。这些跟踪算法根据不同的 分类标准，有着不同的分类结果。 根据跟踪与检测的先后关系可分为：一是先检测后跟踪【4 0 - 4 2 ，先检测每帧 图像上的目标，然后将前后两帧图像上目标进行匹配。二是先跟踪后检测 【4 3 4 6 】，先对目标下一帧所在的位置及其状态进行预侧，然后根据检侧结果， 来矫正预测值。三是边检测边跟踪 4 7 4 8 】，图像序列中目标的检侧和跟踪相结 合。检测要利用跟踪来提供处理的对象区域，跟踪要利用检测来提供目标状态 的观测数据。根据跟踪的策略来分，可分为3 d 方法与2 d 方法。3 d 方法通常是 指在世界坐标系中完成对目标的跟踪，而2 d 方法则是指在图像平面内而言的。 相对于3 d 方法而言。2 d 方法速度较快，但对于遮挡问题难以处理。根据从被 跟踪的目标中提取特征的不同，可以将目标跟踪的方法分为基于颜色 4 9 5 2 】、 基于形状 5 3 5 5 、基于区域 5 6 】、基于视图 5 7 】和基于点特征【5 8 等。此外根据 被跟踪的目标数可分为单目标跟踪和多目标跟踪。 目标跟踪的主要工作就是选择好的目标特征和采用适当的搜索方法。根据 匹配原理，把现有的跟踪方法分为基于模型、区域、特征以及活动轮廓的跟踪 5 9 】。 1 1 基于模型的跟踪 基于模型的跟踪是通过一定的先验知识对所跟踪目标建立模型，然后通过 匹配跟踪目标，并实时更新模型。传统的运动物体表达方法有如下三种：( a ) 线图 7 第章绪论 法：目标运动的实质是主框架的运动，因此该表达方法将物体的各个部分以直线 来近似。例如k a r a u l o v a 6 0 建立了人体骨骼的分层模型，用于单镜头视频序列 中的人体检测。( b ) 二维轮廓：该表达方法的使用与物体在图像中的投影有关。如 j u 等【6 1 】提出纸板入模型，将人的肢体用一组连接的平面区域块表达，区域块的 参数化运动受关节运动的约束，该模型被用于关节运动图像的分析；( c ) 立体模型： 它是利用广义椭圆柱、球等三维模型来描述物体的结构细节，因此需要计算更 多的参数，匹配过程中的计算量更大。如w a c h t e r 和n a g e l 【6 2 1 利用椭圆锥台建 立三维人体模型，在连续的图像帧间匹配三维人体模型的投影来获得人运动的 定量描述，实现了单目图像序列中的人的跟踪。 2 ) 基于特征的跟踪 基于特征的跟踪【6 3 ，6 4 是指根据目标特征利用某种匹配算法在图像序列中 寻找目标，进而跟踪运动目标。该算法通常包括特征提取、特征匹配以及计算 运动信息三个过程。第一步，从图像序列中抽取显著特征，如拐角、边界、有 明显标记的区域对应的点、线等；第二步，在不同图像上寻找特征点的对应关系， 即匹配。匹配算法大多引入了刚性约束条件，已有的技术包括结构匹配、树搜 索匹配及假设检验匹配等。对于非刚性目标的跟踪主要是基于轮廓跟踪的方法， 包括主动轮廓模型和测量轮廓模型；第三步，根据某种相似性度量方法，确定当 前帧中目标的位置。 3 ) 基于区域的跟踪 基于区域的跟踪算法基本思想是：把预先提取的运动区域作为匹配的目标模 板，设定一个匹配度量，然后在下一帧图像中匹配搜索目标图像，把度量取极 值时的位置判定为最佳匹配点。基于区域的跟踪算法由于提取了较完整的目标 模板，相对于其他跟踪算法能够得到更丰富的图像信息，因此广泛应用于跟踪 较小的目标或对比度较差的目标。近年来对基于区域的跟踪方法关注较多的是 如何处理模板变化时的情况 6 5 ，6 6 】，这种变化是由运动目标姿态变化引起的，如 果能正确预测目标的姿态变化，则可实现稳定的跟踪。 4 ) 基于活动轮廓的跟踪 基于活动轮廓的跟踪方法是利用一条封闭的参数化曲线来表达运动目标轮 廓，在由图像构造的特征场中通过极小化以曲线函数为参数的能量来进行动态 迭代，使得该轮廓能够自动连续更新。p a r a g i o s 与d e r i c h e 6 7 】利用短程线活动轮 廓在图像序列中检测和跟踪多个运动目标。相对于区域跟踪方法，该方法计算 第一章绪论 量小，如果开始能够合理分开每个运动目标并实现轮廓初始化，那么即使有部 分遮挡，也能连续的进行跟踪，但是初始化轮廓通常是很困难的。 1 4 本文主要工作、创新及组织结构 本文主要研究视频目标跟踪里涉及的视频目标检测、视频阴影处理及视频目 标跟踪方法三个课题，并给出具体的实现办法。 研究所得方案不仅能较好的检测和跟踪定位运动目标，为目标运动描述、目 标识别和目标分类等提供了基础，而且能较好的获取目标的运动姿态，为姿态 识别和行为理解等提供了可能。 主要研究工作和创新点包括以下几个方面： 1 )提出一种基于局部二元图的视频目标分割方法，该方法利用像素点附近 的纹理特征作为该像点的特征，进行学习和建模，得到背景模型然后基于背景 擦除法得到前景目标，纹理特征采用局部二元图的统一模式纹理直方图表征。 此视频目标提取方法对背景模型不做任何的假设具有较好的通用性，且参数设 置简单运算快，能较好的提取运动目标，同时由于局部二元图纹理计算受局部 阴影的影响较小，此方法能一定程度处理视频运动阴影问题。 2 1利用局部二元图纹理基本不受局部阴影影响的特点和投影区域与相应 背景区域纹理的相似性，提出一种基于纹理的视频阴影检测方法。该方法相对 已有的基于阴影特性的阴影检测方法，参数设置方便且运算快，同时检测出来 的阴影较为完整，误判点也少，阴影检测较为精确。 3 )改进现有的目标建模方法，采用概率主成份分析目标建模方法，相比现 有跟踪方法里边特别是基于区域的目标跟踪方法里的目标建模，本建模更为精 确鲁棒性也好，较好的解决了目标丢失的问题，本文利用此模型着重解决了均 值漂移算法里边的目标丢失问题，同时基于此模型，利用预测和局部搜索可以 一定程度地解决遮挡问题。 4 1采用图切分与粒子滤波跟踪方法结合推出一种目标跟踪方法，不仅能有 效地定位目标，而且能获取目标的运动姿态。首先采用粒子滤波和均值漂移相 结合的视频目标跟踪方法定位目标，同时利用概率主成分分析的目标建模，能 一定程度上处理遮挡问题。然后利用改进的图切分提取定位到的目标的轮廓， 得到目标的运动姿态。改进的图切分方法中，在像素差异性计算里边加入纹理 9 第一章绪论 差异性，同时计算背景和前景直方图时采用了一种特征选择方法，提高前景和 背景的差异性。实验表明该方法不仅能精确定位目标还能较好地提取前景目标 轮廓，得到目标的运动姿态。 本文一共分为7 章。第一章为绪论，主要介绍视频目标跟踪的研究背景、 研究意义及研究现状等相关问题；第二章提出了一种基于l b p 纹理的目标检测 方法；第三章提出一种基于纹理的视频阴影检测方法；第四章提出了一种基于 概率主成份分析目标建模的跟踪方法：第五章则提出了基于图切分的视频目标 跟踪方法：第六章介绍了一个实验性的视频跟踪软件系统框架及实现；第七章 为实验结果及分析；最后，第八章对全文进行了总结，并对后续工作作出了展 望。 l o 第_ 章基于l b p 纹理的视频目标提取方法 第二章基于l b p 纹理的视频目标提取方法 视频跟踪的第一步就是检测运动目标，即将感兴趣的运动区域从背景图像 中提取出来。运动区域的有效检测对于目标分类、跟踪和行为理解等后期处理 非常重要，目前应用最广的方法就是基于背景建模的目标提取方法，该方法首 先对背景建模，然后通过对后续图像帧序列进行学习，更新背景模型，通过背 景擦除( b a c k g r o u l l ds u b t r a c t i o n ) 法得到运动目标，本章提出一种基于局部二元图 ( l o c a lb i n a r ) ，p a t t e m ，l b p ) 纹理的视频目标检测方法，对背景模型分布不做任何 假设且参数设置简单运算快。 2 1 方法概述 本文采用统计像素点周围像素点的l b p 统一模式纹理得到的l b p 统一模式 纹理直方图作为该像素点的特征，并对该特征进行学习建模，以此作为背景模 型，然后基于背景擦除法检测运动目标，之所以采用l b p 统一模式纹理( u 1 1 i f o m 图2 1 基于l b p 纹理的视频目标检测方法 第：章基于l b p 纹理的视频目标提取方法 p a t t e m so f l b p ) 直方图 6 8 是因为它较好的纹理描述性和分类性。 此方法的整个流程如图2 1 。 1 ) 基于l b p 纹理统一模式纹理算子提取纹理特征作为背景特征 纹理可认为是灰度在空间以一定的形式变化而产生的图案，是真实图像区 域固有的特征之一。它具有区域性质的特点，通常被看作对局部区域中像素之 间关系的一种度量，对单个像素来说讨论纹理是没有意义的。 纹理是模式识别中用来辨别图像区域的概念。常使用区域的尺寸、可分辨 灰度元素的数目以及这些灰度元素的相互关系来描述一个图像中的纹理区域。 要分析纹理，需要确定一定的尺度，一幅纹理图像在较粗的尺度上可能看不出 纹理来，需要到更细的尺度上观察。一般来说，可以认为纹理是由许多相互接 近的、互相编织的元素构成。所以，纹理描述可提供图像区域的平滑、稀疏、 规则性等特征。 这里采用l b p 统一模式纹理直方图作为像素点的纹理特征记录下来，l b p 统一模式纹理表征了纹理的基本特性，同时l b p 统一模式纹理直方图具有很好 的纹理描述性和分类特性【6 8 】。这里提取像素点附近的纹理特征一用l b p 统一 模式纹理直方图表征，作为该像点的背景特征。 2 ) 背景模型学习建模 对后续的图像序列提取像点的纹理特征，并对已有的背景特征进行学习建 模，就可以得到视频的背景模型。这种可以自适应学习建模的方法，能够处理 复杂场景，例如背景中有摇动的树叶、灌木丛等。 3 ) 基于背景擦除的前景提取 有了背景模型，通过对新获取的图像，提取各像点附近的纹理特征，与相 应点背景模型进行相似性判决，如果相匹配则认为是背景点否则为前景点。 由于l b p 统一模式纹理直方图的纹理描述性和分类性较好同时又具有一定 的抗噪性能，所以能很好的作为背景特征学习和建模，前景提取效果较好，同 时由于l b p 纹理受局部运动阴影影响较小，所以检测出来的前景较为精确，受 运动阴影的影响较小。 2 2l b p 纹理 文献 6 8 7 1 】里边提出了基本的l b p 纹理和l b p 纹理的扩展，且证明了l b p 纹 第二章基于l b p 纹理的视频目标提取方法 理具有较好的纹理描述性和分类性。 1 ) 基本的l b p 纹理 l b p 的基本模式是对像素点与八邻域点的亮度差值进行阈值判断获取八位 二进制码6 8 1 ，l b p 的定义也易延伸扩展【7 1 】，比如对像素点的四邻域与它的亮 度差值进行阈值判定获取四位二进制码来表征它的局部纹理，甚至可以对以像 素点为中心的4 4 邻域的外围点与它的亮度差值进行阈值判定获取十二位二进 制码表征它的局部纹理。不过邻域取得过大时，局部纹理的表征越不可信，越 易受噪声的影响，两种常用的l b p 模式见图2 2 ： 四位l b p 由于图像的空间相关性而对局部纹理的表示显得粗糙，区分性不太 好。而取过大的邻域获取的局部纹理易受噪声影响，且增加了系统的运算量，所 以一般选用相应的八位l b p 表征像素点的局部纹理。选用的阈值判定函数为式 2 1 ： 勖 舀g l 够。 助9 1 毋 舀 岛 舀 舀 i ：啦p 刮2 p = 4l ：啦p 唱) 2 p = 8 丫 ( a ) 四位模式的l b p ( b ) 八位模式的l b p 啦p ，= 瓮二嚣 ， 其中丁为阈值，阈值太小时易受到噪声影响，太大时对纹理的描述区分性不 一般的阈值判定函数： 第一章基丁l b p 纹理的视频目标提取方法 s c g p g 。，= 三善二羔三暑 c 2 2 ， “矿卜1 0 i fz 一o ( 2 2 2 1 式的阈值判定函数比2 2 式函数的纹理描述性更好且不易受噪声影响， 适合平坦图像区域的纹理描述，像天空、草地等。 2 ) 扩展的l b p 纹理 l b p 纹理扩展为可基于不同尺度的邻域计算【7 1 1 ，利用圆形邻域和内插计算 像素值，扩展的l b p 可用于具有不同像素点数目的不同半径圆形邻域的纹理表 征，扩展l b p 示例见图2 3 ，表示为碑。，下标p 为圆形邻域上均匀取p 点， r 表示邻域半径。 由于三衅。纹理表征与旋转有关( 一般中心像点正右边的那点，即距离中心 像点( 0 ，r ) 的邻域点，其与中心点亮度域值判定得到的二进制码为相应的l b p 二进制码串的最低位) 为了达到旋转不变性，由曰耳。可得旋转不变的纹理表征 三b 节兄【7 l 】( r i 表示r 。t a t i o ni n v a r i a n c e ) 上b e 磊= n l i n r 锹( 三碑r ，f ) i f = o ，1 ，尸- 1 ( 2 3 ) 其中，尺锹( x ，f ) 表示对x 按位右移f 位。 i ( a ) ( p = 8 ，r = 1 o )( b )( p = 12 ，r 寻1 5 ) 图2 3 扩展的l b p 纹理三碑r 三畔r 的进一步扩展是使用统一模式( u n i f o 讽p a 吮m s ) 【7 l 】，一瞍r ，如 其最多有两个o 位到1 位或相反的跳变则认为是统一模式三剧兹2 ，三拼讼2 的数学定义见式2 4 。 1 4 第= 章基丁l b p 纹理的视频目标提取方法 2 旨矿列蠹羹虢爱 亿4 ， 其中u ( 三碑，r ) = 卜( g 川一& ) 一s ( 岛一) l + p ( 昂) 一5 ( g 川一g 。) i ( 2 5 ) 图2 4 为旋转不变l b p 纹理及l b p 纹理统一模式的示例图。 图中给出的是像素点对称圆周分布的蹦：的3 6 种纹理模式，黑点和白点 图2 4 旋转不变的l b p 纹理三尉喘及l b p 纹理的统一模式工引喘2 分别对应为位值为。和l ，第一行对应了九种上职絮2 纹理模式，中间的数字对 应他们的编码，由2 4 式算出。 对应三碑。的三畔：2 有p + 1 种纹理模式，同时式2 4 给每种纹理模式一个 编号，而其他的非统一模式纹理都给予丹1 的编号。现实中由三婢。到三畔：2 可 以很方便的由设计好的码表得到。 上瞍；2 的纹理直方图相比上碑，尺直方图具有更好的抗噪性能，因为碑。只 纹理中脚野：2 纹理占绝大多数，非统一模式纹理占的比例很少，它们的统计特 性不可靠。 3 ) 畔：2 的纹理描述性实验 通过参考文献 7 2 的实验设置，通过对文献【7 3 】中的纹理图像进行学习， 查看婢r 纹理中三皑：2 占的比例，由此查看三引兹2 纹理是不是代表了局部图 像纹理的基本特性。 图2 5 列出了实验采用的几个纹理图。 薹；耋量! ! ! 圣兰墼些竺：! 竺；堡坚尘耋 a ) 稻草纹理( b ) 猪皮纹理 ( c ) 草地纹理( d ) 油椰树纹理 图25 实验采用纹理幽 表21 列出了在各纹理图像中统计得到的l b p 纹理丑耳r 中属于邶节：2 纹 理的比例。 表2l 纹理图像中l b p 纹理统一模式所- 的比例 纹理圈 帆布 布料 棉花 草皮 皮革 席子 纸张 猪皮 稻草 平均 由表2 l 可以看出在纹理图像中b 瑙“纹理占了所有l 睨，纹理中的8 38 到9 18 ，而丑塌“只占了b 塌的一小部分( 1 ，4 ) 。同时纹理图像中础嚣2 纹理 占所有b 日雌纹理的平均比例也有6 65 ，虽然