（计算机科学与技术专业论文）基于在线学习的视频跟踪算法研究与实现.pdf

国防科学技术大学研究生院硕十学位论文 摘要 视频跟踪是计算机视觉领域内一个非常重要的研究方向，它融合了模式识别、 人工智能以及图像处理等学科的先进技术和研究成果，在很多领域都具有非常重 要的实用价值，目前已经广泛应用到军事、交通控制、智能车辆和安全监控等方 面。本文针对视频跟踪过程中的分类器训练样本的选择策略以及在线更新技术进 行了深入研究，通过改进在线协同跟踪算法，并在视频跟踪过程中引入图像分割 技术，有效的改善了视频跟踪的效果，提高了跟踪的准确度。 首先，本文针对视频跟踪领域内相关技术和算法加以分析研究，介绍了一种 基于支持向量机的在线协同跟踪方法，该算法通过利用支持向量机这一有效分类 工具中特有的支持向量并结合协同训练算法特有的优势，在线获取样本并更新分 类器，能够有效地将运动目标与背景区域区分开来，并能适应目标特征的不断变 化。另外，着重分析了在协同训练过程中样本选择的重要性和存在的问题，针对 该方法中s v m 分类器在样本选择、更新方法等方面的不足，以及协同训练过程中 样本的争议问题，提出了一种改进的协同训练样本选择策略，有效地提高跟踪算 法的稳定性和准确性。 最后，提出了一种基于分割的在线协同跟踪算法，该算法首先对视频图像进 行无指导分割，在此基础上利用在线半指导学习分类器对前景目标进行识别，并 与分割的超级像素块相叠加，最终完成目标的跟踪；另外，还对该算法进行了改 进，针对前景不同特征目标区域进行聚类分析，自动确定前景的重点采样区域， 从而指导采样过程，加强对小面积特征区域的采样力度，保证分类器对不同特征 区域的识别能力。该算法充分结合了视频图像的全局信息和局部信息，同时完成 目标的准确分割与跟踪。实验表明，该方法在保证低时间开销的前提下，有效的 提高了视频分割与跟踪的准确度，并且在很多具有挑战性的视频片段上表现优于 以往的经典算法，具有一定的实用价值。 主题词：视频跟踪，支持向量机，协同跟踪，在线训练，图像分割 第i 页 国防科学技术大学研究生院硕士学位论文 a b s 丁p a c t v i d e ot r a c k i n gi sav e r yi m p o r t a n tr e s e a r c hd i r e c t i o ni nc o m p u t e rv i s i o nf i e l d ， w h i c hc o m b i n e st h ea d v a n c e dt e c h n o l o g ya n dr e s e a r c hr e s u l t so ft h ep a t t e r nr e c o g n i t i o n ， a r t i f i c i a l i n t e l l i g e n c ea n di m a g ep r o c e s s i n g v i d e ot r a c k i n gh a sav e r yi m p o r t a n t p r a c t i c a lv a l u ei nm a n ya r e a s ，a tp r e s e n ta l r e a d yw i d e l ya p p l i e dt ot h em i l i t a r y ，t r a f f i c c o n t r o l ，i n t e l l i g e n tv e h i c l e sa n ds a f e t ym o n i t o r i n ga n ds oo n i nt h i sp a p e r ，w ef o c u s e d o nt h e p r o c e s so ft h e s e l e c t i o ns t r a t e g yo ft r a i n i n gs a m p l e sa n do n l i n eu p d a t e t e c h n o l o g i e s t h r o u g hi m p r o v e do n l i n ec o - t r a c k i n ga l g o r i t h ma n dt h ei n t r o d u c t i o no f i m a g es e g m e n t a t i o nt e c h n o l o g y ，w eh a v ee f f e c t i v e l ye n h a n c e dt h ee f f e c t i v e n e s sa n d a c c u r a c yo fv i d e ot r a c k i n g f i r s to fa l l ，w ea n a l y z e da n ds t u d i e dr e l e v a n tt e c h n o l o g i e sa n da l g o r i t h m si nt h e a r e ao fv i d e ot r a c k i n g ，i n t r o d u c i n gas v mb a s e do n l i n ec o - t r a c k i n gm e t h o d u s i n gt h e s p e c i f i cs u p p o r tv e c t o ri ns v mc l a s s i f i e r ，c o m b i n e dw i t ht h ea d v a n t a g e so fc o - t r a i n i n g a l g o r i t h m ，t h i sm e t h o di sa b l et oo b t a i ns a m p l e so n l i n e ，u p d a t et h es v mi n t e r f a c e o n l i n ea n de f f e c t i v e l yd i s t i n g u i s hb e t w e e nf o r e g r o u n da n db a c k g r o u n d ，w h i c ha l s oc a n a d a p tt o t h e c h a n g i n go ft a r g e t f e a t u r e i na d d i t i o n ，w ec o n t i n u et o a n a l y s et h e i m p o r t a n c eo fs a m p l es e l e c t i o na n dt h ep r o b l e mo fc o - t r a i n i n g ，a n dt h e ni nv i e wo ft h e d e f i c i e n c i e so ft h es v mc l a s s i f i e ri ns a m p l es e l e c t i o n ，u p d a t em e t h o d ，a sw e l la st h e i n c o n s i s t e n c i e so fs a m p l e si nt h ec o t r a i n i n g ，w ep r o p o s e da ni m p r o v e dc o t r a i n i n g s a m p l es e l e c t i o ns t r a t e g y ，w h i c he f f e c t i v e l yi m p r o v et h es t a b i l i t ya n da c c u r a c yo ft h e t r a c k i n ga l g o r i t h m f i n a l l y ，a n o v e l s e m i s u p e r v i s e d o n l i n ei n c r e m e n t a ll e a r n i n gv i d e ot r a c k i n g a l g o r i t h mh a sb e e np r o p o s e d t h ev i d e of r a m e sa r ep r e - s e g m e n t e db yu n s u p e r v i s e d i m a g es e g m e n t a t i o nm e t h o df i r s t l y ，a n dt h e nt h ef o r e g r o u n di sr e c o g n i z e db ya no n l i n e s e m i s u p e r v i s e dl e a m i n gc l a s s i f i e r a tl a s t ，t h et r a c k i n gi sa c h i e v e d 谢t l lt h eo p t i m a l s e g m e n t a t i o n i no r d e r t oi m p r o v et h i s ，t h ei m p o r t a n ts a m p l i n ga r e ao ft h ef o r e g r o u n di s d e t e r m i n e dt h r o u g ht h ea u t o m a t i cc l u s t e r i n gm e t h o d ，a n dt h u st og u i d es a m p l i n g p r o c e s st os t r e n g t h e nt h es a m p l i n gi n t e n s i t yo ns m a l lf e a t u r ea r e a sw h i c he n s u r e st h e r e c o g n i t i o na b i l i t yo ft h ed i f f e r e n tf e a t u r ea r e a s t h ea l g o r i t h mc o m b i n e st h eg l o b a la n d l o c a li n f o r m a t i o no fv i d e o st o g e tap r e c i s es e g m e n t a t i o na n dt r a c k i n g ，a n dt h e s a m p l e - c l u s t e r i n ga p p r o a c hi nt h ei n i t i a l i z a t i o ns t a g ea n ds a m p l e - f i l t e rm e t h o di nt h e u p d a t es t a g eb o o s tt h es t a b i l i t ya n da d a p t a b i l i t yo ft h ec l a s s i f i e r s e x p e r i m e n t sh a v e b e e nc a r r i e do u ta n dt h er e s u l ts h o w st h a tt h ea l g o r i t h mp r o p o s e dh i g h l yi m p r o v e st h e p r e c i s i o no f v i d e ot r a c k i n g 嘶t hl o wt i m ec o s t ，a n do u t p e r f o r mt h ep r e v i o u sa l g o r i t h mi n m a n yc h a l l e n g i n gv i d e oc l i p s i td o e sh a v ec e r t a i np r a c t i c a lv a l u e k e yw o r d s ：v i d e ot r a c k i n g ，s u p p o r tv e c t o rm a c h i n e ，c o - t r a c k i n g ，o n l i n e t r a i n i n g ，i m a g es e g m e n t a t i o n 第i i 页 国防科学技术大学研究生院硕士学位论文 算法目录 算法1 自训练算法2 9 算法2 传统协同训练算法3 0 算法3 在线半指导学习的分割与跟踪算法3 6 算法4 一种改进的协同训练样本选择方法4 l 算法5g r a bc u t 交互式分割算法4 8 算法6 基于图的无指导分割算法。5 0 算法7 在线半指导学习的分割与跟踪算法。5 2 第1 i i 页 国防科学技术大学研究生院硕士学位论文 图目录 图l 目标表示方法9 图2 基于特征点的检测方法s i f t 算法1 3 图3 背景差方法效果1 4 图4 背景差分法工作流程。1 5 图5 最优分类超平面2 4 图6 协同训练视角示意图。3 0 图7 协同训练流程图3 1 图8 训练样本的获取3 2 图9 图像的颜色直方图3 3 图10 在线分类器协同跟踪流程图3 5 图1 1 置信图综合定位方法3 8 图1 2 样本置信图对比效果4 0 图1 3 算法跟踪效果一运动的行人4 2 图1 4 算法跟踪效果一运动的人脸4 3 图1 5 算法跟踪效果一运动的车辆4 4 图16g r a bc u t 分割结果示意图。4 9 图17g r a bc u t 交互式分割过程示意图4 9 图1 8 基于图的无指导分割结果5 1 图1 9 分割与跟踪实例图5 3 图2 0 视频图像分割和跟踪算法流程5 4 图2 1 定位跟踪与分割跟踪更新样本采样示意图5 5 图2 2 聚类分析效果图5 6 图2 3 初始化聚类分析效果图5 7 图2 4a c 实验对比5 9 图2 5 多个视频序列跟踪结果对比5 9 第1 v 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意 学位论文题目：基王垄绫堂翌鲍塑叛退壁篡洼丛究生塞理 学位论文作者签名： 日期：又叩年二月站e t 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印，缩印或扫描等复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权书) 学位论文题目：基王查缦堂翌鲍塑麴避照篡洼盟究曼塞理 学位论文作者签名：趟 日期：文印年仁月落日 作者指导教师签名：蓥囊些日期：厶一7 f 7 年，2 ，月；，日 国防科学技术大学研究生院硕士学位论文 第一章绪论弟一早珀t 匕 1 1 引言 人们之所以能够在这个地球上生存并不断发展，是因为他们能够有效的使用 自己的眼、耳、鼻、嘴以及其他器官与周围环境交换大量的有用信息。而且，人 类感知的外界信息中，大部分都是通过视觉得到的。 机器的出现使人们从大量重复性的劳动中解放出来，生产力和生产效率都得 到了巨大提升，但是机器的能力相当有限并且完全不具备人类的主动性，这时人 们便希望机器能够进一步替代他们与周围的环境交换信息以完成更高级的工作， 尤其是一直梦想着有一天能够让机器拥有人类一样的视觉能力。现实世界中的物 体都是三维的，人类的视觉系统能从所获得的二维景物图像中获得三维信息，从 而感知三维世界。但是让机器拥有这样的能力却是一件非常困难的事情。 随着信号处理理论的发展和计算机的出现，人们找到了一种让机器拥有人类 视觉能力的方法。人们通过摄像机获得环境图像并将其转换成数字信号，再使用 计算机对这些代表外界环境信息的数字信号进行特殊处理，实现对视觉信息获取 并理解的全过程。这样通过长期的深入研究和发展，最终形成了计算机视觉这门 学科。作为一门学科，计算机视觉始于六十年代初，但计算机视觉研究中的许多 重要进展是在八十年代取得的。现在计算机视觉已成为一门不同于人工智能、图 象处理、模式识别等相关领域的成熟学科。由于它具有的潜在应用十分广泛，所 涉及的学科知识极其繁多，研究的问题极富挑战性，因此它是一门国内外学者一 直关注的热门学科。 计算机视觉主要研究用计算机来模拟生物外显或宏观视觉功能【l l ，它是心理 学、神经系统科学、生物物理学、数学和计算机科学等多学科的交叉学科；它是 一个富有挑战性的重要研究领域，是各个应用领域，如制造业、检验、文档分析、 医疗诊断和军事等领域中各种智能或者自动控制系统中不可或缺的一部分：它是 实现工业生产高度自动化、机器人智能化、自主车导航、目标跟踪，以及各种工 业检测、医疗和军事应用的核心内容之一，也是实现智能机器人的关键因素之一， 它的发展不仅将大大推动智能系统的发展，也将拓宽计算机与各种智能机器的研 究范围和应用领域。 计算机视觉研究的问题和应用涉及的范围很广，视频跟踪就是计算机视觉中 一个很有挑战性的方向。视频跟踪【2 j ，是指对图像序列中的运动目标进行检测，提 取、识别和跟踪，获得运动目标的运动参数，如位置、速度、加速度等，以及运 动轨迹，从而进行进一步处理与分析，实现对运动目标的行为理解，以完成更高 第1 页 国防科学技术大学研究生院硕士学位论文 一级的任务。由于实际应用中的视频资料随着具体应用和拍摄环境的不同有很大 的变化，有的视频中可能包含高速运动的物体，有的可能光线昏暗难以辨认，有 的可能包含大量目标比如人群或汽车，有的则是目标物体被其他物体遮挡等等， 以上实际问题导致视频跟踪的过程成为一个十分复杂和具有挑战性的过程。我们 的任务就是在某一条件或假设下，找到能够较好较快的完成特定目标跟踪的算法， 并试图放宽这些假设，在保证算法正确性的前提下，提高算法适应性和通用性。 1 2 应用背景 随着电子技术和信息技术的不断发展，电子成像技术已经应用于生活和生产 的各个方面。照相机、摄像机、电脑的摄像头已经基本上进入了每一个普通城市 的家庭，道路上的摄像装置，工作大楼的监控装置等各种不同的电子图像采集工 具随处可见。在这样一个电子化、信息化的时代，基于摄像装置的视频跟踪应用 必然成为各国科学家以及科研机构研究和开发的热点。事实证明，视频跟踪现在 已经广泛应用于各种不同的场合和领域，在很多方面已经给人们的日常生活和社 会发展带来了不可估量的影响。下面我们归纳几点，谈一谈视频跟踪的应用领域 以及发展现状。 1 ) 交通运输监测领域：随着城市人口的增加和私家车辆的普及，交通运输领 域也显得日益繁忙，仅仅依靠简单机械的红绿灯对交通的管理已经显得力不从心， 迫切的需要针对城市交通进行智能化管理和疏导。目前，现代的智能化交通管理 系统的正在慢慢形成并且日益完善，要实现智能化交通管理，车辆目标的监测以 及跟踪技术是关键。通过这些技术能够将人们感兴趣的一些信息提取出来并加以 处理，比如车辆的车牌、车辆的速度等等；或者能够实时的识别当前违禁车辆的 信息，以便能够及时的对违禁车辆进行记录和控制；或者能够通过对整个的交通 区域的车流量或者人流量进行智能化的统计，站在全局角度智能控制红绿灯变化， 从而能够针对不同时段和实时交通状况对不同路段实施智能化交通疏导，使得交 通管理的效率更加高效。 2 ) 公共安全监控领域：如旅馆、民宅、停车场、银行、超市、商店等，如果 仅仅只通过人工的方式想要实现对各个区域的实时监控是极其困难和费力的。目 前应用较为广泛的是在这些安全领域中利用监控摄像机对重点区域进行监控，但 这种方式还是需要人工对监控终端进行监视并做出相应判断。这种方法较大的依 赖于监视人员的熟练程度和工作态度，不但耗费大量精力而且效果也不能得到保 障。如果能够通过目标检测跟踪技术实现对监控视频中目标的自动检测和跟踪， 在遇到可疑活动或者其他特殊情况可以进行自动预警，这将大大降低了人力负担 和运营成本，而且可以更加有效防止偷盗、破坏行为的发生，保障社会安全。 第2 页 国防科学技术大学研究生院硕士学位论文 3 ) 在军事领域：从海湾战争到阿富汗战争再到伊拉克战争，以精确制导导弹 为代表的美国高科技武器让我们大开眼界，它们让我们认识到当前国防军事实力 的比拼，可以说就是科技实力的比拼。武器装备的科技化、智能化水平在未来战 争中将极大地影响着战争的格局和形态，甚至决定着战争的结局。视频跟踪技术 就是提高武器装备科技化、智能化的重要技术之一，军事领域的视频跟踪技术研 究现在主要是集中在无人操控技术、机器人视觉、精确制导武器等各个方面。在 无人操控技术方面，无人飞机，无人战车都需要计算机视觉或者说就是视频跟踪 技术的支持，以实现目标的自动识别、跟踪和攻击。战斗机器人的研制也从来没 有停止过，通过在战斗机器人身上安装摄像头，它们就可以像真正的士兵一样发 现、识别并自动攻击敌人，从而实现未来战争无人化和零伤亡的目标。精确制导 武器通过在导弹上安装摄像头或其他传感器装置，实现对目标的实时搜索跟踪以 及对导弹轨迹的控制，从而能够实现精确制导。 4 ) 在人机交互领域：除了键盘和鼠标，我们希望能够拥有更简洁的、智能化 和人性化的人机交互方式。通过基于视频跟踪的动作语义分析技术，计算机就可 以无接触式地收集人类在计算机前的视频信号，加以分析，从而分辨人类的动作， 明白人类的意图。为了实现人机交互，计算机必须捕获且识别人们给出的指令， 只有计算机识别理解了指令，才能根据指令做出正确的反应，从而使人机交流成 为现实。通俗一点就是说必须要使机器具有识别和理解人的姿态、动作、手势甚 至表情的能力，而在这其中可靠有效的跟踪技术是关键也是重点。现今，跟踪技 术其实已经初步应用于面部表情识别、手势识别、儿童监护、身份认证等领域。 5 ) 智能车辆：其基本思路是利用安装在车辆上的摄像机实现对道路的检测、 对前方车辆和行人的检测与跟踪，以保证车辆的安全行驶，最终实现自动驾驶。 汽车的自动驾驶吸引了很多研究者的兴趣，这方面的工作主要集中于车辆能沿道 路自动行进并发现道路上别的汽车，或者自动避开道路上的障碍物，在建筑物内 自动导航。在整个车辆导航和驾驶的过程中，道路上各种目标包括其他车辆、行 人、道路障碍以及各种交通标志的目标识别和跟踪是必不可少的技术，只有在识 别和跟踪这些目标的基础上进行高级的视觉分析，做出及时正确而且具有预见性 的判断，这样才能保证汽车安全正常的驾驶。 6 ) 基于图像内容的图像压缩：在压缩编码过程中，视频中的场景根据内容被 分割成若干个区域，不同的区域根据其特点采用不同的编码策略，从而大大提高 了压缩效率，具有很高的压缩比，同时还具有良好的视觉效果，便于进行基于内 容的交互和查询。 计算机视觉的目的是实现计算机对人类视觉的模拟，而视频跟踪属于计算机 视觉中的低层视觉范畴。说它低层，并不意味着它的算法简单，在复杂背景下的 第3 页 国防科学技术大学研究生院硕士学位论文 视频跟踪依然是一件非常困难的事情。而是说，视频跟踪只是计算机视觉其中的 一个方向，要想赋予机器以人类的视觉能力，实现了视频跟踪还远远不够，还需 要更多技术的支持并还有很长的路要走：同时，视频跟踪是其他高级计算机视觉 技术的基础，没有视频跟踪，很多高层的视觉分析和理解就无从谈起。目前的各 种视频跟踪算法都是在某种针对性的环境或目标条件下有效，缺乏通用性。 无论是视频监控、人机交互，还是更高级的视频系统，对感兴趣目标的跟踪 往往是其中必不可少的重要环节，它为后面更高级的高级视觉提供有价值的信息。 因此，对于视频序列目标跟踪算法的研究意义非常重大，但也充满挑战。本文工 作主要分析是在分析现有视频跟踪的方法的基础上，针对存在的一些问题，提出 一定的改进方法。 1 3 技术难点 对视频序列进行跟踪，其实质就是在连续帧中将目标找出来，并将相同的目 标对应起来。跟踪的难点源于场景的复杂性和目标的多变性。对于固定摄像机的 情况来说，场景相对比较简单，场景中有很多固定不动的背景( 建筑物、停止的 汽车、道路等) ，但也会有一些我们不关心的目标在其中运动( 背景中开动的汽 车、走动的人群、晃动的旗帜等) 。而对于摄像机运动的时候就更为复杂，摄像 机运动，所有的背景也随之运动，甚至还会出现上下颤动、无规律的抖动、背景 和目标相互遮挡等等问题。对于目标的多变性来说，由于噪声和遮挡等原因不同 的目标有可能运动到一起，合并成一个目标，而同一目标又可能分裂成多个新的 目标；同时在目标运动过程中，目标的外表特征也可能发生改变，如光照变化或 阴影的影响造成的色彩上的变化等，目标的形状和姿态可能发生改变，比如车辆 转弯、身体扭曲、表情变化等等复杂的不可预测的变化。这些问题都将导致跟踪 过程出现跟踪精度降低乃至跟踪丢失和跟踪错误。 以上谈到的是跟踪应用过程会遇到的实际问题，这些问题并不是直接对应于 跟踪领域的技术问题，我们需要根据不同的实际情况所引起的技术问题进行归纳 总结，找到这些实际问题的根源和技术难点所在。下面我们从几个方面对跟踪技 术难点进行分析和总结。 1 ) 目标分割 如何实现快速准确的分割是个相当重要但又比较困难的问题。这是由于在实 际复杂环境中获得的视频图像受到多方面的影响，比如天气的变化、时间变化、 光照条件的变化、背景的混乱干扰、运动目标的影子、物体与环境之间或者物体 与物体之间的遮挡、以及摄像机的运动等，这些都给准确有效的目标分割带来了 困难。就以背景的混乱干扰为例，我们分割目标的方法有很多种，但是无非就是 第4 页 国防科学技术大学研究生院硕士学位论文 根据目标和背景之间的特征差别来分别目标和背景，比如颜色、纹理、运动信息 等，但是复杂的背景可能出现与目标任一特征相似的背景物体，这时依据该特征 的目标检测算法将无法区别目标和背景，这就给目标分割带来的很大的困难。目 前图像目标分割主要利用背景差方法，但是这种方法局限性太强，即便使用了很 多改进方法，它仍只适用背景变化不大的情况，根本无法在复杂背景下正确的分 割出目标。目前，如何建立对于任何动态变化的复杂环境下均具有自适应性的背 景模型仍是相当困难的问题。 2 ) 遮挡处理 遮挡问题包括目标与背景之间相互遮挡、目标之间相互遮挡以及目标自遮挡 问题。目前，目标与背景之间相互遮挡问题研究的较多，但是大部分视频跟踪系 统都还不能很好地解决目标之间相互遮挡和目标自遮挡问题。在发生遮挡时，目 标只有部分是可见的，甚至完全不可见。而且遮挡的发生都是随机的，目标被遮 挡部分可以是任何一个部分，所以遮挡过程一般是不可训练的，也是不可重现的。 另外，遮挡之后目标的重现也是一个问题，好的方法不但需要正确处理目标的遮 挡和消失，也应能正确的处理目标的被遮挡部分的变化和整个目标的再现。此时 一般的方法可能无法很好的应对，必须开发更好的模型来处理遮挡问题，来实现 目标的不同遮挡情况发生时未遮挡特征与目标部分之间的准确对应问题。目前比 较有效的方法是利用状态机对遮挡过程建模来处理遮挡和重现的全过程，或者利 用统计信息对目标的已经发生的遮挡进行预测和估计。不过，未来解决遮挡问题 最有实际意义的潜在方法可能还是基于多摄像机的跟踪系统，只有通过多摄像机 获取足够的目标信息才能真正的解决目标遮挡。 3 ) 多摄像机跟踪 目前研究较多的二维跟踪有着简单快速的优点，但是缺点就是受摄像机角度 的限制，获取信息有限，无法实现真正的人类视觉能力。而三维方法则可以轻松 处理不受限的复杂的运动判断、更加准确的物理空间的表达、遮挡的准确预测和 处理等方面的问题，这是二维方法所不能比拟的。三维跟踪研究基本上使用多摄 像机方法，多摄像机的使用不仅可以扩大监视的有效范围，而且可以提供多个不 同的方向视角以用于解决遮挡问题。对于多摄像机跟踪系统而言，我们需要将不 同摄像机获取的图像信息按照拍摄时间对应起来并选择利用合适的摄像机信息用 于跟踪，也就是说，多摄像机之间的选择和信息融合是这里的关键。 4 ) 性能评价 一般而言，准确度、速度和鲁棒性是视频跟踪系统的三个基本要求。系统的 准确度是视频跟踪的最基本的要求，即跟踪的目标必须就是指定要跟踪的那个目 标，这对于控制应用系统特别重要，比如精确制导武器的目标跟踪，一旦发生错 第5 页 国防科学技术大学研究生院硕士学位论文 误将直接引发惨剧，不仅目标没有攻击成功，还会导致大量无辜生命的惨遭屠杀； 系统的处理速度是指跟踪系统完成一帧或者固定若干帧图像的目标跟踪所需时 间，速度对于需要实时高速的监控系统而言是最为关键的，算法的处理速度跟不 上就无法实现实时监控的目的；同时，系统的鲁棒性也是特别重要的，这是因为 很多监控系统通常被要求是自动、连续地工作，因此这些系统对于如光照、噪声、 天气等因素的影响不能太敏感。因此，如何提高现有视频跟踪系统的准确度、处 理速度和鲁棒性成为视频跟踪领域一个永久的话题；另外，如何评估一套视频跟 踪系统，如何评价现有系统的好坏，是否能够建立统一标准的评价体系和平台也 是现在需要研究的问题。 1 4 论文结构 本文共由六个部分组成。 第一章绪论，介绍了问题提出的目的和意义，详细说明了课题的研究背景和 应用领域；分析了视频跟踪发展中存在的相关技术难点；最后说明了本文的主要 研究工作和内容安排。 第二章介绍了近些年来在视频跟踪领域主要的研究进展情况，对该领域主要 的研究内容进行总结回顾，包括目标表示方法、特征选择技术，以及常用的目标 检测算法和视频跟踪方法。 第三章详细阐述了基于支持向量机的在线协同跟踪算法的理论基础，以及跟 踪器在线样本的获取与选择，支持向量机在跟踪过程中的训练方法，分类器的在 线更新方法等的实现细节，最后还提出了应用于在线协同训练的一种改进的样本 选择策略，并用实验数据证明了算法的高效性。 第四章提出了一种基于分割的在线半指导学习的视频跟踪算法，能够准确的 分割出目标的具体区域并实现跟踪。另外，本章分析了这个协同训练过程中样本 更新的特点以及样本的不对称性问题，提出了一套非对称样本的选择策略。同时， 将算法与已有多种视频跟踪的算法进行了对比，实验证明本文的算法较以往算法 有较大的改进。 第五章为结束语，总结了论文主要内容和所做的工作，并对未来工作的可能 发展空间和技术走向进行了展望。 最后是致谢和本文的参考文献。 第6 页 国防科学技术大学研究生院硕士学位论文 第二章视频跟踪相关技术研究 简而言之，跟踪问题实际上就是在一个图像平面上估计出目标在某个场景移 动的轨迹。目前，已经存在很多优秀的视频跟踪算法，这些方法在实现目标跟踪 的问题上具有异曲同工的作用。但是我们在进一步提出改进方法之前，需要分析 并发现问题的本质，找到这些方法到底有哪些不同，它们都涉及和使用了什么不 同的技术方案，这样才能取长补短，找到改进的途径或手段。仔细分析之后会发 现，不同方法的不同点体现在以下几个问题上 3 1 ： 1 ) 需要采用什么样的目标表示方法才能更准确的表达目标特性? 2 ) 选择什么样的图像特征并依据该特征识别目标以实现跟踪? 3 ) 如何对目标的运动、外观和外形建模以检测目标? 如何回答这些问题取决实际跟踪应用的背景，比如目标具有哪些显著特性和 特征，目标和背景之间有什么关系等等问题，也取决于跟踪结果的最终用途。这 三个问题也指明了跟踪问题中涉及的三个相关技术：目标表示、特征选择和目标 检测技术。 下面将主要介绍视频跟踪领域涉及到这三个的相关技术，即目标表示方法、 特征选择技术和目标检测技术等。 2 1 目标表示方法 目标就是在要跟踪的视频序列中我们感兴趣的用于进一步分析的任何东西， 比如海里的船只、河里的鱼、路上的车辆、空中的飞机、路上的行人或者是水中 的泡泡都可以看作是某一特定领域需要跟踪的目标。我们要利用计算机对包含这 些目标的视频图像序列实现跟踪，那么首先我们要找到一种计算机能够表示并理 解的方式，即目标表示方法。 目标的表示对跟踪算法的效果具有重要意义，而且需要根据视频跟踪的具体 目的来选取合适的表示方法。根据a l p e ry i l m a z 3 j 在一篇关于视频跟踪的综述文献 中的描述，我们可以将常用的外形表示法归纳如下。 1 ) 点表示：目标由一个点即它的质点表示或者由多个点表示。点的选取是关 键，一个目标物体往往有很多部分组成，如何用一个点来表示这个目标呢? 这就 需要选择那些具有代表性特征的点，比如质点、中心点( 如图1 中的( a ) ) 或者关节 上的点、边缘上的点( 如图l 中的( b ) ) 等等。点表示适合于跟踪那些在图像中所 占区域很小的目标或者那些具有明显特征点的目标，如远程摄像头中的行人，车 辆等或者是对空拍摄的镜头中的飞鸟、飞机等等本身就是点状的目标；选择点表 第7 页 国防科学技术大学研究生院硕士学位论文 示方法简单易行，但是它忽略了目标的形状信息，无法描述目标的大小和变化等 详细信息。 2 ) 基本几何图形表示：比如矩形、椭圆形等等规则的集合图形。当使用点表 示无法完全表达一个目标的时候，即我们关心的目标一个面上的变化，那么需要 使用能够反应目标的面运动的基本集合图形表示，如图1 中( c ) 和( d ) ，这样就可以 利用这些基本图形的平移、仿射和投影等操作对目标的运动和变化来建模，但它 通常只用于刚体目标的表示；几何图形表示一般应用于具有明显形状特征的目标， 比如足球、汽车、盒子等目标，可以使用简单的椭圆和矩形来表示。这种方法描 述简单，抽象程度高，但是不像点表示方法，它并没有完全忽略形状信息。另外， 就算对于非刚体目标，有时候也会采用形状表示。虽然使用简单的几何形状无法 很好的表示非刚体的运动，但是由于其简单高效，仍然还是有很多算法使用这些 基本几何形状来近似的表示非刚体目标，也可以达到不错的效果。 3 ) 关节模型表示：用于一切由关节连接起来的目标，人体就是一个最典型的 例子，人的头、手、腿、脚都是由关节连接起来的，他们之间遵守运动力学原理， 我们可以使用圆柱或者椭圆来对每个关节的组成部分进行建模，如图1 ( e ) 。这种 方法是针对以上各种方法在表示目标本身内部各个组成部分之间作用和运动情况 存在不足的情况提出，它克服了将目标看成是一个一成不变的死的事物的缺点， 而是赋予了目标活动的能力，更真实的表达了客观事物。另外，使用这种表示方 法的跟踪算法存在一种解决目标自遮挡问题的可能性。 4 ) 骨架模型表示：可以通过目标轮廓提取出骨架模型，常常用于对关节型或 者刚性目标进行建模。这是对上一种表示方法的延伸和扩展，如图l ( f ) ，它也是 几何图形链接模型的另一种形式，并且可以通过带有幅度值的目标骨架模型进行 中心坐标变换来产生目标的轮廓。这种方法可以更加形象简明的表示出目标状态 和主要组成，又不失对对目标各个部分运动的细节描述，是常用的目标表示方法。 5 ) 目标轮廓和分割的表示：进一步关心到目标边缘的变化，几何图形表示方 法就不能适用了，必须采用目标的轮廓和分割的方法来表示目标，如图l ( g ) ( h ) ， 分别是使用边界线和整个轮廓分割区域来表示目标的。轮廓和分割的表示是最能 描述目标外形的描述方式，也是一种最能保持目标细节丰富信息的方式。这种通 常可以用于复杂非刚体形状的目标表示，比如行人、动物、车辆等都可以表示。 但是这种方法相对于形状表示法，复杂性大大增加了，而且提取目标轮廓和图像 的分割方法很容易受到外界环境的影响，鲁棒性有待提高。 第8 页 国防科学技术大学研究生院硕士学位论文 。0 + 一 i e f fj l g if h l 图l 目标表示方法( a ) 质点表示法，o ) 多点表示，0 ) 矩形表示，q ) 椭圆表示，( 0 关节模型， ( 母骨架模型，( g ) 轮廓线，轮廓区域表示 上面介绍了这么多种目标表示方法不论采用什么样的跟踪技术，都必然采 用一种合适的目标表示方法。目标表示和目标跟踪之自j 有着很紧密的关系，目标 表示的选择是根据目标实际情况和应用领域不同来决定的。 2 2 目标特征表示 选择正确的特征在视频跟踪过程中也起着至关重要的作用。一般的，目标特 征选择的一个关键因素就是这个特征的独特性，即是说在这个特征空间可以很容 易的分辨出目标。特征选择也跟目标表示有着密不可分的关系，比如目标是基于 矩形的形状表示的，由于矩形的直方图特征较容易获得，那么颜色直方图或纹理 的直方图描述方法往往被选作这个目标的特征；又比如在基于轮廓的表示中，目 标的边通常被选作该目标的特征。目标的特征种类很多，有时只依靠一个特征会 很难准确的辨别目标，所以很多算法会综合使用这些特征。下面我们详细介绍阻 下各个特征的表示和选择【3 】川。 i ) 颜色特征 颜色是世界万物的既有属性，是包括人眼、摄像机在内的许多观察机制对事 物最为直观的反映。目标的颜色特征受外部光照和目标自身反射特性两个因素影 响。在图像处理中，最常用的颜色表示方法就是使用r g b ( 红、绿、蓝) 的色彩 空间，红、绿、蓝是三原色，其他所有颜色都可以被分解为红、绿、蓝三种颜色 的组合。然而r g b 空间在色彩上是不均匀的，也就是说，人们在感觉上的颜色差 第9 页 目 争 国防科学技术大学研究生院硕士学位论文 异和空| 、日j 内实际的颜色差异不是直接相关的。r g b 空问较多的应用于日常生活中， 比如电视机、计算机显示器等等。c m y 减色空间是在印刷产业中常用的颜色模型， c 代表青色( c y a n ) ，m 代表品红色( m a g e n t a ) ，y 代表黄色( y e l l o w ) 。c m y 代表的 是c m y 系统的三原色，对应着印刷系统的三种不同的墨水颜色。c m y 是其在白 色基础之上减去r g b 值得到的，所以称其为减色空间。另外，还有一种常用的颜 色分解方式是色调( h u e ) 、饱和度( s a t u r a t i o n ) 、亮度( i n t e n s i t y ) e l lh s i 颜色空间，这 是最适应于人眼视觉系统的均匀颜色空间。然而，颜色描述方式都具有一个共同 的缺点，那就是都对噪声相对敏感【5 j ，容易受外界光照、反射条件等的影响。另外， 颜色的描述方式还有很多种，这里就不一一介绍，在具体应用中应该选择什么样 的颜色空间进行描述，需要根据具体的需求进行分析选择合适的颜色分解方式。 2 ) 纹理特征 纹理是图像的一个基本特征，它在人类视觉系统中起着重要作用，是图像分 析和理解的重要方面。纹理指物体表面某个密度变量的度量，一般包括表面光滑 度以及平整度的表示，是物体表面粗糙性、规则性、线条相似性、凹凸性、方向 性和对比度的一种表征。它实际上反映了颜色在空间以一定的形式变化而产生的 规律性图案，是真实图像区域固有的特征之一。由于视频图像信息一般都是以像 素颜色的形式来记录的，所以相对于颜色特征分析，纹理特征分析显然需要更多 的处理时间。但是纹理特征也有天然的优势，它对于光照的变化并不敏感，所以 在必然涉及到光照变化的实际应用中，纹理特征也是经常使用的一种特征。纹理 的描述方式有很多种，可以大致分为统计法、结构法和频谱法。其中常用的方法 有h a r a l i c k 等人提出的灰度共生矩阵 6 1 ( g r a y l e v e lc o o c c u r r e n c em a t r i c e s ， g l c m s ) ，它是建立在估计图像的二阶组合条件概率密度函数基础上的，根据像 素的方位和距离关系构造共生矩阵，从中提取有意义的统计特征作为纹理特征的 描述。典型的频谱法有m a l l a t 提出的小波分析法f _ 7 1 ，通过小波分析可以获得纹理的 频域分布特性。本文中即将采用的则是d a l a i 与t f i g g s t 8 j 的梯度方向直方图 ( h i s t o g r a m so f o r i e m e dg r a d i e n t s ，h o g ) ，它是很多论文中经常使用的基于纹理特 征的直方图特征统计方法。 3 ) 边缘特征 任何目标在视频图像中都会有边缘特征。之所以叫做边缘，就是因为它是目 标和背景之间的分界面，这些分界面相对于背景往往具有较大反差。现在已经有 很多边缘检测算法，它们能够发现这些变化和反差，从而确定目标的边缘特性。 把目标边界作为目标特征，与颜色特征相比受环境光照的影响较小，所以实际应 用中边缘特征也具备比颜色特征更加鲁棒的性能。上一节中介绍了目标的轮廓表 示法，该方法对目标细节描述有效且精确，因为边缘和轮廓直接相关，所以在轮 第1 0 页 国防科学技术大学研究生院硕十学位论文 廓表示法中一般都是采用的目标边缘特征。边缘特征一般应用于边缘比较明显的 目标和背景，在某些背景边缘信息