（信号与信息处理专业论文）精确目标跟踪算法在达芬奇dsp系统的实现与优化.pdf

东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所 知，除了文中特别加以标注和致谢的地方外论文中不包含其他人已经发表或撰写过的研究成果， 也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材料。与我+ 同工作的同志对本 研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 研究生签名盘墨吼 2 d 口弓2 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印件和电 子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文的内容相 一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布( 包括以电子信息形式刊登) 论文的全部内容或中、英文摘要等部分内容。论文的公布( 包括以电子信息形式刊登) 授权东南大 学研究生院办理。 研究生签名：纽导师签名邋日期：2 1 z ! ：! ：土 5肌74 啪45舢7iiiil舢y 摘要 摘要 目标跟踪是计算机视觉的重要研究方向，被广泛的应用在人机交互、安防监控、交 通管理、导航、航天航空和生物医学等各个领域。由于这些应用对跟踪算法乃至硬件系 统的实时性有很高的要求，为此本文研究了实时性和准确性高的跟踪算法，利用d s p 的高效数字信号处理能力，在达芬奇平台上实现精度高、鲁棒性好的实时h 标跟踪系统。 本文在灰度匹配跟踪算法的基础上，添加了差分背景掩码分析算法，崩以区分感兴 趣区域中的目标、背景和遮掩物，得出该感兴趣区域对应的掩码，并将此掩码加入匹配 过程，得到掩码模板匹配算法。此算法用目标表面信息进行匹配，去除了背景和遮掩物 的干扰信息，提高匹配准确性；采用目标定位修正掩码模板匹配算法对匹配结果进行修 正，在初次的目标匹配之后，由于环境变化、遮掩物和模板更新误差等因素的影响，不 可避免的会产生一些漂移，此时对第一次匹配结果分析掩码，重新进行掩码匹配以修正 匹配误差，从而提高整体算法的鲁棒性；测量噪声中的漂移噪声严重影响了模板更新的 准确性，为此本文采用掩码卡尔曼外观滤波器抑制漂移。通过估计测量噪声功率和新息 功率，迭代计算出每个像素对应的卡尔曼增益，对模板的每个像素自适应更新：全遮掩 情况下采用匀速预测算法，根据前数十帧的目标运动向量来预测当前帧的目标运动向 量，当目标重新出现后再捕获它，继续跟踪。 本文在达芬奇数字信号处理系统t m s 3 2 0 d m 6 4 4 6 上实现整个算法，t m s 3 2 0 d m 6 4 4 6 是 双核结构，集成了d s p 核和精简指令集计算机( r i s c ) 技术的优势，即结合一块高性能 t m s 3 2 0 c 6 4 x + d s p 处理器核和块a r m 9 2 6 处理器核。本文利用d m 6 4 4 6 的视频处理前端 完成视频的采集，由c 6 4 x + d s p 完成视频数据处理，即目标跟踪，最后由视频处理后端 完成视频显示。经过代码级的优化，实现了实时目标跟踪系统。 关键词：达芬奇技术：模板匹配；遮掩分析；模板更新：运动预测：视频目标跟踪系统 a b s t r a c t a b s t r a c t o b i e c tt r a c k i n gi so n eo ft h em o s ti m p o r t a n tr e s e a r c ht o p i c si nt h ed o m a i no fc o m p u t e r v i s i o n ，b e i n g 印p l i e dt of i e l d so fh u m a n c o m p u t e ri n t e r a c t i o n ，s u r v e i l l a n c e ，t r a n s p o r t a t i o n ， n a v i g a t i o n ，a v i a t i o na n db i o m e d i c i n e b e c a u s et h et i m ec o n s t r a i n so fm a n ya p p l i c a t i o n s ，t h e t r a c k i n ga l g o r i t h ma n ds y s t e ma r er e q u i r e d h i g hr e a lt i m er e a c t i o n b yr e s e a r c h i n gt h e a l g o r i t h m ，t h er o b u s to b i e c tt r a c k i n gh a sb e e na c h i e v e dw i t hl o wc o m p l e x i 付a tl a s t ，ar e a l t i m eo b i e c tt m c k i n gs y s t e mb a s e do nd a v i n c id s ps y s t e mi sd e v e l o p e dw h i c hm a k e su s eo f f a s ts i g n a lo p e m t i o nc a p a c i t yo fd s pp r o c e s s o r b a s e do ng r a ym a t c h i n ga l r i m m ，n l ed i 舵r e n c eb a c k g r o u n do c c l u s i o na n a l v s i s ( d b o a ) a l g o r i t h mi sa d d e d ，w h i c hd i s t i n g u i s ht a 唱e t ，b a c k g r o u n da n dc o v e rm a t e “a lf r o m r e g i o no fi n t e r e s t i n g ( r o i ) ，a n dg e tc o n _ e s p o n d i n gm a s ko fr o i t h em a s kj o i n sm a t c h i n g p r o c e s s ，w h i c hc a u s e sm a s kt e m p l a t em a t c h i n ga l g o r i t h m d u et or e m o v et h ei n t e r f e r e n c eo f b a c k g r o u n da n dc o v e rm a t e r i a l ，t h i sa l g o r i t l l i ni m p r o v e st h ea c c u r a c yo fm a t c h i n g t a 唱e t l o c a t i o nr - e c t i f i c a t i o nm a s kt e m p l a t em a t c h i n g ( t l r m t m ) a l g o r i t h mc a na m e n dt h e m a t c h i n gr e s u l t a r e rf i r s tm a t c h i n g ，m er e s u l tw i l lp r o d u c es o m ei n e v i t a b l ee r r o r sd u et o c h a n g eo fe n v i r o n m e n t ，c 0 v e tm a t e r i a la n du p d a t i n go ft e m p l a t e ，w h e nm a t c h i n gr e s u l ti s a n a l y z e db yd b o a ，a n dm a s kt e m p l a t em a t c h i n gi sr u na g a i nb yu s i n go fn e wm a s k ，s ot h a t t h er o b u s t n e s si si m p r o v e d al a r g ed a r to fm e a s u r e m e n tn o i s ei sc o m ef r o md r i rn o i s e a c c u r a t ee s t i m a t et 0 “rn o i s ec a ni m p r o v ea c c u r a c yo ft e m p l a t eu p d a t i n 2 t h e r e f o r e ， d r i r i n h i b i t i v em a s k e dk a l m a na p p e a r a n c ef i l t e ri su s e dt ou p d a t et e m p l a t e b ye s t i m a t i n g t h em e a s u r e m e n tn o i s ep o w e ra n dt h ei n n o v a t i o np o w e r k a l m a ng a i no fe v e r yp i x e li s w o r k e do u tb yi t e m t i o nt 0u p d a t et h ev a l u eo ft h et e m p l a t e w h e nt h et a r g e ti sa l lc o v e r e d ， c o n s t a n tv b l o c i t yp r e d i c a t i o nm o d e l ( c v p m ) i su s e dt op r e d i c tt a r g e t sm o t i o nv e c t o ri n c u r r e n tf r a m ea c c o r d i n gt ot a r g e t sm o t i o nv e c t o ro v e rt h ep a s ts e v e r “行a m e s w h e nt a r 叠e t a p p e a r sa g a i n ，i ti sc a p t u r e da n dt r a c k e d a na l g o r i t h mb a s e do nd a v i n c id s ps y s t e mt m s 3 2 0 d m 6 4 4 6i sr e a l i z e di nt h i sa r t i c l e t h ed u a l c o r ca r c h i t e c t u r co ft h ed m 6 4 4 6d r o v i d e sb e n e f i t so fb o t hd s pa n dr e d u c e d i n s t r u c t i o ns e t c o m p u t e r( 砌s c )t e c l l n o l o g i e s i n c o r p o r a t i n g ah i g h p e r f o m a n c e t m s 3 2 0 c 6 4 x + d s pc o r ea n da na r m 9 2 6c o r e t h ev i d e op r o c e s s i n gf r o n te n d ( v p f e ) o f d m 6 4 4 6i sr e s p o n s i b l ef o rv i d e oc a p t u r i n g t h e n ，t h ec 6 4 x + d s pp r o c e s s e sv i d e od a t a ( t a 唱e tt r a c k i n g ) a tl a s t ，t h ev i d e op r o c e s s i n gb a c ke n d ( v p b e ) c o n v e yt h ew o r k e dd a t at o d i s p l a y a f - t e ro p t i m i z a t i o ni nc o d el e v e l ，t h ct a r g e t 拓a c k i n gs y s t e l mc a nb er u ni nr e a l t i m e k e yw o r d ：d d v i n c it e c h n o l o g y ；t e m p l a t em a t c h i n g ；o c c l u s i o na n a l y s i s ；t e m p l a t eu p d a t e ； m o t i o np r e d i c t i o n ；v i d e ot a 唱e tt r a c k i n gs y s t e m i i i 目录 目录 摘要l a b s t r a c t 1 l l e j 录、， 第一章绪论l 1 1 视频目标跟踪的背景及意义l 1 2 目标跟踪算法的研究现状及d s p 的发展2 1 2 1 目标跟踪算法的研究现状2 1 2 2 数字信号处理器的发展4 1 3 论文的主要工作及章节安排5 第二章基于灰度模板匹配的精确曰标跟踪算法7 2 1 基于灰度模板匹配的精确目标跟踪算法整体框架7 2 2 差分背景遮掩分析8 2 2 1 建立背景9 2 2 2 差分掩码分析一l0 2 3 掩码模板匹配算法1l 2 3 1 掩码模板匹配算法的分析1l 2 3 2 匹配中的搜索策略15 2 4 目标定位修正掩码模板匹配算法1 7 2 5 抑制漂移的掩码卡尔曼外观滤波器模板更新算法18 2 6 全遮掩情况下的匀速预测算法2 2 2 7 基于灰度模板匹配精确日标跟踪算法的试验结果及其性能分析2 3 2 8 本章小结3l 第三章精确目标跟踪算法在达芬奇平台上的实现3 3 3 1 达芬奇技术概述3 3 3 2 软件开发环境概述3 5 3 3 达芬奇评估板上的视频采集与显示3 6 3 4 算法在达芬奇评估板上的实现过程：3 8 3 5 本章小结3 9 第四章精确目标跟踪算法在达芬奇平台上的优化4 l v 4 1d s p 程序编写和优化流程4 l 4 2c 代码编写和优化。4 2 4 2 1 数据类型4 3 4 2 2 代码运行时间分析和编译优化选项4 3 4 2 3 内联函数的使用4 5 4 2 4 软件流水4 5 4 3 数据段的分配4 6 4 4 线性汇编对代码的优化4 8 4 5 掩码模板匹配模块的优化4 8 4 6 模板掩码显示模块的优化5 2 4 7 掩码更新模块的优化5 4 4 8 输入缓存到输出缓存数据拷贝模块的优化5 5 4 9 系统性能测试5 6 4 1 0 本章小结。6 2 第五章总结6 3 5 1 视频跟踪算法及系统性能6 3 5 2 下步工作6 4 致谢6 5 参考文献6 7 攻读硕士学位期间参加的科研项目和完成的论文6 9 v i 第一章绪论 第一章绪论 随着移动通信技术的发展，特别是3 g 无线通信技术与多媒体通信的更好融合，使 得人们能够随时随地的进行文字、语音及视频的通信交流：及时分享各个时空的信息。 同时大规模高效信息存储技术发展迅速，近年提出的云存储技术旨在为用户提供互联网 服务形式同时提供更强的存储和计算功能。正是通信技术与存储技术的发展为视频处理 的发展建立了良好的平台，创造了巨大的发展空间。 1 1 视频目标跟踪的背景及意义 在生活中，大量有意义的视觉信息都伴随着运动，运动信息的载体是视频图像，那 么在视频图像上感知这些运动信息就成为计算机视觉研究的重要方向。视频目标跟踪系 统广泛的应用于人机交互、安防监测、交通管理、车辆导航和航天航牢等各个领域，视 频目标跟踪的本质是在图像序列中识别出目标，并作精确定位的过程。在跟踪过程中， 视频采集设备与目标之问的距离、架设高度以及目标的方位、姿态等凶素变化时，目标 的尺寸、位置、方向、形状和表面特征等都将发生相应的变化。同时f 1 标跟踪还要克服 噪声、遮掩物和背景环境等因素的影响，所以目标跟踪是一个非常复杂的问题。 目标跟踪算法可分为三大类，点跟踪( p o i n tt r a c k i n g ) 、面跟踪( k e r n e lt r a c k i n g ) 、 轮廓跟踪( c o n t o u rt r a c k i n g ) 。当目标对于整个视场非常小时，采用点目标跟踪，如 雷达和声纳跟踪。对于通常的摄像机拍摄的图像，则更多地采用面跟踪和轮廓跟踪。对 于面跟踪，在手动或自动选定待跟踪目标后，提取目标表面信息作为模板，在后续的视 频序列中，将候选图像区域与目标模板进行匹配，找到与模板最相似的区域，而这种相似度 的衡量标准有距离和互相关系数等。由于面跟踪算法利用图像信息较丰富，存军事领域特别 是低分辨率视频中应用广泛。轮廓跟踪的基本思想是提取目标的边缘轮廓作为模板，在后续 帧的二值图中跟踪目标轮廓，由于在算法中只考虑轮廓信息，计算量相比面跟踪要小很多， 但是初始轮廓提取的准确性将影响整个跟踪过程，同时轮廓的更新也很冈难，这些都制约了 轮廓跟踪的发展与应用。 运动物体匹配跟踪模型如图卜1 ，主要分为两大模块，匹配跟踪模块和后处理模块。 匹配跟踪模块是利用匹配算法，在当前视频帧中寻找与模板最匹配的区域，并将这一区 域的位置定义为跟踪目标当前位置。而后处理模块是建立在匹配跟踪模块之上的，它也 决定了整个算法的鲁棒性及视频巾的日标能否长时间准确跟踪。后处理模块包括：目标 遮掩的分析；对模板的跟新；根据目标分析结果对目标位置的修正，得到更为准确的目 标位置，更加符合当前环境和情形的目标模板。而目标轨迹的记忆，是为了方便后处理 模块中对目标运动轨迹的预测。图卜1 中的目标l 至目标n ，体现了多目标的并行跟踪 与处理。 东南大学硕士学位论文 图卜1 运动物体匹配跟踪模型 在跟踪过程中由于目标姿态、形状的变化、光照的改变等都会使目标的表面特征发生变 化，这也增加了跟踪的难度。因此，模板表面模型的选择与建立对目标的准确跟踪是非常重 要的。模板表面模型可分为三种，分别为固定不变的、缓慢变化的和快速变化的。在第一种 模型中，模板在第一帧中被提取后就不再变化，它适合目标表面几乎没有变化的情况。 第二种模型，获得模板后缓慢更新，它可能是多帧才更新一次，适合目标表面缓慢变化 的情况。第三种模型的模板每帧都会更新，适合目标表面剧烈变化的情况。这三种表面 模型在某些情况下虽然可以较好的跟踪，但是跟踪的健壮性仍然受到很大的限制。 目标的遮掩分为部分遮掩和全遮掩两种情况。为了能在部分遮掩下准确跟踪目标， 就要对模板进行遮掩分析，分析出哪些区域是目标，哪些是遮掩物。而对于全遮掩的情 况，主要是采用运动估计的算法，利用前面一段连续帧的目标位置来预测当前帧中的目 标位置。 模板的漂移是由很多因素导致的，如光照变化、遮掩和目标形变造成的匹配误差等。 尽管良好的匹配算法、合适的模板表面模型、模板遮掩的分析都能预防漂移的发生，但 是由于目标运动的随机性、环境复杂性等多方面的影响，模板漂移还是难以完全避免的， 因此要对目标的定位进行修正来进一步抑制模板漂移。 1 2 目标跟踪算法的研究现状及d s p 的发展 视频目标跟踪算法近年来向着适应更加复杂环境，跟踪更加精确的方向发展，这也 使得算法的复杂度大大增加，那么d s p 的迅速发展就为这些算法的实现与工程化提供了 良好的平台。 1 2 1 目标跟踪算法的研究现状 近年来粒子滤波器( p a r t i c l ef 订t e r ) 及它的改进算法【1 】还有一些基于对贝叶 斯估计的蒙特卡洛采样算法2 1 被广泛的应用在视频跟踪领域。从概率的观点，目标跟踪 2 第一苹绪论 可以被视为递归贝叶斯估计( b a y e s i a ne s t i m a t i o n ) 问题，这儿的估计状态表征了一 些与跟踪目标相关的参数，如位置、尺度、速度等。粒子滤波的两个重要组成部分是状 态转移模型和似然模型，状态转移模型是用来初步预测目标可能的位置，然后似然模型 在这些位置上计算出最有可能的一个，并以此作为当前目标位置。而如何在跟踪过程中 处理目标表面有关尺度、位置向量和遮掩情况的改变对精确跟踪是至关重要的。在大部 分跟踪算法中，表面模型要么是固定不变的，要么是缓慢或者快速变化的。在固定表面 模型算法中，表面模型在第一帧中被确定并且在以后的跟踪过程中保持刁i 变，如在 3 中描述的颜色模型和 4 中的狄度级模型。对于缓慢变化模型在 5 中有叙述，而基于3 d 模型的算法 6 7 中使用了每帧更新表面模型。更多详细的表面模型在 8 巾叙述， 9 1 0 中根据不同场景、目标运动情况，自适应的选择使用不同的表面模型，并将表 面模型嵌入到粒子滤波器框架下提高目标跟踪的准确性，另一方面，提出了一种基于统 计的遮掩处理方法，明确遮掩像素，处理遮掩事件，从而避免遮掩像素对表面模型的损 坏。由于粒子滤波算法的复杂度非常高，所以难保算法在d s p 平台上能够实时实现，这 是本文没有考虑它作为核心算法的主要原因。 自2 0 0 0 年开始，西门予公司的d o r i nc o m a n i c i u 博士将均值移动( m e a n s h i f t ) 算 法引入到目标跟踪领域】【1 2 】，他提出了基于颜色、纹理等视觉特征，用均值移动迭代算 法在候选区域中寻找与目标模板最相似的区域，并利用巴氏( b h a t t a c h a r y y a ) 系数度量 模板与待匹配区域之间的统计特征相似性。但是d o r i nc o m a n i c i u 在跟踪过程中没有颜 色模板的更新。不能适应光照的变化。为此有学者在均值移动算法框架下加入了颜色模 型选择和模板更新。得到自适应均值移动算法 【l3 1 。在均值移动算法中，核窗宽的大小 起着非常重要的作用，因为它彳i 但决定了参与均值移动迭代的样本数量，而且也反映了 跟踪窗口的大小。通常核窗大小由初始窗口的尺寸决定，而在整个跟踪过程中不再发牛 变化j 。然而当目标存在明显尺寸变化的时候，尤其是当目标尺寸逐渐增大以罕超出核 窗范围的时候，固定不变的核窗大小常常会导致目标的丢失，为此文献 1 2 中d o r i n c o m a n i c i u 采用正负l o 的增量分别对核窗宽进行修正，该方法需要在当前帧中用3 个不 同大小的核窗分别进行独立均值移动计算，选择出较大的巴氏系数所对应的窗宽为最佳 窗宽。当目标逐渐缩小尺寸时，该方法可以得到较好的效果。但是当目标逐渐增大尺寸 时，核窗宽很难变大反而经常会变小，这是因为基于巴氏系数的相似性度量经常会在较 小的跟踪窗口中达到局部最大。c o l l i n s 提出通过增加一个额外的尺度核，在定义的离 散尺度空间中进行均值移动迭代，从而找到最佳的核窗引m 】。经过多年的发展，均值移 动算法因其无需参数，快速模式匹配的特性，在目标跟踪研究领域得到了广泛的应用。 模板匹配算法以不同的准则，在图像中找出与模板最相似的部分。这些准则有欧几 里得距离、互相关系数等。而模板匹配加速算法更是被人们关注。r o s e n f e l d 和v a n d e r b r u g 提出了著名的从粗略到精细( c o a r s e t o f i n e ) 的策略【1 5 】，该策略是先使用低分辨 率的模板在图像中初次匹配，然后使用分辨率高的模板在初次匹配后相似度高的区域内 再匹配。t a n i m o t o 提出了分等级的搜索策略和金字塔数据结构f 1 6 】。利用快速傅里叶变换 查堕奎堂堡主堂堡堡奎 ( f f t ) 计算相关系数是非常有效的，模板和图像的每一部分的相关系数可以同时计算， u e n o h a r a 和k a n a d e 结合快速傅里叶变换和k a r h u n e n l o e v e 变换用于大集合的模板匹 配【1 7 j 。s h i n i c h i r oo m a c h i 和m a s a k oo m a c h i 提出了代数模板匹配【1 8 j ，该算法能有效的对 模板和不同尺度的图像区域进行匹配，克服了目标尺度变化对匹配的影响。首先，用高 阶多项式近似模板图像，然后用这个多项式代替模板与图像匹配。使用传统的最小平方 法完成高阶多项式逼近需要大量的计算量，同时会引入截断误差，算法中使用基于勒让 德多项式的方法克服这一缺点。 模板更新对匹配算法克服目标表面光照、形体变化是十分有效的。更新的方法有很 多，首先可以用上一帧的跟踪结果作为当前帧的匹配模板，这种方法很容易将匹配误差 累积到下一帧中，从而产生模板漂移。另一种比较适当的方法是利用过去数帧模板的加 权平均作为当前帧的模板【1 9 】，但是这样需要为先前的数帧预留大量的存储空间。近年来， 自适应卡尔曼滤波越来越广泛的应用于更新模板【2 0 】【2 l 】，文献中根据上下文信息，估计 每帧图像的测量噪声、状态转移噪声等，从而根据不同的噪声情况计算卡尔曼增益，自 适应的更新模板。同时卡尔曼滤波也被应用在初始搜索位置的预测上【5 】【2 2 1 ，这样可以提 高匹配精确度。 1 2 2 数字信号处理器的发展 d s p 器件紧随着数字信号处理理论的发展而不断发展。2 0 世纪6 0 年代，数字信号 处理技术刚刚起步，快速傅立叶变换的出现及大规模集成电路的发展，奠定了硬件完成 数字信号处理算法和数字信号处理理论实用化的重要技术基础，从而促进了d s p 技术与 器件的飞速发展。 在1 9 8 0 年前后，开始出现单片机和p c ，这标志着计算机将不断进行细化分类。在 这段时间内，i n t e l 公到推出了m c s 一5 l 单片机内核，单片机被不断的使用在控制领域， 但在数字信号处理领域，单片机的运算速度、数据处理能力和运算精度等方面具有很大 的局限性。所以i n t e l 、t i 、a d 等公司开始研制专门用于数字信号处理的微控制器，并 推出了一些代表性的器件，如i n t e l2 9 2 0 、( t i ) t m s 3 2 0 1 0 、( a d ) a d s p 一2 1 。尤其是t i 的t m s 3 2 0 1 0 ，采用了改进的哈佛结构，这种结构允许数据在程序存储空间与数据存储空 间之间传输，大大提高了运算速度。到了1 9 9 0 年前后，很多国际上生产集成电路芯片 的著名厂家都相继推出了自己的d s p 器件，d s p 器件得到了空前的发展，并且日益成熟。 t i 公司推出了t m s 3 2 0 系列，m o t o r 0 1 a 公司推出了d s p 5 6 0 0 、9 6 0 0 系列，a t t 公司推出 了d s p 3 2 等。这一时期的数字信号处理器件在硬件结构上更适合数字信号处理的要求， 使得d s p 运算速度达到每个指令周期8 0 一1 0 0 n s ：2 0 0 0 年之后，d s p 生产厂家不仅使得 d s p 的信号处理功能更加完善，而且在系统开发的方便性、程序编写调试的灵活性、功 耗降低等方面做了许多工作。尤其是各种通用外设集成到片上，不仅提高了数字信号处 理的能力，而且为d s p 器件的通用化及为数字处理取代模拟处理带来了极大的便利。现 4 第一章绪论 在d s p 可以在w i n d o w s 平台上直接用c 语言编程，使用灵活方便。同时成本大大降低， 使得d s p 芯片得到了广泛的应用。 目前已经有了峰值运算能力达每秒1 0 亿次的d s p ，但仍然不能满足复杂算法工程化 的需求。而且超大规模集成电路( v l s i ) 技术的发展受到其开关速度极限的限制，进一 步提高d s p 主频所遇到的难度和付出的成本越来越大。单处理器性能的提高空间受到限 制，为此，d s p 技术中引入了并行处理技术，许多d s p 采用多级流水处理、相乘和累加 同时进行等方式。d s p 并行技术向着片内片问并行发展，因为这种并行可以不受限制的 扩大规模。这些d s p 在为设计者提供更高性能的同时，其软硬件设计的复杂度和难度也 随之增加。 1 3 论文的主要工作及章节安排 本论文的主要工作是研究基于灰度匹配的鲁棒准确的跟踪算法：白适应的更新模 板，建立模板模型，从而克服目标表面形状变化和光照变化等不利因素；对模板的遮掩 情况进行分析，区分模板中的目标区域和遮掩区域，使得目标在部分遮掩情况下也能准 确跟踪；在目标全遮掩的情况下准确预测目标的当前位置；校正目标位置来抑制模板的 漂移。 在p c 机上，使用v i s u a lc + + 6 o 平台，用c 语言编程，实现跟踪算法，对视频文 件进行测试，验证整体算法的鲁棒性与准确性。在测试通过后对算法进行优化改进，在 性能与效率之间折中，减少计算量。 搭建s e e d d a v i n c l 一e v m 开发平台，利用c c s 开发环境将代码移植到数字信号处理 器( d s p ) 中，并使用编译器选项、内联函数、循环展开等方法对c 代码优化。通过硬件 仿真测试出算法中计算景大的程序块，用线性汇编重写这些程序块进一步优化。最终在 开发平台上实现实时目标跟踪系统，并对此系统及其程序进行调试。 本论文的章节安排如下： 第一章绪论。介绍视频跟踪的背景及意义，跟踪算法和d s p 的发展状况，并给出 自己的工作内容及章节安排。 第二章基于灰度匹配的鲁棒目标跟踪算法。详细叙述了基于灰度匹配的鲁棒目标 跟踪算法的总体结构，具体分析了如何利用差分背景分析感兴趣区域的遮掩情况、掩码 模板匹配算法、目标定位修正掩码模板匹配算法、抑制漂移的掩码卡尔曼外观滤波器模 板更新算法和在全遮掩情形下的匀速预测模型。最后通过实验验证本文算法的鲁棒性。 第三章算法在达芬奇评估板上的实现。介绍了达芬奇技术及其软件开发环境，重 点叙述了视频的采集与显示过程，乃至整个算法在达芬奇评估板上的实王见过程。 位论文 第二章基于灰度模板匹配的精确目标跟踪算法 第二章基于灰度模板匹配的精确目标跟踪算法 目标跟踪算法的研究是实现整个跟踪系统的基础，为此本章详细的介绍了跟踪算法 的整体框架，以及框架下的具体算法模块，为算法在硬件系统上的移植创造条件。 2 1 基于灰度模板匹配的精确目标跟踪算法整体框架 在本项目中使用基于灰度特征的目标跟踪算法，其算法结构的研究是整个跟踪系统 是否能够达到精确跟踪和实时要求的关键。 首先训练背景，感兴趣区域( r e g i o no f i n t c r e s t ，r o i ) 由人： 选定，同时以此感兴 趣区域建立初始模板。提出了差分背景遮掩分析( d i 疏r e n c eb a c 蝇r o u n do c c l u s i o n a n a l y s i s ，d b o a ) 算法，通过当前帧的感兴趣区域r 优。和此感兴趣区域对应的背景b 删 去分析该模板的遮掩特性，得到当前帧模板掩码m 。和感兴趣区域中目标的像素数量 虬，帆的统计是为判断目标遮掩面积大小做准备。当新的一帧到来后，先通过掩码中 的目标像素数和遮掩像素数的比例来判断是否完全遮掩，如果不完全遮掩，利用掩码模 板匹配( m a s kt e m p l a t em a t c h i n g ，m t m ) 算法，获得近似的目标区，然后由d b o a 算 法分析得到过度掩码。利用得到的近似目标区和过度掩码，由目标定位修止掩码模板匹 配( t a 唱e tl o c a t i o nr e c t i f i c a t i o nm a s kt e m p l a t em a t c h i n g ，t l r m t m ) 算法得到准确的目 标区域，再一次分析模板掩码，为下一帧的跟踪做准备。记录下这一帧的运动矢晕，为 全遮掩的预测做准备。最后利用卡尔曼滤波去更新模板和背景。 而在全掩蔽的情况下，利用过去统计的运动向量吒至k 一。，作匀速预测( c o n s t a n t v e l o c 毋p r e d i c 砒i o nm o d e l ，c v p m ) 得到感兴趣区域，然后用d b o a 算法分析新的掩码， 从此掩码中分析是否结束完全遮掩状态，如果结束，那么就进行一次m t m 算法，重新 捕获目标。在全掩蔽状态下，不可以更新模板。基于灰度匹配的目标跟踪算法整体框架 如下： 东南大学硕士学位论文 f o r 腑m e i f l d 既n 产l ，z ，n t r a i f l i f l gb a c k 弘o u n d 耽d i ff l 砌em d e xn = = 、“l h 蚍a l i z e 也e 蚀巾h t eb y 删l ys d e c 恤g 协et a r g 吐r 呼o n ( r o i ) t ( x ) r u n 【坂，】一d b o a ( r 讲。，b 。，) 踟d f b r6 篇【m em d e xn 产圣斗+ 2 ，n 墨= 3 ， i fn c o r r l p l 吐eo c c l u s i o n r u nr 优。一m t m ( 瓦- 1 ，嵋一1 ) 髓d r u n a 气，a k 】= d b o a ( 尺饼。，岛o ，) r u nr 凹。一1 l r m t m ( 互一l ，厶，鸩) r u n 峨，】蕾d b o a ( 尺优。，b 。，) r e c o r dm o t i o nv e 吐o r 吒 u p d a t eb a c k 萨o u n d 雏dt 叩h t eb y 髓k n 觚f i l t e r e 】s ei f c o m p l 酞eo c c l u s i o n r u nr 凹。一c v p m ( 吒，圪- l ，吒一i ) i u j n 坂， = d b o a ( 尺饼。，b w ) i fm e do f c o m p l e t e0 c c l u s i o ni sd e t e c t e d r u n r o i = m t m ( 瓦一l ，厶，坂) r u n ，】曩加o a ( r 饼，岛0 ，) e n d e l l d 2 2 差分背景遮掩分析 遮掩分析的目标是，分析出感兴趣区域中什么是目标，什么是背景和遮掩物。在跟 踪的过程中利用遮掩分析的结果，去除背景和遮掩物的干扰，而只针对目标进行跟踪， 这样可增加匹配的准确性。同时遮掩分析还为我们提供了目标被遮掩面积的信息，使得 我们能够对目标是部分遮掩还是全遮掩做出判断，并根据遮掩情况采取不同的跟踪策 略。如图2 一l ，如果图中的人是我们跟踪的目标，那么图中的房子和树木就有可能是背 景或遮掩物。背景和遮掩物在模板中作为干扰信息都可能导致跟踪的失败。也正如图2 1 8 第二章基于灰皮模板匹配的精确目标跟踪算法 所示，大部分跟踪目标都是运动在背景和遮掩物之中的，这也体现了遮掩分析对提高跟 踪精确度的重要性。 幽2 1 在背景与逃抢物虾境中的爿标 本文提出了用差分背景的方式对感兴趣区域进行遮掩分析( d b o a ) ，该算法的丰要 流程如图2 2 。该算法由背景的建立，感兴趣区域与对应背景差分两部分组成，从而得 到遮掩分析结果。 2 2 1 建立背景 弓 训练背景 l 差分背景检测区分目标、背景和遮掩物 图2 2 差分遮掩分析算法流程图 在摄像机固定不动的情况下，背景像素灰度值变化缓慢，而运动物体对应像素灰度 变化较快。根据这个原理，采集一段时间( 0 ，t ) 里的连续帧图像i ，两帧之间的问隔时间 相同。对相邻两帧作帧差，灰度差小于某个阈值日的判为背景像素，并作统计，假设 d ( f ，_ ，) 表示坐标为( f ，) 的像素点作为背景的累加灰度值，j v ( f ，) 表示坐标为( f ，) 的像 素点作为背景的次数，则有背景统计算法： i f l 以+ l ( f ，_ ，) 一厶( f ，) i 如。 园 图2 一1 1 匀逮预测流程图 2 7 基于灰度模板匹配精确目标跟踪算法的试验结果及其性能分析 本文针对基于灰度模板匹配精确目标跟踪算法的各个模块做了大量实验，并与没有 添加上述各算法块的简单灰度匹配算法做比较，来测试各个算法模块对跟踪性能的改变 情况。 首先对掩码模板匹配和目标定位修正算法测试，如图2 一1 2 为实验结果。本文选用 一段具有背景遮掩物的视频，所谓背景遮掩物就是遮掩物是背景的部分。在图2 一1 2 ( a ) 中，由于目标受到遮掩物的影响，遮掩物表面信息替代了目标表面信息，在这种情况下 使用单一的灰度模板匹配很容易产生错误，正因为此，目标在9 5 帧后丢失。而采用本 文的算法，可克服遮掩物的影响，成功跟踪目标，如图2 一1 2 ( b ) 。图2 1 2 ( b ) 巾的每帧 查塑奎兰堡主兰堡笙茎 序列左下角都显示了此帧的模板和掩码图，差分背景遮掩分析算法成功的分析了目标的 遮掩情况，并将分析出的掩码对模板滤波后进行第一次匹配，在第一次匹配的结果上用 目标定位修正算法再匹配，这样克服了遮掩物的干扰，大大提高了跟踪的准确性，即使 在1 0 5 帧，目标表面信息相对于遮掩物非常少的情况下也能成功跟踪。 当h 标和遮掩物同为运动物体，本文称为运动遮掩，这时依靠差分背景检测是区 分不了目标和遮掩物的，这样掩码匹配就不能克服遮掩的影响。在这种情况下就需要模 板的精确件，模板的准确更新尽可能的提高了匹配的准确性，即使运动遮掩干扰了匹配 过程，但目标的遮掩过程往往短暂，当目标脱离遮掩状态时，利用准确的模板依然能够 捕捉到目标。这时抑制漂移的掩蔽卡尔曼模板外观更新算法就发挥了十分关键的作用。 如图2 1 3 ( a ) 由于仅仅依赖灰度模板匹配算法进行跟踪，目标在1 9 0 帧前后因受其他运 动物体的t 扰，目标丢失。而图2 一1 3 ( b ) 中，由于模板及时准确的更新，以及差分背景分 析、掩码模板匹配目标定位修正算法的辅助作用，使得在2 6 3 帧左右目标被部分遮掩的 情况下，依然能准确跟踪。图2 1 4 ( a ) 仅仅依赖灰度模板匹配算法，视频在1 0 9 帧前后， 目标被完全遮掩，算法错误的跟踪了运动遮掩物，丢失原目标。而在图2 1 4 ( b ) 中目标在 被运动物体完全遮掩情况下，算法准确的完成跟踪。 6 3 帧 7 0 帧 7 5 帧 8 5 帧 9 5 帧 1 0 5 帧 1 2 0 帧1 2 5i 帧 1 3 0 帧 1 3 5 帧 ( a )