（控制科学与工程专业论文）监控视频中运动目标跟踪算法的研究.pdf

里堕型兰垫查奎堂堑塑竺坚兰垡笙塞 a b s t r a c t v i d e om o v i n go b j e c ta n 啦y s i si sa1 1 e wl ( i n do fm e d i ai n f 锄a t i o np m c e s s 抽gt e c h n o l o g y ， w i l i c hi gf o c u s e do n 也ev i d e oc o m e ma n a l y z i i l ga n dp m c c s s i n gt e c h i l o l o g y t h i sp a p e rm a i l l l y d i u s s e so nm ee s m i a lp a r to fv i d e om o v i n go b j e c t 锄a l y z i gt e c l l i l o l o g y 邗o v i n go b j e c t s 也l c k i n ga l g o 疵h l n 锄dt h es 删a r dd e s c r i p t i o no f m o v i l l go b j e c t s 仃a c 蛀n gr e s m t s i l lv i d e om o v i l l go b j e c t sa 1 1 a l y s i sp r o c e s s ，m o v i n go b j e c t s 缸k i n gi sb 嬲e do nm o v i i 培 。巧e c t sd e t e c t i o n t h ep r i 瑚yp 唧o o f v i d e oo b j e c t s 虮l c k i i l gi st 0a c h i e v em o d o nf b 砷u r eo f m o v 址go b j e c t s ，i i l c l u d i n gm o t i o n 仃a c ka n di n s t a n t a n e o u sm o 矗o np 踟e t c r s 趾ds oo n a s m a j o rv i d e ot a ：k c m 删cc o n t e n t sb yw a yo fm o t i o ni 龇a t i o n ，锄9 1 i c i z i n g 卸dc a p 岫g m e a i l i i 喀md ) 咀砌ci n f 0 m a t i o nb e c o m er n o r ea n dm o mi m p o r t a n tp a r t o fm l l l t i i n e d i a i n | = b 】m l a t i o np m c e s s i n gt e c h n o l o g y ，s o 嬲t o1 1 i g h l yi m e r e s t so nt h er e s e a r c hh a 、他b e e nf o c u s e d o n t l l i s 群i p e rd i s c l l s s e sm eg e n e m lm e 山o do f s u r v e i l l a n v i d c om o t i o nf e 船柚a l y z i n g 强d m o v i l l go b j e c t sd e t e c t i o n 趾d 舰c i n ga t6 r s lt h e n 臼yt od r a wac o n c l l l s i o no fas y s t e m 劬m e w o r ko ft l l es u r v e i l l a n c e 、，主d e om o v i n go b j e c t s 衄c i n g 1 1 1 i sp 印e ra l s o 丘n d saf b a n 聪 m a t c l l i n ga r i t l l i n c t i cw l l i c hi sb 硒e d0 np r o b 西i l i t i e s h lt l l i sa r i m m e t i c ，w cp i c ko u ta 啾o f r 印r e s e n t a t i v ef e a t u r e 毋o u pa n d 血e nw em a yg dt l l em o v i i 珥。巧e c t sb ym o v i 且go b j e c t s d e t e c d o nm e m o db 鹊c do nb a c k g r o m l ds u b 妇c t i o nm e m o di i lo r d e rt oe x 订a c tm em o d o n f e a t i l r e so ft 1 1 em o v i l l gd b j e c t sr e g i o 璐a f 【e rt h a tw ec a nc a l c l l l a t em a t c l l i n gp m b a b i l i t i e s 锄d c o m b i n a d o nm a t c h i n gp r o b a _ b i l i t i e s ，a t l a s t a c c o l p l i s ho b j e c t st r a c 虹n gt h r o u g hf e a t m e s m 蛐g w h e nd e a l i n g 稍t l lm m t i o b j e c t st r a c k i n 岛鹊s i 弘m e n ta l g o r i t h mw i ub ec o n s i d e r e d t o o w h e nw eg e tv i d e o 删o ni i l f o r m a t i 0 1 l t r a c 主i l gr e s u l t sn e e dt ob er e c o r d e da l l ds a v i ；di n s o m es t a l l d 甜de x p r e s s i v ew a y ，s o 也a tv i d e om o t i o n 柚a l y z i n gr e 锄l 招c 趾b cu m i z c de 妇b c t i v e l y n 圮p a p c rm a l 【e su s eo ft 1 1 e 、，i d e of e a t u r es e m i a u t o m a t i cd e s c r i b i n gm e 血o db 嬲e do nm p e ( 7 t od c s c r i b et l l e m o v i l l go b j e c t s 仃a c i l l g 撕廿1 m e t i cf e s l l l t sc a 加面c a l l y n 邪c o m p l i s h e dv i d e o m o t i o ni i l 如咖戚o ne 任跏v ed e s c r i p t i o nt oac 碱nd e g r e e ，w b i c hf a c i l i t i e sm es u r v e i l l 粕c e “d e oi l l f b n n a t i o n 讲群m i z i n g 拙dm 卸a g i l l gb 嬲e dc o n t e n t h lo r d e r t o v a l 触也ca l g 础皿，w ca c c o i n p l i s h e d i t i l la 丘腧诵m 恤e d i r e c t s h o w s d k d e 、砖l o p i l l ge n v i m 姗e n t ，a n dl i l a d ec e r t a i nm o v i n g 喇e c 忸仃a c i i l gt e s t s r e s l l l t ss h 们vt l l a tt h e a l 酬血m i nt l l i sp a p 盯c o m dg dc e r t a i n 鲥甜m gr c s l l l t si nm 饪b r e n te n v i r o n m e i 】皓 k e yw o r d s ：s u r v e iii a n c ev i d e oa n a i y z i n g ：m o v i n go b j e c t sd e t e c t ；o na n dt r a c i n g r 开口vjn go b j e c t sf e a t u r ee x t r a c tjo na n dm a t c hin g ；a s sig n m e n t 第1 i 页 国防科学技术大学研究生院学位论文 图表目录 图1 1 运动目标检测与跟踪一般处理性框架2 表1 1 三种目标方法的比较4 图2 1 背景像素点提取9 图2 2 减背景运动目标检测流程图1 0 图2 3 运动对象跟踪过程流程图1 1 图2 4 对象边界框表示图1 2 图2 5 运动对象跟踪过程实验结果1 5 图2 6 速度变化曲线1 5 图2 7 运动轨迹1 6 图3 1 基于特征概率匹配的运动目标跟踪算法流程1 7 图3 2 区域中心像素和外接矩形一1 9 图3 3 加权二分图到矩阵的转化2 3 图4 1m p e g - 7 应用的一种抽象表示3 0 图4 2 不同外形的示例3 l 图4 3 轮廓外形3 2 图4 4 时空定位器3 4 图4 5d d l 语法分析生成器功能模块3 4 表4 1 分段描述与底层特征的对应关系3 5 图4 6 使用d d lp a r s e r 生成描述信息的流程图3 6 图5 1d i r e c t s h o ws d k 实现运动目标跟踪算法3 9 图5 2 目标跟踪算法实验结果4 0 图5 3 目标遮挡4 0 图5 4 目标融合、分离4 l 图5 5 多目标跟踪时指派算法实验结果4 1 表5 1 未加入指派算法时的目标跟踪算法4 l 表5 2 加入指派算法后的目标跟踪算法4 1 第i i i 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技米大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意。 学位论文j l l l 习：监整塑题主垩弛垦握盟堡壁友洼珏究 学位论文作者签名：! 鲴王塾! 翌j 日期：j o 西午，月五引j 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文 ( 保密学位论文在解密后适用本授权书。) 学位论文题目：些控趣叛生垩越旦拯尥退壁左洼珏窒 学位论文作者签名：! 望查! 型日期：斌年f 1 月越日 作者指导教师签名：喜雌日期：坷年( ，眇日 里堕型堂垫查盔堂堑塞生堕兰竺丝苎 第一章莹薪荟莨甏崮衙蓟引彗露谣笛蓓娶暴酣翟潴譬骡班捌錾消群甍烈芝副戳， 艨涮陛强薹雪垦蚕i 铲矍翼蓉即巨y 要冀饔；列引鲥融鹭乳型蕈都会有喔融鼗。霉蟑 n 琏羽臻驽姆羹m 禹黼刃瓤蛋争m 新勘而篓躺；嚣暨悬藿塔肇琶蒌；嚣鞠藕耩。丫牟鼋 酌稚角封基督善戮罩裂黑科掣姒譬i 篁穗；罄薛姚麓笔越鸶 在薄膜厚度在1um 以内时，对薄膜择优取向有较大影响的因素是溅射气体的 不同。溅射气体为a r 气时，薄膜晶粒的择优取向为( 1 0 1 ) 和( 1 0 4 ) 方向， 而当溅射气体为、0 2 混合气体时，薄膜晶粒的择优取向为( 0 0 3 ) 方向。 在同一个厚度水平，同一种溅射气氛下。气体流量、气压值等因素对薄膜中晶 粒择优取向也有一定的影响，但是相比于前两个因素，它们的影响比较小。 溅射气氛中添加了氧气对薄膜择优取向的影响可能是以下原因。当溅射气氛中添加了 氧气以后，溅射制备的薄膜相比于没有添加氧气溅射制备的薄膜富氧。这一点可以通过两 种不同溅射气氛溅射制各薄膜的能谱图的比较看出。如图3 2 2 所示，图a 表示的是末退火 使用气溅射的l i c 0 0 2 薄膜( 与3 1 5 表中1 # 样制备工艺同) 能谱图，其中o 元素的摩 尔百分含量为6 5 4 3 。图b 表示的是未退火使用a r 、0 2 混合气溅射的l i c 0 0 2 薄膜( 与 3 1 5 表中2 # 样制备工艺同) 的能谱图，其中o 元素的摩尔百分含量为7 1 ，图c 表示的 是气作为溅射气氛制备的退火后的l i c 0 0 2 薄膜能谱图，其中0 元素的摩尔百分含量为 5 7 1 ，图d 表示的是、0 2 混合气作为溅射气氛制备的退火后的l i c o o z 薄膜能谱图， 其中o 元素的摩尔百分含量为量为5852。第4 8 页 x 国防科学技术大学研究生院学位论文 学术会议女i i c c v ( i n t e r n a t i o n a lc o n f e r e n c eo n c o m p u t e rv i s i o n ) 、c v p r ( i e e ec o m p u t e r s o c i e t yc o n f e r e n c eo nc o m p u t e rv i s i o na n dp a t t e r nr e c o g n i t i o n ) 、e c c v ( e u r o p e a n c o n f e r e n c eo nc o m p u t e rv i s i o n ) 、i w v s ( i e e ei n t e r n a t i o n a lw o r k s h o po nv i s u a l s u r v e i l l a n c e ) 等将视频运动目标分析研究作为主题内容之一，为该领域的研究人员提供 了更多的交流机会。 视频流中运动目标的检测与跟踪是视频运动目标分析研究中的关键技术，其作用就是 检测出场景中的运动目标并对其进行跟踪，记录并描述场景中的运动信息，从而获得具有 实用价值的监控信息和视频语义内容。运动目标检测是运动目标跟踪的前提和基础，目标 检测的结果是将视频流分割成为运动对象和背景，在这个基础上，可以进行目标的识别、 分类和行为分析等深层处理，使这些过程效率更高，因为只要考虑“运动的”像素。 为了检测出视频中的运动目标，首先要建立视频的背景模型。其中背景的提取、更新， 背景扰动、光线变化、阴影等带来的影响是必须要考虑的问题。本文采用基于统计方法的 背景模型，能够实时地对背景模型更新，以适应光线变化和场景本身的变化，在经过阈值 处理后，用形态学和连通域大小的方法对检测结果进行 x 里堕型堂垫查奎堂翌墅生堕堂垡笙苎 方法时间差分法光流分析法减背景法 所得运动目标边界信息运动目标位置、大小、形运动目标位置、大小、形 信息状等信息状等信息 适用摄像头固定摄像头固定、运动摄像头固定 范围 外界条小 中 大 件变化 的影响 复杂度 小大中 当然，在运动变化检测中还有一些其它的方法，如f r i e d n l 蛆与r l l s s e l l 1 利用扩展的 e m ( e x p e c t a 畦o nm a x i n l i 刎) 算法，为每个像素建立了混合高斯分类模型，该模型 可以自动更新，并能自适应地将每个像素分类为背景、影子或者运动前景，在目标运动速 度缓慢的情况下亦能较好地完成运动区域的分害4 ，并可以有效地消除影子的影响；另外， s 妇g a 嘲也提出了一种新颖的基于数学形态学的场景变化检测算法，在变化的环境条件下 获得了相对稳定的分割效果。 1 2 2 运动目标跟踪 跟踪等价于在连续的图像帧间创建基于位置、速度、形状、纹理和色彩等有关特征的 对应匹配问题，常用的数学工具有卡尔曼滤波”1 ( k a l m a nf i l t e 血g ) 、c o n d e n s a t i o n 算法 及动态贝叶斯网络哺1 ( 功，i l a i n i cb a y e s i a i l n e t w o r k ) 等。其中k a l m a l l 滤波是基于高斯分 布的状态预测方法，不能有效地处理多峰模式( m u l t i - m o d e ) 的分布情况；c o n d e 璐a t i o n 算法是以因子抽样为基础的条件密度传播方法，结合可学习的动态模型，可完成鲁棒的运 动跟踪。 目前，从目标跟踪的依据来看，现有的目标跟踪算法可以分为基于先验知识和非基于 先验知识两大类，前者通过建立目标匹配模板库来实现对目标的匹配过程，而后者则是系 统自发通过学习过程建立自适应的模版库来进行目标匹配的过程；从结果的侧重点来看， 现有的目标跟踪算法又可以分为侧重于运动目标区域和侧重于运动目标运行轨迹两大类。 就跟踪视角而言，有对应于单摄像机的单一视角、对应于多摄像机的多视角降删和全方位 视角“”：当然还可以通过跟踪空间( 二维或三维) 、跟踪环境( 室内或户外) 、跟踪目标 数( 单目标或多目标) 、摄像机状态( 运动或固定) 等方面进行分类。下面介绍几种常见 的目标跟踪方法。 ( 1 ) 基于模型的跟踪( m o d e l b a s e dt r a c k i l l g ) 常规的目标表达方法有三种w ： a ) 线图法( s t i c kf i g u r e ) ：该方法尤其适用于对人的表示，人运动的实质是骨骼 的运动，因此该表达方法将身体的各个部分以直线来近似，例如k 扰u j l o v a 建立了人 体运动学的分层模型，用于单目视频序列中人体的跟踪； b ) 二维轮廓( 2 dc o n t a l l r ) ：该目标表达方法的使用直接与目标在图像中的投影 有关，例如n i y o 西与a d e l s o n 利用时空切片方法进行人的跟踪：首 方法时间差分法 光流分析法减背景法 国防科学技术大学研究生院学位论文 的轨迹，最后利用这些关节轨迹勾画出一个行人的轮廓： c ) 立体模型( v o l 啪e 试cm o d e l ) ：它是利用广义锥台、椭圆柱、球等三维模型来 描述人体的结构细节，因此要求更多的计算参数和匹配过程中更大的计算量。例如 r d h r 嘲使用1 4 个椭圆柱体模型来表达人体结构，坐标系统的原点被定位在躯干的中心， 目的是想利用该模型来产生人的行走的三维描述，实现单目图像序列中人的跟踪。 模板匹配是利用预知的对象特征，产生匹配模板，并在待匹配图像中搜寻对象，当相 关函数有了极值时，就可以判定为对象。设：模板叠放在图像上，自上而下，自左而右平 移，可以使用如下相关函数： f 盯 随，( j ，d m ，) 】2 r ( x ，力= 兰气广一 ( 1 1 ) 峨，( f ，_ ，) 】2 其中 ，y ) 为其覆盖下的那一块子图左上角的坐标，( f ，j ) 为像素点在模板内的坐标， r ( f ，_ ，) 为模板像素点的灰度值，s 。( j ，力为图像相应点的灰度，m 为模板长、宽方向像素 点个数。 在理想情况下，最，( f ，) r ( f ，) = c ，c 为常数，此时r ( x ，y ) 能取到最大值，从而得 到最佳匹配点。 对模板模型的直接匹配，实际上是对静态对象图像的处理分析，在运动对象较大时， 计算量太大，难以实时应用。 ( 2 ) 基于区域的跟踪( r e g i o n _ b a s e dt r a c k i i l g ) 基于区域的跟踪方法目前已有较多的应用，例如w b n 等利用小区域特征进行室内 单人的跟踪，文中将人体看作由头、躯干、四肢等身体部分所对应的小区域块所组成，利 用高斯分布建立人体和场景的模型，属于人体的像素被规划于不同的身体部分，通过跟踪 各个小区域块来完成整个人的跟踪。基于区域跟踪的难点是处理运动目标的影子和遮挡， 可利用彩色信息以及阴影区域缺乏纹理的性质来加以解决，如m c k e 加a 等首先利用色 彩和梯度信息建立自适应的背景模型，并且利用背景减除方法提取运动区域，有效地消除 了影子的影响；然后，跟踪过程在区域、人、人群三个抽象级别上执行，区域可以合并和 分离，而人是由许多身体部分区域在满足几何约束的条件下组成的，同时人群又是由单个 的人组成的，因此利用区域跟踪器并结合人的表面颜色模型，在遮挡情况下也能够较好地 完成多人的跟踪。 ( 3 ) 基于特征的跟踪( f e a n l r e - b a s e dt r a c k i n g ) 基于特征的跟踪包括特征的提取和特征的匹配两个过程。特征是组成运动区域像素的 数字属性，它是基于像素的或者是能够从运动区域中取出来的空间信息。从排除噪声干扰 的角度来说，选取多个匹配特征以及使用更为复杂的特征匹配规则显然是有利的，但这样同 时增加了算法的复杂度，影响了算法运行的实时性。为解决上述问题，需要选取一组具有 代表性并且能够快速进行提取的特征集合，这个特征集要能够保证准确、唯一地表述目标， 并且能满足对目标特征提取的实时性要求，因此该特征集的选取和应用将是很有意义的。 接下来要根据的选定特征集对目标进行表述和匹配，这也是目标跟踪技术的核心内容。同 国防科学技术大学研究生院学位论文 注释、使用信息等) 需要用户交互才能完成。 1 4 论文结构 本文后续章节主要是围绕目标跟踪算法的主要组成部分展开的： 第二章首先分析了监控视频中的运动对象特性，归纳了监控视频中运动对象的一般检 测和跟踪方法，得出一种监控视频中运动对象跟踪的一般系统结构和处理过程。 第三章主要讨论基于特征匹配概率的运动目标跟踪算法，包括特征集的选取、匹配概 率的计算以及目标匹配策略等内容。在处理多目标跟踪时还要用到指派策略；当目标发生 遮挡时，要使用二阶k a l i i l a l l 滤波器模型作为目标的运动模型 第四章主要介绍标准化运动跟踪结果的描述方法。根据描述定义语言，运用基于 m p e g 7 的视频内容描述工具，对运动轨迹和目标特征集进行描述。主要内容包括基于 p e g - 7 的标准化视频内容描述工具介绍，运动轨迹以及目标特征向量的标准化描述方 法。 第五章将介绍算法的实现平台以及测试情况。主要内容包括d 硫c t s h o ws d k 算法实 现平台的介绍，算法实现过程以及不同场景中多目标、目标发生遮挡等情况下本文提出的 运动目标跟踪算法所作的测试结果。 第六章对研究内容进行总结，针对本文提出方法的优点和提出对今后研究的展望。 第7 页 国防科学技术大学研究生院学位论文 第二章监控视频中的运动对象检测与跟踪技术 视觉监视是指在一个繁忙环境中对人和车辆等进行实时的观察，并给出对它们行为和 动作的描述。这一技术包括了运动目标的检测、跟踪、目标分类和行为理解等方面，涉及 到计算机视觉、模式识别和人工智能领域的许多核心课题，是一个具有挑战性的困难问题。近年来随着集成电路和计算茺j 尝蔷魏嚣罄0 霪耀堡囊墓霰矧搿诰翁。擗墨衡矍羹谱闻鬲糕壤赫磋借苛豳囊尉眇毹 吣副，翮翼霾望堪曦臻。在灏射中任用萋奎峨姜雾纠目嫂弱始蓥副拜铲。 要蚕，g 鋈薹囊萼垂霪篓羹蚕璧雾薹 塞鑫薹喇型婴甄纂稳州瀚博圆鬻词壹渥瞪曝灞韬瓣；淀了强理嚣耀嚏甚巨透蒌掣茧 烈，摇臻增堡燃嫣尝鲣，烈掣譬蛭d 靠髓翳辨踞酗复甜珏体的的最佳工艺条件：溅射功率为7 5 w 、气体流量为2 8 s c c m 、气压值为1 5 m t o r r 。确 定了在选定范围中因素对峰强度和厚度影响趋势。 溅射时不同工艺条件对晶体生长的择优取向有影响。当薄膜较厚时，晶体生长时的优 选晶向主要沿( 1 0 4 ) 晶面群的取向，薄膜较薄时，晶体生长时的优选晶向主要沿( 0 0 3 ) 晶面群的取向。当薄膜厚度在11 1m 左右时，溅射气氛对薄膜中晶体生长时豹择优取向有 很大影响。当溅射气氛为、0 2 混合气体时，薄膜中晶体生长时的优选晶向为沿( 0 0 3 ) 晶面群方向，而当溅射气氛为a r 气时，薄膜中晶体生长时的优选晶向为沿( 1 0 4 ) 、( 1 0 1 ) 晶面群方向。这是因为溅射气氛为a r、0 2 混合气体时所制备薄膜相对富氧，在退火过程 中产生的氧空位比较少，易于生成相对比较致密的( 0 0 3 ) 晶面群取向的晶体。而当厚度 增大到一定值时( 1 5 u m 以上)，薄膜生长更倾向于沿( 1 0 4 ) 、( 1 0 1 ) 晶面群方向。 在比较了末退火、5 0 0 、7 0 0 c 退火后的x r d 谱图，s e m 图，和红外吸收谱图后， 确定7 0 0 为薄膜的退火温度。 在退火时间对薄膜制备的影响研究中，大于2 小时退火时，退火时间对薄膜结晶影响 不大。 第 x 国防科学技术大学研究生院学位论文 变，从而准确分割出运动目标的像素区域。根据产生的原因，可将这些变化情况分为两大 类： ( 1 ) 光照变化； 连续的光照变化，通常是室外环境； 突然的光照变化，通常是室内环境中的开关灯。也可能是室外晴天出现乌云； 投影到背景中的阴影，这既可能是背景物体自己产生的阴影，如大楼、树， 也可能是前景目标的阴影。 ( 2 ) 运动变化； 背景扰动：全局运动使得背景图象变化，如室外相机受风吹而轻微抖动；局 部运动引起的背景局部变化，如室外随风吹动的树枝或水波： 运动目标引起的背景变化：如人将某个东西带入或带出背景，汽车停入或驶 出背景场景，或者入或物在场景中停留一阵后又运动的情况。 因此，实现一个好的减背景算法面临很多挑战。不仅要解决这些背景变化情况，还必 须计算量低、占内存小，以满足很多应用对实时性的要求。 人们已经在很多计算机视觉应用中针对这些背景变化开发了各种各样的减背景算法， 根据算法采用的背景建模特征大致分基于像素特征( 像素的亮度、颜色、边界、不一致性) 和基于区域特征( 像素块的相关性) 两大类。文献资料分析发现，目前大多数算法都基于 像素的亮度或颜色特征构建背景模型。 使用减背景方法进行运动检测主要有以下六个步骤来实现： ( 1 ) 背景提取：对视频流中某一像素点进行一段时间的观测，可以发现，只有当前 景运动目标通过该点时，它的亮度值才发生大的变化。对该像素点的亮度值进行统计， 在一段时间内，亮度值主要集中在很小的一个区域中，因此，可以用这个区域内的平 均值作为该点的背景值。见图2 1 图2 1 背景像素点提取 ( 2 ) 阈值分割；是比较当前图象和背景图象中对应像素点的差异，如果差值大于一 定阈值，则判定该像素为前景运动目标的组成像素。 第9 页 国防科学技术大学研究生院学位论文 ( 3 ) 后处理：噪声的影响，会使一些背景像素点被检测成运动像素点，也可能使运 动目标内的部分像素点被检测为背景形态学闭运算。背景的扰动，如树枝、树叶 的轻微摇动，会使这部分也被误判断为运动目标学l 断连通域大小。 ( 4 ) 背景更新：要使背景模型能够对外界光线变化具有自适应性，必须实时地对背 景模型进行更新。背景中固定的部分也可能发生移动，发生移动后的区域在一段时间 内将被误检测为运动目标，但不应该永远将其看作是运动目标，需要有一个有效的背 景更新策略。运动目标也可能长时间停止在场景中，对于这部分区域，可以一直认为 是前景，也可以在一段时间后将其看作是背景的一部分。 ( 5 ) 阴影检测：对阴影检测后的图象分别进行水平和垂直两个方向的扫描，如果两 个前景像素点问由阴影像素点连接，则将这两个像素点间的所有像素都标记为前景 点。 ( 6 ) 前景像素点聚类：上述过程得到的还只是前景目标像素级的检测结果，最后还 需要进行聚类融合成为具有一定几何形状的运动目标区域并加以标识。 图2 2 减背景运动目标检测流程图 2 3 监控视频中的运动对象跟踪方法 2 3 1 运动目标跟踪一般性方法 运动目标的跟踪方法其核心就是在连续的图像帧间创建基于位置、速度、形状、纹理、 色彩等有关特征的对应匹配以记录目标在监控视频中的运动轨迹，为进一步分析视频运动 信息做准备。 比较有代表性的跟踪方法是基于特征的运动目标跟踪方法，该方法准确性较高，具有 一定抗噪声性。基于特征的跟踪包括特征的提取和特征的匹配两个过程。特征是组成运动 区域像素的数字属性，它是基于像素的或者是能够从运动区域中取出来的空间信息。从排 除噪声干扰的角度来说，选取多个匹配特征以及使用更为复杂的特征匹配规则显然是有利 的，但这样同时增加了算法的复杂度，影响了算法运行的实时性。 为解决上述问题，需要选取一组具有代表性并且能够快速进行提取的特征集合，这个 特征集要能够保证准确、唯一地表述目标，并且能满足对目标特征提取的实时性要求，因 此该特征集的选取和应用将是很有意义的。接下来要根据的选定特征集对目标进行表述和 匹配，这也是目标跟踪技术的核心内容。同样地，在选取匹配策略的时候也要兼顾匹配准 确性和匹配实时性两方面要求。此方法的难点是选取合适的特征集合以及相应的特征匹配 策略从而实现有效率的运动目标跟踪，而这些也将是本文进行讨论的重点内容。 第1 0 页 里堕型兰茎查盔主竺茎竺堕望堡笙苎 已记录的对象 图2 3 运动对象跟踪过程流程图 图2 3 是跟踪过程的流程图，其中各模块的功能如下： 1 ) 运动对象参数的初始化：对输入的运动对象检测结果进行初始化，记录每个运动 对象的中心位置和区域大小信息，这些信息是运动对象匹配过程中要参考的重要 信息。 2 ) 对象匹配：对象匹配是运动对象跟踪过程中最关键的步骤，其思想是根据一定的 匹配策略，将当前帧中检测到的对象与已经记录下来的运动对象相比较，如果比 较结果在某个阈值范围之内，则认为匹配成功，从而得出运动对象的运动轨迹以 及运动速度大小、方向等信息。 3 ) 运动对象参数的更新：如果能找到与当前帧中运动对象相匹配的对象，则将其参 数( 大小、中心位置) 用当前运动对象参数代替，并更新其速度、可信度等参数。 4 ) 已记录的对象：记录当前正在跟踪的所有运动对象的信息。 5 ) 运动对象参数的初始化：对输入的运动对象检测结果进行初始化，记录每个运动 对象的中心位置和区域大小信息，这些信息是运动对象匹配过程中要参考的重要 信息。 6 ) 对象匹配：对象匹配是运动对象跟踪过程中最关键的步骤，其思想是根据一定的 匹配策略，将当前帧中检测到的对象与已经记录下来的运动对象相比较，如果比 较结果在某个阈值范围之内，则认为匹配成功，从而得出运动对象的运动轨迹以 及运动速度大小、方向等信息。 7 ) 运动对象参数的更新：如果能找到与当前帧中运动对象相匹配的对象，则将其参 数( 大小、中心位置) 用当前运动对象参数代替，并更新其速度、可信度等参数。 8 ) 已记录的对象：记录当前正在跟踪的所有运动对象的信息。 下面部分将详细介绍各功能模块的实现过程。 2 3 2 运动对象参数的初始化 运动对象检测阶段得出运动对象的完整区域及其外接矩形框，本文做如下定义： 用主对角线上两个端点坐标p 。x ：) ，p ( 屯，x ) 定义边界框b ，如图2 4 所示： 第1 1 页 国防科学技术大学研究生院学位论文 图2 4 对象边界框表示图 找出运动对象o 的中心坐标幻，比较精确的方法如下： n 。n c e t o ，= 吼n o ；c e t o y = 艺吼n o ( 2 1 ) i - 1i - 1 n o 是对象o 的像素数目，即运动区域的大小，这可以在运动对象检测过程中得到， ( 吼，d 。) 是运动对象0 中第f 个像素的坐标。在精度要求不是很高的情况下，可以用 边界框的中心( l + x 3 ) 2 ，( x 2 + x 4 ) 2 ) 代替运动对象的中心，从而提高运算速度。运动对 象的运动速度大小初始化为0 。 本文为了判断是否有新运动对象移入监控区域或已有运动对象移出监控区域，还为每 个运动对象定义了一个可信度f ，通常对于第一次检测到的对象，可信度都比较低，在连 续跟踪到几帧后，可信度逐渐提高。 2 3 3 对象匹配 通常情况下，在相邻两帧之间，运动对象的大小和中心位置不会发生太大的变化， 因此，本文采用基于中心距和区域大小的方法进行匹配。 假设c e t o m ，c e t o n 是连续两帧中两个运动对象m ，n 所对应的中心位置，则m 、n 的中心距为： d i s t ( m ，n ) = 4 ( c e t o 一c e t o n x ) 2 + ( c e t 一c e t o n y ) 2 ( 2 2 ) 除了使用中心距，本文还使用面积大小辅助判断，如果d i s t ( m ，) 万，万为阈值， 则再比较面积大小，即比较运动对象所含像素点的数目n o m 和o 。，如果 l n o u n o 。i 卢，其中为闽值，则认为m ，n 是同一个运动对象。 经过匹配后，可能出现下列五种情况： 1 ) 存在不与任何一个已记录的对象相匹配的运动对象。这种情况，假设出现新的对 象，将其可信度僵f 设置为一个指定的较低的值； 2 ) 一个已记录的对象不与当前帧中任何一个运动对象相匹配。可能是该对象离开了 视线范围，或是被遮挡住了，也可能是没有检测到。对于这种情况，根据已经获 得的运动轨迹坐标和当前运动速度预测下一个中心位置， 第1 2 页 国防科学技术大学研究生院学位论文 ( q ，d ，) 。= ( q ，d ，) 。+ 可出，同时减小可信度f ，如果下一帧中仍未出现，则重 复以上过程，直到f 小于一定值，则认为对象离开视野范围，将其从已记录的对 象中删除；或者到对象重新出现，则继续跟踪。 3 ) 一个已记录的对象正好与当前帧中的一个运动对象相匹配，这是最理想的情况。 根据新对象的参数信息对该对象的参数进行更新，并记录运动轨迹，同时，可信 度增加( 如果可信度已达到某一指定值，则保持不变) ，并根据中心位置信息计 算运动对象当前的速度大小和方向； 4 ) 一个已记录的对象与当前帧中多个运动对象相匹配，当一个对象分离成多个对象 时就可以出现这种情况( 如人群中的人散开，一个人从车中出来) ，另外也可能 是检测算法将一个运动对象检测为几个独立的部分( 在前景与背景亮度值相差不 大时，可能出现这种情况) 。在这种情况下，选择最佳区域( 根据相关性匹配值 确定) 作为新的对象位置，并相应的更新，其它的运动区域作为新出现的运动对 象； 5 ) 多个已记录的对象与当前帧中同一个运动区域相匹配。当两个对象相互遮挡，或 是两个对象发生融合( 如：几个人走到一起) 时就可能发生这种情况，另外，也 可能是先前错误分离的对象又重新聚合起来。这种情况是特别例外的，必须对对 象的运动轨迹进行分析，才能确定怎样更新对象假设。对融合在一起的各个对象 的轨迹分别跟踪，接着对这些轨迹进行分析，如果一段时间里，它们的速度相同， 就将他们融合为一个对象，否则，对它们分别跟踪。这就可以继续跟踪相互遮挡 的对象或融合在一起的对象。 最后，对于找到匹配对象的对象，得出一组坐标，( q ，0 ，) 。，( q ，0 ，) ：，( q ，0 ，) 。， 用它们标识运动对象的运动轨迹，拧该对象被跟踪到的帧数。 2 3 4 运动对象参数的更新 根据匹配的结果，对已记录的对象的参数进行更新。 假设0 0 为一个为已记录的运动对象，o k 为当前帧中的一个运动对象，如果0 0 与d 相匹配，则要做如下一些更新： 1 ) 中心位置：c e l o m = c e f o n ； 2 ) 运动区域大小：n o m = ( n o m + n o n ) 2 ； 3 ) 运动速度大小：v 。= d i s t ( m , n ) a t ，a t 为相邻两帧的时间间隔。 4 ) 运动速度方向：c e t o n c e t o m 5 ) 可信度：如果f 小于某一阂值，则f = f + i ，否则f 保持不变。 如果当前帧中没有任何一个运动对象与d 。相匹配，则做如下更新： 1 ) 中心位置：c e t o m = c e t o m + v m * a t ； 2 ) 运动区域大小保持不变： 3 ) 速度大小、方向保持不变； 4 ) 可信度f 降低，如果小到一定值，则将该对象从已记录对象中删除。 第1 3 页 国防科学技术大学研究生院学位论文 ( b ) 运动对象重叠后分离 ( c ) 对交通视频中车辆的跟踪 图2 5 运动对象跟踪过程实验结果 图2 5 是运动对象跟踪过程的实验结果，其中图2 5 ( a ) 是运动对象被柱子遮挡而短时 消失的情况，可以看出，在运动对象再次出现后，能够继续跟踪。图2 5 嘞是两个运动对 象重叠后又分离的情况，在分离后，能够对两个对象继续跟踪。图2 5 ( c ) 是一段交通视频 中车辆的跟踪。实验表明，本文跟踪算法可以成功跟踪人和车。 图2 6 速度变化i l l l 线 图2 6 显示的是图2 5 ( c ) 中最右面一幅图象中车辆的速度变化曲线。这个速度是用 每秒钟运动对象中心在图象平面上移动的像素点个数来度量的。 第1 5 页 璺堕型堂垫查盔茎堕壅竺堕堂竺笙苎 ( a ) 运动轨迹在2 d + t 坐标下的表示 ( b ) x 方向随时间的变化曲线( c ) y 方向随时问的变化曲线 图2 7 运动轨迹 图2 7 ( a ) 是运动轨迹在2 d + t 坐标( 即x ，y 平面二维坐标加时间坐标t ) 下的表示， 图2 7 ( b ) 、( c ) 分别是x 、y 两个方向上随时间的变化，2 7 ( b ) 、( c ) 图中箭头表示速度在x 、 y 方向上的分量。 2 4 本章小结 本文研究的问题是监控视频中运动对象的跟踪方法。因此首先需要研究和分析监控视 频的运动对象特性，及其监控视频中运动对象的检测和跟踪方法。本章首先分析了监控视 频中的运动对象特性，归纳了监控视频中运动对象的一般检测和跟踪方法，得出一种监控 视频中运动对象跟踪的一般系统结构和处理过程。其中，首先要选取一组具有代表性的特 征具有代表性并且能够快速进行提取的特征集合，这个特征集要能够保证准确、唯一地表 述目标，并且能满足对目标特征提取的实时性要求，因此该特征集的选取和应用将是很有 意义的。接下来要根据的选定特征集对目标进行表述和匹配，这也是目标跟踪技术的核心 内容。同样地，在选取匹配策略的时候也要兼顾匹配准确性和匹配实时性两方面要求。此 方法的难点是选取合适的特征集合以及相应的特征匹配策略从而实现有效率的运动目标 跟踪。 第1 6 页 国防科学技术大学研究生院学位论文 模来检测前景点，具体的背景模型以林洪文等提出的统计模型为基础，该算法采用一种 可靠的连通区域检测方法来完成前景目标的分割。 目标跟踪时则通过匹配目标的位置、大小、形状和颜色等特征，建立运动目标与前景 目标间的对应关系。算法中考虑了跟踪中多个目标相互遮挡的问题，分析了几种可能结果 并分别加以运用指派算法处理多目标跟踪问题。 运动目标跟踪过程中必须考虑的问题： ( 1 ) 同时跟踪多个目标：监视区域内有只有一个运动目标是最简单的情况，但实际 中，往往有多个目标同时出现，能准确得出每个运动目标的轨迹是跟踪算法的一项基本要 求。目标重叠：监视区内的多个目标可能会有交叉的情况，交叉后分离，需要能正确判断 出来。 ( 2 ) 目标短时消失：即遮挡问题，运动目标可能由于场景中固定对象的遮挡，而短 时消失，重新出现后应能继续跟踪，不应看作是出现新目标。 ( 3 ) 目标分离：即一个目标分成几个目标，如：一辆车在场景中停下后，从车上下 来一个人，车和人分别离开。 ( 4 ) 目标融合：即多个目标合并为一个目标，如：两个人相遇后，一起离开。 ( 5 ) 刚体运动与非刚体运动：刚体运动，如：车辆的运动，在形状上不会发生大的 变化，而非刚体运动，如，人的运动，在形状上是不定的。 一个好的跟踪算法应该能处理以上问题，但现有的一些算法要么过于复杂，运算量太 大，要么不能解决所有问题。 3 2 运动目标特征提取及其匹配概率的计算 3 2 1 特征空间的选取 运动目标跟踪的目的是确定各运动目标的运动轨迹，其关键是在检测所得的静态前景 目标和受跟踪的动态运动目标之间建立对应关系。1 。这种对应关系的建立可以通过目标特 征匹配来实现。一般被选择用于匹配的特征包括那些与物理运动关系密切的特征，如位置、 大小等，以及目标的形状和颜色等，这样选取特征的好处是简洁直观，算法运行效率高。 匹配时可以根据各特征的重要性设定不同的权重系数。 本文选取区域中心像素的位置( 通过区域的外接矩形获得) 、运动区域平均颜色( 使用 标准化r g b 坞i 颜色空间，计算平均色时亮度分量i 被忽略不计，而且红色分量和绿色 分量需要单独地计算平均色) 、运动区域相