（电路与系统专业论文）视频图像序列中运动目标检测与跟踪方法研究.pdf

中文摘要 摘要：视频图像处理技术广泛应用于工业、医疗、安全、管理等领域。运动目标 的检测和跟踪是图像处理技术在视频序列图像处理方面的一个重要应用，在航天、 交通、机器人视觉、视频监控、公共场所客流数据监测等场合发挥着重要作用。 本文在对运动目标检测和跟踪算法研究的基础上，针对算法存在的问题，给 出一些解决问题的改进方法，并通过实验验证方法的有效性和稳定性。 运动目标检测目的是将当前帧图像中运动目标像素点检测出来，常用算法有 背景减法、光流法、帧间差分法。帧间差分法利用当前帧与其相邻连续多帧图像 之间运动目标出现区域灰度值差异性来检测目标像素点。传统二帧差分检测结果 目标区域被拉长、变形，内部产生大面积空洞；三帧差分检测运动目标可能出现 轮廓不清晰的情况。针对这些检测方法出现的问题，提出一种改进的奇数多帧差 分法，能得到相对准确的运动目标形状，检测出更多目标轮廓像素点，并且使空 洞问题得到一定程度的改善。用检测算法对连续帧图像像素点灰度值进行运算， 通过设定适当的阀值，将运算结果转化为二值图像，再经过图像形态学处理，就 得到运动目标的检测结果。准确的运动目标检测结果是后续目标跟踪处理过程中 准确提取目标特征的前提。 运动目标跟踪是对在当前帧图像中的运动目标的位置进行预测估计或匹配识 别。跟踪算法是建立在对运动目标特征提取的基础之上，目标特征信息包括位置、 形状、颜色等。常用的跟踪算法有卡尔曼滤波跟踪，均值偏移跟踪等。根据运动 目标检测结果求出目标质心位置，并以此作为观测值，再根据图像场景特点，构 造卡尔曼滤波系统的状态方程和观测方程，将状态预测值作为卡尔曼滤波跟踪结 果。对运动目标搜索区域在h s v 空间色调分量建立统计直方图，与目标模板进行 匹配，以b h a t t a c h a r y y a 系数最大化为条件，将最佳匹配位置作为均值偏移法的跟 踪结果。卡尔曼滤波跟踪只利用了目标位置特征，光照和目标运动快慢对均值偏 移跟踪结果有影响，在分析各种算法优缺点基础上，提出一种改进的运动目标跟 踪方法，对卡尔曼滤波跟踪和均值偏移跟踪的结果进行加权求和，并对均值偏移 算法中目标区域的匹配模板不断进行更新，跟踪方法利用了运动目标的两种特征， 使跟踪过程能通过调整加权系数来适应各种客观条件。 关键词：目标检测；帧间差分；目标跟踪；统计直方图 分类号：t n 9 1 1 7 3 a b s 眦c t a b s t r a c t d 锄di m a g ep r o c e s s i n gt e c h n i q u e sa 他w i d e l ya p p l i c a b l et 0 i n d u s 缸mm e d i c a l ，s e c 嘶t y 孤dm 觚a g e m 饥t t h ed e t e 以o n 锄dh a c l ( i n go fm o v i n g o b j e c t s ，够ap a r to fi m a g ep r o c e s s i n gt e 姗q u e si i l v 0 1 v e di nv i d h a g es e q u p r o c e s s i n g ，h a g ep r o c e s s i n gp l a y 柚i m p o r t 跹tr o l ei ns e v e r a jf i e l d s ，s u c h 勰a i r c m ， 响c ， r o b o t“s i o i l v i d e 0 跚r v c i l l 锄c e锄d p e d e s t r i 弛 f l o w d a t ai l l p u b l i c e s t a b l i s l l i i l e n t s i i lt l l i sp 印b 勰e d0 nm es t u d yo fa 1 9 0 r i t l l m sf o rd e t e c t i o na n d 仃a c l ( i n go fm o 诚n g o b j e c t sa n do nm e 龇a 1 ) z m go fp r o b l e m si l l 印p l i c a t i o 衄，i m p r 0 v o dm 酣h o d sa p r o p o s e dt 0t a c l ( 1 ew i m t l l ep r o b l e m s a n d 吐l ee x p e r i m e n tr e s u l t sp r 0 v e dt l l e i re 丘i c i e n c y 锄ds t a b i l i 珏 t h em 0 6 v a ：t i o no fd e t e c t i o no fm o v i l l go b j e c t si st 0d e t e c tt l l ep 权e l s 廿l a tb e l o n gt 0 m o v i i l go b j e c t s 绷i l lm i s 胁ei m a g e t a d i t i o n a lm e 吐l o d so fd e t e c t i o nc o n t a i l i b a c k g 阳u n dd i s t m c 丘o i l l i g l l t i l l gn o wm d 胁ed i s 仃觚舡o n f r 锄舱d i s 仃鳅i o nd 酏e c t s t l l em o v i n go b j c c t sp 仅e l sb ym ed i f f 打i l l 笋a yv a l u eb e 栅。吼t 1 1 e “盯e n t 仔锄e i m a g ea n di t sa d j a c e n th m ei m a g e e x p e r i m e n tr 岱u l to ft a d i t i o n a lt w of r 锄e d i s 昀c 毫i o nm a yb eo u to fs h 印e ，s 臼e t c h e d 趾dw i t h 髑 ，酬l a r g em a 锄p t i 鹤t h r e e 觑吼豁d i s t r a c t i o nn i a y 肿tg e tm ec l e 盯e d g eo f 吐l c 瑚1 0 诎l go b j e c t s c o n s i d e r i n gw i i t l l 髓e p r o b l e m s ，t b i sp a p e rp r e s e n tm 证1 p r 0 v e dm e t l l o d o f0 d dm m l b 盯髓 d i s 昀硝0 nt 00 b t a j hr c l 撕v e l ya c i c 啷l t es h a p e m o r ee d g cp i ) 【e l 锄dl 豁se m p t i 鹤t h e 阳叭1 tm a t r i x ，c a l 砌a t e dm r o u g ht l l ed e t e c t i o nm e t l l o d ，s h o u l db ec o n v e r t c dt 0ab i i l 缸y i i i l a g cw i mm ea p p r o p r i 如t 1 1 r c s h o l d a f i 盯m ei i i l a g em o h o l o g yp r o c 懿s h l g ，t l l i s i i i l a g ec 觚b en l er e “to fd e t 僦i o n 0 i i lc o n d i t i o no ft l l e 删ed e t c c t i n gr e 蚰l t 血e a 鲫u yo ff e a t l l r e 甑仃乏眦i o ni i lm en 懿ts t 印o fp r o c e s s i n ga _ b o u t 仃a c l 【i n go f 坞 m o 诎1 9o b j e c t sc 姐b ep r o l i l i s e d t i r a c l ( i r l go fm o v i r l go b j e c t si s l ep 同i c t i o n 觚de s t i m a t i o no ft l l eo b j e c tp o s i t i o i l 0 rt 0m a t c hm ef e a t i l 豫o f 血ec 眦r e n t 仔a m ei m a g ew i n lm et e m p l a t ci i ln 圮s e 删n g w i i l d o w t a c i 【i n ga 1 9 0 r i t l l i i ii sb 鹪c d m ee x 恤c t i o no f 廿l eo b j e c tf e a t u 坞i i ls e v 酬 t y p 鹪，驰c h 鹪p o s i t i o l l s h a p e 妣dc o l o r t h k ek a h i l 锄f i l t 盯仃a c l ( i n ga n dm e a ns t l i f t 仃a ，c k i i l g 鹪n l e 懿a m p l e so fw i d e l ym e d 仃a c k i n gi 鹏血o d s a c c o r d i n gt 0 廿l em o v i n g o b j e c t 峨ab yt l l ed e t e 姬0 n ，t l l ec e n t 盯p o s i t i o no f t l l eo b j e c t nb ef i g 删o u t 觚da c t 鼬t l l e0 b s e r v a t i o nv e c t o r c o n s i d 啦l gm e 棚s t a l l i i lm ei i i l a g es c 肌e ，i es t a t e 劬c t i o n 锄do b s e r v a t i o n 丘m c t i o nc 孤b ec o n s 仃u c t c d 1 i l ep r e d i c t i v es t a t ev a l u e0 fn l e c l 】时e n tf 锄ei m a g ei st l l er 髓u l to fo b j e c t 慨c k i n g c o m l t 也em m l b e ro fe v e r ys i i l g l e v a l u eo fh u ei i ln l eh s vs p a c e ，c o n s 蚋】c tm es 僦s t i c st l i s t o 莎锄锄dm a tc _ ht l l e l l i s t o 笋吼w i t i l l eo n eo ft 锄叩l a t e b ym 强i m i z a t i o no f l eb h a 仕a c h a r 3 眄ac o e 伍c i 饥t t l l em o s tm a t c h i n gp o s i t i o nc 姐b e0 b t a i n e d 1 i l er i g l l tp o s i t i o ni nm es e 眦h i n gw i d o w i sm e 托s u ho fm e 姐s h i f t 虹a c l ( i n g k a l m 锄f i l t e r 慨k i n gu s eo m yo n ef i e a t u 坞o f p o s i t i o i l 、) l 临l el i 曲t i n ga n dv e l o c i t yo fo b j e c th a v e 锄i n f c c t i o no nm e 锄s l l i nn a c k i n g b 嬲e do nm e 锄a l y z i l l go ft l l ed e f e c t s 锄d 邮b l e m s ，n l i sp a p e rp r o p o 觚i m p r 0 v e d t r a c l 【i n gm e m o dm a tm a l 【e st l l eu s eo fo b j e c tf c a t u r e s 孤di sc a p a b l eo fu p d 撕n gm e t 锄p l a t ei i lm em e 锄s l l i l f ta 1 9 0 r i m m t h em e l l l o d 酗sm e 跚mo fw e i 曲t e d 豫s u l t so f l e 帆om 甜1 0 d sa b o v ea n da d j u s t s 廿l ew e i 曲t st om e0 b j e c 石v ec o n d i t i o 璐 1 理y w o l m s ：o b j e c td c t e 砸o n ；f r 锄ed i s 仃a c t i o n ；o b j e c t 吮k i i l g ；h i s t o f 锄 c l a s s n o ：t n 91 1 7 3 v 致谢 本论文的工作是在我的导师陈后金教授的悉心指导下完成的，陈后金教授严 谨的治学态度和科学的工作方法给了我极大的帮助和影响。在此衷心感谢三年来 陈后金老师对我的关心和指导。 陈后金教授悉心指导我们完成了实验室的科研工作，在学习上和生活上都给 予了我很大的关心和帮助，在此向陈后金老师表示衷心的谢意。 陈后金教授对于我的科研工作和论文都提出了许多的宝贵意见，在此表示衷 心的感谢。 在实验室工作及撰写论文期间，张继旺、崔浩、朱晨、谭川等同学对我论文 中的实验视频采集和分析等研究工作给予了热情帮助，在此向他们表达我的感激 之情。 另外也感谢家人，他们的理解和支持使我能够在学校专心完成我的学业。 i i 1绪论 视频序列图像中运动目标的检测与跟踪技术，作为视频图像处理在计算机视 觉、视频监控等领域的一个重要应用，其处理方法和发展方向都值得深入研究。 1 1视频图像检测与跟踪技术的发展现状 自动视频监控技术经过多年的发展，许多新的监测监控方法应用到实际领域 中，涌现出许多成果。研究者们多年的深入研究促进了机器视觉技术的不断进步， 技术的不断发展使捕捉视频的成像设备价格越来越低，监控摄像设备在商业机构 企事业单位中广泛被使用，采集到的视频信息可以作为记录档案保存以备查找和 恢复某些重要信息时的需要。例如安保、防盗监控等领域的视频监控应该能够在 某些危险行为发生过程中实时地向负责人员发出警报，而不是采用低效率的查找 过往视频资料的方式，而实时监控和跟踪人体、车体等运动目标是一项复杂的技 术过程，尤其是在人流密集处或军事战争等复杂环境中，这也是在动态视觉场景 中自动视频检测和监控技术需要不断突破和完善的发展方向。 建立更加稳定精确的自动视频监测系统是工程实际的需要，也是学者技术人 员们努力研究要达到的目的。运动目标检测是自动视频检测系统中最终要的问题， 不仅关系到特征提取，而且对于视频编码，人体运动分析，人机交流机制等也是 重要的基本技术【l 】。视频传感器也是高质量智能视频监控系统的重要组成部分，与 机器视觉算法密切结合不断改进升级，使视频检测跟踪水平不断上升。适应检测 系统设备需要的体积小巧的传感器也越来越多出现。2 d 图像监测技术在过去几年 已经被广发研究而日趋成熟，但在特征丢失，光照变化，前景背景色彩相近情况 下，结果虽能得到一定程度的保证，但精度往往难以达到要求，而3 d 成像设备利 用激光搜索传输反射机制获得场景中的3 d 视频图像序列，由于比2 d 图像多提供 一维信息，3 d 图像序列检测和跟踪可以有效突破传统图像检测技术的局限性。取 得较好的监测跟踪效果。 用于目标检测和识别的计算机视觉系统一般分为两部分，目标检测模块和目 标状态估计模块。目标检测模块通常是在检测区域内通过二值化，分离出前景目 标部分和背景部分。第二部分通常是给出特征向量空间，然后判断估计的状态向 量在特征空间中最有可能出现的位置，可以通过回归分析，特征匹配等实现这一 预测过程。两部分模块都非常重要，而且相互联系紧密。常见的特征空间或状态 空间有很多，如人面特征空间，指纹特征空间，车辆位移空间等。以车辆位移状 态估计和跟踪为例【2 】实际应用中的检测系统所要处理和应对的是复杂而棘手的情 况，在各种车速条件，车辆种类，背景路面状况条件下，都要提供相对准确的估 值跟踪结果。 运动目标的自动识别在视频监测导航领域有非常重要的应用，如摄像驾驶辅 助系统，机器人的自动行走【3 1 ，车辆的自动驾驶等，都需要目标检测与跟踪识别技 术发挥作用。如在城市环境中的汽车上安装自动视频监控系统，这不同与静止背 景下运动目标的检测可以用背景差分等各种方法，这是属于摄像机运动与检测目 标运动同时发生的情况，可以用光流法对这样的场景进行目标检测，但算法复杂 度较高。在动态背景复杂城市环境中的目标检测中，光流检测得到应用，也促使 学者们研究探索更多新的检测方法。精确度高的视频监测技术在行车驾驶辅助系 统上有着广泛的应用。这些系统对成像设备采集到的信息进行检测，要求能够对 静止和动态背景下目标进行检测，实时提供检测目标的位置、形状轮廓等信息。 所以对使用的传感设备精度的要求较高。激光搜索传感器的应用使高精度算法得 以实现，解决实时采集到的数据和预测目标之间的联系问题。实时定位和导航， 与运动目标的检测和跟踪都是汽车驾驶辅助系统要解决的重要问题，这些问题之 间既有本质区别，又相互联系，需要利用较好的方法统筹处理。雷达传感装置应 用在检测跟踪设备中，有些环境下还需要用到速度测量传感器和高速运算系统。 另外无线通信技术允许数据通过时分复用的方式被采集记录，这对提高监测系统 采集效率，实时准确的检测跟踪无疑具有重要意义。3 d 技术的发展使3 d 成像设 备应用到跟踪导航中，对复杂场景中的目标检测和跟踪得到非常好的效果【4 】。 从视频序列中分分离检测出运动目标是视觉跟踪环境监测等应用领域中重要 而基础的课题。近些年越来越多人研究投射阴影区域的检测问题，这个问题也是 某些光照场景下运动目标检测中不能回避的问题，运动目标检测常用的很多算法 对光照条件变化比较敏感，而在光照强烈的场景中运动目标与其投射阴影在图像 上连接在一起，当运用传统方法检测时，将不能区分运动目标的真实区域和阴影 区域，从而造成检测结果不准确。上面问题在交通视频监控中比较常见，需要对 行使车辆和车辆投射到路面的影子区域进行区分识别。 在交通及灾害预警视频监控领域，视频传感网络在解决交通阻塞和安全方面 也发挥着越来越重要的作用。对交通状态的监测包括实时提供检测区域内各目标 的位置信息，得到路面交通负荷情况等信息。很多视频检测监控设备已经广泛使 用在高速公路，机场，隧道，停车场等地方，用于监控和管理交通状况。户外环 境中，光照变化、背景变化和遮挡等都是需要解决的问题，因此需要更加稳定的 检测系统，能适应户外检测场景的各种变化。又如对烟、火等特殊运动目标的检 测，这些危险或灾害现象中目标的运动形式不同于一般场景中的运动物体，而有 2 它自己的特点，所以要根据其特点采用合适的检测方法。 机器视觉检测跟踪技术应用于人机交流，对人类感知和识别机制的研究促进 机器视觉技术的不断发展，问题也接踵而至。可移动视觉跟踪系统逐渐发展起来， 它通过计算机控制处理系统与摄像机相连接来记录捕捉到的视频图像信息，移动 的视觉跟踪系统使运动目标的检测跟踪研究能从实验室走向实际应用，机器人， 人机交流等都是典型应用，克服了动态场景，光照变化等问题，在实践中使检测 跟踪技术不断完善。在智能机器人技术领域，机器人感知分析周围环境并获取信 息需要引入3 d 图像处理机制，3 d 视频图像检测和跟踪技术得到应用，机器人的 行为学习能力是机器人人工智能程度的重要方面，在机器人学习中，根据摄像设 备采集到的周围环境图像序列，首先要利用图像检测技术检测出目标在视频序列 中出现的各个位置，并将这些信息记录下来，对这些3 d 图像的检测处理过程的信 息建立起模型，机器人将以这些模型为基础进行学习训练，并在获得指令信息后 对图像特征信息进行重建，这样的机制就是机器入学习模仿人类视觉感知能力的 一个应用。 另外运动目标检测技术已经成为航天、航海技术的重要组成部分，因为在这 些活动中经常遇到的极端条件和各种突发事件，要求航行工具如飞行器、车、船 等必须配备有先进的视频图像检测处理系统，以便在发生危险和出现各种异常状 况时，系统能实时采集检测到相关信息，并且迅速报警反馈给驾驶人员，以保证 飞行和航行的安全。目前在很多航行工具上已经配备有了高级的视频检测设备， 能准确探测到预警区域并及时发出警报，检测方法的不断革新，也推动着航天、 航海领域视频检测设备的不断升级。 1 2 国内外研究现状 国外视频图像处理技术相对成熟，更注重检测和跟踪系统在实际生活各领域 中的应用。德国学者b 伽n d 鼬t t 和b 饥j i 锄i nr 觚f i 等对城市场景中目标检测方法作 了研究，提出一种能用于自动监控系统的目标检测方法【5 】，该方法对目标数量和形 状没有要求但对目标的刚性做了限定。通过动态的立体摄影设备采集到的视频图 像信息，利用扩展卡尔曼滤波和光流场计算相结合来测算场景中运动目标的位置 和轮廓。希腊技术研究中心信息所的t s 锄e r t z i d i s 等在【6 】中介绍了一种基于视频 传感网络的交通状况监测系统，用于处理各种图像和复杂交通信息。美国德州运 输研宄院也对应用于交通车辆检测的四种视频图像检测系统进行了调研评估【7 1 。 s h 砒y 0 璐s e f 教授等人提出一种基于离散小波变换的彩色和时域信息的多目标跟 踪算法【8 】，小波变换在定位方面比传统傅立叶变换更具优势，能同时在时域和频域 进行定位，能够复杂场景下的目标检测和跟踪。【9 】中研究者利用多参数加权核函数 模型对特征向量空间建模，用递归方法估计状态，对高速行驶的赛车位置状态进 行跟踪，对运动变化的人面进行识别检测。德国的b o u z o 硼峨m e 等人在【lo 】中提 出一种用雷达传感器实现的能用于2 d 和3 d 图像环境中的汽车驾驶辅助视频检测 跟踪导航系统，使导航机制和跟踪机制建立起相互融合相互依存共同有效工作的 关系。【i l 】中作者提出了一种利用图像边缘信息来检测阴影区域的方法，通过检测 算法识别出的目标区域连同阴影区域一同检测出来，再通过算法准确提取出目标 区域的边缘信息，以边缘信息为轮廓重构运动目标检测区域，最后与原始检测图 像差分运算得到准确的阴影区域检测结果。b 饥w h g 贫等人对特殊目标烟、火的 检测进行了算法和应用方面的综述【1 2 】。【1 3 】中作者e s s 喀k a i 等人开发的一款包含目 标检测和跟踪算法能适用于全自动视频分析和场景调绘处理的视频应用软件，将 成像设备采集的2 d 视频图像转换到3 d 动画空间，建立3 d 动画模型，然后再进 行模型匹配，确定目标位置信息，调绘出场景图像。咖d 0 i l i s 等人的文章【1 4 】介绍 了一种新型的视频传感器，用于监控环境中的运动情况。融入了包括背景减法， 帧间差分等传统算法进行目标检测，移动中的p t z 摄像机采集到的图像信息通过 人脸检测算法进行处理，可以实现对场景中运动目标的监控以及运动过程中人脸 的识别跟踪。该传感器可用于航海视频设备及服务型机器人的视觉监控。【l5 】中分 析了应用于机器人视觉学习系统中的3 d 视频图像序列检测方法，通过成像设备提 取图像中的三维像素点集，对特征值建立模型，并学习重建，能实现对动态场景 中目标的检测跟踪。【1 6 】中介绍了基于u l 觚宽带雷达视频监控系统中运用的一种最 小预测值的卡尔曼滤波算法，对人类行为进行检测跟踪，适用于户外视频监控和 家庭防盗视频系统以及具有行为识别能力的移动智能机器人。 国内研究人员在检测跟踪技术方面也取得了许多成果。华南理工大学研究人 员提出一种应用于移动机器人视觉检测系统上的基于混合条件随机场模型的运动 目标检测跟踪方法【l 刀。混合条件随机场模型采用分级结构可以用基于行为识别的 定位方法来对目标进行跟踪，并通过实验验证了方法的检测跟踪精度和稳定性。 苏州大学研究人员提出了基于s o m 神经网络的应用于交通视频监控与安全管理的 运动目标分类检测和跟踪方法【1 8 】，对交通监测场景中的行人、自行车、机动车辆 分别进行检测跟踪。该算法根据改进背景减法得到的分类检测结果求得各自目标 质心，并将其作为特征值提取出来，然后利用s o m 神经网络对行人、自行车、机 动车辆分别建立模型进行训练，最后利用基于距离的聚类算法得到新的特征向量 值，实现对分类目标的检测跟踪。【1 9 】中作者提出一种基于飚娼c h 算子边缘检测和 光流法相结合的运动目标检测算法。该方法能解决差分法难以检测到精确的运动 目标轮廓以及光流法对噪声比较敏感的问题。算法通过瞄糟c h 算子提取出运动目 4 标的边缘像素点，在通过光流方程建立起图像的光流向量场，融合两种方法得到 的运动目标信息，将运动目标像素点检测出来。【2 0 l 中作者提出一种在动态拍摄情 况下对视频图像序列中的直升机旋翼进行检测和跟踪的方法。该方法利用背景运 动补偿和块匹配的方法对直升机旋翼进行检测跟踪，经过实验验证，该方法减小 了摄像机运动对目标检测带来的不利影响，同时又能实时提取出完整的运动目标 区域。 1 3运动目标检测与跟踪方法的应用和改进 目标检测被视为图像序列运动目标检测与跟踪系统的重要部分，运动目标检 测的准确程度会对后续的跟踪处理过程产生影响。运动目标跟踪是在提取出目标 区域各种特征值的前提下进行的匹配识别或预测估计，准确检测出目标区域，就 能获得运动目标区域的质心位置、灰度值统计及色调直方图等特征信息，这些是 后续图像处理的必要准备，因而目标检测是视频图像序列处理的重要环节。常用 的运动目标检测方法有背景减法、光流法、帧间差分法，还有对这几种方法进行 综合、更新背景模型等的改进算法在实际检测中也达到了良好的效果。 【2 l 】中作者提出一种利用了连续帧视频图像之间差分后再取方差的结果来提取 运动目标场景中的背景图像，因为在静止摄像情况下可以想象背景区域由于灰度 值变化小所以差分的结果取方差后的值将非常小，将方差最小的图像作为运动场 景的背景，最后与包含运动目标的各帧图像对比检测出目标区域。这种方法提取 出的背景图像较干净，且实时性较好。【2 2 】中作者对l k 光流约束方法进行了改进， 在一定程度上减小了运算量，提高了光流法在目标检测中的效率。团】提出了一种 将帧间差分算法与背景减法相结合的算法，对传统的差分算法进行了改进，先将 图像划分成小区域，在小区域内求各帧图像间像素点灰度值的均方误差，取最小 均方误差来排除明显的噪声干扰，然后再利用帧间差分和混合高斯建模提取背景 相结合的方法来检测运动目标。 图像之间的相关性和差异性可以充分利用，举例说如背景减法中利用各帧图 像之间的背景相似性将背景图像提取出来【2 4 1 ，又如帧间差分法中利用含有运动目 标图像之间的差异性提取运动目标区域的轮廓。静态背景的视频图像序列中的检 测过程的目的是检测出运动目标像素点，可以对图像像素点灰度值做各种运算， 尽可能的检测出更多的运动目标区域像素点，通过阀值分割，清楚显示目标区域 像素点的二值图像就是检测结果。 ， 当视频图像序列中的运动目标区域像素点在各帧图像之间运动变化的同时， 背景区域像素点也发生运动变化，那么就将增加运动目标检测的困难程度，因为 5 在静止背景环境中，背景区域像素点在各帧图像之间基本保持稳定不变，可以利 用这个特点通过连续帧图像来提取出视频的静止背景图像，然后再根据包含有运 动目标的各帧图像与提取出的静止背景图像之间的差异性来检测出运动目标区 域，这也就是静止背景中常用的目标检测算法之一的背景减法的算法思路，而在 背景区域不断发生变化的情况下，在静止背景图像序列中所运用的提取背景图像 的各种很多算法将不再适用，这样就增加了在变化背景下检测运动目标的难度， 检测算法的复杂程度也相应增加。运用一些行之有效的方法能解决变化背景图像 序列中运动目标的检测问题，如光流法，还有其他一些方法，但运算过程都较复 杂，将其实现并应用到实际检测中并不容易。 将运动目标像素区域检测出来后才能运用各种几何学、概率统计学方法将目 标特征值提取出来。视频图像序列中运动目标区域的跟踪方法是对提取出的运动 目标特征值的特点进行分析判断后所计划指定的。视频图像序列中的运动目标区 域具备数字图像所具备的基本特点，而且由于目标的运动在各帧图像某些区域中 像素点灰度值等发生了变化，因此还具备其他一些特征。运动目标的特征有形状 特征还有运动目标的位移、速度变化等运动特征，以及图像中运动目标区域像素 点的灰度特征、颜色特征等。 【2 5 】中作者介绍了用于机器人视觉检测跟踪系统中的运动目标检测跟踪方法， 其中在特征提取步骤中选择了运动目标区域像素点的矩特征。【2 6 】提出了一种改进 的卡尔曼滤波跟踪算法，由卡尔曼滤波递推方程组可知，状态估计值方程等式右 边包括预测值和修正值两部分，文中算法对修正值部分进行了调整，增加一部分 修正值，增加运动目标与摄影机之间距离的均方差值作为修正值，经过实验验证 提高了目标跟踪精度，能实现对快速运动目标的跟踪。 运动目标跟踪是在运动目标检测的结果基础之上充分利用运动目标的特征信 息对视频图像进行处理过程。运动目标跟踪广泛应用在视频传感器监控系统，计 算机视觉，人工智能识别，及视频检测跟踪系统当中。视频图像运动目标跟踪常 用算法有k a l m 觚滤波跟踪算法，c 锄s h j f t 算法，m e a 璐l l i r 算法等。勋h n 觚滤波 跟踪算法是对运动目标在各帧图像中的状态值和观测值建立起状态方程和观测方 程，以位置状态的最小均方误差值作为最优估计和跟踪结果。m e 姐s h i f i 算法是在 所选择的搜索区域内对目标像素点在h s v 空间色调值进行统计直方图模型匹配。 其实分析运动目标跟踪的各种算法，可以总结出一些共性，视频图像中运动目标 跟踪的目的是对目标在视频图像序列中的各帧图像中的位置状态做出估计，利用 准确的目标检测结果，再充分利用所提取出的特征信息，获得较好跟踪结果。运 动目标跟踪是在正确检测出运动目标在视频图像序列中位置的条件下，对运动目 标区域像素点集合提取出运动目标的特征信息，再对所提取的运动目标特征值的 6 特点进行分析。使用恰当的算法利用提取出的特征信息不断对视频图像序列中各 帧图像的运动目标进行基于特征值的状态值预测估计，或者在包含运动目标的搜 索区域对提取出的特征值求出统计直方图【2 7 1 ，再建立概率统计模型，形成模板模 型，再将视频图像序列中各帧图像包含运动目标的区域都用这种方式构建起统计 模型，最后以最优化准则对各帧图像目标区域建立的模型与图像序列模板模型之 间进行匹配相似性判别，与模板模型中目标搜索区域特征值概率统计直方图特性 最相似，可以根据匹配结果求出最优位置或区域。k a l m 觚滤波跟踪算法仅利用了 质心位置作为特征值来进行各时刻估值，而在运用m e 肌s l l i f t 算法时，噪声影响、 目标运动快慢和光照强弱等对检测结果的准确程度来说都是不利的因素，在分析 各种算法特点后，提出改进的运动目标跟踪算法，跟踪算法利用了目标的质心位 置和目标的色调值分量作为特征值，在跟踪过程中能通过调整两种算法结果的权 重来适应外部条件，增强算法的鲁棒性，得到更准确的跟踪结果。 1 4 本文结构安排 1 ，介绍视频图像序列运动目标检测和跟踪技术在视频监控、计算机视觉方面 的应用、发展，对实际中常用的检测与跟踪算法进行简要介绍，同时指出问题并 提出本文对检测和跟踪算法的改进思路，最后介绍全文的文章结构。 2 ，主要介绍图像中的预处理技术，这部分知识是视频图像检测跟踪系统中的 基本处理过程和重要准备环节。包括图像阀值分割二值化，灰度值均衡化等图像 增强处理技术，去除噪声干扰的滤波等图像恢复手段，以及腐蚀膨胀、开闭运算、 连通区域检测填充等形态学处理等。 3 ，视频图像序列中运动目标的检测部分，首先介绍常用的运动目标检测方法： 光流法、背景减法、帧间差分法，对每种算法原理进行叙述，给出利用算法程序 得出的运动目标检测结果，对各种算法特点及存在的主要问题进行分析，提出改 进的帧间差分算法，改善传统算法存在的问题，得出较满意的运动目标检测结果。 4 ，对运动目标视频跟踪的原理进行简单介绍，强调提取运动目标特征的重要 性，对常用在跟踪中的特征进行分析。再针对特征值的提取，介绍对应的跟踪算 法，用卡尔曼滤波跟踪算法和均值偏移算法对实现跟踪，对常用算法的流程给出 描述。分析每种算法的问题和局限性，综合各种算法的优点，提出改进的运动目 标跟踪算法，给出应用算法后得出的结果，与传统算法进行效果比对。 5 ，在图形图像分析仿真软件上对文中涉及到的视频图像序列运动目标检测与 跟踪处理中的各种算法进行编程实现，对实验结果进行记录分析，提出存在的问 题和有待改进的方向，总结全文。 7 2 视频序列图像预处理 图像预处理是对计算机图像进行处理分析的一种准备和前期处理过程。图像 信号的采集输入过程会使图像质量下降，在视觉效果和识别方便性方面存在诸多 问题。针对图像采集输入过程中电路失真噪声、光照光路扰动等对图像质量造成 的影响，图像增强，转换成灰度图像，二值图像处理等基本预处理技术的采用可 以有效改善图像效果或将图像转换成更适合于人或计算机进行分析处理的形式， 采用直方图变换、灰度均衡变换、图像平滑滤波等基本方法来突出某些有用信息， 去除削弱无用信息，从而实现改变图像对比度，去除噪声等效果。 2 1图像灰度化和二值化 2 1 1 图像灰度化 很多基本图像处理技术都是在灰度图像的基础上进行各种变换和施加各种算 法，灰度图像只有2 5 6 级灰度值，在运用算法和处理的过程中，能够减少存储空 间，使得运算量减少，不仅可以提高图象处理的速度，而且从实际角度考虑可以 有效地满足各种从彩色图像转换到灰度图像的需求。 一 。霉荻。馥 灰度图像 图2 1 视频原始图像和灰厦图像 f i g 峨2 1o 姆n a l i m a g c 暑咀d 剿i m a g e i n 试d e 0 在机器视觉检测和跟踪中图像的采集一般是通过彩色摄像机采集的彩色数字 图像，再对图像进行分析和处理前将彩色图像转换成更容易进行计算的灰度图像 阱】，即图像灰度化的过程。彩色图像转换到灰度图像，转换公式如下： g h 沙= o 3 他+ 0 5 9 g + 0 1l b( 2 1 ) 式中的r 、g 、曰分别代表彩色图像的红、绿、蓝分量，从足g 口彩色转换到灰色 时，对红、绿、蓝三色分量应用了不同的加权系数，这些系数是基于彩色分量信 号对转换结果影响大小决定的。图2 1 为视频图像和其灰度图像。 2 1 2 二值化 灰度图像的二值化处理过程目的是提取出目标物体。图像包括目标物体、背 景还有噪声，通过设定一个阀值丁，丁将图像数据分成两大部分：大于丁的像素区 域( 希望为目标物体) ，小于r 的像素区域( 希望为背景) 。将大于r 的区域的像素 点灰度值设定为白色( 或黑色) ，小于丁的区域像素点灰度值设定为黑色( 或白色) 。 输入图像为厂( x ，y ) ，输出图像为f ( x ，y ) ，则可表示为： 一， 、f 1 ，厂( x ，y ) r ，【x ，y ) = 1o 瓶y ) 吼 省略部分是五y ，r 的高阶偏导数，在此需要做一个分析，图像上静止像素点的灰度 值不会随时间而改变：图像上运动目标像素点的灰度值在光照特性不变的情况下 在下一时刻运动到下一位置时由于目标本身特征没有任何改变所以运动目标像素 点除了在运动过程中产生了速度矢量外，体现其外部特征的灰度值并没有发生改 变【3 4 1 ，综合以上可以得出图像上像素点不随时间和位置的改变而改变，用等式表 示为： g ( x + 出，j ，+ 妙，h - 出) = g ( x ，y ，f )( 3 5 ) 将式( 3 4 ) 两边除以出，就可以得到光流约束方程： 挲“+ 塑，+ 兽：o( 3 6 ) 一“十一，十一= u i j o ， 礅 却 魂 要求的值为像素点的二维速度矢量m ，v ) ，用l u c 弱和k 觚a d e 提出的邻域上局 部约束的方法【3 5 】，即求下面表达式最小值的问题： 至矿2 c 工) 鼍“+ 爹v + 詈丁 c 3 刀 其中形( 柚是邻域q 内分配给各像素点的权值，这是一个最小二乘法问题，则矢量 ( “， ，) 的值就可以解出。 获得了目标像素点的运动矢量，就可以对图像做如图3 6 ( b ) 的整体分析，从而 检测出运动目标。下面是流光法检测的流程图。 采集某时刻图像像解光流约束方程得分析光流矢量场检 素点灰度信息 o 像素点速度欠量测出运动目标 3 1 3 帧间差分法 图3 7 光流法流程图 f i g u r e3 7f l o wd i a g 眦no fl i g h t i n gn o wm e d l o d 前面介绍的背景减法是利用各时刻的图像与背景图像进行相减的运算，其中 背景图像的获得，可以是提前存在的背景图像，也可以是利用各帧图像所提供的 像素信息进行运算并不断更新而得到背景图像。与背景减法类似的是帧间差分算 法也是利用图像之间差异性来检测出运动目标，不同的是帧间差分算法是利用相 邻帧图像之间的差异性。考虑一个在静态背景下含有运动目标的图像序列，在目 标运动过程中，各帧图像中运动目标部分的区域存在较大差异，而静态背景部分 区域无明显差异，根据上面的分析，要在图像序列某帧时刻检测出运动目标，可 以利用与该帧相邻的帧图像来进行相减运算【3 6 1 ，在通过设定合适的阀值，将帧间 存在差异的运动目标像素点的部分检测出来，即获得运动目标的位置、轮廓等特 征信息。 帧间差分算法是运动目标检测的常用方法，将图像序列中相邻的两帧做相减 运算，根据相减得到的结果来检测运动目标。图像运动目标位置发生了变化，变 化前后在运动目标所在区域将出现灰度值发生明显变化的像素点，而没有移动的 的图像中的物体则保持其区域中像素点灰度值不发生明显变化，利用相邻帧图像 间相减的结果，将灰度值变化较明显的像素点检测出来，也就是将运动目标区域 像素点检测出来。 一 图3 8 二帧差分集合关系示意图 f i g 嗽3 8s c h 锄6 cd i 卿o f 咖缸i m 镐d i s 仃妇 设厶( 工，y ) 是视频图像序列中第七帧的图像，厶q “j ，) 是第七一l 帧图像，对这 相邻两帧图像进行相减运算，结果用么似y ) 表示： q ( x ，j ，) = k ( 毛j ，) 一- l ( x ，叫 ( 3 8 ) 再根据设定的阀值对差分结果进行二值化： 瓯c 而y ，= 三左丧暑三； 。9 ， 由式( 3 9 ) 所得的结果，帧间差分值大于阀值r 的像素点，就是相邻帧图像比较后差 异较大的像素点，被判定为运动目标像素点，而小于阀值r 的像素点灰度值无明显 差异，被判定为静止背景像素点【3 7 1 ，这样就将运动目标区域分离检测出来。 将相邻帧图像看作像素点构成的集合，再对灰度值分布均匀的运动物体进行分析， 用集合彳、曰分别表示前后两帧图像运动目标像素点集合，从公式( 3 8 ) 分析，相邻 帧图像差分的绝对值用集合的概念来描述就是： c = 彳。曰= ( 彳一功u ( 口一彳)( 3 1 0 ) 其中c 是集合彳与刀的异或值，也就是属于彳不属于口的部分同属于刀不属于彳 部分的并集。集合关系示意如下图： 分析图3 8 可知，阴影部分将被检测为运动目标轮廓像素点，这样就将图像上运动 目标区域检测出来。 当前帧图像 二帧差分检测 前一帧图像 ， 。卜， 月 形态学处理 图3 1 0 二帧差分法对行人检测实验结果 f g u r e3 1 0d e t e c t o no f m 册丽t h 咖。鱼姗篇d i 8 删o nm e t h o d 当前帧图像前一帧图傣 二帧差分检测形态学处理 图3 1 l 二帧差分法对行驶的车检测实验结果 f i g i 鹏3 1 ld 嗷d 饥o f 谢、而也t 肿d i | 觚删触m e i h o d 羹 在静态背景的情况下，帧间差分算法能简单快速的检测出运动目标，算法也便于 用硬件平台来实现。帧间差分法有较好的实时性，能较好的适应动态环境，不必 进行背景更新。帧间差分法对运动目标具有敏感性，相邻帧图像间相对运动的目 标会被实时检测到，邻帧图像间时间间隔短，光线影响小，使检测结果具有稳定 性。同时从图中也可以看出二帧差分计算所存在的缺陷。在目标像素点灰度值均 匀分布的情况下，求异或的运算不能将集合的重叠部分检测出来，而且在帧图像 间时间间隔小，相对位置变化不大时求集合间的异或，只能检测出目标的大致轮 廓和位置，不能很好反应物体的形状等特征。也可能由干扰等造成虚假目标检测， 不能检测出完整的运动目标，检测出目标轮廓的同时也造成目标内部大面积空洞， 对于微小运动或速度较慢的运动有可能难以准确检测，检测目标的位置也不够精 确，不利于后续的分析处理过程。所有这些都为帧间差分法的改进提供了方向。 下面是二帧间差分法的流程图： 图3 9 二帧差分法流程图 f i g u 他3 9f l o wd i a 鲫no f t w o 触m 鹤以眈c 矗o n 二帧差分检测到的运动目标不甚精确，多数情况下是目标的大致轮廓和位置，在 二值化过程中，要选择合适的阀值，将运动目标像素点区域尽可能的分割出来， 为后续处理提高尽可能多的特征和信息。还需要对检测出的图像做必要的形态学 处理，对图像进行开区间和闭区间运算，边缘检测以及对连通区域进行空洞的填 充，使图像中目标对象特征信息更加完整清晰。为后续处理提供较高质量的检测 图像。图3 1 0 是二帧差分法对视频中行人检测的实验结果，图3 1 l 是对视频中行 驶的车检测的结果。 3 2改进的帧间差分