（计算机应用技术专业论文）运动目标的跟踪算法研究.pdf

学科：计算机 研究生签名： 运动目标的跟踪算法研究 指导老师签名： 摘要 序列图像的运动分析是诸多学术领域，如计算机视觉、人工智能、模式识别等广泛关 注的一个课题，指从静态序列图像中获得关于运动物体以及运动本身的特征，包括运动目 标是否存在，运动物体的识别以及运动目标的跟踪等。这些研究成果具有广泛的应用前景， 如虚拟现实，智能监控，人机交互等。 一个完整的运动分析过程包含四个阶段：运动检测，运动目标识别，运动目标跟踪， 运动目标动作分析与理解。这四个阶段并不是一定要全部存在，而是取决于应用的场合。 一般情况下运动检测和运动目标跟踪是必要的，本文研究重点集中在这两个阶段。 运动目标检测是将运动物体从序列图像中提取出来的过程。这一阶段是后续处理的基 础，具有重要意义。然而由于现实世界的复杂性比如光照的变化，影子以及干扰物等的存 在，使得这一阶段的处理并不简单。目前几乎所有的运动目标检测算法都是建立在一定程 度的限制和假设的基础上，很难找到一个适用于所有应用场合的算法。本文采用特征点匹 配法进行运动目标的提取，通过特征点匹配法来形成动态的背景模型，并进行及时更新， 使经过更新后的背景模型能够及时反映背景的动态变化。 当检测到运动目标正确时，进行运动目标跟踪。在这个阶段，本文利用动态变化分布 的非参数方法c a m s h i f t 算法。c a m s h i f l 算法根据运动目标的色彩信息对运动目标进行实 时跟踪，具有鲁棒性和实时性的优点。但是当运动目标速度较快或在遮挡时，容易发生跟 踪丢失。本文提出将c a m s h i f l 算法和运动目标位移预测相结合的方法跟踪运动物体，该 方法不但可以有效的避免上述情况发生时出现的目标丢失现象，还可以排除目标发生形变 或外界光线变化时造成的干扰。 通过实验，分析了本文算法的有效性，能够检测、识别和跟踪运动目标，并具有一定 的鲁棒性。 关键字：序列图像，目标识别，c a m s h i f l ，位移预测，目标跟踪 t h er e s e a r c ho ft h ea l g o r i t h mo fm o v i n go b je c tt r a c k i n g d i s c i p l i n e ：c o m p u t e ra p p l i c a t i o n s t u d e n ts i g n a t l l r e ：w s u p e r v i s o rs i g n a t u r e ： 凡 朋 o g y 。疋l a b s t r a c t t h ea n a l y s i so fs e q u e n ti m a g e sb e c o m e s m o r e a n d m o r ev a l u a b l e i th a sb e e np u ta t t e n t i o n t ob ym a n ys u b j e c t ss u c ha sc o m p u t e rv i s i o n ，a r t i f i c i a li n t e l l i g e n c ea n dp a t t e r nr e c o g n i t i o n e t c i tr e f e r st ot h a td i s t i l lt h ef e a t u r ef r o mt h es t a t i cs e q u e n ti m a g e sa b o u tt h eo b j e c t si n c l u d e o b j e c td e t e c t i o n ，t r a c k i n ga n dr e c o g n i t i o no ft h eo b j e c ta n ds oo n i tc a n b eu s e dw i d e l yi ns u c h a sv i r t u a lr e a l i t y , a u t o m a t i ci n s p e c t i o na n di n t e r a c t i o nc o m p u t e r u s u a l l y , af u l lp r o c e s so fm o v e m e n ta n a l y s i sc o v e r st h ef o l l o w i n gs t a g e s ：o b j e c td e t e c t i o n ， o b j e c tr e c o g n i t i o n ，o b j e c tt r a c k i n ga n du n d e r s t a n d i n g a n a l y s i so ft h em o v e m e n t n o t a l lo f t h es t a g e sm u s te x i s ta tt h es a m et i m e h o w e v e r , o b j e c td e t e c t i o na n dt r a c k i n gi sn e c e s s a r y c o m m o n l y t h u se m p h a s i si ss e to nt h et w os t a g e s ，a tt h es a m et i m e ，i n t r o d u c t i o no fr e c o g n i t i o n i so fp r e s e n t a t i o nh e r e s e p a r a t i n gt h em o v i n go b j e c tf r o mt h es e q u e n ti m a g e sc a l l so b j e c td e t e c t i o n a n dt h e p r o c e s si si m p o r t a n tt oo t h e rc o u r s e s b e c a u s eo fc o m p l e x i t yi nt h ep r a c t i c es u c ha sc h a n g i n go f l i g h t ，s h a d o we x i s t i n ga n dd i s t u r b e df r o mo t h e rt h i n g s ，t h ep r o c e s si n t h i ss t a g ei sd i f f i c u l t n o w ，t h ea r i t h m e t i co fm o v i n gd e t e c t i o ni s a l m o s tb a s e do nk i n d so fh y p o t h e s i s ，a n di ti s u n e a s yt of i n da na l g o r i t h mt oa p p l ya l lk i n d so fc i r c u m s t a n c e h e r e ，b yu s i n gm e t h o do ft h e m a t c h i n gc h a r a c t e r i s t i cp o i n t s ，a n dt h eb a c k g r o u n di s r e c o v e r e db yb l o c k so fs u bb a c k g r o u n d i m a g e s ，a n dt h eb a c k g r o u n di m a g e s w i l lb eu p d a t e dt i m e l y w h e nt h et a r g e ti sd e t e c t e d ，t h eo b j e c ti st r a c k e di nt h en e x tp r o c e s s h e r et h em e t h o do f c a m s h i f li sp r e s e n t e d i tu s e st h ei n f o r m a t i o no fc o l o rt ot r a c kt h eo b j e c t ，t i m e l ya n dr o b u s t l y b u tw h e nt h eo b j e c tm o v e sq u i c k l yt h eo b j e c tw i l lb el o s t i n t h i sp a p e r , c a m s h i f ta n d d i s p l a c e m e n tf o r e c a s ta r eu s e dt o g e t h e rt ot r a c kt h eo b j e c t i nt h i sm e t h o dw e c a na v o i dt h e l o s so ft a r g e te f f e c t i v e a n a l y s i ss h o w st h a tt h ea l g o r i t h m si nt h i sp a p e ra r ee f f e c t i v ea n do b j e c tc a nb ed e t e c t e d a n dt r a c k e dr o b u s t l y k e y w o r d s ：s e q u e n ti m a g e s ，o b j e c tr e c o g n i t i o n ，c a m s h i f l ，d i s p l a c e m e n tf o r e c a s t ，t a r g e t t r a c k i n g 学位论文知识产权声明 学位论文知识产权声明 本人完全了解西安工业大学有关保护知识产权的规定，即：研究生在校攻读学位期间 学位论文工作的知识产权属于西安工业大学。本人保证毕业离校后，使用学位论文工作成 果或用学位论文工作成果发表论文时署名单位仍然为西安工业大学。大学有权保留送交的 学位论文的复印件，允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内 容，可以采用影印、缩印或其他复制手段保存学位论文。 ( 保密的学位论文在解密后应遵守此规定) 学位论文作者签名：彳磊式争一 指导教师签名： 日期： 丫 徒三杏沙 学位论文独创性声明 学位论文独创性声明 秉承学校严谨的学风与优良的科学道德，本人声明所呈交的学位论文是我个人在导师 指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地 方外，学位论文中不包含其他人已经发表或撰写过的成果，不包含本人已申请学位或他人 已申请学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的任何贡献均已 在论文中作了明确的说明并表示了致谢。 学位论文与资料若有不实之处，本人承担一切相关责任。 学位论文作者签名： 指导教师签名： 日期： 一、r 呷 1 绪论 1 绪论 1 1 引言 图像是对客观事物形象、生动的描述，是直观而具体的信息表达形式，是人类最重 要的信息载体。特别是在今天的信息社会，随着网络、通信和微电子技术的快速发展和 人民物质生活水平的提高，以图像为基础的视频以其直观、方便和内容丰富等特点，日 益受到人们的青睐。然而在很多应用领域，人们通过视觉获得信息的同时，也要付出艰 辛的劳动，我们需要有一种科技，可以代替人的这种劳动，把人从繁重的视觉劳动中解 放出来。因此用计算机模拟人眼进行各种繁累的视觉活动就成为一种迫切的需要。在这 种条件下，有关计算机视觉的各种研究和应用如雨后春笋般发展起来。 1 2 研究的背景及意义 在很多领域中，人们往往只对视频中的运动目标感兴趣。在这些应用领域中，如何 利用计算机把运动目标从有干扰的背景中检测出来并对其进行识别、跟踪、管理等处理 是需要研究的关键技术。实时运动目标跟踪是模式识别、图像处理、计算机视觉、武器 制导等领域的重要课题。它把图像处理、自动控制、信息科学有机结合起来，形成了一 种能从图像信号中实时地自动识别目标，提取目标位置信息，自动跟踪目标运动的技术。 对序列图像中的目标进行实时跟踪在军事、工业和科学研究方面都具有重要的意义，例 如虚拟现实环境、模拟训练、自动导航等。运动目标跟踪是通过对传感器拍摄到的图像 序列进行分析，计算出目标在每帧图像上的位置，给出目标速度的估计。 运动目标跟踪算法的优劣直接影响着运动目标跟踪的稳定性和精确度，虽然对运动 目标跟踪理论的研究已进行了很多年，但至今它仍然是计算机视觉等领域的研究热点问 题之一。研究一种鲁棒性好、精确、高性能的运动目标跟踪方法依然是该领域所面临的 一个巨大挑战。研究的困难很大程度上取决于我们对被检测和跟踪的目标是如何进行定 义的。如果仅仅从视觉特性上来描述目标，比如说目标的特定颜色，那么，把所有具有 相同颜色的像素集合看作是目标是比较容易的。相反，对于一个特定的物体来说，由于 它包含了全部的感知细节信息和干扰信息，比如说物体的不同姿势，光照度的不同等等， 这使得我们精确检测、识别、跟踪该物体变得相当困难。视频图像的不断变化也给解决 这些问题带来了很大困难，当一个运动目标通过摄像机视场时，运动目标的图像可能会 发生明显的变化，这种变化主要来自于三个方面：运动目标姿态和形状的变化、光照度 的变化以及运动目标被其他物体部分或者全部遮挡。由于这些情况的存在使得对运动目 标进行实时检测与跟踪就变得更加困难。现有的目标跟踪算法虽然能够完成对运动目标 的可靠跟踪，但是大多数都是基于特征或相关跟踪的，需要处理的数据量大、运算复杂， 很难满足实时跟踪的要求。因此研究在这些情况下具有较好的鲁棒性和适应性而且运算 西安t 业大学硕+ 学位论文 简单的实时目标检测与跟踪算法引起了许多研究者们的关注。 本文就运动目标的检测跟踪技术作了较为深入的探讨，根据本文的算法进行并完成 了相关的实验，在这一研究领域作出了自己的努力和贡献。 1 - 3 国内外研究现状 1 3 1 运动目标检测 运动目标检测的算法依照目标与c c d 之间的关系可以分为静态背景下运动检测和动 态背景下运动检测，所谓静态背景下运动检测就是摄像c c d 在整个监视过程中不发生移 动，只有被监视目标在摄像c c d 的视场内运动，这个过程目标仅相对于c c d 的运动； 动态背景下运动检测就是摄像c c d 在整个监视过程中发生了移动( 如平动、旋转或多自 由度运动) ，被监视目标在摄像c c d 的视场内也发生了运动，这个过程就产生了目标与 c c d 之间复杂的相对运动。 静态背景下运动目标检测主要有三种常用方法：连续帧间差分法( 2 帧或3 帧) 【1 1 、 背景差分法【2 】【3 】和光流法【4 1 。连续帧间差分法对于动态环境有很好的适应性，但不能完全 提取出目标所有相关点；背景差分法能够较完整的提取目标点，却又对光照和外部条件 造成的动态场景变化过于敏感；光流法虽然能够直接用于摄像机运动下的目标检测，但 是大多数光流方法的计算复杂，不适于实时处理。文献【5 j 1 6 j 提出了一种将连续帧差分法和 背景差法相结合的方法，取得了较好的效果，但还存在着目标轮廓检测不完整和目标相 关点保留较少的问题。文献【7 】利用连续3 帧间差分法，对得到两个差分图像进行相与处理 后利用n a t s t 二值化算法提取出运动目标，文献1 3 j 使用多阶颜色和形状统计模型将人从 背景中分割出来，文献【2 】中前景目标的提取是通过联合背景分析和简单的二值图像处理来 完成的，背景场景是通过一段时间对最小灰度值、最大灰度值和最大灰度差分学习而模 型化得到的，文献【8 1 利用背景差分法，为了增加它的鲁棒性，降低环境变化造成的影响， 使用i i r 对背景图像进行滤波，即完成对背景的更新，为了更好的得到背景文献【9 j 和文献 【1 0 】分别提出了单高斯和多高斯背景模型来获取更精确的背景描述用以目标检测。 动态背景下运动检测由于存在着目标与c c d 之间复杂的相对运动，所以算法也要比 静态背景下运动目标检测算法复杂的多，常用的动态背景下运动检测算法是匹配块法、 光流估计法、图像匹配法以及全局运动估计算法等方法。 1 3 2 运动目标跟踪 运动目标跟踪要依据目标和目标所处的环境，选择一个或多个能唯一表示目标的特 征，即就是所选的特征能够将目标从它的背景中区分开来，所以在运动目标跟踪中主要 的工作就是选择好的目标特征和采用适用的搜索算法。这些算法一种是为了提高搜索匹 配的速度和搜索匹配的精度，一种就是通过预测目标在后续图像序列中的可能出现的位 置来缩小搜索范围，从而缩短目标搜索的时间。 常用的特征匹配算法有绝对平衡搜索法( a b s ) 和归一化相关法( n c ) 这两种都是 2 西安丁业大学硕士学位论文 经典的匹配算法【l l 】。文献【1 2 】使用了一种目标模板和当前帧图像颜色直方图相比的比率直 方图进行实时的目标跟踪，并着重研究了对小目标的改进方法，文献【1 3 】提出了基于人脸 在h s v 颜色空间中的特征，利用均值偏移算法实现了对人脸的实时跟踪，文献【1 4 1 【1 5 1 提出 了基于目标颜色直方图分布的均值偏移跟踪算法，并用b h a t t a c h a r y y a 距离作为目标模板 和候选目标的相似性测度，完成了对目标任意场景下的实时跟踪；基于边缘特征的目标 跟踪算法常使用h a u s d o r f f 距离检测目标模板和候选目标的边缘相似性完成对目标的跟踪 【1 6 】，文献1 1 7 】提出了一种目标轮廓跟踪的算法叫o n d e s 矧o n 算法，此算法实际上就 是利用了蒙特卡罗方法( 蒙特卡洛) 通过大量样本仿真得到一种无参统计模型，利用此 模型就可以表示任意目标的概率密度分布实现跟踪；实际应用环境是复杂多变的，往往 一种目标特征无法保证跟踪的有效性，所以就可以将多个目标特征结合起来联合完成对 目标的有效跟踪，文献【1 8 】提出了将目标的颜色直方图模型和密度函数梯度模型联合的方 法实现对人头部的实时跟踪，文献【1 9 】将目标的颜色特征距离和边缘特征距离以一定加权 比例联合组成总的相似性测度，并使用置信区域算法( 信任区域算法) 优化目标跟踪算 法实现了实时的目标跟踪。 目标跟踪过程中在进行特征的匹配时，直观的方法是在下一帧图像中全图搜索找到 ； 与目标模板最相似的候选目标位置，但这种算法非常耗时而且有时也是没有必要的，因 为目标最有可能出现在其附近的某个领域范围内，所以就需要寻找能够避免全图匹配的 快速算法。k a l m a n 滤波器四j 可以被用来预测目标在下一帧可能出现的位置，目标定位时 ： 只需在预测位置的领域进行较少的目标模板和候选目标相似性的检测就可以确定目标在 下一帧的位置，另一类减少搜索范围的算法包括优化搜索方向算法，均值偏移算法和置 信区域算法都是利用无参估计的方法优化目标模板和候选目标的距离的迭代收敛过程达 到缩小搜索范围的目的【2 1 】【2 2 1 。 1 4 目标跟踪的有关问题 目标检测跟踪的基础就是对动态序列图像的运动分析，关键是目标检测跟踪的准确 性和智能化程度。但是众多的因素导致图像的像素和内容会产生变化，例如物体本身随 着运动变大或变小、摄像机与物体之间产生相对运动、场景环境的变化等，从而使跟踪 的过程变得比较复杂。 影响目标跟踪的因素主要有： 目标种类繁多：刚体与非刚体目标；单目标与多个目标；多目标间存在冲突、部 分或完全遮挡；机动目标与非机动目标； 摄像机本身与物体间产生相对的平移和旋转； 系统实时性要求高； 目标跟踪过程中的定位要准确； 跟踪时不能得到目标的先验知识，如颜色、形状、速度等信息； 3 西安： 业人学硕十学位论文 跟踪算法在选用匹配算法时，模板的选择非常关键，而且随着目标的运动匹配模 板需要及时的更新。 1 5 论文主要研究内容和结构安排 1 5 1 主要研究内容 本课题主要针对运动目标的跟踪算法进行研究。主要分为目标的检测，目标的自动 分割与跟踪三大部分，其中目标的跟踪是核心。经典的跟踪方法有很多，但是由于场景 的复杂多变；或者计算量太大，实时性不高；或者容易受到干扰，稳定性差等因素的存 在，造成能全面兼顾这些因素的算法并不多。在这里我们通过以颜色直方图的色度分量 为特征，采用均值偏移匹配算法结合位移预测实现目标位置的实时跟踪。 1 5 2 论文结构安排 本文共分为5 章。 第一章：绪论。在这一部分着重阐述了选题的背景和意义，当前运动目标跟踪问题 的现状和成果，并介绍了本论文的主要研究内容。 第二章：运动目标的检测方法。这一部分介绍了运动目标的检测方法和原理，分别 介绍了在静态背景下运动目标的检测方法和动态背景下运动目标的检测方法。 第三章：目标分割。这一部分介绍了基于图像特征的分割方法和种类，着重介绍了 基于图像色彩的分割法。 第四章：运动目标的跟踪方法。这一部分介绍了运动目标跟踪的原理和方法，在比 较过多种算法后，着重介绍了基于均值平移算法的c a m s h i f t 算法。实现了改进型的 c a m s h i f l 算法，同时对实验结果进行了分析。 第五章：总结与展望。对本文所做工作进行了总结，并对工作中的不足进行了分析， 展望了进一步需要继续的工作。 1 6 本章小结 本章主要讨论了运动目标跟踪的国内外发展现状，阐述了本课题的研究意义，并介绍 了论文的结构安排。 4 2 运动目标的柃测方法 2 运动目标的检测方法 2 1 引言 运动目标检测是视频监控技术的基本问题，是后续目标分类、目标识别、目标跟踪 等高级应用的基础。所谓的运动目标检测是指在运动图像序列中检测出所感兴趣的目标。 运动目标检测方法针对环境不同分为两种：一种是静态背景下的目标检测，另一种 是动态背景下的目标检测。前一种情况通常发生在摄像机相对静止状态，后一种情况是 在摄像机发生相对运动状态。在检测策略上一般可以使用突出目标或者消除背景的方法。 对静态背景情况常采用消除背景的方法，例如连续帧间差分法和背景差分法等；而对动 态背景情况可以采用突出目标的方法，例如图像配准和光流法等。 常见的运动目标检测过程主要涉及到差分、二值化、形态学滤波和连通性分析等几 部分。整个检测过程分为三个层次【2 3 】：面向像素级的检测、面向变化区域级的检测和面 向帧级的检测。面向像素级的检测是指对包含运动目标的视频序列图像进行差分，二值 化，逐点检测判断背景与运动目标；面向变化区域级的检测是指对像素检测后得到的二 值图像中的目标区域采用形态学滤波和连通性检测的方法提高检测的准确度；面向帧级 的检测是指对整帧图像进行去噪处理，使其适应环境光线变化。 2 2 静态背景下的运动目标检测 静态背景下运动目标的检测常用方法是：连续帧间差分法、背景消减法和光流法。 光流法计算复杂，运算量大，运算时间长；连续帧间差分法将连续两帧进行比较，从中 提取出运动目标的信息，这种提取出运动目标的完整性较差，但对环境有较好的适应性； 背景差分法能够较完整地提取目标点，但对场景的变化较为敏感。 2 2 1 连续帧间差分法 帧间差分是检测相邻帧图像之间变化的最简单的方法，它是通过直接比较视频序列中 连续的两帧或三帧图像中对应像素点在灰度值上的差异，然后通过设定阈值来提取序列 图像中的运动区域。帧间差分法进行目标检测的主要优点是：算法实现简单；程序设计 复杂度低；易于实现实时监视。基于相邻帧差方法，由于相邻帧的时间间隔一般较短， 因此该方法对场景光线的变化一般不太敏感。 最基本的帧间差分法可以检测到场景中的变化，并提取出目标，但在实际应用中，帧 间差分法的结果精度不高，难以获得目标所在区域的精确描述。因为我们在实际应用中 特别是在下一步进行目标跟踪中，我们总希望提取的目标尽量接近目标的真实形状，也 就是说我们提取出的目标应该是完整的，同时也应该尽量少的包括背景像素点。但是在 使用过程中存在两个问题l _ 7 j ：一是两帧间目标的重叠部分不容易被检测出来，即只检测出 目标的部分或者出现了较大比例的空洞，这是由于我们直接用相邻的两帧相减后，保 气 西安丁业大学硕士学位论文 留下来的部分是两帧中相对变化的部分，所以两帧间目标的重叠部分就很难被检测出来； 二是检测目标在两帧中变化的信息，这样会存在较多的伪目标点，检测出的目标往往比 实际的目标大一些，这是由于实际目标颜色或者灰度在一定的区域内较为均匀所导致的。 2 2 2 光流计算法 光流场的计算最初是由h o r n 和s c h u n c k 于1 9 8 1 年提出的【川，它是一种以灰度梯度 基本不变或亮度恒定的约束假设为基础的目标检测的有效方法。 所谓光流是指图像中灰度模式运动的速度，它是景物中可见点的三维速度矢量在成像 平面上的投影，它表示了景物表面点在图像中位置的瞬间变化。一般情况下，可以认为 光流与运动场没有太大区别【2 5 1 ，因此就可以根据图像运动来估计相对运动。基于光流方 法的运动检测采用了运动目标随时间变化的光流特性，把光流计算得到的运动量作为一 个重要的识别特征来判断运动目标。 光流计算法的优点在于光流不仅携带了运动目标的运动信息，而且还携带了有关景物 三维结构的丰富信息，它能够检测独立运动的对象，不需要预先知道场景的任何信息， 但是当目标与背景图像的对比度太小，或者图像存在噪音时，单纯的从图像灰度强度出 发来探测目标的光流场方法将会导致很高的虚警率。另外，这种方法的计算复杂耗时， 除非有特殊的硬件支持，很难实现实时运动目标的检测。从而导致光流计算法的实用性 比较差。 2 2 3 背景消减法 背景消减法是目前运动检测中最常用的一种方法，它是利用当前图像与背景图像的差 分来检测出运动区域的一种技术。其主要工作过程如图2 1 所示： 图2 1 背景消减法基本原理流程 首先，利用公式( 2 1 ) 计算背景图像f 与当前帧图像f 。的差，得到差分后的图像 d t ； d t ( x ，y ) - lf t ( x ，y ) 一f t - 1 ( x ，y ) i ( 2 1 ) 其中f 。( x ，y ) ，f 。4 ( x ，y ) 分别为当前帧图像和背景图像；d t ( x ，y ) 为背景减得到 的差分图像。 然后对差分后的图像d 。使用图像分割算法( 公式2 2 ) 进行二值化处理，即认为当 差分图像中某一像素的差大于设定的阈值时，则认为该像素是前景像素( 检测到的目标) ， 反之则认为是背景像素： 6 两安1 ：业大学硕十学位论文 r k ( x ，y ) = 10 觑咖谢q 灯 ( 2 2 ) 其中t 是二值化设定阈值；r ：( x ，y ) 为二值化图像差分。 对r ：( x ，y ) 使用数学形态学对其进行滤波处理，得到r 。( x ，y ) ，然后再对其进 行区域连通性分析，当某一连通的区域面积大于某一给定阈值，则称为检测目标，并认 为该区域就是目标的区域范围。 背景消减法的主要特点是：适用于摄像机静止的情形；在得到当前环境的背景图像 或者为静止背景建立背景模型后，与帧间差分法比较，可以获得关于目标运动区域的完 整精确的描述，从而提取出较为精确的目标图像。 虽然背景消减法可以提取出完整的目标图像，但在实际应用中仍有许多问题需要解 决，我们理想中获取背景图像的方法是当场景中无任何目标出现时而捕获背景图像，但 很显然随着时间的推移，外界的光线会变化，这会引起背景图像的变化，因而这种人工 的非自适应的方法获得的背景图像，会随着时间的推移，对场景中光照条件、大面积运 动和噪声比较敏感，出现许多伪运动目标点，不利于目标的准确检测。因而，目前大多 数监视算法己经放弃这种非自适应的背景图像估计方法，大部分的研究人员目前都致力 于开发不同的背景模型，进行背景的动态更新，以期减少动态场景变化对于运动检测的 影响，以适应环境的变化，即自适应背景模型估计算法。 2 2 4 分级分块背景恢复法 在基于视频序列图像的运动目标检测中，理想情况下( 相机固定、静态背景、环境条 件不变) ，任意两帧间的差图像( 公式2 1 ) 中仅含有场景中目标运动的信息，在没有运 动目标( 即纯背景) 的情况下，由于f t ( x ，y ) = f ( x ，y ) ，显然d 。( x ，y ) = 0 。但 实际情况要复杂的多，首先是由于数据采集过程中光照、风雨、温度、湿度、气流、空 气中粒子的随机反射等等因素的影响，无法满足环境条件不变；其次是由于场景中树木 花草等受刮风、气流等因素的影响，难以使背景满足“静态 。因此这些因素的综合作用， 使得在没有运动目标即纯背景下d 。( x ，y ) 0 ，这个事实意味着d 。( x ，y ) 是一个随 机过程。分析表面，这一过程服从均值为弘、方差为盯2 的高斯分布n ( j c l ，2 ) 1 2 6 1 。 如果场景中有运动目标出现，则f 。( x ，y ) 和f 。4 ( x ，y ) 中与目标相关的区域就有 较大的差异。进而使得d 。( x ，y ) 中目标相关的区域出现较大的灰度差值，从而影响 d 。( x ，y ) 的分布。分析表明，运动目标对d 。( x ，y ) 的分布的影响情况和目标的大 小有关：在小目标的情况下，d 。( x ，y ) 的分布类型不变，仅是分布参数( 均值为、 方差为2 ) 发生变化；随着目标的增大，直至在大目标的情况下，运动目标将逐渐成为 d 。( x ，y ) 非零状态的主要因素，故它的分布类型将会发生变化而难以保证是正态分布。 1 ) 基本原理 设对于x x y 大小的图像帧序列，按公式( 2 1 ) 求得差值图像d 。( x ，y ) 。将d 。( x ， v ) 分为m n 大小的子块，即： 7 两安。1 = 业人学硕士学位论文 。劝= d i j i 争， t ，) 时刻的视觉坐标系为0 2 x ：y 2 2 2 ，而视场中一点p 在两 个视平面上的投影分别是p ，和p ，。 设p 在o 。x 。y z l 和o ：x ：y ：z ：中的坐标分别为( x ，y l z l ) 和( x ：y 2 z ：) ，则 即阶 ( 2 2 3 ) 其中r 是视觉坐标系o ，x 。y 1 2 1 到0 ：x ：y 2 z ：的旋转矩阵，b ；( a x ，a y ，a z ) t 为平移矢量。 若旋转角为0 ，旋转轴的方向余弦为( n 】，n ：，n ，) ，则旋转矩阵是： ，c o s 0 + n ；( 1 一c o s 0 )n 2 n 1 ( 1 一c o s 0 ) 一n 3s i n 0n 3 n 1 0 一c o s 0 ) + n 2s i n 0 1 r = in 2 n 1 ( 1 - c o s 0 ) + n 3 s i n 0 c o s 0 + n 2 2 ( 1 - c o s 0 )n 3 n 2 ( 1 一c o s o ) 一n 1s i n oi ( 2 2 4 ) in 3 n 1 ( 1 - c o s 0 ) 一n 2 s i n 0 n 2 n 3 ( 1 一c o s 0 ) + n 1s i n 0 c o s 0 + n ；( 1 一c o s 0 ) j 设p ；在视平面o ；x ；y j 中的坐标系为( x ；，y ；) ( i = 1 , 2 ) ，则 x ；。丘蓍，；。l2 ”嚏一 其中f i 为t ；时刻摄像机的焦距。 设p ；在视平面o i u i v ；中的坐标系为( u i ，v i ) ( i 一1 2 ) ，则 ( 2 2 5 ) 其中d y 和d x 分别为像素的行间距和列间距，u 。和v 。为摄像机光轴与视平面的交点所在的 行数和列数。在这里我们取( u 。，v 。) 为图像的中心。 如果视觉坐标系运动的幅度和背景的深度的变化较小，那么旋转角度0 较小，则 c o s 0 1 ，s i n 0 0 ，旋转矩阵变化为： - - 1 1 3 0 1 1 1 1 0蚓 2 7 ， 622，一，2 l 毒 u v + + 弘一曲k一救 = 暑 u v 1 吼呻 ，j-_-_ 垒一 、l 0 p 2 1 l如咄1 0 户 1 如咄 ，j-_-_-_一， 刮 r 两安t 业大学硕十学位论文 f x l = x 2 一叩3 y 2 4 - 叩2 2 2 + a x x = 叩3 x 2 + y 2 一叩1 2 2 + a y ( 2 2 8 ) iz 1 = 一叩2 x 2 一c p l y 2 + z 2 4 - a z 一竺坚- v o ，+ 警+ 嚣 u1一u。j手互ii-二：了兰l亘丢互i；=蔼 。2 2 9 ， v v ；( v 2 - v a ) + q ) 呈3 圣d y ( u 2 - u o ) + 。p 呈2 圣f 2 刍f 2 a 呈x 圣 叫。2 亭q 。l d y i 彳一 因为平移矢量b 的长度较j 、，z ：的变化范围不大，所以蓑枷；z f 2 ：a _ _ d z x x 和嚣可以近似 的看成是常数。因此得到下式： 2 4 2 特征点的选择 由于图像中灰度变化较大的地方可以保证特征点邻域内的纹理细节相对的复杂，在匹 配的时候会最大程度的减少误差，所以选择特征点的原则就是选取具有较大灰度变化的中 心区域的点作为特征点。 设f x ( i ，j ) 表示基准图像，对于每一像素点( i ，j ) ，分别计算在水平、垂直、左对角和右 对角这四个方向上的相邻像素狄度值差的平方和，并把其中最小值称为( i ，j ) 的狄度变化特 征值，记作o ( i ，j ) ： o ( i ，j ) = m i n ( h ，v ，l ，r ) ( 2 3 1 ) 其中： h = f x ( i ，j ) 一f x ( i ，j 一1 ) 2 + 【f ，( i ，j ) 一f ，( i ，j + 1 ) 2 v = f 。( i ，j ) 一f x ( i l j ) 2 + i f 。( i ，j ) 一f ；( i + 1 ，j ) 2 l = f ，( i ，j ) 一f ；( i 一1 , j 一1 ) 2 + i f ；( i ，j ) 一f 。( i + 】j + 1 ) 2 r - - f 。( i ，j ) - f , ( i 一1 ，j + 1 ) 2 + i f 。( i ，j ) 一f ，( i + l j 一1 ) 2 1 6 l q l 幻兰卜旦卜芸罴 兰 蔓一 啪一m蛐一m 咄一一飞一一 生0 翌m 鱼蚺且蚺 西安t 业大学硕士学位论文 将图像f ，( i ，j ) 划分为m x n 大小的互补重叠区域w ；。，对于每个区域的灰度变化特征值求 和，得到该区域的变化度，记作 g ( w p q ) = o ( i ，j ) ( 2 3 2 ) ( i ，俜 再将图像f 。( i ，j ) 划分成r s 大小互补的重叠区域d 。，在d 。块区域内求灰度变化的最大区 域眦： g ( w ) 2 妲警g ( w p n ) ( 2 3 3 ) 记( i 。，j 。) 为w ：区域的中心，该点就是基准图像的第k 个特征点。 2 4 3 后续图像中特征点的选择 在基准图像中确定了特征点的位置以后，我们就要在后续图像中找到特征点的匹配 点。实际上我们以基准图像的特征点为中心，构造一个一定大小的模板，利用模板的特征， 在后续图像的一定范围内进行搜索，寻找后续图像中的对应特征点。 设基准图像的特征点坐标为t ；( x ，y ) ，若它与后续图像中s 。( x ，y ) 点是一对匹配点，则 基准图像中以t ；( x ，y ) 为中心的m xm 的区域与后续图像中以s 。( x ，y ) 为中心的mxm 的区 域的差异会很小。这里我们选取基准图像以t l ( x ，y ) 为中心的m xm 的区域模板t 。将模板 t 叠放在搜索区域s 上移动，模板覆盖的搜索图记作s j ，( i ，j ) 是s o 左上角点的坐标。比 较模板t 与s i ，j 的内容，两者如果一致两者之差应为零。因此用下面的测度公式来衡量两 者的相似程度。 mm d ( i ，j ) = 罗【s i ，j ( m ，n ) 一t ( m ，n ) 】2 ( 2 3 4 ) 雨符 计算出的d 值越小，两者就越匹配。 显然，模板选择的越大，所包含的信息越多，匹配的可靠性就越大。但是随着图像产 生的旋转，模板也就会旋转。我们需要选择模板最大为多少是可以忽略图像旋转所带来的 影响? 由文献1 2 9 】可知，在图像旋转角度小于5 。时，所带来的影响就可以忽略不计了。为 了节约时间，我们在模板匹配之前先将图像行、列投影和模板的行、列投影进行比较，将 投影不相似的特征点先行除去，然后对剩下的点再按照上面的方法进行匹配。 按照上述的方法，在某一后续图像中得到的匹配特征点有明显的出现了错误匹配。我 们可以采用对基准图像计算特征点之间的距离，与后续图像中特征点之间的距离比较，去 除掉匹配不正确的特征点。为了保证参数计算的准确性，在匹配之后特征点的个数越多越 好。我们将特征点的坐标代入公式( 2 2 3 ) ，得到图像变换的7 个参数。在已知图像变换 的参数后，就可以将后续图像映射到基准图像的坐标系下，完成图像的配准。 2 5 实验结果 试验结果如图2 9 所示，首先我们选择模板图像( a ) ，以及待匹配图像( b ) 。在模板 图像上选择三个特征点，选择时倾向于目标颜色变化大的地方，见图( c ) 。相应的在待匹 1 7 西安工业人学硕士学位论文 配图像上同时自动生成相应的三个点，见图( d ) 。确定特征点对应后合成图像以检验匹 配的正确性见图( e ) 。 a ) 楼扳阿像 自i c ) 选择模板特征点 _ 一 b ) 待匹配矧像 即_ _ - ( d ) 生成特征点的待匹配图像 ( e ) 匹配成功合成检验图 图2 9 匹配测试结果 在目标模板与待匹配图像匹配成功后，可以锁定要跟踪的目标，为后续的分割出目标 图像作了铺垫。 2 6 本章小结 本章首先介绍了运动目标的检测任务与要求，对运动检测算法进行了分类。然后时论 了在静态背景和动态背景两种情况下普遍使用的检测算法，并分析了这些算法本身的不 足。昂后针对本文所使用的基于特征点的匹配算法进行了详细的介绍，从实验结果验证本 文算法正确的检测出了目标，并能进行较精确的定位，算法具有较强的鲁棒性。 3 目标分割 3 目标分割 3 1 引言 图像分割属于图像分析中的一个内容。图像分析主要是对图像中感兴趣的目标进行 检测、提取和测量，分析的结果能为用户提供描述目标特征的根据。图像分析是机器视觉 中的一个重要的组成部分，它主要包括图像分割、目标的表达和描述等内容。 从图像中把景物提取出来的处理过程称为图像分割。图像分割的目的是把图像划分 成具有一定意义的区域，把人们对图像中感兴趣的部分或者目标从图像中提取出来作进一 步的分析应用，图像分割的通用定义如下。 将一幅离散图像信号f ( m ，n ) 进行分割就是将f 划分成若干相连的、非空的子区域f 1 、 f 2 、f n ，并且满足以下某种均一性原则： 一r 埋1f i - f ； - f i 是互相连通的； v i 均一性原则e ( q ) 都是满足的； 对任何两个相邻的f i 、f j 的联合体，e ( f in f i ) = 巾。 图像分割出来的区域需要具有均一性与连通性的特征。均一性是指对某一分割出的 区域内的所有像素点都满足基于灰度、纹理、色彩等特征的某种相似性准则；连通性是指 在该区域内存在连续任意两点的路径，即所含的全部像素彼此邻接。 图像分割大致可分为两类。一类是以区域为对象进行分割，它根据图像的灰度、色 彩、图像的灰度值或色彩变换得到的特征的相似性来划分图像空间，通过把同一灰度级或 相同组织结构的像素通过聚集形成区域，这类方法将依赖于相似性准则的选取。另一类是 以物体边界为对象进行分割，一般来说物体的边界具有复杂的形状，从图像中灰度变化直 接找出物体的边界比较困难。因此，这类方法首先通过检测图像中的局部不连续性得到图 像的边缘，把边界分解成一系列的局部边缘，再按照一些策略把这些边缘确定为一定的分 割区域。往往以区域为对象的分割方法导致图像的完全分割，而以边缘为对象的分割导致 图像的不完全分割。不完全分割不能满足上述定义的全部条件，即物体或者景物的边界有 间断或者附加有多余的边缘线，因此，基于边缘的分割方法一般还需要后继补偿处理来得 到图像的完全分割，这种补偿处理的一般方法是轮廓跟踪、边缘消除和曲线拟和等方法。 这两类方法从两个侧面实现对图像的分割，在实际应用中，不同的图像可能适用于不同的 方法。为了得到更好的分割效果，还可以把二者有机结合起来，以满足应用需求。 1 9 西安工业大学硕士学位论文 3 2 数学形态学处理 经过前景点检测后的图像中往往存在着离散的噪声前景点和目标区域中的孔洞，因此 在进行目标检测后一般都要进行去噪处理。这一步可以通过数学形态学运算实现，即利用 腐蚀和膨胀运算分别去除孤立的噪声前景点和填补目标区域的小孔。 数学形态学的基本思想是用具有一定形态的结构元素去量度和提取图像中的对应形 状以达到对图像分析和识别的目的。该技术一般是以二值图像为处理对象。基本的形态学 运算是腐蚀和膨胀。 3 2 1 阴影集( u m b r a ) 与上表面( t o ps u r f a c e ) 一幅灰度图像可以用一个定义在e z 或t ( u ( f ) ) = f 上的二维函数f ( x ，y ) 表示，从几 何上看它是三维空间的点集 x ，y ，z ) ，x ，y ) e e 2 ，其中z = f ( x ，y ) e e 为灰度值。由于数学 形态学是基于集合理论建立起来的，因此要对灰度图像进行形态分析，关键是要把灰度图 像函数用集合的方式表示出来 定义3 1 设任一给定的函数f ：f e ，其定义域f c _ e z ，则它的阴影集u ( f ) f xx 定 义为： u ( f ) - ( x ，z ) j x f ，z