（电路与系统专业论文）基于帧差图像的运动对象分割与跟踪的算法研究[电路与系统专业优秀论文].pdf

摘要 摘要 基于对象的第二代编码标准m p e g 4 最重要的特点是利用视频对象来 描述内容和编码，这就需要先进行视频对象分割，而该标准中，视频对象 的分割仍然是一个开放部分。分割算法性能的好坏对最终m p e g 4 编码产 品的质量至关重要。正是基于这种考虑，本文选择了这一课题。 针对静止背景序列，本文提出一种在帧差图像上联合使用c a n n y 边缘 检测和随机信号的高阶矩检测来自动分割运动物体的算法。实验证明，该 算法能较好地从静止背景中分离运动对象，具有一定的实用性。当序列背 景运动时，先进行全局运动估计和运动补偿，再按照静止背景序列方法进 行视频对象分割。本文给出一种新的三步搜索算法和四步搜索算法对背景 运动的视频图像序列进行全局估计，并用八参数运动参数模型进行运动补 偿。初始分割完成后对视频对象进行跟踪。文中提出一种基于改进的 h a u s d o r f f 距离度量的多分辨率分析算法，即使后续帧中的运动对象被遮挡 或者形状发生慢的变化时，也能准确跟踪到运动对象的新变化。本文还针 对多个视频对象中感兴趣运动目标的跟踪提出了一种建立帧间向量的算 法，通过分析比较各运动对象的运动轨迹，从而确定当前帧中感兴趣的运 动对象。 算法的硬件实现是一个富有挑战性而又必须解决的问题，也是作者将 来的努力方向。 关键词目标检测；视频对象分割；运动估计；运动补偿；对象跟踪 燕山大学工学硕士学位论文 a b s t r a c t t h ed i s t i n c tf e a t u r eo f m p e g - 4 ，t h es e c o n dg e n e r a t i o no b j e c t b a s e dc o d i n g s t a n d a r d ，i sc o n t e n td e s c r i p t i o na n dc o d i n gb a s e do i lv i d e oo b j e c t s s oav i d e o s e q u e n c em u s tb es e g m e m e di n t o as e to fv i d e oo b j e c t sf i r s t v i d e oo b j e c t s e g m e n t a t i o ni sa l s oa no p e n i n gp a r t i nt h es t a n d a r d t h ep e r f o r m a n c eo ft h e s e g m e n t a t i o na l g o r i t h mi sc r u c i a lt ot h ef i n a lm p e g 一4c o d i n gp r o d u c t s ，s ot h e a u t h o rc h o o s e st h i sq u e s t i o nf o rd i s c u s s m n f o rt h es t a t i cb a c k g r o u n ds e q u e n c e s ，t h ea u t h o rp r e s e n t sas e g m e n t a t i o n a l g o r i t h mb a s e do nt h ec o m b i n i n go fc a n n ye d g ed e t e c t i o na n dt h ef o u r t h o r d e r m o m e n tt e s t i n g e x p e r i m e n t ss h o wt h a tt h ea l g o r i t h mc a r l s e p a r a t em o v i n g o b j e c t sw e l l a n df o rt h em o v i n gb a c k g r o u n ds e q u e n c e s ，w es h o u l dm a k et h e g l o b a lm o t i o ne s t i m a t i o na n dc o m p e n s a t i o nf i r s t ，a n dt h e ns e g m e n to b j e c t si n t e r m so ft h es t a t i co n e t w om e t h o d so ft h eg l o b a lm o t i o ne s t i m a t i o na r e p r o p o s e d i n t h i s p a p e r , t h e nu s i n g8 - p a r a m e t e r m o v e m e n tm o d e lf o r c o m p e n s a t i o n a i t e r t h ei n i t i a l s e g m e n t a t i o n , t h e a u t h o r p r o p o s e s a m u l t i r e s o l m i o na l g o r i t h mb a s e do nt h ei m p r o v e dh a u s d o r f fd i s t a n c et ot r a c k o b j e c t s i tc a no b t a i nt h en e wo b j e c t sa c c u r a t e l ye v e ni ft h e ya r es h e l t e r e do r t h e i rs h a p e sh a v es l o wc h a n g e s v e c t o r sb e t w e e nt h el a s ti n t e r e s t e do b j e c t si n p r e v i o u sf r a m ea n d t h em o v i n 培o b j e c t si nc u r r e n tf r a m ea r ee s t a b l i s h e dt of o l l o w t h ep r e s e n ti n t e r e s t e do b j e c t sb yt h et r a j e c t o r ya n a l y s i so f e v e r ym o v i n go b j e c t t h eh a r d w a r er e a l i z a t i o no f t h ea l g o r i t h mi sac h a l l e n g i n gi s s u ew h i c hm u s t h es o l v e d i ti sa l s ot h ef u t u r es t u d yd i r e c t i o nt h a tt h ea u t h o rs h o u l dm a k eg r e a t e f f o r t s0 n k e y w o r d so b j e c td e t e c t i o n ；v i d e oo b j e c ts e g m e n t a t i o n ；m o t i o ne s t i m a t i o n ； m o t i o nc o m p e n s a t i n g ；o b j e c tt r a c k i n g 燕山大学硕士学位论文原创性声明 本人郑重声明：此处所提交的硕士学位论文基于帧差图像的运动对 象分割与跟踪的算法研究，是本人在导师指导下，在燕山大学攻读硕士学 位期间独立进行研究工作所取得的成果。据本人所知，论文中除已注明部 分外不包含他人已发表或撰写过的研究成果。对本文的研究工作做出重要 贡献的个人和集体，均已在文中以明确方式注明。本声明的法律结果将完 全由本人承担。 作者签字 主1 狼 日期：v 耐年中月1 日 燕山大学硕士学位论文使用授权书 基于帧差图像的运动对象分割与跟踪的算法研究系本人在燕山大 学攻读硕士学位期间在导师指导下完成的硕士学位论文。本论文的研究成 果归燕山大学所有，本人如需发表将署名燕山大学为第一完成单位及相关 人员。本人完全了解燕山大学关于保存、使用学位论文的规定，同意学校 保留并向有关部门送交论文的复印件和电子版本，允许论文被查阅和借阅。 本人授权燕山大学，可以采用影印、缩印或其他复制手段保存论文，可以 公布论文的全部或部分内容。 保密口，在年解密后适用本授权书。 本学位论文属于 不保密者。 ( 请在以上相应方框内打“”) 作者签名： 导师签名 毒i 报 兰卉锑 l 日期：沁年p 月i 汩 日期：腓钥，汩 第】章绪论 1 1 引言 第1 章绪论 运动对象的分割和跟踪技术一直是图像处理和计算机视觉领域的重 要研究课题。近年来，随着多媒体技术的迅猛发展及计算机性能的不断提 高，各种视频图像的应用越来越广泛。视频图像序列中运动对象的分割技 术也日益受到人们的青睐，得到了广泛的应用。例如，在人工智能系统中， 要对运动对象进行判断与跟踪；在国防安全系统中，需要对军事目标进行 跟踪与识别；以及在生物医学领域的应用等等。 在多媒体通信中，为了更好地对视频图像数据进行压缩和传输，m p e g 组织提出m p e g 一4 视频压缩解压标准。m p e g 4 采纳了基于对象的编码技 术，它要求对图像和视频( 自然的或合成的) 作更多的分析，甚至是理解。 基于对象的编码是m p e g 4 的一个重要特点。所谓对象，是指图像中具有 一定物理的、视觉的或语义的区域。例如，将视频对象分为运动物体对象 和静止不动的背景对象，通过对各个对象采用不同的压缩方法和压缩比， 从而在一定码率的要求下提供更好的图像质量。m p e g 4 的另一个重要特 点是提供了基于对象的交互功能，用户能够访问( 搜索和浏览) 和操作( 剪贴 和移动) 一个场景中的各个对象。 m p e g 4 视频基于内容的功能标志着数字视频描述的一场革命，并对 视频领域产生极其深远的影响。目前在图像中分割出静止对象还较困难， 比较可行且已有一定研究的是，在动态场景中利用运动信息分割出运动对 象。基于对象的编码和交互需要首先分割出图像中的各个对象，而对象的 分割被认为是一个具有挑战性的难题，基于语义上的对象分割就更困难了。 因此，尽管m p e g - 4 的框架研究制定，但是最为重要的对象分割问题却一 直未得至满意的解决。为了推动m p e g 4 标准的广泛应用，基于对象的分 割技术目前已成为一个重要的研究课题。由此可见，对视频序列图像中的 运动对象进行分割也成为m p e g 4 中的一项关键技术，它的发展对视频领 域有着重大的意义。 1 燕山大学工学硕士学位论文 1 2 视频运动对象分割与跟踪技术的发展及研究动态 1 2 1运动对象的分割技术 近年来，国内外对于运动对象分割技术的研究取得了许多成果，人们 提出了许多新的分割技术及方法。通过参阅近年来各研究人员提出的运动 对象的分割技术及方法，并进行归类可以看出，对运动对象的分割方法大 致可分为：检测变化区域的分割方法、基于非参数模型的运动分割方法、 基于参数模型的运动分割方法、基于形态学的方法以及其它一些分割方法 等【”。 ( 1 ) 检测变化区域的分割方法经过全局运动估计和补偿后，相邻视频 帧的背景是静止的，经过帧间的差分图像可以检测到运动区域【2 4 1 。文献【3 提出相邻的两个差分图像的方差之比服从f 统计分布，而且不需要知道实 际的方差。文献 4 认为帧间差分符合两个零均值的拉普拉斯分布的混合， 并应用最大似然法估计分布参数，然后分割出背景和运动对象。 文献 5 】中首先利用相邻帧差并采用全局闽值获得变化检测模板，然后 采用局部阈值的迭代松弛技术来完成边沿的光滑滤波。为了分割不连续运 动的对象，使用了一个深度为上的可调节存储器，如果存储器中的某个像 素在前几帧中的变化检测模板至少有一次属于运动对象，则该像素属于运 动对象。通过消除未覆盖的背景区域并使模板边沿对齐图像边沿来改进对 象模板的定位。 由于直接通过两帧差检测变化区域的方法对噪声比较敏感，因此，文 献【4 ，6 】采用形态运动关联算子来间接利用帧差检测运动区域，同时根据序 列图像的运动程度，采用多帧处理来获取运动对象，该算法具有一定的抗 噪能力。 总的来说，这类方法计算简单，但是对于噪声仍比较敏感，且对象运 动不能太快。由于室外场景背景变化复杂，因此该方法比较适用于室内场 景运动视频对象的分割。 ( 2 ) 基于非参数模型的运动分割方法基于非参数模型的分割方法对 物体的运动是通过光流场来得到的。通常假设相邻帧间外界照明条件不变， 2 第1 章绪论 因此光流场反映了运动场。但是由于孔径和遮挡问题，用光流法估计二维 运动场的解是不稳定的，需要使用附加的假设模型来模拟二维运动场 7 】。 典型的用于运动分割的方法是基于块运动估计的分割方法。块运动模 型主要应用在低码率视频编码应用中，基于平移的块运动模型的运动估计 不能处理旋转和缩放的情况，块运动模型的分割精度由块的大小决定。由 于运动估计运算量大，基于运动的对象分割和跟踪要求有准确的运动估计， 因此常采用一种“金字塔”式的由粗到细的快速估计方法【8 。1 1 。 另一种典型的用于运动分割的方法是基于贝叶斯法1 1 0 , 1 2 1 5 1 。贝叶斯法 是在给定光流数据的条件下，搜索分割标记的最大后验概率，使得当前分 割与期望分割符合的程度最大。由于贝叶斯法同时进行分割和运动估计， 分割效果较好，但运算量大。 使用空间变换的网格( m e s h ) 模型成为目前个积极的研究领域，网格 模型分为三类：规则网格、自适应网格和基于内容的网格。文献 1 6 】改进 了六边形匹配的运动估计算法，降低了算法的复杂度。为了提高运动估计 准确度，文献 1 7 】提出了基于网格的自适应内插技术来实现运动补偿；而 为了提高运动估计的速度，文献 1 8 提出了一种前向插值方法代替迭代的 网格运动估计，该方法的分割结果易受网格生成算法中关键点数选择的影 响。 在检测出变化区域的基础上，文献 1 9 1 使用s n a k e 算法以及松弛法以 得到精确的对象边沿。文献【2 0 通过改变s n a k e 能量项使其具有仿射不变 性的特点，并结合对象的参数原型可以很好的解决多个对象分割时的对应 问题。这类方法根据图像的梯度信息和时空光滑约束条件使曲线按能量最 小原则收敛，且可能收敛到局部最小。 ( 3 ) 基于参数模型的运动分割方法采用基于参数模型的运动分割法 的基本思想是：假设有足个相互独立的运动物体，每一个光流矢量对应于 单个不透明体的三维刚体运动的投影，那么，每一个不同的运动可以通过 一系列映射参数来正确描述。参数模型需要对视频图像进行分割，每个区 域的运动用一个参数集来描述。运动矢量可以从这些模型参数来合成。 一个由平面的三维刚体运动产生的二维运动场，在正交投影下可以用 燕山大学工学硕士学何论文 6 个参数的仿射模型描述【2 1 棚l ，而在投射投影下，则得到8 个参数的透视 模型 2 4 , 2 5 1 。文献 2 3 1 采用对象的3 d 模型和深度信息分割对象。文献 2 6 1 采用二次空间变换，不仅可以补偿诸如平移、尺度变化、旋转等变化，还 能补偿形变和非均匀伸展等非线性变化。 相对于非参数模型，参数模型受噪声的影响较小，因为参数是由多个 像素结合在一起估算出来的。参数模型可以有效地处理对象间的遮挡问题， 缺点是只适用于刚体运动。 ( 4 ) 基于形态学的分割方法采用形态学分水岭算法分割对象 2 7 - 3 1 1 的 算法被广泛使用，算法由图像简化、标记提取、决策和后处理四步构成。 文献 2 7 1 提出了一种时空形态学分割方法，通过移去对人眼不敏感的细节 并保留对人眼敏感的细节，使得图像得到简化，再采用基于区域合并和分 割的算法得到各个区域，而且不产生弱边沿。文献 3 0 1 提出采用多尺寸形 态学梯度算法对图像进行初始分割，再根据运动一致性进行区域合并。由 于采用彩色信息进行区域合并时，容易消除弱的边沿，文献 3 1 1 提出基于 边沿+ 噪声模型的统计方法，认为对于弱边沿，标记的最优位置对称位于 边沿两边，且尽可能靠近边沿。该方法同时采用了边沿信息和彩色信息， 以提高边沿的准确定位。形态学分割算法运算简单，能较好地提取运动对 象的轮廓，但由于要依靠梯度信息，因此对噪声比较敏感。 ( 5 ) 其它一些分割方法文献f 3 1 1 采用局部方差对比度和帧间差分对比 度构成二维熵分布图，用以分割运动对象。文献 3 2 】采用g a b o r 和m a l l a t 小波变换进行分割，其中g a b o r 小波变换可在较低的空间分辨率下准确估 计运动信息，m a l l a t 小波变换用于进行高分辨率下的对象分割。基于彩色 快速递归最短扫描树算法是种由细到粗的分割方法，分割速度快，但是 需要预先制定最终分割的区域数，且对噪声也比较敏感。文献 3 3 1 通过交 互式预先在整个视频中选择一些代表对象不同特征的关键帧，对关键帧进 行对象分割后作为分割其它帧时的参考，这种方式通过利用对象的多视点 信息可以达到鲁棒分割跟踪对象的目的。对于某些应用，可以采用多个单 目视频或立体视频来准确估计各个对象的运动信息、深度信息，通过融合 同一场景的多视点信息来有效地分割运动对象。 4 第1 章绪论 1 2 2 运动对象的跟踪技术 在初始分离出运动对象后，通过跟踪运动对象的轨迹和轮廓，可以在 下一帧中容易地分割出对象。对运动对象的跟踪较复杂，需要考虑每帧图 像背景和对象的变化。跟踪算法有基于两帧的算法和基于多帧的算法，利 用较多的帧数进行跟踪可以降低噪声对系统的影响。为了跟踪不连续的对 象，常常需要采用一个对象存储器。常用的跟踪算法如下。 ( 1 ) 基于h a u s d o r f f 距离的运动跟踪使用h a u s d o r f f 疆离跟踪视频运动 对象是个有效的方法1 3 4 , 3 5 】。这种方法使用二进制模板进行比较，即使当对 象的形状有较大的变化或背景移动时，也能很精确地检测对象新的位置。 其优点主要有：混乱的图像背景对其影响不大；计算简单且速度快；允许 仅使用图像的部分轮廓进行比较；允许运动对象的不连续运动。使用 h a u s d o r f f 距离跟踪其关键是在初始时如何提取二迸制运动对象模板，即如 何分割出运动对象和背景。把得到的视频对象的二值化模板用于在后续帧 中寻找相匹配的模板。为了适应模板的形状改变，每帧都对模板进行更新。 h a u s d o r 仃跟踪器对刚体对象跟踪较好，而对非刚体对象跟踪较差。 ( 2 ) 基于区域的运动跟踪按照跟踪对象的性质将跟踪分为基于区域 的刚体跟踪和基于区域的非刚体跟踪1 3 6 】。基于区域的非刚体跟踪算法为： 得到上一帧中对象的边界，估计边界像素块的运动，重新提取当前帧的准 确边界，生成对象的模板。这种方法简单，但要求对象和背景间的对比度 较强。基于区域的刚体跟踪算法为：首先进行二参数的运动估计，提取对 象模板，再进行六参数的运动估计，进行对象边界分割。这种方法可以处 理对象和背景间的对比度弱的情况，以及对象间出现局部遮挡的情况，但 运动对象必须是刚体运动。 基于区域相关的运动跟踪法对噪声有较强的鲁棒性，为了减小搜索窗 口的范围和对象大小、形状和运动方向的改变而产生较大误差，文献 3 7 提出一种基于自适应窗口的方法来提高算法的跟踪性能。文献 3 8 1 采用 k a l m a n 滤波器实现运动跟踪算法，并结合颜色信息和深度信息进行分割。 文献 3 9 】提出的j p d a f ( j o h a tp r o b a b i l i s t i cd a t aa s s o c i a t i o nf i l t e r ) 是对 k a l m a n 滤波器的扩展。利用区域、纹理和轮廓等信息跟踪多个运动对象， 燕山大学工学硕士学位论文 可处理对象间的遮挡。文献 4 0 】利用对象的空间特征的不变性作为运动跟 踪的一个附加因素，使得跟踪算法具有较好的鲁棒性。为了能跟踪低分辨 率和噪声较强的视频中的运动对象，文献 4 1 用包含对象区域的四个边的 中点和区域中心等五个一般特征点作为跟踪点，结合颜色帮对象懿出现和 消失等信息跟踪多个刚体或非刚体运动对象。 基于区域的跟踪法适用于刚体和非刚体运动，通过结合多神信息一般 可得到较好的跟踪效果。 ( 3 ) 基于网格的运动跟踪文献【7 1 提出基于2 一d 网格的运动跟踪算法 分为五步：将上一帧的边界作为下一帧的粗边界，按照最大对比度约束条 件查找新的准确的对象边界，新的未覆盖区域的边沿用2 。d 网格和搜索算 法重新提取，然后根据运动矢量、彩色信息和边沿信息指定为背景、原对 象一部分或新出现的对象，对新出现的对象也进行跟踪，每帧需要更新网 格结构。当遮挡区域超过一个给定比值，分割过程重新初始化。 这种方法的优点是：可跟踪刚体或非刚体对象：可跟踪多个对象：可 处理对象间的遮挡、对象的消失和新对象的出现。缺点是：边界对比度不 能太弱；分割出的对象边界不够准确。 “) 基于变形模板的运动跟踪变形模板有非参数变形模板和参数变 形模板，参数变形模板又可分为参数化变形模板和基于原型的变形模板。 s n a k e 算法是一种典型的非参数变形模板，应用s n a k e 算法可以跟踪运动 对象。 为了解决运动速度较大的对象的跟踪，文献f 1 1 ，4 2 1 通过轮廓的运动投 影作为下一帧中对象的粗轮廓，再使用s n a k e 算法得到分割结果。文献 4 2 1 使用广义h o u g h 变换在下一帧中先检测对象，再根据确定的初始轮廓使用 s n a k e 算法分割出对象，可以跟踪复杂背景下的运动对象， 为了减少计算量达到实时处理的目的，文献 3 3 ，4 3 1 采用形态学的方法 提取对象的骨架结构，通过与对象的骨架模型相比，分割并跟踪运动对象。 对于特定的应用，如车辆检测、可视电话等，一般采用基于参数化变形模 板较好。文献【4 4 】对参数化变形模板作了三个改进来跟踪车辆的运动，采 用k a l m a n 滤波器控制模型的位置和大小，在其附近寻找局部最小得到最 6 第1 章绪论 好的匹配，跟踪过程动态调整模板参数。 ( 5 ) 基于小波分析的运动跟踪小波变换是当前应用数学中一个迅速 发展的领域，是分析和处理非平稳信号的一种有利工具。它是以局部化函 数所形成的小波基作为基底而展开的，具有许多的性能和优点。小波分析 是在时间一频率域上分析信号，即通过小波变换把信号分割成不同频率上的 元素，然后用与各频率相适应的分辨率来对各元素进行研究。近年来，小 波分析理论不断发展。目前，函数空间的小波构造、插值小波、向量小波、 高维小波、多进小波、周期小波等都是小波理论的主要研究方向。小波分 析由于有良好的时频局部化特征、尺度变化特征、方向性特征，因而在众 多学科领域取得了广泛应用，如图像处理、数据压缩、非线性分析等。在 目标跟踪领域，小波分析也得到了应用。j e a np i e r r el e d u c 将时间。空间连 续小波变换与卡尔曼滤波结合起来跟踪目标【4 5 】，实验结果表明，这种方法 对传感器的噪声具有很强的鲁棒性，而且，能够处理由于多条轨迹交叉引 起的时间遮挡问题。郭春等提出了一种基于m a l l a t 算法的改进算法【4 ，利 用小波变换可对信号进行分层式分解的能力，将观测信号进行多尺度分解， 把反映噪声的主要高频信号去掉，用剩余的多分辨信号进行小波重构，获 得去除了部分噪声的观测信号，从而获得更高的跟踪精度。 以上简要归纳了人们近年来提出的视频图像中运动对象的分割与跟 踪技术。对于内容较简单的一些视频，如视频会议、可视电话、新闻广播 等的自动分割技术已比较成熟，但是有关参数鲁棒性不好，仍需进一步研 究参数的自动调整方法。对于较复杂的视频运动对象的自动分割技术仍处 于初步研究阶段，主要是由于语义级对象的确定、复杂背景的影响、多个 不同类型运动对象的存在、多个对象的遮挡、对象的突然变化、非刚体对 象的任意形变，以及算法的实用化等难题需要解决。 1 3 本论文的主要内容与结构安排 当前，多媒体技术正朝着在分布式环境下提供交互式多媒体服务的方 向发展，尤其是希望能够提供基于视频内容的应用。为了实现基于内容的 存储、传输和检索等操作，如何快速有效的分割出运动对象有着非常重要 燕山大学工学硕士学位论文 的作用和意义。目标跟踪是随着数字视频技术的发展以及应用而产生的一 个新的研究课题。由于目标跟踪的结构蕴含了场景中每一个运动个体的大 量时空信息，因此该课题在基于内容的视频传输、视频检索、医学图像分 析以及数字监控等方面也被广泛应用。在复杂的背景下，人眼观察运动的 目标是很容易的，但是如何使计算机能够有效的跟踪视频流中运动的目标， 却是一项富有挑战性的工作。因此研究只对运动目标跟踪的系统是非常有 意义的工作。基于以上分析，本文选择了这一课题。 本文通过查阅和整理相关领域的一些原始文献，对各种视频对象分割 算法进行了大致的归类与分析，并针对静止背景序列提出一种联合边缘检 测和随机信号的高阶矩检测来分割运动对象的算法。对于背景运动的图像 序列本文提出了一种改进的块匹配搜索算法对图像进行运动估计，经过补 偿后再延用静止背景的分割思想提取运动对象。本文还提出了有效的跟踪 算法对运动对象进行跟踪。 论文的内容结构安排如下： 第1 章：简单介绍了课题研究背景，回顾了运动对象分割与跟踪算法 的研究现状，最后阐明了本文的主要研究内容和结构安排。 第2 章：针对静止背景序列提出一种在帧差图像上联合使用c a n n y 边 缘检测和随机信号的高阶矩检测来自动分割运动物体的算法。 第3 章：提出一种改进的块匹配搜索算法对当前帧图像进行全局运动 估计，之后进行运动补偿，再延用静止背景序列下的分割思想进行视频对 象的分割与跟踪。文中还详细介绍了几种常用的运动估计及匹配的方法。 第4 章：提出了一种基于改进的h a u s d o r f f 距离度量的多分辨率分析 的跟踪算法来跟踪运动对象。 第5 章：在视频场景中往往有几个不同的视频运动对象，人们常常对 某一运动对象感兴趣，这就需要在多个运动对象中跟踪感兴趣的运动对象。 本章提出一种建立帧间向量的方法，通过分析比较各运动对象的运动轨迹， 从而确定当前帧中感兴趣的运动对象。 第2 章静【r 背景_ 卜运动对象的分割 第2 章静止背景下运动对象的分割 2 1 视频序列去噪技术 视觉在人类的感知中起着极其重要的作用，在日常生活中约有7 5 的 信息是通过视觉系统获取的。但是在我们接触到的视频信号中往往掺杂着 通过各种途径( 比如纪录、编辑、分配、传输及接收等) 混入信号的噪声， 使得图像模糊、图像质量退化。比如在对电影胶片进行扫描而得到的视频 图像中，通常含有因胶片被擦过的划痕而产生的噪声；在雷达图像序列和 生物医学超声序列中，通常都存在斑点噪声；在电视信号中，通常又会由 于传输或者接收条件的限制，存在各种条纹状的噪声。而这些噪声会影响 到我们观看到的最终效果，也会影响到视频序列的进一步处理。 为了抑制噪声改善视频序列的图像质量，使用滤波技术对信号进行去 噪处理是最基本也是十分重要的技术手段。在去除噪声时，应尽量不损害 图像中的边沿和细节信息，这是应当遵循的一条基本原则。到目前为止， 已经提出了很多的视频信号噪声滤除方法，基本上可以分为频域、小波域、 时域、色彩域、空间域的去噪方法t 4 ”。 2 1 1 频域去噪方法 图像去噪的一类方法是在频率域中进行。图像经过傅立叶( f o u r i e r ) 变 换后，可以认为噪声频谱一般位于高频段，而图像本身的频率分量则处于 频率较低的区域，因此可以通过低通滤波方法，使高频分量抑制而让低频 分量通过，从而实现平滑去噪，其数学表达式为： 6 ( u ，v ) = h ( u ，v ) f ( u ，v )( 2 - 1 ) 式中，f ( u ，v ) 是图像的f o u r i e r 变换，g ( u ，v ) 是去噪后的图像的f o u r i e r 变 换，h ( u ，v ) 是滤波器的转移函数。下面是几种典型的频率平滑方法。 ( 1 ) 理想低通滤波器，其转移函数为： 脚，= ：! 粼专幺 p z ， 燕山大学工学硕士学位论文 式中，d n 是截止频率，理想低通滤波器拥有陡峭的截止特性，能滤除高频 段的噪声，图像也会因为失去高频信号而变得模糊。并且去噪后的图像有 严重的振铃现象。 ( 2 ) b u t t e r w o r t h 低通滤波器，其转移函数为： 1 日( ) 2 可面斋( 2 - 3 ) 式中，d 。是截止频率，”为阶数，用于控制曲线的形状。由于转移特性曲 线平滑，使得图像模糊将减少，同时也降低了图像的振铃现象。 频域滤波还有指数型滤波器和梯型滤波器，都是通过改变其截止频率 和低通滤波器的转移函数来实现的，其共同的不足是图像有一定的模糊， 不适用于对图像精度要求较高的情况。 2 1 2 小波域去噪方法 小波在图像视频去噪处理上的应用思路主要采用将空域或时域上的图 像变换到小波域上，成为多层次的小波系数，根据小波基的特征，分析噪 声和图像的小波系数特点，针对不同特征，结合常规的图像视频处理方法 或提出更符合小波分析的新方法来处理小波系数，再对处理后的小波系数 进行反变换，得到所需的去噪目标图像。 在数学上，小波去噪问题的本质是一个函数逼近问题，即如何在由小 波母函数伸缩和平移所展成的函数空间中，根据提出的衡量准则，寻找对 原信号的最佳逼近，以完成原信号和噪声信号的区分。 从信号学的角度看，小波去噪是一个信号滤波的问题，而且尽管在很 大程度上小波去噪可以看成是低通滤波，但是由于在去噪后，还能成功地 保留图像特征，所以在这一点上又优于传统的低通滤波器。由此可见，小 波去噪实际上是特征提取和低通滤波功能的综合。 利用小波变换可对信号进行分层式分解的能力，将观测信号进行多尺 度分解，把反映噪声的主要高频信号去掉，用剩余的多分辨信号进行小波 重构，获得去除了部分噪声的观测信号，将其用于更新目标状态，从而获 得更高的跟踪精度。小波去噪的方法有多种，1 9 8 8 年提出了多分辨分析的 第2 章静f l 背景f 运动对象的分割 概念，使小波具有带通滤波的特性，因此可以利用小波分解与重构的方法 滤波降噪。1 9 9 2 年又提出了奇异性检测的理论，从而可利用小波变换模极 大值的方法去噪。此后又提出了非线性小波变换闭值法去噪，并得到了非 常广泛的应用。1 9 9 5 年，有人在闽值法的基础上提出了平移不变量小波去 噪法，它是对闽值法的一种改进。此外还有原子分解的基追踪去噪法等。 近几年来应用多小波去噪法也日益成熟。 2 1 3 时域去噪方法 针对视频序列中单帧图像去噪的工作已经在很多方面取得了可喜的成 就，但是仅仅针对单帧的图像处理必然有很多的局限性。由于在图像序列 中尤其是运动缓慢的序列中，前后数帧的图像之间存在着很强的时间相关 性，采用一些常规的算法，难以达到时域降噪的目的。 可见，在时域上多帧降噪的方法在数字视频处理技术中有着重要的地 位。对于静止的图像序列，简单的多帧平均法对提高信噪比，改善图像质 量有明显的效果。如果图像序列中的噪声是随机加性的，互不相关，且均 值为零，假设对一幅静止图像连续拍摄了次，若将这幅图像进行平均， 则可将信噪功率比提高倍或信噪电压比提高倍。 然而，对于运动图像，这种简单的平均将会导致运动图像拖尾现象的 产生，或称为残像。于是，人们根据图像运动程度的不同而采用不同的策 略来获得不同的降噪性能，即实现对图像静止部分的有效降噪，而对运动 部分以牺牲降噪性能的办法来减小拖尾现象的严重程度。可以设想，如果 根据两幅图像内容位移的相对关系作运动估计，使两帧图像的内容更加接 近，其结果就能得到大的降噪效果又不会产生严重的运动图像拖尾现象。 2 1 4 色彩域去噪方法 由于彩色图像在多媒体、生物医学、i n t c r n e t 等中的广泛应用，彩色图 像感知与处理正越来越为人们所重视，彩色图像滤波技术也广泛应用于图 像去噪。 在彩色图像滤波中，基于有序统计的非线性滤波技术能较好地滤除脉 燕山人学工学硕士学位论文 冲噪声和保持图像细节。其中，较为有代表性的是a s t o l a 等人提出的矢量 ( r g b 三分量) 中值滤波器。此外，t r a h a n i a s 等人研究了利用矢量的方向信 息进行彩色信息处理，提出了矢量方向滤波器。然而，非线性滤波器对于 高斯噪声的滤除效果并不理想。相反，线性滤波器则能较好地滤除高斯噪 声，但其缺点是不适合滤除脉冲噪声，且线性滤波器易模糊图像边缘和细 节。基于矢量方向信息的自适应最临近滤波器即是一种线性滤波器。此外， 对于噪声污染程度不同的图像，在滤波器中选用不同的窗口尺寸也将导致 不同的滤波效果。因此，对于自适应滤波器来说，有效的噪声分析有助于 选取合适的滤波方法和窗口尺寸，以得到较好的滤波效果。 2 1 5 空间域去噪方法 局部平均法就是直接在空间域上进行平滑处理的技术。在这类方法中， 图像被认为由许多灰度恒定的小块组成，相邻像素间存在很高的空间相关 性，而噪声则是统计独立的。因此，可用像素邻域内的各像素的平均灰度 值代替该像素点原来的像素值，实现图像的去噪。最简单的局部平均法称 为非加权邻域平均，它均等地对待邻域中的每个像素。这种算法简单，计 算速度快，但是它主要的缺点是在降低噪声的同时，使图像产生较为严重 的模糊，特别是在边沿和细节处，而且邻域越大，模糊程度越严重。为克 服简单局部平均法带来的弊病，陆续又有许多旨在保留边沿及图像细节的 局部平滑算法被提出并应用，但是它们的出发点大都集中在如何选择邻域 的大小、形状和方向以及如何选择参加平均的点数和邻域各点权重系数等。 其中非常值得一提的是中值滤波器。中值滤波由t u k e y 首先用于一维信号， 后来很快被用到二维图像的平滑中，它对脉冲干扰及椒盐噪声的抑制效果 良好，在抑制随机噪声的同时，能保持边沿特性。中值滤波的原理是对一 个滑动窗口内的诸像素按灰度排序，用其中值代替窗口中心像素的原灰度， 因此它是一种非线性滤波器。目前关于中值滤波器的研究很多，许多科学 工作者对他的算法和改进做了研究，提出了一些有意义的改进方法，其中 有一种新型的递归中值滤波器，将非线性的中值滤波器和线性的小波滤波 器相结合，兼顾了滤波处理的光滑连续性及抑制噪声的累积特性。但标准 第2 章静止背景r 运动对象的分割 中值滤波器是非参数估计，没有充分利用实际中可获得的观测模型统计知 识，存在相当的保守性和盲目性，科学工作者还在不断地进行研究和探索。 由于中值滤波器有边沿保持与计算复杂度小的特性，本文选取该法对视频 图像序列进行去噪。 2 2 图像分割概述 2 2 1图像分割定义 在对图像的研究和应用中，人们往往仅对图像中的某些部分感兴趣。 这些部分常称为对象或前景，它们一般对应于图像中特定的、具有独特性 质的区域。为了辨识和分析目标，需要将它们分别提取出来，在此基础上 才有可能对目标进一步利用。图像分割就是指把图像分成各具特性的区域 并提取出感兴趣目标的技术和过程。这里特性可以是像素的灰度、颜色、 纹理等，预先定义的目标可以对应单个或多个区域。图像分割是由图像处 理到图像分析的关键步骤，在图像工程中占据重要的位置。一方面，它是 目标表达的基础，对特征测量有重要的影响；另一方面，因为图像分割及 其基于分割的目标表达、特征提取和参数测量等将原始图像转化为更抽象 更紧凑的形式，使得高层的图像分析和理解成为可能。图像分割在实际中 已得到广泛的应用，近年来在对图像的编码中也起到越来越重要的作用。 多年来人们对图像分割提出了不同的解释和表达，借助集合概念对图 像分割可给出如下比较正式的定义【4 8 】： 令集合五代表整个图像区域，对胄的分割可看作将r 分成个满足以 下五个条件的非空子集( 子区域) 月，心，r 。： ( 1 ) ij r ，= r ； i = l ( 2 ) 对所有的i 和歹，i ，有置n r ，= $ ； ( 3 ) 对i = 1 ，2 ，有p ( e ，) = t r u e ； ( 4 ) 对i ，有p ( r u r ，) = f a l s e ； ( 5 ) 对i = l ，2 ，矗，是连通的区域。 这里e ( e ，) 表示所有在集合r ，中元素的逻辑特性，巾代表空集。 燕山大学工学硕士学位论文 下面先对上述各个条件分别给予简略解释。条件( 1 ) 指出在对一幅图像 的分割结果中全部子区域的总和应能包括图像中所有像素，或者说分割应 将图像中的每个像素都分进某个子区域中。条件( 2 ) 指出在分割结果中各个 子区域是互不重叠的，或者说在分割结果中一个像素不能同时属于两个区 域。条件( 3 ) 指出在分割结果中每个子区域都有独特的特性，或者说属于同 一个区域中的像素应该具有某些相同特性。条件( 4 ) 指出在分割结果中，不 同的子区域具有不同的特性，没有公共元素，或者说属于不同区域的像素 应该具有一些不同的特性。条件( 5 ) 要求分割结果中同一个子区域内的像素 应当是连通的，即同一个子区域内的任意两个像素在该子区域内互相连通， 或者说分割得到的区域是一个连通组元， 另外，上述这些条件不仅定义了分割，也对进行分割有指导作用。对 图像的分割总是根据一些分割准则进行的。条件( 1 ) 、( 2 ) 说明正确的分割准 则应可适用于所有区域和所有像素，而条件( 3 ) 、( 4 ) 说明合理的分割准则应 能帮助确定各区域像素的典型特性，条件( 5 ) 说明完整的分割准则应直接或 间接地对区域内像素的连通性有一定的要求或限定。 最后需要指出，实际应用中图像分割不仅要把一幅图像分成满足上面 五个条件的各具特性的区域，而且需要把其中感兴趣的目标区域提取出来。 只有这样才算真正完成了图像分割的任务。 2 2 。2 基于对象的视频分割算法 视频对象分割没有通用的理论，要根据具体情况采取有效的方法。经 过研究提出的自动分割算法有多种，如基于光流场的运动参数估算法1 4 9 , 5 0 、 贝叶斯分割法，光流估算的可靠性较差，贝氏计算较复杂，不宜于实时分 割；基于模板匹配的视频对象分割算、法【” ，只能用于分割已知特征的对象； 利用形态学工具进行分割的形态学方法是结合视频对象的运动特性与空间 聚类特征来对物体进行分割，由于只依靠了一些简单的物体特征，会造成 目标与分割区域不一致；基于变化的分割技术是通过检测视频帧上的变化 区域与不变区域来分割运动目标，由于它依赖于时空图像亮度剃度，因此 分割精度容易受到观测噪声的影响：统计学方法则需要视频序列的先验知 1 4 第2 章静止背景下运动对象的分割 识；基于运动跟踪的分割方法，不仅允许使用图像的部分轮廓进行比较， 适用于非刚体的运动目标，而且在视频对象运动量较大时，也能获得较好 的分割效果，即使物体停止运动一段时间后，仍然可以跟踪运动物体。 依据不同的分割标准，视频对象分割算法通常被分为两类：第一，基 于空域同一性的分割算法，一般分为图像简化、标记提取和判决三个步骤： 第二，基于变化区域检测的分割算法，利用视频图像在时间和空间轴上的 信息，通过对差分图像阈值化检测出运动变化区域。 2 ，2 2 1 基于空域同一性的分割算法利用图像空间域的信息来分割视频 对象就是人们常说的帧内分割。分割的结果是一帧图像各组成区域的集合， 这些区域与m p e g 4 中的视频对象不尽相同，它们往往只是视频对象的一 部分。但是序列图像的第一帧往往只能进行帧内分割，因而得到尽可能有 意义的分割结果还是非常必要的。 帧内分割是利用图像上各个区域空间特性( 亮度、色度或者纹理) 的一 致性来实现的。对于实际中的自然图像，即使是在它的同一区域内的不同 点，这些特性往往都不尽相同。这就要求所使用的分割算法既能区分各个 不同区域，又要保证位于同一个区域中的不同点不能出现不一致的结论。 这一对自相矛盾的要求就是引起帧内分割非常困难的主要原因。 在进行图像的帧内分割时，空间几何信息( 形状、大小、连通性等) 非 常重要，如果有一种工具能够自动检测这种信息，并且利用这些信息来作 出判决的话，就可以实现图像的自动分割。很显然，经典的线性信号处理 工具是无法满足这种需要的。作为一种信号处理的几何方法，数学形态学 工具得到了很大的发展，特别是以几何特征作为分割判据时，数学形态学 工具更能发挥作用。在二值图像处理中，往往需要利用形态学算子来滤噪、 提取几何特征等。这种基于二值图像的数学形态学算子比较简单，也易于 实现。把数学形态学算子应用到灰度图像时，情况就会复杂很多。利用数 学形态学算子来处理灰度图像的问题，在8 0 年代和9 0 年代初得到了广泛 的研究。在附录中，我们列出了在图像分割算法中常用的一些数学形态学 工具。基于数学形态学工具的帧内分割方法一般可以分为三步：图像简化、 标记提取和判决【s 2 l 。 燕山大学工学硕士学位论文 2 2 2 2 基于变化检测的分割算法基于变化区域检测的分割算法是通过 检测序列图像帧上的运动变化区域与不变区域而将运动物体与静止背景分 离开来的。该法是基于时空图像亮度和梯度信息的独立运动区域来考虑分 割的。为了降低噪声的干扰，通常利用相邻连续两帧来检测运动变化区域。 分割过程有不使用参数模型和使用参数模型两种方法口3 1 。 不使用参数模型的算法主要是考虑像素的统计特征，该算法描述为： ( 1 ) 得到初始的变化检测模板首先比较相邻两帧图像的变化得到初 始的变化检测模板，由于物体运动而导致亮度产生变化的每一个像素都在 模板中标记出来。为了保证视频对象的分割在时间上的稳定性，不至于由 于视频对象或其中的一部分在某一时刻停止运动时导致视频对象全部或部 分丢失，采用一个变化检测模板的存储器，根据视频序列自动地选择存储 器的时间深度，这样，只要某个像素在这之前的工个变化检测模板中至 少出现一次，那么它就被标记为亮度改变的像素。 ( 2 ) 得到运动物体模板由于亮度改变的像素包括那些由于物体运动 而显现出来的背