（通信与信息系统专业论文）视频图像中的微弱目标检测.pdf

摘要 摘要 视频图像序列中微弱目标的检测与跟踪技术有着极其重要的理论和实际意 义。所以本文中重点研究含有微弱目标的图像序列的背景杂波估计与抑制技术，进 而建立完整的算法流程检测微弱目标的运动轨迹。 什么是微弱目标，微弱目标本身有什么特点，检测微弱目标存在的困难等等， 这些都是需要解答的问题，所以在本文中对以上的这些问题做出了一一的回答， 阐明了微弱目标的定义、特点，以及微弱目标与图像其它部分之间的相互联系。 为后续研究微弱目标提供了定量的参考，具有重要的意义。 由于微弱目标本身就很难以检测和识别，再加上图像背景杂波以及噪声的干 扰，很容易将微弱目标掩盖掉，所以在进行目标检测之前进行背景杂波估计与抑 制。在这一部分主要介绍背景杂波估计与抑制技术的两种不同的技术路线频 域上的背景杂波估计与抑制和空域上的背景杂波估计与抑制，并利用了衡量各种 算法背景杂波估计与抑制性能的准则。在以上的基础上从中选取合适的方法进行 微弱目标的检测。 本文采用滤波器抑制嗓声，依据图像的灰度相关性估计图像的背景，对于经 过背景估计与抑制之后得到的结果做了正态性检测。然后采取门限分割目标与噪 声，利用形态学知识和投票的原则提出了一种检测微弱目标运动轨迹的新算法。 为了衡量算法性能的优劣，进行了计算机的仿真试验。 【关键词】微弱目标检测，背景估计，滤波，投票。 a b s l l u 岖丁 a b s t r a c t t h ed i mt a r g e td e t e c t i o na n dt r a c k i n gt e c h n o l o g yi nv i d e oi m a g es e q u e n c ei sav e r y i m p o r t a n ta n d u s e f u l t h ei m a g eb a c k g r o u n dc l u t t e r se s t i m a t i o na n dr e m o v i n g t e c h n o l o g yi sas i g n i f i c a n tp a r to f d i mt a r g e td e t e c t i o na n dt r a c k i n gt e c h n o l o g y im a i n l y s t u d yt h i si nt h i sp a p e r w h a ti sad i mt a r g g t ? w h a ta l et h ed i mt a r g e ts p e c i a l t i e s ? w h a ta l ed i f f i c u l t i e si n d i mt a r g e td e t e c t i o n ? a l lo ft h e s ea r en e e dt ob ea n s w e r e d t h e r ea r ed i s c u s s i o n sa b o u t t h ed e f i n i t i o no f d i mt a r g e t , d i mt a r g e t ss p e c i a l t i e sa n dr e l a t i o n s h i pb e t w e e nd i mt a r g e t a n do t h e rp a r t so f i m a g e b e c a u s eo fd i f f i c u l t i e so fd i mt a r g e td e t e c t i o na n di d e n t i f y i n g , a n dt h e r e a r e b a c k g r o u n dc l u t t e r sa n dn o i s ei n t e r f e r i n g , t h ed i mt a r g e ti se a s yt ob em a s k e d s ow e c a nd e a l d n it h eo r i 百n a li m a g es 唧l e n c e e s t i m a t i n gt h eb a c k g r o u n dc l u t t e r sa n d r e m o v i n gt h e mf r o mi m a g es c q 嘲c e t h er e a l i t i e st d lu st h es t e p i sn e e d e da n d e f f i c i e n t t h e r ea r et w ok i n d so f b a c k g r o u n dc l u t t e r se s t i m a t i o na n dr e m o v i n gm e t h o d s ： o n ei si n 唧唧d o m a i na n da n o t h e ri si ns p a c ed o m a i n id i s c u s st w om e t h o d si n t h i sp a p e r , a n dt h i n ko u tt h r e ec r i t e r i at oe v a l u a t et h ed i f f e r 唧tm e t h o d s t h i sa r t i c l ef i r s t l yu s 嚣w i e n e rf i l t e rf o ro r i g i n a li m a g e s a n dt h e ni n t r o d u c e sa n b a c k 毋o u n de s t i m a t em e t h o db a s e do nt h er e l a t i v i t yb e t w e e ni m a g es e q u e n c e sf o r f i l t e r e di m a g e st op i c ku pt h eb a c k g r o u n da n df i n a l l yd e t e b td y n a m i cs m a l lt a r g e t s i s i m u l a t ea l la l g o r i t h m sb yc o m p u t e r , a n dc o m p a r i n gt h e i rp e r f o r m a n c e s0 1 1c l u t t e r s r e m o v i n g k e yw o r d s ：d i mt a r g e td e t e c t i o n , b a c k 粤d u n de s t i m a t i o n , f i l t e r , v o t e 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名： 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：丑! ! 坠导师銎名：l 至睦 日期：们1 年c 月1 日 第一章引言 1 1 研究背景及意义 第一章引言 近年来，无论在军用还是民用邻域，视频图像序列中的强杂波背景环境下微 弱目标的检测跟踪技术是现在的研究热点之一。微弱目标在强背景杂波中，对于 人眼识别目标而言，目标低邻域对比度使得目标的可视性极低；对于利用计算机 检测目标而言，目标低邻域信噪比使得计算机检测性能也较差，所以对于在强杂 波环境下的目标检测是困难而复杂的。但是微弱运动目标的检测与跟踪在图像处 理、遥感、雷达监视、红外传感器、机器人学和医学等很多领域中很重要，故对 这一问题的研究有重要的实用意义。 从目标检测和跟踪技术发展的历史来看，最早的目标检测与跟踪系统是以雷 达为代表，由于处理能力有限，所以该系统处理的信息主要是一维脉冲信号，而 一维脉冲信号所含的信息较少，只能达到有限的目标检测与跟踪性能；随着信号 处理理论以及处理技术的发展，处理能力有了很大地提高，目标检测与跟踪系统 所处理的信号从一维脉冲信号扩展到二维的图像信号，二维图像信号所含的信息 较一维脉冲信号丰富，所以能够得到比较好的检测跟踪性能；在计算机处理能力 飞速提高的今天，能够处理三维的( 二维空间，一维时间) 视频图像信号，由于 视频图像信号提供了丰富而冗余的信息，使对于运动微弱目标的准确检测跟踪成 为可能，所以现在基于视频图像序列的目标检测与跟踪系统得到了快速地发展和 广泛地应用。 基于视频图像序列的微弱目标检测与跟踪系统主要由图像采集系统、图像预 处理系统、目标检测系统和目标跟踪系统组成。其系统框图如下图所示： i 图像采集r + i 图像预处理h 图像分割h 目标跟踪l i_-_-_-lj 图1 - 1 基于视频图像序列的目标检测与跟踪系统框图 通过摄像机、红外线摄像机等图像采集系统，将包含微弱运动目标的真实场 景转换成原始的视频图像序列，再将原始视频图像序列通过图像预处理系统，对 原始视频图像序列进行运动估计和补偿，以及背景杂波估计和抑制，然后将得到 电子科技大学硕士学位论文 的视频序列通过目标检测系统进行处理，得到包括真实目标和虚假目标在内的可 能的目标运动轨迹，最后再使用目标跟踪系统对可能的目标运动轨迹进行分析， 输出真实的运动目标轨迹，以实现对运动微弱目标运动轨迹的检测与跟踪。 在强杂波环境下如果没有图像预处理系统进行图像的预处理( 包括背景杂波 估计和抑制) ，最后处理后的结果会产生较多的虚警目标，系统的性能会大大地降 低，。所以在对原始图像序列进行目标检测之前，必须先对原始的视频图像序列进 行预处理。 通过预处理后的图像序列，目标和杂波混杂在一起，依然难以辨认。这时可 以采用适当的检测方案，分割图像，得到可能的目标点。 最终通过目标的跟踪算法，输出目标的运动轨迹。 上面的步骤缺一不可，是本文的主要讨论内容。 1 2 相关技术简述 对于微弱目标检测与跟踪的课题，首先需要解决什么是微弱目标，微弱目标 有什么不同于普通目标的特性，对微弱目标的处理有什么样的困难，以及当满足 什么条件的时候能够将目标看作是微弱目标。这就需要对目标可检测性能进行研 究。 在图i - i 中可以看出，基于视频图像序列的微弱目标检测与跟踪技术主要涉及 三方面的内容： 1 图像预处理技术； 2 图像分割技术； 3 微弱运动目标的跟踪技术。 目标可视性能( 包括可检测性能) 的研究是目标检测与跟踪领域的有着非常 重要的地位。 目标的可视性能的研究大体上可以分成两类： ( 1 ) 人眼视觉性能研究。 ( 2 ) 计算机检测性能研究。 目标可视性能研究直接相关的参考文献并不多，但是与人类视觉相关的文献 有很多：讨论了诸如人眼对于亮度的适应与鉴别能力【1 】，人眼的灰度分辨率 2 1 ， 以及基于人眼视觉模型的视觉计算理论【3 】等。 第一章引言 由于视频图像序列中背景杂波比微弱目标能量强得多，再加上噪声的影响， 目标很容易淹没在图像中，难以辨认和检测。所以要在强杂波环境下检测目标是 一件很困难的事情。 1 2 1 背景估计与抑制技术研究 由于本文研究对象是微弱目标，目标极易被背景所遮蔽。在这里通过对背景 杂波产生机理的分析，可以将背景杂波分成以下几类： 静态杂波： ( 1 ) 长时不动( 平稳) 杂波 ( 2 ) 短时不动( 平稳) 杂波 动态杂波： ( 1 ) 传感器抖动引起的动态杂波 ( 2 ) 视场本身运动引起的自然动杂波 ( 3 ) 传感器和视场本身运动所联合引起的杂波 如果背景杂波没有变化或者变化缓慢，可以将其视作静态杂波。在这种情况 下，直接检测目标基本还是不可能的，需要采用一定的静态背景杂波估计与抑制 技术对原始图像进行处理，以提高目标的可视性能，以达到后续检测系统要求的 性能水平。 文献【4 ，5 】将背景杂波假设为在空域内均值非平稳：方差缓慢变化的高斯 白过程。 文献1 6 ) 将它们假设为一阶马尔可夫过程。在上面的般设条件下，提出了不 同的背景杂波估计与抑制算法。 文献【4 ，5 】采用基于非参数估计方法( 线性预测器) 。 文献【7 ，8 】则采用非线性预测器来抑制杂波等等。 图像采集系统安装在静止或运动的平台上，自身的运动或者外界的干扰会导 致图像采集系统，抖动的产生不利于图像的采集，会在视频图像序列中引入全局 的运动( 平移、旋转、变焦等) ；另一方面视场本身的变化也会造成动态杂波的出 现( 例如物体的漂移，水面的波动等) ；当然更复杂的情况是既有全局运动又有视 场本身变化造成的复合杂波环境。所以在动态杂波环境下检测运动目标( 包括宏 运动目标和微弱运动目标的) ，就需要考虑两个方面的问题：即运动补偿问题和背 景杂波抑制的问题。如果出现如上的情况，检测微弱目标会变得更加复杂和困难。 电子科技大学硕士学位论文 针对不同动态杂波环境，处理动态杂波背景中的微弱目标检测的问题上出现 了不同的算法： 第一，对于由图像采集系统抖动而引起的全局的抖动造成的动态杂波，一 种方法t 9 1 是将动态杂波问题和目标检测问题联合考虑，采用目 标与背景运动方式( 速度、方向等因素) 显著的差异，对视频图像 序列中逐象素进行运动估计，然后再采用聚类分割的技术分割出运 动目标；另一种主流的算法是先通过全局的运动参数的估计，然后 利用估计出来的运动参数对视频图像序列作全局运动补偿，使相邻 帧静止于同一坐标系中，然后逐帧进行静态杂波估计和抑制。而对 全局运动参数的估计技术主要有光流场技术【l o1 、块匹配技术【l l 】 等。 第二，对于由于视场本身变化而引起的动态杂波，主要是利用帧与帧之间 的相关的信息来解决动态杂波所带来的问题，实践中可以采取神经 网络技术、时间域滤波技术或时空域滤波技术等。 对于图像采集系统抖动而引起的全局的抖动和视场本身变化而引起的复合类 型的动态杂波，情况更加复杂和困难，只有采用复合的方法来解决，以期达到较 好的处理结果。 1 2 2 图像分割技术研究 经过预处理的图像序列虽然背景被抑制，但图像上还残留着大量的背景残差 和噪声点，这些杂波和微弱目标混杂在一起，使目标无法辨认。按一定规则分割 图像，检测可能的目标点，最大限度得去掉背景残差和噪声的干扰就是图像分割 的目的。 图像分割的主要方法有【l 】： ( 1 ) 间断检测：点，线，边缘检测。 ( 2 ) 边缘连接和边晃检测：霍夫变换，图论技术。 ( 3 )门限处理：全局门限，自适应门限，局部门限。 ( 4 ) 基于区域的分割：区域生长，区域分离和合并。 ( 5 ) 基于形态学的分割。 各种方法各有利弊，根据实际情况选择使用合适的方法。 4 第一章引言 1 2 3 微弱运动目标的跟踪技术研究 图像序列经过分割处理后，仍不可避免地残留杂波，为了检测到目标的运动 轨迹，需要对微弱运动目标进行跟踪。因为目标是运动的，它在相邻帧间具有运 动的相关性，而杂波不具备这一性质。利用目标的帧间运动相关性，就可以检测 到目标的运动轨迹。 常用的目标跟踪算法有运动空间合成，位置和灰度相关【1 9 ，能量积累【2 0 ， t o p h a t 【2 l 】算子处理等方法。根据情况选择适当的处理方法，以达到较好的 处理结果。 1 3 本文主要内容安排 本文由七章构成： 第一章，引言，介绍课题的研究背景以及意义。 第二章，介绍了运动微弱目标可视性能，继而提出了微弱目标的定义。 第三章，简单介绍了背景估计与抑制的理论基础，讨论了常用的背景估计与 抑制技术，依据衡量各种算法的性能的标准，比较了现下常用的背景抑制与 估计方法。 第四章，提出本文的基于滤波和灰度相关性的背景估计算法，并且在计算机 上对于文中提到的算法进行了仿真和评价。 第五章，提出了一种基于形态学和门限分割的图像分割方法，并且进行了计 算机仿真。 第六章，对于进行了图像分割后得到的结果，采用投票的原则检测微弱目标 的运动轨迹。在计算机上进行仿真。 第七章，展望与总结。 5 电子科技大学硕士学位论文 第二章微弱目标性能研究 微弱目标是什么? 顾名思义，人眼难以辨认的目标。通过对人眼视觉的研究 可以加深我们对微弱目标的理解。本章通过对微弱目标性能的研究说明了什么是 微弱目标。 2 1 微弱目标的特点【1 2 】 运动微弱目标的特点主要体现在三个方面，目标是运动的、其能量与背景能 量接近以及成像平面支持域小，主要特点如下： ( 1 ) 微弱目标尺寸小，目标尺寸仅一个或几个像素大小。由于支持域小，目 标可以看成是均匀灰度值的，没有形状、边缘、纹理等信息可以利用，因此对于 一些需要这些特殊信息的处理算法就无法使用。 ( 2 ) 微弱目标的亮度与其邻域背景的平均亮度的对比度低，目标能量与背景 能量接近。在将真实得视场通过图像采集系统转换成计算机能够处理得视频图像 序列的时候，必然会引入噪声。由于噪声和背景的影响，会造成目标可能会被背 景和噪声所淹没，给识别和检测带来困难。 ( 3 ) 微弱目标的亮度在时域上是随机分布的，有可能微弱目标的亮度对于时 间是变化的。但是在视频序列图像中，特别是帧率较高的情况下，相邻几帧内的 微弱目标的亮度可以假设成暂时不变化的，本文中的所研究的对象也是基于这种 假设的。 ( 4 ) 微弱目标的状态是运动的，由于目标在整个视场出现的位置是随机的， 所以在任何位置出现都是可能的，给目标的搜索和检测带来困难。 ( 5 ) 微弱运动目标的速度和方向可能也是变化的，使对目标的搜索和检测变 得困难。但是在实践中，往往都假设目标的运动速度和方向在相邻帧之间是不变 化的，这样就大大简化了目标运动带来的困难。 6 第二章微弱目标性能研究 2 2 运动微弱目标性能研究 微弱目标是相对于人眼来说的，也就是说人的视觉难以分辨。在研究微弱目 标性能之前，这里先简单介绍一下人的视觉。 视觉是一个复杂的生理与心理过程。外界光线通过角膜、虹膜、晶状体聚焦 在视网膜上，刺激感光细胞发出神经脉冲，经视神经传递到大脑产生视觉，人眼对 亮度的分辨能力和很多要素有关1 2 1 。 眼睛分辨能力通常是指对亮度的微小变化的判别能力，以人眼能分辨的最小 亮度差a l 与亮度之比来表示，称之为w e b e rr a t i o ( 韦伯分数) ： a ， 见= z ) = 等 ( 2 - 1 ) l 其中丘仁) 是人眼分辨率对于亮度三的函数，是亮度值，是在该亮度值 处能够分辨出亮度变化的最小值。韦伯分数近似常数，约为o 0 2 。 接下来介绍人眼对灰度的分辨能力【2 】。 在采用计算机进行图像处理的时候，彩色图像的颜色是用r 、g 、b 三种颜色 来表示的，当然可能会有不同的颜色空间；对于黑白的图像而言，利用灰度来表 示，可以简单认为r 、g 、b 三种颜色值相等。每一个像素对应有一个灰度值，对 于8 比特的灰度图像，灰度值的范围为0 2 5 5 。 可以将亮度与灰度之间的关系表示为； 厶= 五( o i=o一255(2-2) 其中i 表示灰度值，厶表示灰度i 对应的亮度，a ( i ) 表示二者之间的映射关系。 可以定义第i 个灰度级与其相邻灰度级之间的相对亮度差映射为： e ：日f f l ：a ( i + 1 ) - f b ( i ) ( 2 3 ) 五( f ) e 函数是关于灰度i 的非线性单调下降凹函数。低灰度区域喝下降快，高灰 度区域e 下降慢。 根据前面的( 2 1 ) ( 2 2 ) 、( 2 3 ) 式，我们可以定义人眼对于灰度的分辨率的 函数映射关系式： ：丝：地；互篮塑( 2 - - 4 ) j h th lh 通过上式可以由某一灰度值f ，通过五，z ，蜀近似求出人眼在这个灰度附近所 能分辨的灰度差值，。 从式( 2 - 4 ) 可以得到，在图像灰度很高或很低的情况下，人眼对灰度分辨力 7 电子科技大学硕士学位论文 差；而在图像灰度适中的情况下，人眼的分辨力强。在0 级灰度附近，人眼刚可分 辨出8 个灰度级的差别( 即可感觉出0 级灰度和8 级灰度的颜色差别，而对于0 级 与7 级灰度则视为同一种颜色) ；在2 5 5 级灰度附近，则可分辨出3 个灰度级的颜 色差别。可以将刚能识别出灰度差别的灰度差值成为临界灰度分辨率。 虽然人眼的临界灰度分辨率是非线性的函数关系，但是为了处理方便，可以 近似表示成分段线性函数的形式，如下所示： 表2 - 1 人眼临界灰度分辨率函数 n ( i ) 表达式f 取值 一o 1 8 8 i + 8o 3 2 0 0 3 i + 33 2 6 4 l6 4 l o o o 0 1 3 f o 3 1 0 0 2 5 5 n ( o 表示人眼临界灰度分辨率函数，i 表示灰度变量。 在这里定义了亮度与灰度之间的映射关系、人眼临界灰度分辨率等概念，下 面将在此基础上提出微弱目标性能研究的问题。 一般的，微弱目标性能可以从两个方面来描述，即微弱目标的邻域对比度玎和 微弱目标的邻域信噪比s n c r 。 目标邻域对比度为： 。一旧标的平均亮度一目标邻域平均亮度l i s 一i r ，“ ，：=二一 lz 一j 1 目标邻域平均亮度 7 目标邻域信噪比为： 一- - 2 0 1 0 9 t o 随篙篇笋型- - = 2 0 1 0 9 l o 掣池6 ， 其中s 是目标的平均亮度，是目标邻域的平均亮度，盯是目标邻域噪声标准 差。当人眼识别微弱目标时，目标邻域对比度r l 是决定能否识别出目标重要因素； 对于计算机而言，邻域信噪比s n c r 决定检测算法的检测性能。 微弱目标的邻域对比度是描述微弱目标可视性能的重要参数，根据式( 2 - 4 ) 人眼对临界灰度分辨率函数( f ) ，可以得到目标临界可视对比度的函数表达式 第二章微弱目标性能研究 表2 - 2 目标临界可视对比度 r l r ( i ) 表达式 i 取值 墨一o 1 8 8 1 3 2 l 三一o 0 3 l 3 3 6 4 z 1 6 5 1 0 0 一 f 一三+ 0 0 3 1 1 0 1 2 5 5 1 0 i 通过以上的讨论，可以得到： 对于每个固定灰度值i ，如果目标的邻域信噪比低于相对应的目标临界可视邻 域对比度r l d i ) ，且目标大小为几个像素时，就可以将这个目标称为微弱目标。 在图像采集器采集视频图像序列的过程中，由于多种因素的共同作用，会引 入很多的噪声。因此在描述微弱目标的可视性能( 对于计算机而言就是可检测性能) 的时候，目标邻域信噪比是很重要的参数。目标邻域信噪比的定义见( 2 6 ) 式。 利用计算机进行目标跟踪检测，当目标邻域信噪比低于4 d b ，且目标大小为 几个像素时，便可以将目标视为微弱目标。 2 3 微弱目标的定义 基于前面微弱目标性能的描述，可以近似定义微弱目标为：在成像平面上目 标占据一个或者数个像素，目标的邻域对比度小于临界可视对比度秭( f ) ，且目标 邻域信噪比s n c r s 4 d b 时，这样的目标可以视为微弱目标。 微弱目标与普通的目标在尺寸、亮度、形状方面的区别，导致了微弱目标检 测跟踪与普通目标有很大的不同，多数情况下，微弱目标的检测是比较困难的。 本文就是要以微弱目标为研究对象进行研究。 9 电子科技大学硕士学位论文 2 4 本章小结 本章首先介绍了运动微弱目标的特点，然后研究了微弱目标的性能，其中介 绍了人眼视觉能力的特点，提出了人眼临界灰度分辨率的概念以及描述它的近似 函数关系式。在以上基础上描述了微弱目标的两个基本的参数，即目标邻域对比 度和目标邻域信嗓比。最后给出了微弱目标的定义。 在本章中提出的概念是对微弱目标的一种阐明，引入了清晰的概念之后，便 于后面章节就微弱目标的问题进行具体的研究和讨论。 1 0 第三章图像预处理技术 第三章图像预处理技术 由于目标通常很微弱而且尺寸小( 几个像素) ，所以开发出行之有效的杂波抑 制和目标增强技术在微弱目标检测与跟踪系统中占有关键地位。有效的对图像进 行预处理，对背景杂波进行估计和抑制，这样就能够得到比较可靠而稳定的检测 与跟踪性能。对于单帧图像的处理可能难以达到这一要求，可以通过多帧处理的 方式满足。 3 1 运动参数估计与运动补偿系统简介 由于视场的运动和不确定，以及图像采集系统的抖动，限制了目标检测跟踪 系统的整体的性能。这些客观存在的影响因素导致了采集到的图像产生有别于原 始视场的平移，旋转和视差畸变等后果。 需要先对图像采集系统的抖动进行估计， 所以在进行背景杂波估计和抑制之前， 再对视频场景进行全局的运动补偿。 视频图像序列中相邻几帧的相关性比较强，帧与帧之间变化缓慢，可以认为 在这几帧之内没有变化，即使有变化，也是由传感器的抖动引起的。在这种情形 下，我们可以给出基于运动补偿的含有点状目标的图像序列模型： z ( r ，k ，s ) = s ( r + a ( r ，七) ，k ，s ) + b ( r + a ( r ，七) ，j ) + 矿( r ，岛s ) k = 0 ，l ，2 ，( 3 - 1 ) 其中r 表示位置向量，k 表示所在帧的帧序列，j 表示是一个随机样本变 a ( r ，j | ) 表示在r 处、k 帧处的抖动位移。全局抖动估计就是要估计出a ( r ，| j ) ， 再进行全局抖动补偿，即去除掉( r ，】 ) 对z ( r ，k ，s ) 的影响，得到运动补偿之后 的图像序列： z ( r ，k ，j ) = s ( r ，k ，j ) + b ( f ，s ) + v ( r ，k ，j ) ( 3 - 2 ) 下图给出了运动估计与补偿系统的框图。 图3 - 1 运动估计与补偿系统框图 1 1 电子科技大学硕士学位论文 假设在时刻t 。成像刚体在某一点的坐标为( z ，y ，z ) ，在时刻+ 。该点运动到 妻 = r 妻 + t = 耋囊耋 三 + 隆 c s - s ， 望生+ 翌立+ a f ：o， 记“( y 力= 妄以毛y 力= 考，善= 乓，等= 髟，善= 巨 得到光流场的基本约束方程( b a s i co p t i c a lf l o wc o n s 仃a i n te q u a t i o n ) ： e + e 。v + e = 0 ( 3 - 6 ) 该方程只作为约束条件，不能求解出两个相互独立的速度分玑v ，因此针对不 同的附加条件，就有不同的求解算法，如h o r n - s c h u n c k 方法【1 0 】、文献【1 4 1 中所采用的方法等。 块匹配是常用的运动估计算法，在h 2 6 1 和m p e g 卜2 都使用块匹配算法来进 行运动估计。在块匹配中，通过对像素域搜索来找到最佳的运动矢量参数。 1 2 第三章图像预处理技术 在第k 帧中像素( 五，毛) 的位移通过考虑一个中心定位在( 五，屯) 的大小为 i v , n 2 的块，同时搜索k + l 帧来找出同样大小的最佳匹配块的位置来确定的，搜 索区域通常限制在l + 2 m l 2 + 2 m 2 范围内，即搜索窗口( s e a r c h i n g w i n d o w ) ， m ，鸩分别为水平和垂直最大可能位移量。 除了上述介绍的基于光流场的运动参数估计算法、基于块匹配的运动估计算 法外，其它的运动估计方法限于篇幅，在此不一一列举了，读者如果有兴趣可以 参考其它的一些相关文献。 在估计出运动参数之后，就可以进行运动补偿，常用的运动补偿算法有：最 近邻域内插法【1 5 】( n e a r e s tn e i g h b o ri n t e r p o l a t i o n ) 、线性内插法【1 5 】( b i l i n e a r i n t e r p o l a t i o n ) 、三次内插法【1 5 】( b i c u b i ci n t e r p o l a t i o n ) 等等。 3 2 背景杂波估计与抑制过程以及约束条件 3 2 1 背景杂波估计与抑制过程 在介绍背景杂波估计与抑制技术之前，在这里给出视频序列中的微弱运动目 标参数模型： f ( x ，y ，) = 力( 五y ，t d + 石( 五j ，) + n ( 而y ，t k ) ( 3 - 7 ) 其中f ( x ，y ，t d 是视频序列的观察样本；石“y ，t i ) 是视频序列中的运动目标； 厶弘) 是视频序列中的背景杂波；n 只) 是视频序列中的噪声( 在本文中将 噪声假设成独立高斯白噪声) ，其中x , y ，分别是视频图像的空问横坐标、空间纵 坐标和时间坐标。 背景杂波估计与抑制主要有两个阶段，即背景杂波估计与背景杂波抑制，背 景杂波估计与抑制过程如图3 3 所示： ，( 为气) -口i o j 厶( x , y d o j 图3 - 2 背景杂波估计与抑制过程示意图 1 3 电子科技大学硕士学位论文 假设d i 是杂波处理线性算子，d l 。，q ：是d i 的线性子算子，d i ( ) = d i ：( q 。( ) ，) ， q 。的作用是进行背景杂波估计，d l ：的作用是进行背景杂波抑制，q ：可能是一个 减运算，还可以是其他的融合方法。 假设f ( x , y ，t k ) 通过d 1 进行背景杂波抑制之后的残余图像为： 厶( 而j ，) = 石w ( 算，y ，t k ) + ，k ( 工，y ，t d + n r ( x , y , t d ( 3 - 8 ) 则f ( x , y ，气) 通过d i 可以表示为： 以( 毛y ，) = o l ( 厂( t ，) ) = 二( 工，y ，) 一d i 。( 石( 五y ，) ) + 兀( 五y ，气) 一d l 。( 五( 墨y ，) ) ( 3 - 9 ) + ( 而y ，气) 一0 l ，( ，l ( x ，y ，t d ) = ，豫( 五j ，t k ) + ，k ( 工，y ，) + ，l 矗( 五j ，t d 其中厶( 五y ，t k ) = 五( 而y ，) 一d i 。( 瓴) ，t k ) ) ，目标通过d l 后的残余分量； 厶y ，) = 厶k y ，) 一d i 。( 厶“y ，t k ) ) ，背景杂波通过q 后的残余分量： ( 工，y ，t k ) = n ( x ，y ，气) 一d l l y ，t k ) ) ，噪声通过d i 后的残余分量。 3 2 2 杂波抑制过程的必要条件 f ( x ，少，) 通过d l 杂波抑制处理后的，对于目标检测的检测性能会有改善，对 n 的设计有下列三个基本条件： ( 1 ) 石( 工，y ，) 通过d l 后能量损失尽可能小，即d l 。( 矗弘) ) - - 0 ， 厶( x ，y ，) _ 矗( x ，y ，t i ) 最好； ( 2 ) 邻域对比度和邻域信噪比尽可能大，方便后续处理。 ( 3 ) y ，t k ) 最后最好是类白高斯噪声。 3 2 3 杂波估计与抑制基本出发点 在( 3 7 ) 式中，厶( x ，y ，气) 是时域平稳、空域非平稳的。但是空域上背景相邻 点与点之间有一定的相关性，可以假设成一阶马尔可夫过程；时域上帧与帧之间 的背景有很强的相关性，背景的变化相对于目标而言，可以忽略不计；噪声 n ( x , y ，) ，无论在时域上还是在空域上，都是独立不相关的( 一般噪声可以看成 白噪声) ；目标五( x ，j ，t k ) 相对于背景和噪声而言是独立不相关的，但是目标自身 在空域和时域是相关的，即帧与帧之间的相关性是很强的。 在第一章绪论中已经介绍了图像背景杂波估计与抑制根据杂波的种类分成两 个大类：静止杂波估计与抑制和动态杂波估计与抑制。 1 4 第三章图像预处理技术 动态杂波分成三种：全局的抖动造成的动态杂波、视场变化而引起的动态杂 波、和由前两种因素共同造成的动态杂波。对于前一种因素造成的动态杂波可以 采用前面介绍的运动补偿的方法来处理，将动态杂波的问题转换成静态杂波的问 题来处理。对于后面两种因素造成的动态杂波，需要采用神经网络技术、时间域 滤波技术或时空域滤波技术等来进行处理。 对于动态杂波的处理一般需要转换成静态杂波来处理，所以在本文主要讨论 静态杂波估计与抑制技术。 如果只考虑静态背景杂波的问题，可以将式( 3 7 ) 简化成： f ( x , y ，t k ) = 石( 而乃t x ) + 厶( 墨y ) + ，l ( 五y ，& ) ( 3 - 1 0 ) 本文下面的讨论也是基于此的。 3 3 静态背景杂波估计与抑制算法 本章将从频域和空域上面探讨不同的静态背景杂波估计与抑制算法，并且利 用计算机进行仿真试验，提出衡量各种算法的优先准则来衡量各种算法的性能。 进而提出本文采用的背景估计与抑制算法。 3 3 1 频域背景杂波估计与抑制算法 在本节中介绍在频域上的背景估计，下一节中将介绍在空域上的杂波估计。 一维离散傅立叶变换及其反变换： ，( “) 。壶萎弛p 川”= o l ，2 ”r m l ( 3 1 1 ) ( 石) = f 0 7 2 “x = o ，1 2 ，m - 1 ( 3 - 1 2 ) 二维离散傅立叶变化及其反变换： 二维离散傅立叶变换是一维的简单扩展，一个图像尺寸为m x n 的函数 f ( x , y 1 的离散傅立叶变换为： f ( 叩) 2 赤萎萎鹏y ) p _ 2 水”“ ( 3 - 1 3 ) 材= 0 ，1 ，2 f - 1 ；v = 0 ，1 2 n - 1 m y ) 。萎萎f ( 州) 尹“州 ( 3 - 1 4 ) “。o o7 x = 0 ，i ，2 ，m - i ；y = 0 ，1 ，2 n - 1 1 5 电子科技大学硕士学位论文 所以式( 3 9 ) 中背景杂波估计在频域上可以表示成： 最( “，v ) = d l ( f ( u ，v ) ) = 弓( u , t v ) - o l 。( 弓( “，v ) ) + e ( “，v ) 一d i 。( 最( “，v ) ) ( 3 1 5 ) + ( “，v ) 一d i 。( n ( u ，v ) ) = ( 州) + ( ) + 坼( 训) 其中： 厶( x ，y ，k ) 营b ( z f ，v ) ( 3 1 6 ) 厂豫“弘k ) 营( 甜，v ) = b ( “，v ) - o , ，( 弓( v ) ) ( 3 - 1 7 ) 厶( x , y ) ( ) = e ( 训) 一0 l 。( ( t t , v ) ) ( 3 1 8 ) 玎似j ，) 虬( v ) = n ( u ，v ) 一d l 。( ( 球，v ) ) ( 3 1 9 ) 在式( 3 1 0 ) 中，背景杂波部分厶y ) 含有丰富的从低频段到高频段的信息， 由于背景杂波是缓变的，所有背景杂波的能量在频域上主要集中在低频部分；微 弱目标二心y ) 与背景杂波相比，一般具有突变的特点，与周围的像素相关性不大， 所以微弱目标的能量在频域上主要集中在高频部分；由于在实际应用中，常常假 设噪声n ( x ，y ) 是白化噪声，所以噪声在频域上的能量是均匀分布的，低频和高频 部分都有分布。所以在频域上要估计背景杂波，d i 。可以采用不同的低通滤波器： 通常采用的低通滤波器有理想低通滤波器、巴特沃斯低通滤波器、高斯低通滤波 器【1 6 等等。 二维理想低通滤波器( i l p f ) 变换函数： 日4 , v ，= 器嬲嚣 协z 。， 其中岛是指定的非负数值，d ( u ，v ) 是( “，v ) 点距频率矩形原点的距离。从点 ( ”，v ) 到傅立叶变换中心( 原点) 的距离为： d ( 州) = ( 矿+ v 2 ) _ ( 3 2 1 ) 二维巴特沃斯低通滤波器变换函数( b l p f ) ： 叫v ) 2 币司赢丽( 3 - 2 2 ) 其中：d ( ，v ) 同理想低通滤波器。 二维高斯低通滤波器( g l p f ) ： 日v 1 ：p d 2 ( ) 7 2 罐 ( 3 2 3 ) 1 6 第三章图像预处理技术 其中：n ( - ，v ) 同理想低通滤波器。d 0 是截至频率，当d o ，v ) = d o 时，滤波 器下降到它的最大值的0 6 0 7 处。 前面介绍了常用的一些频域上的静态杂波估计与抑制算法，在本节的第三部 分将对这些算法进行计算机的仿真，并利用不同的优先准则来衡量各种算法的性 能，详见3 3 3 节。 3 3 2 静态空域背景杂波估计与抑制 3 3 1 节中介绍了频域背景杂波估计的方法，主要是采用不同的低通滤波器对 原始图像序列进行低通滤波，在这一节中主要介绍不同的空域杂波估计技术。 在空域上图像中某点与其邻域中的其它点有一定的相关性，所以如果要估计 图像中的点的灰度值，可以利用以该点为中心的邻域所有点的灰度值为样本来估 计它，这就是空域杂波估计的基本出发点。 静态空域背景杂波估计技术可以分成基于参数的静态背景杂波估计技术和基 于非参数的静态背景杂波估计技术两大类。在实践中由于非参数背景杂波估计实 现比较简单，计算量小且实时性能较好，所以比较常用，所以在本文中主要介绍 基于非参数的静态背景杂波估计技术。 8 3 2 1 线性滤波方法 图像背景像素之间有较强的相关性，如果要估计一个点的灰度值，可以将它 的领域进行领域平均。 领域平均法是空间域平滑噪声技术。对于给定的图像中的每像点( 肼，) ，取其 领域，。设j 含有t m 个像素，取其平均值作为处理后所得图像像点沏，行) 处的灰度。 用一像素领域内各像素灰度平均值来代替该像素原来的灰度，即是领域平均技术。 领域s 的形状和大小根据图像特点确定，一般取的形状是正方形，矩形和十字 形等，j 的大小和形状和大小在处理过程中一般保持不变。点( m ，一) 一般位于5 的 中心。如5 为3 3 领域，点位于中心。则： ，( 卅，n ) = ：f ( m + i ，一+ ，) ( 3 2 4 ) 7 f l 卜1 假设噪声咒是加性噪声，在空间各点互不相关，且期望为零，方差为盯2 ，g 为 图像，含有噪声的图像经过领域平均后为： f ( m , n ) 5 吉厂( “) 2 玄g o + 壶砸，_ ，) ( 3 - 2 5 ) 可知，经领域平均后噪声的均值不变， 1 7 电子科技大学硕士学位论文 方差： = 百1 口2 ( 3 2 6 ) 性 即噪声方差变小，说明噪声强度减弱了，即抑制了噪声。 3 3 2 2 中值滤波 中值滤波是抑制噪声的非线性处理方法。对于给定的n 个数 和。，口：，以) ，将他们按大小有序排列。当月为奇数时，位于中间位置的那个数 称为数值中值。当蚪为偶数时，位于中间位置的两个数值的平均值称为中值。中值 滤波就是这样的一个变换，图像中值滤波一个像素的输出等于该像素领域中各像 素灰度的中值。 中值滤波的方法运算简单，易于实现，能较好地保护边界，但有时会失掉图 像中地细线和小块的目标区域。 领域s 的形状和大小根据图像特点确定，一般取的形状是正方形，矩形和十字 形等，s 的大小和形状和大小在处理过程中一般保持不变。点沏，1 ) 一般位于j 的 中心。 一维和二维中值滤波具有以下重要性质： 输入是阶跃信号或斜坡信号时，输入和输出相同。 输入是脉宽小于窗口一半的脉冲，则该脉冲被滤除，否则输入和输出相同。 输入是三角形信号时，输出时其顶部被削平。 3 3 2 3 维纳滤波 维纳滤波根据图像的局部方差来调整滤波器的输出，当局部方差大时，滤波 的平滑效果较小，当局部方差小时，滤波的平滑效果强。由于维纳滤波的自适应 滤波通常比线性滤波的效果好，它比相应的线性滤波器具有更好的选择性，可以 更好地保存图像的边缘和高频细节信息。维纳滤波通常对于含有白色噪声( w h i t e n o i s e ) 的图像滤波效果较好，比如含有高斯白噪声地图像。 在离散二维图像信号情况下，w i e n e r 滤波可以按如下方法实现： 2 去丕“墨y ) ( 3 _ 2 7 ) 一5 去x , y 。t l ，沪2 ( 3 - 2 8 ) ，( x ，y ) v + 笠j ! ( ，( 毛y ) 一) ( 3 2 9 ) 第三章图像预处理技术 对于离散函数，( i ，j ) ，也可以采用相似的概念，只是利用差分来代替微分。 i g 阿气八i ，j ) 2 + ，( i ，j - 1 ) 2 】l ，2 ( 3 3 2 ) 睢习 0 ：j g ( 厂( 力) = ( q ( 厂( f ，埘2 + q ( ，( 力) 2 ) 1 “ ( 3 3 5 ) v 2 ，= 等+ 等 s 6 ， v 2 f ( i ，_ ，) = a 2 ：, f ( i , j ) + a z y f ( i ，- ，) ( 3 - 3 7 ) 这里2 ( f ，力和a z y f ( i , j ) 是( f ，力在x 方向和y 方向的二阶差分，所以离散 1 9 电子科技大学硕士学位论文 3 3 3 采用不同的背景杂波估计算法进行仿真试验 ( 3 3 9 ) 在3 3 1 中介绍了频域上的背景杂波估计与抑制技术，3 3 2 节介绍了空域上的 背景杂波估计与抑制技术，在本节中将提出衡量各种算法性能的准则，并对上面 两节的各种算法进行仿真以及算法的性能分析。 3 3 3 1 仿真试验方案以