（模式识别与智能系统专业论文）复杂背景下红外图像配准及动目标检测方法研究.pdf

摘要 摘要 近年来监控系统被广泛应用于交通管制、智能武器等方面，运动目标检测与 跟踪技术作为数字图像处理的核心技术，也成为监控系统的重要组成部分本文 针对监控系统特别是红外监控系统的研究背景、发展现状、系统组成及研究方法 进行了介绍和分析，对在实际应用中遇到的一些问题进行了讨论和研究。 红外图像成像特点决定了其处理方法较可见光图像有所不同，本文首先从研 究可见光图像及红外图像性质及其噪声特点开始，分析了两者问的差异，并利用 已有的图像滤波方法对初始获得的红外图像进行去噪、增强处理，通过对各种不 同的滤波方法仿真实验结果的比较，归纳出各种方法的主要特点和应用场合。 对监控系统的分析和研究已经历了很长一段时间，但对其的研究多数局限于 室内场景或探测器处于静止状态的情况本文通过对红外探测器运动状态及图像 场景特征的分析，针对图像配准及运动补偿技术中的相位相关法、块匹配法，光 流法及一种基于特征点提取的配准方法进行了讨论和部分仿真实验，并对其中基 于特征点提取方法的图像配准技术进行了改进，根据对改进方法的仿真结果的初 步分析，确定了其总体思路的可行性。 运动目标检测与跟踪技术特别是运动目标检测技术被作为监控系统最为核心 的技术进行了细致的讨论与分析。文中分别针对瞬时差分法中的相邻帧差分累加 平均法、三帧差分法和背景建模中的背景减除法、基于高斯分布的统计建模方法 的算法依据、实现步骤、适用场合等方面进行了细致阐述，并结合多组仿真实验 结果比较了几种方法的优、缺点。跟踪技术方面，本文给出了几种经典方法的简 要介绍。 文章结尾部分，根据上述的分析和研究，提出了对今后工作的几点希望。 关键字：红外图像图像配准运动补偿运动目标检测 a b s t r a c t a b s t r a c t i nr e c e n ty e a r s ，s u r v e i l l a n c es y s t e mi sw i d e l yu s e di nt h ef i e l do ff r a n cc o n t r o l ， i n t e l l i g e n tw e a p o n s ，a n ds oo n a st h ec h i e fp a r to fd i g i t a li m a g ep r o c e s s i n g , t h e t e c h n o l o g yo fm o v i n gt a r g e t d e t e c t i o na n dt r a c k i n gb e c o m et h ei m p o r t a n tp a r to f s u r v e i l l a n c e i nt h i sp a p e r , t h er e s e a r c hb a c k g r o u n da n dt h ep r e s e n tc o n d i t i o ni ni n f r a r e d s u r v e i l l a n c es y s t e ma st h es p e c i a lo n ei si n t r o d u c e d i nt h em e a n w h i l e ，t h es y s t e m s t r u c t u r ea n dr e s e a r c ha l g o r i t h mi sa n a l y z e d s o m ep r o b l e m si nt h ep r a c t i c a lu s ea r e d i s c u s s e da n ds t u d i c dt o o t h ed i f f e r e n c eo ft h es t u d ya l g o r i t h m sb e t w e e ni n f r a r e di m a g e sa n dv i s u a li m a g e s d e p e n d so nt h e i rc h a r a c t e r s 劝ef e a t u r e so f v i s u a li m a g e i n f r a r e di m a g ea n dt h e i rn o i s e a r cd i s c u s s e df i r s t t h ed i s t i n c t i o nw i t ht h e mi sa n a l y z e d b yu s i n gs e v e r a le x i s t i n g d e n o i s i n ga l g o r i t h m st ot h et w ot y p eo fi m a g et of i l t e ra n de n h a n c et h e ma n dc o m p a r i n g t h es i m u l a t i o ne x p e r i m e n tr e s u l t so fa l lt h ea l g o r i t h m sm e n t i o n e d ，t h ec h i e fc h a r a c t e r s a n dt h ea p p l i c a t i o nf i e l d so f t h e ma l ei n d u c e d al o to fr e s e a r c ho ns u r v e i l l a n c es y s t e mh a sb e e nd o n ei np a s ty e a r s m o s to ft h e d i s c u s s i o n sf o c u so nt h es i t u a t i o nw h e t h e rt h ev i d e oc a m e r ai nt h ei n d o o r ss c i g n eo ri n t h es t a t i cs t a t u s s o m ec o m m o na p p r o a c h e si nt h ef i c l do fi m a g er e g i s t r a t i o na n d m o v e m e n tc o m p e n s a t i o ni n c l u d i n gt h ea l g o r i t h m sb a s e do np h a s ec o r r e l a t i o n ，b l o c k m a t c h i n g , o p t i cf l o wa n daa l g o r i t h mb a s e do nf e a t u r ee x t r a c t i o n a r ed i s c u s s e d f o l l o w i n gt h ea n a l y s i so fi n f r a r e dd e t e c t o rm o t i o ns t a t ea n ds t o n ef e a t u r e s s e v e r a l s i m u l a t i o ne x p e r i m e n th a sb e e nf i n i s h e d , a n da i m p r o v ea l g o r i t h m sb a s e d o nt h ef e a t u r e p o i n t se x t r a c t i o ni sp r o p o s e d t h r o u g hp r e l i m i n a r i l ya n a l y z e ds i m u l a t i o ne x p e r i m e n tt o t h ei m p r o v ea l g o r i t h m ，t h ea l g o r i t h mf e a s i b i f i t yi sp r o v e d t h et e c h n o l o g yo fm o v i n gt a r g e td e t e c t i o na n dt r a c k i n gi sd i s c u s s e da n da n a l y z e d d e l i c a t e l ya st h ec h i e ft e c h n o l o g yo fs u r v e i h a n c es y s t e me s p e c i a l l ym o v i n gt a r g e t d e t e c t i o n 而ca l g o r i t h ms t r u c t u r e , i m p l e m e n tp r o c e d u r ea n da p p l i c a t i o nf i e l de t co f t h et e m p o r a ld i f f e r e n c ea l g o r i t h m si n c l u d i n gt h ea d j a c e n tf r a m ed i f f e r e n c em e a n a l g o r i t h ma n dt h r e ef l a m ed i f f e r e n c ea l g o r i t h ma n dt h eb a c k g r o u n ds t a t i s t i c sm o d e l i n g a l g o r i t h m si n c l u d i n gb a c k g r o u n d s u b t r a c t i o na n dg a u s s i a nm i x t u r em o d e la r e p a r t i c u l a r l yd i s c u s s e di n t h i sp a p e r t h e a d v a n t a g e sa n dd i s a d v a n t a g e sa r ep o i n t e d a c c o r d i n gt ot h es i m u l a t i o ne x p e r i m e n tr e s u l t so fs e v e r a la l g o r i t h m s s o m ec l a s s i c a l t r a c k i n ga l g o r i t h m sa r ei n t r o d u c e dt e r s e l y 复杂背景下红外图像配准及动目标检测方法研究 a tl a s t s e v e r a ld e s k e st ot h ef u r t h e rr e s e a r c ha i bp o i n t e do u tb a s e do nt h a t r e s e a r c h k e y w o r d - i n f r a r e di m a g ei m a g er e g i s t r a t i o n m o v e m e n tc o m p e n s a t i o n m o v i n gt a r g e td e t e c t i o n 创新性声明 本人声明所呈交的论文是我个人在导师的指导下进行的研究工作及所取得的 研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文 中不包含其它人已发表或撰写过的研究成果；也不包含为获得西安电子科技大学 或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志所做的任何 贡献均已在论文中做了明确的说明并表示了谢意。 本人签名： 日期： 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生 在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕业 离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。学 校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部 或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文在 解密后遵守此规定) 本学位论文属于保密，在j 年解密后适用本授权书。 喜篙! 可导师签名： ；：；i ； 睡翌 日期 日期丝2 ：! ：塑 ， 第一章绪论 第一章绪论 本章介绍了在红外监控系统中运动目标的检测和跟踪技术的研究意义及其在 当前国内外的研究现状，分析了监控系统的功能组成结构，总结了该领域的研究 方向及主要技术重点和难点，最后说明了本文的主要研究工作成果以及各章节的 安排。 1 1 研究背景 近年来，监控系统已在银行、仓库、公路、机场、公共场所以及军事重地等 安全领域得到了广泛应用，发挥着日益重要的作用。早期的监控系统以可见光凝 视条件为主，此类监控系统的特点是：硬件简单，没有检测及跟踪算法，只提供 特定场所的场景信息，实时监控完全依靠人工实现。 伴随着数字信号处理芯片及嵌入式系统的出现，国内外研究人员提出了很多 基于可见光条件下的动目标检测与跟踪算法，使监控系统的智能化成为可能。为 了应对夜视及各种复杂天气条件，在红外成像技术的发展及红外探测器性能的改 善基础上，红外监控系统开始得到广泛应用。 由于传统的监控系统的工作条件主要在室内或处于相对稳定的情况，现有的 算法大多针对静态图像序列或微变图像序列，对于探测器存在较大幅度运动的情 况的讨论较少，对于运动目标的检测与跟踪也主要停留在单纯的光学图像处理层 次上，对运动目标的行为理解等方面问题还没有较好的分析和解决。因此，对此 类问题进行的探索和研究是一项很具挑战性的工作，具有较好的研究前景。 1 2 国内外研究现状 目前在美国、欧洲及日本开展了大量的自动视频监视方面的研究工作，并且 视频监控也已成为一些国际会议和工作组的研讨主题，许多研究机构和科研人员 投入了相当力量开展研究工作。美国国防高级研究计划局( d a r p a ) t 笙1 9 9 6 至1 9 9 9 年的四年间与卡内基梅隆大学( c m u ) 、戴维s a r n o f f 研究中心等著名大学和公 司合作开发出名为v s a m 的视频监控与管理系统；日本研发出可完成人体定位与 跟踪并可判断是否携带物体等简单行为的系统；英国雷丁大学开始了对车辆和行 人的跟踪及交互作用识别的研究：韩国及以色列也推出了应用于战场侦察等任务 的地面监控系统。 当前国际上的一些权威期刊如p a m i 、i v c 、c v l u 、i j c v 、m v a 、v c i r 和 重要学术会议如c v p r 、i c c v 、i c i p 等将运动目标检测技术作为主题内容之一， 2 复杂背景下红外图像配准及动目标检测方法研究 国内的一些有关智能计算、模式识别方面的科研机构也有效推动了监控系统领域 的发展。 1 3 监控系统的研究内容 智能监控系统包括运动目标检测和跟踪两个功能，而个别智能化程度高的系 统具有对运动场景的运动目标进行简单的分类以及行为理解和描述功能。其中对 运动目标的检测和跟踪属于模式识别的低层次分析处理，目标分类、行为理解和 描述则属于中高层分析处理。 图l - l 监控系统组成示意图 图1 2 图像预处理部分 对于一个全视场红外监控系统而言，包括红外探测器、图像处理模块、显示 模块以及伺服控制模块，如果对于一个探测仪固定的监控系统，则无需进行伺服 控制。图像处理模块是监控系统的核心，决定着监控系统的性能。它根据探测器 获取的图像序列完成动目标的检测和跟踪，并把处理的结果发送至显示设备，还 可以根据不同的检测跟踪情况输出相应的伺服控制参数以控制转台的转动。 为完成对目标的检测和跟踪，系统首先必须从红外探测器获取图像信息并对 其进行去噪处理，之后对由于全视场监控系统的探测器运动造成的图像内容变化 进行配准和运动补偿。在完成上述步骤后对红外图像序列中的运动目标进行检测、 定位和跟踪。监控系统所涉及的问题非常复杂，下面将对其中的主要技术进行简 要阐述。 1 3 i 图像配准及运动补偿技术综述 对于探测器运动的序列图像目标检测问题而言，将图像校正到同一空间坐标 系下是所有后续处理的前提，利用图像配准及运动补偿可以解决此类问题。 考虑到直接对每个像素点进行计算较为复杂，常用流程是： 第一章绪论 l 、求个别样本点的运动信息。 2 、利用求得的样本点的运动信息估计探测器的全局运动信息。 3 、依据全局运动信息的估计实现对场景中每个点运动信息的估计。 1 3 2 目标检测算法综述 根据提取运动信息方式的不同产生多种目标检测的算法。提取运动信息的方 法有很多种，常用的方法有基于特征的方法、基于光流场的方法，基于帧间差分 的方法、基于背景建模的方法。可以采用不同时刻图像的差图像来表示运动信息， 还可以采用统计学的方法对图像背景进行估计，利用运动目标与图像背景存在差 异检测出运动目标。主要有下面几类检测方法。 l 、基于光流法【l 】1 2 】的运动目标检测 光流法是运动目标检测和分割的经典算法之一。光流法在适当的平滑性约束 条件下，根据图像序列的时空梯度估算运动场，通过分析运动场的变化对目标和 场景进行分割。与差分法相比，运动场分析能够较好的处理背景运动的情况，在 满足一定前提条件下，光流法可以得到更多的图像信息，但计算的复杂度远高于 前者。 2 、基于瞬时差分的运动目标检测 瞬时差分法是最为常用的运动目标检测和分割方法之一。其思想是通过相邻 帧的差分，利用视频序列相邻帧间具有强相关性的性质进行变化检测，进而确定 运动目标。此方法的特点是速度快，适用于实时性要求较高的应用环境：不足在 于算法对环境噪声和光照条件变化较为敏感，并且基于差分的运动目标分割对慢 速运动目标的检测效果较差，且不能够精确的提取目标的形状，因而目标定位的 精度较差，在条件较为恶劣时，算法可能完全失效 本文中基于瞬时差分的原理研究了相邻帧差分累加法和三帧差分法的运动目 标检测的具体实现方法，相邻帧差分累加法首先进行邻帧的差分提取运动信息， 然后累加抑制噪声并加强提取出的目标信息，进行二值化分割后采用相应的后处 理操作完成目标定位。三帧差分法是利用任意相邻三帧中的首帧与次帧、次帧与 尾帧的差分二值图像进行逻辑与来目标分割的。 3 、基于背景建模的运动目标检测 在一些复杂情况下，仅仅依靠相邻帧图像处理很难实现对其中慢速弱目标进 行检测，且当时间轴扩展到运动目标的运动较为明显时，图像背景本身的灰度特 性也发生了一定变化，基于背景统计模型的方法假设在较长的一段时问段内，图 像背景满足一定的统计特性而运动目标的统计特性和图像背景的统计特性存在明 显区别，利用图像背景与运动目标的这种统计特性上的区别实现运动目标的检测。 4 复杂背景下红外图像配准及动目标检测方法研究 基于背景建模的方法可分为背景减除法和基于背景统计模型的方法。 背景减除法是解决静止或缓变背景下运动目标检测和分割的另一条思路其 基本思想是：首先在初始化阶段，利用序列图像采用相应的算法建立无运动目标 的背景图，然后利用后续的序列图像与背景图相减以便完整的提取目标并对背景 图进行实时的动态刷新。这种方法的重点在于背景图模型的建立方法，优点在于 目标检测部分方法较为简单，只需通过单纯的差分运算即可得到其算法的大致结 果。但是当运动目标较多且运动复杂时，建立一副完整的背景图是一件很困难的 事情，这样也使其方法的应用受到很大的局限。 由于探测仪与景物的相对运动以及光线的变化等原因，看似简单的相邻图像 之间的差分运算就变得非常复杂，有时还存在背景目标的运动( 如树叶晃动等) ，这 些干扰都可能会引起虚警。因而，动态复杂场景下的目标的检测是既是当前研究 的热点也是难点。 由以上分析可知，一个好的运动目标检测和分割算法应当具有强鲁棒性、高 精度和低运算复杂度等特点。此外，某些应用对算法的实时性还有特殊的要求 具体说来，算法应满足如下条件： 夺对环境变化( 如光照变化、探测器自动增益变化等) 不敏感 应能够处理背景、探测仪间存在相对运动的情况 夺能适应场景中自然环境变化引发的运动干扰( 如树木晃动、水面波动等) 检测和分割的结果应满足后续处理的精度要求 本文正是针对上面几个问题，就后两类方法中的四种方法展开了详细讨论与 研究工作的。 1 4 本文研究工作及安排 本文针对复杂背景下的红外图像配准运动补偿技术、目标检测与跟踪技术进 行了研究，主要研究了如下几个方面的问题： 红外图像特性及其噪声滤除 在红外监控系统中，由于受到其成像机理、探测器件本身及其他多方面因素 影响，获得的红外图像往往带有各种噪声，给系统的目标检测与跟踪带来不良影 响。因此需要通过研究图像及噪声特性，完成滤波操作，获得更为真实的场景信 息。 图像配准及运动补偿技术 在室外条件下，监控系统的探测单元很难始终保证自身处于静止状态下完成 工作。单纯按照室内监控系统的处理方法势必导致虚警漏警现象，因此需要首先 去除由于探测单元运动造成的影响。图像配准及运动补偿技术是本文的研究重点 第一章绪论 之一 运动目标检测技术 运动目标检测技术是监控系统的核心技术之一，通过运动目标检测，系统可 以察觉视场周围发生的可疑变化，为跟踪部分提供可跟踪的可疑对象。检测算法 的优劣将直接影响目标跟踪算法的复杂度。运动目标检测技术也是本文的研究重 点之一。 本文的章节安排如下： 第一章介绍了论文选题背景及当前国内外研究现状。对监控系统的组成部分 和工作方式进行了简单描述，说明了本文的主要研究内容及各章节安排。 第二章介绍了红外图像及噪声特点，介绍了几种常用的滤噪方法并对其进行 了性能比较。 第三章讨论了图像配准及运动补偿技术的意义和策略。着重研究了图像整体 灰度发生变化情况下的图像配准f - i 题，通过对现有算法的改进，改善了图像配准 的效果，并给出了仿真结果分析。 第四章重点讨论了利用红外图像序列进行运动目标检测的相关技术。针对不 同情况时分别利用基于帧间差分法和背景建模法的原理进行了讨论，对其各自的 优缺点进行了分析。给出了基于高斯混合模型的运动目标检测方法中高斯混合模 型参数的初始设置策略。并简要介绍了目标跟踪技术的意义和几种经典的方法 第五章为结束语部分，指出了本文的主要工作成果以及待完善和需要继续研 究的方向。 第二章红外图像及其滤波技术 第二章红外图像及其滤波技术 通过红外探测仪获得的红外图像数据往往存在各种噪声干扰，本章讨论了红 外图像、红外图像噪声特点及其滤波技术研究，介绍了几种常见的图像滤波处理 的方法，并对各种方法进行了仿真试验，对其性能进行了分析比较。 2 1 红外图像特点 普朗克定理【3 删指出凡是绝对温度大于零度的物体都会产生热辅射。自然界中 的实际物质温度均高于绝对零度，因此都会产生红外辅射。公式2 1 给出了黑体辐 射出射度的定量关系： 1 一3 m ，= 等焉备 式( 2 1 ) o 物体具有红外辅射能量的多少取决于其本身的温度、辅射系数、波段及环境 等因素。在实际的红外探测过程中，探测区域内的所有物体同时辅射并吸收能量， 所以探测器获取的目标热辅射由两部分组成：目标本身的热辅射；目标周围的其 他物体的反射到其上的热辅射。综上所述，红外图像具有以下特点： 红外图像的灰度分布情况实际上取决于目标背景的温度及发射率的分布情况， 由于热辅射的连续性，使得红外图像相邻像素间的相关性较可见光更强。 夺对实际的红外图像的算法分析，都是在红外噪声的情况下进行处理的。由于图 像噪声很大程度上是随机信号，因此在研究红外图像时，统计学的方法必不 可少。 红外图像的帧频在2 5 7 5 f i - a m e s 范围内，对于近景高速物体而言，相邻帧之 间物体存在较为明显的相对位移而整体辅射分布基本保持不变，这一性质保 证了对近景高速目标的逐帧处理，为目标定位提供了有效保证。而对于远 景低速物体，物体运动特性不显著，运用相邻两帧很难获得较好的检测结果， 需要通过抽帧法或背景图法实现检测过程。 由于红外系统的应用领域，要求其目标检测算法和跟踪算法均具有全天候、实 时、低错警率等特点。 由于红外辅射在传输过程中会受到大气吸收和散射作用，在光照条件较好的 情况下，获得的红外图像通常较可见光图像缺乏好的对比度及分辨率；当光照条 件较为恶劣时，由于红外图像及可见光图像成像机理的差异，红外图像的图像质 量明显优于可见光图像的图像质量。同时，在空间相关性上红外图像优于可见光 图像。从图像特点角度分析，红外图像与可见光图像还有以下一些具体差异： 目标与背景对比度强弱差异。由于物体的热辐射主要取决于物体的温度，在通 s 复杂背景下红外图像配准及动目标检测方法研究 常的自然环境条件下，物体间的温度很难有较大的差距，加之红外辐射在空 气中被散射和吸收，造成红外图像中目标与背景的对比度较可见光图像差。 图像边缘差异。可见光图像的边缘较红外图像的边缘变化更加剧烈，图像边缘 的梯度变化更为明显且复杂 成像机理不同。可见光图像的形成，通常依赖于固定的光源如太阳、灯光等， 物体本身只是反射光源的光线；红外图像的形成，主要依靠物体对外进行的红 外热辐射。这一点也成为红外成像技术不可替代的优势。同时由于成像机理的 差异造成了两者的纹理特征也不同。 2 。2 滤波技术研究 由于红外成像探测器在成像过程中会受到本身电路及传输过程中的影响，实 际上获得的红外图像中夹杂了各种噪声，成像质量较可见光成像系统相差很大。 为了获得更为真实的红外图像，提高图像信噪比，红外图像去噪处理成为重要的 预处理步骤。 2 2 1 红外图像噪声特点 红外图像噪声【5 】网主要包括三类：热噪声、散粒噪声和l ，噪声。除此之外， 红外图像中还可能伴随有部分脉冲噪声。散粒噪声和 f 噪声都可通过一定手段1 7 l 得以控制，而热噪声是一种由于电子的热运动造成的瞬时电流所形成的噪声，通 常可以认为热噪声在较长时间段内是均值为零且不相关的随机变量： ie ( r i x ，j ，f ”= 0 e 坼g ，y ，f ) + 坼b 儿动= e k y ，f ) ) + e ( r k | ) ，曲f ，式( 2 - 2 ) l e ( r g ，y ，f ) 坼g ，弘，) ) = e g ，) ，f ) ) e 坼g ，j ，_ ，) ) 其中，i x ，乃f ) 代表在时刻f 时像素点g ，y ) 处图像的热噪声。 2 2 2 图像噪声滤除方法研究 针对不同形式的噪声，研究人员提出了许多具有针对性的方法对其进行滤除， 得到了较好的结果。其中常用的方法有邻域平均法、累积平均法、中值滤波法、 频域滤波法、小波去噪法等。本节对几种常用的噪声滤除方法进行简要介绍和性 能分析。 2 2 2 1 邻域平均法 邻域平均法是将原始图像，g ，y ) 中的各个像素点的灰度值利用该像素点一定 第二章红外图像及其滤波技术 9 邻域范围内的灰度均值替代原灰度值的一种滤波方法，图像处理前后的关系可表 示为： ，= 击喜喜，y + - ，) 似= 历一) 式( 2 - ，) 其中，g ，y ) 表示经邻域平均后的像素灰度值，膨代表邻域大小。 2 2 2 2 累积平均法 为一个各态历经的随机过程的假设，对图像进行时域上平均以提高信噪比的滤波 假设存在一个对应于同一场景、包含k 帧的图像序列，由红外图像特点可假 ，g ，y ，f ) = s k y ) + g ，y ，i ) f = l 2 ，k 式( 2 - - 4 ) 其中s g ，y ) 代表恒定不变的真实场景图像，仁n f ) 代表f 时刻在点g ，_ y ) 上全部的 ，g ，y ，i )，g ，y ，i ) l 。g ，j ，) = 型i _ = s g ，力+ 旦；_ 式( 2 5 ) aa s n r m = 嚣凶 岚z 呦 一2 穗翱 却仍 一s n r p ( w ) = 茄s n r p ( 训) 斑2 - 8 ) 累积平均法的关键在于累积过程中要适当选取累积时间。时间过短，k 过小，图 i o 复杂背景下红外图像配准及动目标检测方法研究 2 2 2 3 中值滤波法 中值滤波是最为常见的非线性滤波方法之一，其应用于图像处理时可对图像 中脉冲噪声等单点噪声进行有效的滤除，同时可较好的保留图像边缘信息 对图像进行中值滤波，首先需要选取滤波窗口。通常窗口对应于奇数个像素 区域大小。窗口中心对应的像素的灰度值用窗口内所有像素的中间值代替，通过 窗口在待滤波图像上滑动实现对全图的滤波。 2 2 2 4 频域滤波法 对图像进行分析不难发现，图像在空间频谱上的分布具有如下特点： 由于图像中的噪声通常互不相关，其具有较为平直的频谱。 真实场景的大部分区域变化缓慢，集中于频谱的低频部分，场景中物体间的边 缘对应于高频部分。由于边缘只占据较少的图像区域，所以场景所对应的高频 分量较少。 基于上述对图像空间频谱的分析假设，频域滤波法采用低通滤波方法去除图 像噪声，低通滤波器定义为： r ，_ = _ 了 g o ，q ) ： 1 吼o ，s 0 9 0 式( 2 9 ) 【o e l s e 通过低通滤波器后，大于截止频率的频率分量全部被抑制，但在实际情况下， 图像的频率分量比较复杂，频域滤波法的效果可能受到很大影响。 2 2 2 5 小波去噪法 小波变换以其空、频局部化特性，边缘检测特性，去相关性等特性，近年来 在图像去噪方面得到了广泛的应用【2 l 。利用小波对图像进行噪声滤除，关键在 于去噪准则及小波基的选取。 利用小波进行图像去噪的主要方法有： 利用小波的奇异检测特性p 3 1 1 4 1 。 小波系数阈值收缩法【1 5 】，如硬阙值法、软阈值法、自适应阈值法等。 夺利用小波系数统计特性的概率模型，如小波域隐马尔可夫模型i l6 l 等。 奇异检测法是利用极值点中的边缘与噪声的李氏指数的不同来提取真正的边 缘点，同时保留这些极值点的小波系数，并用交替投影法反复重构分解迭代，直 到得到满意的去噪效果，但交替投影迭代对图像来说，不仅计算量巨大，且收敛 缓慢，还有可能产生振荡和不稳定。 对小波系数的阈值化收缩法认为大的小波系数主要对应于实际的场景信号， 第一章红外图像及其滤波技术 而小的系数则主要由噪声引起。因此可通过设定合适的阈值，去除小于阈值的小 波系数。保留大于阈值的小波系数，然后利用阈值函数映射估计出真实场景对应 的小波系数，最后对估计系数进行逆变换。通过上述步骤，即可完成图像的去噪 重建过程。下面给出了三种小波系数闽值分割的准则： 1 ) 硬阈值分割法 w ：j ”怍曲式( 2 1 0 ) 1 0e l s e 2 ) 软阂值分割法 w ：i w 一肪l 叫腩 式( 2 1 1 ) l 0 e l s e 3 1 软硬折衷法 w ： w a 腩i 叫胁口( o ，1 ) 式( 2 1 2 ) l o e l s e 小波域贝叶斯去噪的本质是一个优化问题，即由于图像经小波变换去噪后得 到的重构图像可逼近真实图像，从而使贝叶斯风险最小。近年来提出的隐马尔可 夫树结构模型【1 6 l 通过对每个小波系数引入有限个隐状态，并且认为尺度间的小波 系数状态具有马尔可夫特性。 2 2 2 6 算法性能分析比较 图22 中给出了邻域平均法和中值滤波方法去除噪声的两组验证实验结果。 图2 2 邻域平均法与中值滤波法处理结果比较 复杂7 景f 红外剧像配准及动目杯检测方法研究 实验分别选取了红外图像和可见光图像进行处理，为了突出视觉效果，选择 了5 5 大小的滤波窗口，通过对对比结果的分析发现，邻域平均后得到的图像结 果更加平滑，图像的边缘处变得更加模糊：中值滤波方法去除了部分点状噪声对 图像的影响，但同时也去除了部分有用的特征如图像中物体的角点等。 图2 3 中给出了小波系数阈值化方法中几种不同阈值选取方法的滤波结果。 图2 3 d 波系数阈值收缩法结果比较 实验过程中的具体参数见表2 1 ，其中，t y 表示原图像的标准差。 表2 1 小波去噪参数 由实验结果可知，利用硬闽值对小波系数进行分割的方法在图像边缘处产生 了振铃效应；利用软阈值对小波系数进行分割的方法虽然减弱了硬阈值法的不足， 但图像边缘处出现模糊等失真现象；对软、硬闽值法折衷的方法处理后，虽然还 存在少许振铃现象，但从总体视觉效果上优于直接处理的方法。 2 2 3 方法分析比较 基于时、空域的图像滤噪方法，采用时、空域局部平滑算子来进行去噪，可 以实现并行处理且计算量小，但去噪性能受窗口大小选取的影响；基于频域的 滤噪方法通常假设噪声统计特性已知，采用低通滤波器、w i e n e r 滤波器、最小二 第二章红外图像及其滤波技术 乘滤波器进行全局降噪，但在实际应用中噪声的统计特性通常较为复杂，因此计 算量较大，且低通滤波的方法在有效的消除噪声的同时，也会损失图像中真实场 景的高频分量。小波滤噪可以在不同纹理条件下实现对图像的滤噪，而且保留了 较好的图像边缘信息，但需要更加准确的小波系数模型及小波系数估计方法以提 高去噪质量。 2 3 本章小结 对红外图像及其噪声特点的分析和对红外图像噪声的滤除是之后目标检测、 目标跟踪、动目标行为理解等模式识别问题的前提和基础，也是图像处理及模式 识别的第一步 本章对红外图像及其噪声特点进行了简略分析，讨论了几种常见的滤除噪声 方法，并对其中部分方法进行了仿真试验和性能分析比较。 第三章图像配准及运动补偿技术研究 第三章图像配准及运动补偿技术研究 室内静态探测器获取的序列图像上相同坐标的像素对应着实际场景中的相同 成像单元，而对于室外的探测器而言，由于探测器受到外界因素影响而产生抖动， 很难保证始终满足上述条件；在某些情况下，探测器本身也要自主进行平动、转 动等三维空间运动。综上述，当探测器不能保证始终处于静止状态获取图像数据 时，图像配准和运动补偿就成为所有后续图像处理的前提和关键。 运动补偿和图像配准的任务可以被描述为确定包含相同空间场景区域的不同 图像自j 的坐标变化并去除空间上相同位置在图像中的本质属性的差异。在本节讨 论了探测器主动运动时的图像配准技术和探测器抖动情况下的背景校正补偿问 题。 3 1 图像配准及运动补偿策略方法分析 图像配准及运动补偿方法一般采用对两帧图像的信息通过一定方法处理以获 得其相对偏移进而完成运动背景的补偿和配准，可用下式表示： f g ，y ，f + 出) = e 【厂g ，y ，t ) t f ( x ，y ，r + 址) 】 式( 3 - 1 ) 其中，e 1 i 表示相应的校准策略，( x ，y ，r ) 表示t 时刻时的原始图像， 厂k y ，t + f ) 表示按h a t 时刻的采样情况将t 时刻图像进行重采样等处理后的图 像。从随机信号处理的角度分析，运动补偿和图像配准过程就是一个设计滤波器 的过程【1 7 1 。 在图像序列中，直接求取图像上每一个像素点的运动状态和灰度变化情况是 相当困难的。在监控系统中，图像配准及运动补偿的基本任务是： 修正由于探测器运动造成的图像背景间的相对运动 尽量去除或减弱对应于相同空间位置上像素区域之间的灰度差异 在两帧图像问不存在较大灰度差异或相对位移时，上述任务的实现较为简单。 然而当两种情况同时存在时，对于监控系统的图像配准及运动补偿的两个任务胶 着在一起，很难同时较好的解决，本文中采用了先校正相对位移而不处理光照变 化的方法作为解决上述问题的入手点，将去除或减弱灰度差异的任务转化到运动 目标检测过程中进行处理。 针对探测器运动情况的较为常见的解决策略是：首先分析部分背景点的空间 信息，然后估计出探测器的全局运动参数，最后利用估计所得的全局运动参数求 出图像中所有像素点的空间信息。由于假设图像灰度不变或微变，对于配准、补 偿问题只需在上述的策略基础上对图像进行重采样即可。 1 6 复杂背景下红外图像配准及动目标检测方法研究 3 2 像素点运动估计 图像像素点的运动估计可通过基于块分析方法的相位相关法、块匹配法、光 流法以及基于t a k e ok i n d l e f s l 9 1 2 0 1 等人提出的特征点的方法等。总体来说，基于 块分析的方法的主要假设前提是所处理图像间对应相同实际场景的像素点灰度值 不变或微变，且只能解决平动情况下的配准补偿问题。基于特征点的方法由于其 原理是考虑像素间关系而并非单纯通过灰度值判断，其包含了一定对特征点的先 验假设，在图像灰度发生变化时配准精度较块分析方法高，但也因此，其计算相 对复杂。在实际应用中视情况选取不同的方法。本节分析几种常用的运动估计方 法，并提出了一种改进方法。 3 2 1 相位相关法 基于相位相关的背景运动估计方法，采用对图像做傅立叶交换并求取其相位 相关函数的方法实现算法功能，与其他基于块分析方法相比，其计算量较大，且 只能用于两帧图像的背景只存在平移变化的场合。具体算法如下： 设第七帧中有一中心为k y ) 的n x n 块，那么若在k + l 帧中移动至中心位置 为b + d ，y + d ，j ，并假设满足条件： ，b ，y ，七) = j b + 以，y + d ，七+ l j 式( 3 2 ) 取二维傅立叶变换得： l ，) = t + ，坎，力) e x p l ，2 石协正+ 彬乃) 式( 3 - 3 ) 由上式可知，在平移运动的情况下，各个块的二维傅立叶相位差为： j 2 1 r ( d ，六+ d ，工) ，可以通过检测t 帧和k + l 帧的互功率谱的脉冲位置来估算出运 动矢量。相位相关法相对于其他块分析方法而言对照明的变化不十分敏感，因为 乘以一个常数不会影啊傅立叶相位 3 2 2 块匹配法 块匹配法利用两帧图像中前一帧中像素点周围的一个疗x 朋大小的窗口块，在 第二帧中相近位置区域进行滑动，按照一定的判断准则找到最优的匹配窗口块， 利用两窗口块中心在其所在图像中坐标的差异作为窗口块的偏移。块匹配的方法 的硬件实现较为简单，因此得到了广泛应用，但由于其配准精度只能达到像素级 水平，无法单独完成亚像素级图像配准和图像运动补偿，块匹配常常只是作为其 中的一个处理环节，而不能作为最终的处理结果。 第三章图像配准及运动补偿技术研究 3 2 3 光流法 基于光流场的运动估计方法是一种连续处理的方法，其利用时空图像亮度梯 度对图像像素点的光流场进行估计光流场的计算最初是h o r n 和s c h u n c k 2 1 l 等人 提出的，该方法根据图像灰度的时空梯度对像素点的光流场进行估计，其基本假 设是所处理的图像区域在短时间内运动到新位置时其灰度保持不变。 利用j b ，y ，f ) 表示一组短时间片上的图像序列根据光流场的假设可知，运动 目标在f 时刻位于g ，) ，) 处的灰度值应与在( f + 址) 时刻位于g + 缸，y + 缈) 处的灰度 值相等，即 ，扛+ 缸，y + 母，t + a t ) - j b ，y ，t )式( 3 - 4 ) 把，g + 缸，) ，+ a y ，t + f ) 按照泰勒级数展开： ，g + 缸，) + a y , t4 址) 。，b ，) ，f ) + 掣缸+ 堕幽缈+ ，、越 o y 式( 3 匈 ，巫掣a f + d ( 缸，a y ，a f ) 一 上式中，高阶无穷小量可近似为零，将式( 3 4 ) 代入式( 3 - 5 ) 可得： 型幽缸+ 丝选趟a y + 丝幽缸o式( 3 6 ) 戤 o y 珊 两边同除以缸可以得到： 掣掣矿划o t - 。 枷 缸 4 a ， 7 、 其中，v 。、 ，为运动目标在时间间隔a t 内的平均速度分量，此式被称为光流 场方程( o f e ) 。 v 。和y ，反映了运动目标在时间间隔& 内的运动情况，由于其均属未知量，需 要附加新的约束条件才能求解光流场方程。h o r n 和s c h u n c k 给出了基于迭代方法 的光流场参数方法： n a g e l 2 2 】假定图像所有的二阶偏导数都存在且连续，则可认为运动目标的运动 矢量在其周围一定像素区域内只存在微小变化，利用最小二乘估计，可实现对匕和 v ，的近似估计。用表示上述像素区域，则定义在像素区域上的光流方程的误 差为： e - 蔷( 掣叱+ 掣v ，+ 掣) 2 枷 i， 2 中2 中静铅 丝 = 盟 复杂背景下红外图像配准及动目标检测方法研究 分别计算误差e 对叱和k 的偏导数，令它们的值为零可得； h 卦篓耋：篓奠摹篓：船， 扛蠢( 掣小掣以+ 掣) 掣- 。“p “ 求解上述方程组可得： 阶 a ，虹! f ja ，0 ，) ，尘ya ，g ，) ，f ) a ，b ，) ，f ) k 触缸 缸 “触缸 a y y 型鱼! ! ! ! ! ! ! 虹，尘ya ，g ，y ，f ) a ，g ，y ，f ) 扛寿白a x砂( j 触a ya y po g x , y , d o l ( x , y , t ) “络觑 o t y 型堡! 羔! ! ! 丝生芝! ! ! b 勿白 a y o t 如果像素块包含足够的灰度等级变化，就有可能唯一的估算在这个模型下的 光流场参数。 在上述公式中将图像像素点的偏微分估计作为已知量对光流场参数进行估 计，而图像像素点的偏微分估计可以利用有限差分的梯度估算方法1 2 2 l 来求解，进 而可以求出像素区域w 的光流场参数。 在实际的操作中，常用4 次有限差分来求得图像像素点的偏微分估计值，表 示为： ， r 旦! 掣一三 ，g + 1 ) ，r ) 一j g ，) ，r ) + ，( x + 1 y + 1 r ) 一 ，g ，y + 1 f ) + ，b + 1 y ，f + 1 ) 一，g ，y ，t + 1 ) + ，0 + 1 y + 】 ，+ 1 ) 一，毫y + 】，f + 1 ) 】 旦! i 亲；2 - 丢【，b ，y + 1 ，r ) 一，b ，) ，r ) + ，g + 1 y + 1 r ) 一 ，l i + 1 y ，f ) + ，l t y + 1