（计算机科学与技术专业论文）低光照条件下图像融合及增强系统的设计与实现.pdf

学位论文版权使用授权书 1 7 8 0 3 9 1 1 1 0 l l y 本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特 授权北京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索， 提供阅览服务，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。 同意学校向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 躲专蚪 签字日期训口年1 月c 1 日 导师签名：彳超卜 签字日期：功，年7 月丁e l 中文分类号：t p 3 1 7 4 u d c ：0 0 4 9 学校代码：1 0 0 0 4 密级：公开 北京交通大学 硕士学位论文 低光照条件下图像融合及增强系统的设计与实现 d e s i g na n di m p l e m e n t a t i o no fi m a g ef u s i o na n de n h a n c e m e n t p r o c e s s i n gs y s t e mu n d e rl o w l i g h tc o n d i t i o n 作者姓名：刘冉冉 导师姓名：尹辉 学位类别：工学 学号：0 8 1 2 0 5 7 4 职称：副教授 学位级别：硕士 学科专业：计算机科学与技术 研究方向：图像处理 北京交通大学 2 0 1 0 年7 月 致谢 本论文的工作是在我的导师尹辉副教授的悉心指导下完成的，尹辉副教授严 谨的治学态度和科学的工作方法给了我极大的帮助和影响。在此衷心感谢两年来 尹辉老师对我的关心和指导。 尹辉副教授悉心指导我们完成了实验室的科研工作，在学习上和生活上都给 予了我很大的关心和帮助，在此向尹辉老师表示衷心的谢意。 尹辉副教授对于我的科研工作和论文都提出了许多的宝贵意见，在此表示衷 心的感谢。 在实验室工作及撰写论文期间，柳俊彦、杨春勇、张兴华、高同、魏旭科等 同学对我论文中的研究工作给予了热情帮助，在此向他们表达我的感激之情。 另外也感谢家人，他们的理解和支持使我能够在学校专心完成我的学业。 中文摘要 摘要：随着图像传感技术和信息融合技术的发展，多传感器融合技术也得到 了越来越广泛的应用。低光照条件下，红外传感器和微光传感器的使用能很好地 弥补人类自身生物视觉上的缺陷，观察人眼所不能观察到的信息，进一步提高人 类的夜视能力。微光和红外融合的夜视技术在军事、工业、农业等领域有着广泛 的应用。尤其是军事方面，现代战争需要全天候作战，因此需要依靠夜视技术， 在低光照条件下对整个战场进行全面的观察和监视。 本文设计并实现了低光照条件下图像融合及增强系统，在此系统上研究了低 光照条件下图像增强及图像融合技术。针对低光照条件下图像的特点，本文提出 了一种改进的基于窗口的自适应阈值融合算法。论文的主要工作包括： 1 开发低光照条件下图像融合及增强软件，在此平台上可以进行图像增强、 图像融合、融合效果评价等实验。 2 分析与研究了低光照条件下各种图像增强去噪算法，实验对比了不同算法 的增强去噪效果。 3 分析与研究了低光照条件下图像融合算法。在传统经典算法基础上提出了 一种新的基于窗口的自适应阈值融合算法，并且对比了改进算法与传统经典算法 的融合效果。实验数据表明，采用改进的新算法可以改善图像融合的效果。 关键词：低光照条件；图像增强；图像融合； 分类号：t p 3 1 7 4 a bs t r a c t a b s t r a c t ：w i t ht h ed e v e l o p m e n to fi m a g es e n s o rt e c h n o l o g ya n di n f o r m a t i o n 向s i o n , m u l t i s e d _ s o ri m a g e f u s i o nt e c h n o l o g yi sa l s oa p p l i e dw i d e s p r e a d l y u n d e r l o w - l i g h tc o n d i t i o n ，t h eu s i n go fl o w - l i g h ts e n s o ra n di n f r a r e ds e n s o rc a nw e l lm a k eu p t h eh u m a nb i o l o g i c a lv i s u a ld e f e c t s ，a n di tw i l lh e l pu st ob s e r v et h ei n f o r m a t i o nt h a t b e y o n dh u m a n ，si n s i g h ta n de n h a n c et h ea b i l i t yo fh u m a nn i g h tv i s o n t h el o w - l i g h t i m a g ea n di n f r a r e di m a g e f u s i o nt e c h n o l o g yi sa p p l i e dw i d e s p r e a d l y i nt h e m i l i t a r y , i n d u s t r y , a g r i c u l t u r ea n do t h e rf i e l d s e s p e c i a l l yi nm i l i t a r yf i e l d ，i no r d e rt om e e t t l l en e e d so fa 1 1 w e a t h e rw a r f a r e ，i tn e e d st h ea s s i t a n c eo fn i g h tv i s i o nt e c h n o l o g yw h i c h c a nh e l pt oo b s e r v ea n dm o n i t o rt h ew h o l eb a t t l e f i e l dt o t a l l yi nt h i st h e s i s ，ai m a g e 缸i o na n de n h a n c e m e n tp r o c e s s i n gs y s t e mu n d e rl o w l i g h tc o n d t i o ni sd e s i g n e da n d i m p l e m e n t e d a n dt h ei m a g e f u s i o na n de n h a n c e m e n tt e c h n o l o g yi sr e s e a r c h e db a s e do n t h i ss y s t e m t oa i ma tt h el o w l i g h ti m a g e sc h a r a c t e r i s t i c ，t h e t h e s i sp r o p o s e da n i m p r o v e da d a p t i v et h r e s h o l df u s i o na l g o r i t h m b a s e do nw i n d o w t h ep r i m et a s ko ft h e t h e s i si n c l u d e s ： 1 t od e s i g na n di m p l e m e n tai m a g ef u s i o na n de n h a n c e m e n tp r o c e s s i n gs y s t e m u n d e rl o w 1 i g h tc o n d i t i o n ，a n do nt h i ss o f t w a r ep l a t f o r m ，w ec a ne a s i l yi m p l e m e n ta s e r i e so f e x p e r i m e n t s s u c h a s i m a g er e g i s t r a t i o n ,i m a g e e n h a n c e m e n ta n d d e n o i s i n g , i m a g ef u s i o n ，f u s i o ne v a l u a t i o n a n ds oo n 2 t i f f st h e s i sf o c u so nt h er e s e a r c ho fd i f f e r e n ti m a g ee n h a n c e m e n ta n dd e n o i s i n g a l g o r i t h m su n d e rl o w 1 i g h t ，a n dc o m p a r e st h e e f f e c t so ft h e s ea l g o r i t h m st h r o u g h e x p e r i m e n t s 3 i ta l s os t u d i e sd i f f e r e n ti m a g ef u s i o na l g o r i t h m su n d e rl o w - l i g h t ，a n dp r o p o s e s a l li m p r o v e da d a p t i v et h r e s h o l df u s i o na l g o r i t h mb a s e do nw i n d o w , a n dt h e nt h ee f f e c t s o ft h e s ef u s i o na l g o r i t h m sa r ec o m p a r e dt h r o u g he x p e r i m e n t s t h ee x p e r i m e n t a ld a t a 矾i c a t et h a ti tc a no b v i o u s l yi m p r o v et h ee f f e c to fi m a g ef u s i o nt h r o u g hu s i n gt h en e w a d a p t i v ea l g o r i t h m s k e y w o r d s ：u n d e rl o w 1 i g h tc o n d i t i o n ；i m a g ee n h a n c e m e n t ；i m a g ef u s i o n c l a s s n o ：t p 31 7 4 目录 中文摘要v a b s t r a c t 、，i 1 绪 仑1 1 1引言。1 1 2国内外研究现状一1 1 2 1 微光成像技术及处理算法的国内外研究现状1 1 2 2 红外成像技术的国内外研究现状4 1 2 3 多传感器图像融合技术国内外研究现状5 1 3课题的研究意义及研究目的一6 1 4论文主要内容及章节安排7 2系统总体结构设计8 2 1系统总体设计。8 2 2系统输入1l 2 3模块功能介绍1 2 3图像配准模块设计与实现1 4 3 1基于灰度信息的图像配准方法1 4 3 1 1 互相关法1 4 3 1 2 序贯相似监测法1 5 3 1 3 交互信息法1 5 3 2基于变换域的图像配准方法1 6 3 3基于特征的图像配准方法1 7 3 4图像配准模块设计与实现1 7 3 5图像配准实验结果1 9 3 6本章小结2 0 4低光照条件下图像增强去噪算法的研究与实现2 l 4 1微光图像的特点2 1 4 2微光图像增强算法及研究2 2 4 2 1 直方图均衡化处理2 2 4 2 2 图像灰度拉伸。2 4 4 2 3 微光图像增强算法研究2 4 4 3微光图像去噪算法及研究2 5 4 3 1 高斯平滑滤波一2 5 4 3 2 中值滤波2 6 4 3 3 小波去噪2 7 4 3 4 微光图像去噪算法研究2 7 4 4图像增强模块的设计与实现。2 9 4 5本章小结3 2 5低光照条件下图像融合算法的研究与实现3 3 5 1图像融合技术3 3 5 2基于变换域的多尺度分解像素级融合3 5 5 3图像多尺度分解3 6 5 3 1 离散小波变换3 6 5 3 2 拉普拉斯金字塔变换3 8 5 3 3 其它的多尺度变换3 9 5 4基于多尺度分解的多源图像像素级融合算法3 9 5 4 1 传统融合算法4 0 5 4 2 一种改进的基于窗口的自适应阈值融合算法4 2 5 5图像融合模块的设计与实现4 4 5 6本章小结一4 5 6融合评价模块的设计与实现4 6 6 1图像融合评价方法的分类4 6 6 2图像融合客观评价方法4 6 6 2 1 独立单因素评价4 6 6 2 2 联合单因素评价。4 8 6 3融合评价模块的设计与实现4 8 6 4实验结果与分析5 0 6 5本章小结5 3 7总结与展望5 4 7 1工作总结5 4 7 2下一步工作建议5 4 参考文献5 5 作者简历5 9 独创性声明6 0 学位论文数据集6 1 1 绪论 1 1引言 为了适应现代战争的需要，美国从上世纪中期开始研发用于夜间目标识别的 军用夜视装备。随后微光夜视技术和红外夜视技术迅速发展起来，并在军事、工 业、民用、航空航天等各个领域得到广泛应用。 微光夜视设备利用自然界中存在的微弱的星光、月光、夜天光、大气辉光等 作为光源，将得到的图像信号进行放大、增强和去噪以便于观察和利用【l 】。微光夜 视仪因有着图像质量好、分辨率高、造价低等优点而得到了广泛的应用和推广。 但与此同时在观察环境杂乱、目标和背景反射系数接近、目标照度低等恶劣的条 件下得到的图像往往会出现噪声大、图像对比层次低等问题【2 】。 自然界中的一切物体都可以辐射红外线。红外图像是利用红外热像仪接受来 自目标和景物的红外辐射，经过光电转换，将不可见的辐射转变成可见的图像，图 像的各像素点的明暗( 亮度) 变化对应着目标和景物的辐射能量强弱的变化。目前红 外图像在军事、民用等方面有着越来越多的应用【3 】。 随着图像传感技术和信息融合技术的发展，多传感器融合技术也得到了越来 越广泛的应用。在低光照条件下，通过对微光图像和红外图像的融合可以进一步 提高人类的夜视能力。在烟雾、漆黑等条件下，微光很难发挥作用，此时可借助 红外成像来进行观察【4 。5 】。微光和红外融合的夜视技术在军事、工业、农业等领域 有着广泛的应用，尤其是在军事方面，现代战争需要全天候作战，因此需要依靠 夜视技术，在低光照条件下对整个战场进行全面的观察和监视【6 j 。 1 2 国内外研究现状 下面我们来了解一下微光技术、红外技术以及多传感器融合技术的发展背景 和相关算法的研究现状。 1 2 1 微光成像技术及处理算法的国内外研究现状 从2 0 世纪6 0 年代初至今，微光夜视技术已经发展了四代。美国人于上世纪 6 0 年代研制出了第一代微光夜视器。它是一个包含多碱光阴极( s b - n a - k - c s ) 、同心 球电子光学系统、光学纤维面板的三级级联式。与普通光电阴级相比，多碱光电 阴级的灵敏度大大提高，使得夜视器的光电增益大大提高，其一级单管可实现5 0 倍亮度增益，三级级联，增益最多可达原来的5 x1 0 5 倍。同时因为其采用了光学 纤维板( 一种由大量光导纤维组成的薄板阵列) ，每一根纤维传导一个像素减少了光 的散射，提高了传导效果。采用将纤维末端排成曲面的方式可以避免像差，提高 成像质量。第一代微光夜视器有着成品率高、隐蔽性好、重量小等优点，在越南 战争期间被美军广泛使用【7 j 。 到了2 0 世纪6 0 年代末期，光电材料研究获得重大突破，以此为基础研制的 微通道板像增强器替代了原来的体积大、笨重的三级级联第一代微光管。其基本 原理是在管子两端的电极上加上一定的直流电压，电子从一头射入后，会在管内 来回地碰撞，从而激发出越来越多的电子，这些被管壁的电压加速的电子又碰撞 出呈几何级数增加的电子，使得管子另一端射出的电子获得非常高的增益。在工 作电压恒定条件下，恒定输出电流的自饱和效应能很好地克服第一代微光夜视器 微光管的晕光效应。而且较之第一代，第二代微光夜视器质量和体积都更小哺j 。 2 0 世纪7 0 年代中期，美国人在研制新的高性能光电阴极方面取得了重大突破， 并于8 0 年代研制出了第三代微光夜视增强器和以此为基础研制出飞行员使用的夜 视眼镜。第三代增强器采用负电子亲和势砷化镓作为光电阴极，电子亲和势指的 是半导体导带底部到真空能级间的能量值，是电子溢出材料的难易程度。电子亲 和势越小，就越容易溢出。如果电子亲和势为零或负值，则意味着电子处于随时 可以脱离的状态，由此可见用电子亲和势为负值的材料制作的光电阴极，由光子 激发出的电子只要能扩散到表面就能溢出，因此灵敏度极高【9 , 1 0 。 1 9 8 8 年利顿公司找到了不用离子隔膜保护光电阴极的方法，在不降低夜视器 寿命的前提下，大大调高了探测距离和分辨率，尤其是在非常黑暗的环境下。新 式的夜视器还采用了先进的自动门控电源和无光晕成像技术。可以自动控制光电 阴极电压，改善在环境光线过强或有照明情况下的夜视效果。无光晕成像可以极 大的减少由电子在像增强管的光电阴极到板的空隙中散射而引起的光晕，这些新 技术的出现使得夜视器的性能得到又一次飞跃，所以被称做第四代微光夜视器。 图1 - 1 中是最新美军配备的微光夜视器。 我国于2 0 世纪8 0 年代研制成功的微光夜视器属于第二代微光夜视器，既可 以单独作为观察仪器使用，又可以用作班组武器的瞄准具，具有排除强光干扰的 功能。国内包括清华大学、北京理工大学、北京交通大学、上海交通大学、南京 理工大学以及华中理工大学在内的一些高校以及一些科研院所在有关微光夜视处 理技术方面开展了大量研究工作。目前国内微光技术还处于第二、三代的水平， 与发达国家存在一定差距。 2 幽l - 1 美军配备的微光仪说器 f i g u r e1 - 1u sm i l i t a r yn i g h tv i s i o nd e v i c e 从问世至今，微光成像技术已经相对比较成熟。近些年来，图像增强c c d 已 进入夜视领域，并成为新一代微光成像技术的象征，今后研究的重点将是减小图 像噪声、扩大视距、提高灵敏度、增强抗干扰能力等方面，并进一步改善观察效 果和降低成本。传统的增强去噪算法有直方图均衡、灰度值线性拉伸、中值滤波、 高斯平滑等。 直方图均衡化是图像增强的主要技术之一，是对图像进行非线性拉伸，重新 分配图像像素值，使一定灰度范围内的像素数量大致相同。直方图均衡化就是把 给定图像的直方图分布改变成“均匀”分布直方图分布。它的灰度级调整策略是像素 多的灰度被扩展到更多的灰度级，像素少的灰度被压缩到很少的灰度级，这样被 展宽的区间的灰度次更丰富，图像信息熵大大增加，同时增强了图像的对比度。 中值滤波计算是一种邻域运算，有点类似于卷积运算，是把邻域中的像素按 灰度级进行排序，然后选择该组的中间值作为输出像素值。即用一个窗n w 在图 像上扫描、排序。通常窗口内像素数为奇数，以便取得中间像素。如果窗内像素 数为偶数时，则中值取中间两像素灰度的平均值。常用的窗有线形、方形、十字 形、圆形和环形等。中值滤波对于消除孤立点和线段的干扰将十分有用，和相近 的低通滤波器相比其突出的优点是不仅能消除噪声，同时还能保护边界信息。不 过，当窗中噪声像素数超过有用像素数一半时，中值滤波将失效。所以中值滤波 器去除噪声的效果依赖于两个相关的但完全分开的要素：邻域的空间范围及中值 计算中涉及到的像素数【l 2 。 高斯平滑是对中值滤波的一种改进。首先根据微光图像的特性设定一个高斯 模块。模板在图中游走，并让模板中心与图中某个像素位置重合，将模板上系数 与模板上对应像素相乘，将所有乘积相加，求加权平均值。将平均值赋给图中对 应模板中心位置的像素，不断重复上述过程，即可得到整幅图像的处理结果。 与此同时国内外也在不断改进和研究更加优化的算法以降低时间复杂度和空 间复杂度，改善增强和去噪效果。红外成像技术的总体趋势是往智能化、精细化 和综合化方向发展。 1 2 2 红外成像技术的国内外研究现状 红外成像技术最早可以追溯到上世纪4 0 年代德国研制出p b s 红外探测器，自 此以后红外技术得到了迅速发展，被广泛用于军事、工业、民用等相关领域，尤 其是军事应用的需求直接成为红外成像技术发展的动力。红外探测器有多种分类 方法。按工作波段可分为长波、中波和短波探测器；根据制冷温度可分为制冷型 探测器和非制冷型探测器；根据探测原理又可分为热探测器和光子探测器【l 引。 红外探测器发展到今天大致经历了三个阶段，分别是单元器件时期、多元器 件时期和红外焦平面阵列时期。 在2 0 世纪6 0 年代中期之前，红外探测器以p b s 、g e ：h g 以及i n s b 等铅盐器 件为主。由于容易受到气象条件和背景的影响，这一时期的探测器的抗干扰能力 较差，极大地限制了它的应用，加上探测器响应时间长和灵敏度低等特点的局限， 所以这一时期并未出现可以实时成像的红外像仪。 红外成像系统出现在上世纪6 0 年代中期7 0 年代中期。这一时期以工作在中 波段( 3 5 a m ) 的红外探测器为主。早期成像系统采用单元探测器，利用二维机械光 学扫描成像。从7 0 年代后期开始出现了线列多元器件，采用一维光扫描完成成像。 由于在红外探测器性能相同的情况下，红外系统的探测能力与所使用的红外探测 器中探测单元数的平方根成正比，所以增加红外探测器的探测单元数目成了当时 研发红外探测器的主要追求目标。 从上世纪7 0 年代中期至今，已成功研制出了以h g c d t e 、i n s b 和量子阱等的 中波红外探测器和长波红外探测器。由于红外单元探测器的性能已经几乎接近了 理论上的极值，因此要想进一步提高红外系统的性能只有增加探测器数目，由此 就产生了红外焦平面阵列器件。红外焦平面阵列将凝视红外探测器阵列和信号读 出等电路集成在一起，置于光学系统的焦平面上成像【l4 1 。在成像的时候，探测器 相对于视场的目标是不动的，不需要光机扫描。红外焦平面阵列的发展成为开发 高性能的第二代、第三代红外成像系统的基础。 国内外都在重点发展的一类探测器是目前最为先进的大规模的红外焦平面阵 列器件( i n f r a r e df o c a lp l a n ea r r a y s ，又简称i r f p a ) 1 5 】。红外焦平面阵列器件的出现 4 不仅可以研制出高灵敏度、高分辨率、大视场的红外成像系统，而且还能降低红 外成像系统的重量，减小体积、降低功耗。红外焦平面阵列同时具有对红外辐射 敏感和信号处理的功能，通过器件的读出电路可以将器件中所有探测单元的响应 信号转换成有序的图像信号输出【1 6 】。 红外焦平面阵列技术已成为当今信息科学技术中关键技术之一。同时以其为 基础的阵列器件在军事和民用等方面得到了广泛的应用。未来红外焦平面阵列器 件的主要发展方向是m j ： 1 小型化、重量小、便于携带； 2 集成化，杜瓦与制冷、光机电的集成，探测器材料与信号处理电路集成； 3 智能化，对于不同的目标能够自动调节视窗； 4 工作温度常温化，以便于实现低功耗和小型化、轻量化的系统应用； 5 降低成本，制造出极低成本的微型传感器，甚至有一次性的传感器。 目前红外成像系统的特点还没有完全得到发挥。所以，国际上展开红外成像 性能研究的同时，也在极力进行红外图像处理技术的研究。其核心任务是消除非 均匀行、改善红外图像质量。国内的红外技术与国际上还有一定差距，不过近年 来国内学者对于红外图像处理技术的研究也越来越重视，其发展速度也是非常迅 速。 1 2 3多传感器图像融合技术国内外研究现状 近年来随着微电子技术、计算机能力和传感技术的发展，多传感器图像融合 技术得到了迅速的推广和广泛的应用。图像融合事实上是数据融合的一个重要分 支。将来自于多个传感器的信息进行多方面、多层次、多级别的综合处理后可以 获得更加丰富、可靠和精准的信息。图像融合技术作为一种可视信息融合技术在 近二十年来引起了全世界各个行业的广泛关注并掀起了研究热潮。图像融合不是 简单的图像叠加而是根据一定的算法把来自于多个传感器的源图像综合成一幅新 的图像，以便于更好地观察和理解 1 8 1 。 在军事领域，多传感器技术可以用于直升飞机导航和海战探测。2 0 世纪9 0 年 代，美国海军在s s n 6 9 1 潜艇上安装了第一套图像融合样机，可使操作人员在最 佳位置上直接观察到各传感器的全部图像。海湾战争中发挥较好作战性能的 l a n t i r n 吊舱就是一种图像融合系统；美国t i 公司于1 9 9 5 年从美国夜视和电子 传感器管理局( n v e s d ) 获得了将前视红外与第三代微光图像融合系统集成到先进 直升机( a h p ) 传感器系统融合。2 0 0 0 年5 月，美国波音公司航空电子飞行实验室成 功演示并验证了联合攻击机( j s f ) 航空电子综合系统的多源信息融合技术和功能。 5 在民用方面，多传感器图像融合已经在智能机器人、遥感、医学图像处理等领域 得到了广泛应用【1 9 珈】。在医学领域，多源图像融合可以综合不同模态医学图像的 优点，从而为医学诊断、指导医学手术等提供不同层次和角度上的更多信息。比 如将m r i ( 核磁共振成像) 和c t 图像融合，然后应用于颅脑放射治疗和颅脑手术可 视化中【2 1 1 。多源遥感图像融合在对地测绘领域有着广泛的应用，如土地资源调查、 天气预报、地形测绘、自然灾害监测、洪水监测、农作物生长态势评估方面有着 广泛应用。在安检系统中，多源图像融合技术为隐匿武器检查提供了一个很好的 解决办法。通过前视红外图像和可见光的融合可提高隐匿武器的监测能力1 2 2 j 。 国内对于图像融合的研究起步比较晚，不过近年来国内学者对于图像融合技 术的研究也越来越重视，各个高校和许多研究所也积极投身到图像融合技术的研 究中，参与研究的人数以及相关论文数量也大幅度增多。 1 3 课题的研究意义及研究目的 低光照条件下，微光传感器和红外传感器的使用能很好地弥补人类自身生物 视觉上的缺陷，发现人肉眼所不能观察到的东西。微光探测和红外探测有着各自 的优缺点：通过微光传感器可以很好地观察到目标以及周围景物的细节，然而如 果目标与周围景物比较接近亦或是被其它物体遮挡( 例如人隐藏在草丛中) ，此时 微光传感器往往不能很好地观测到目标，这种情况下红外传感器却能很好地观察 到目标；同时红外传感器观测到的周围景物的细节以及目标轮廓常常不能让人满 意。如果能将二者有机地结合起来，合理运用一定的融合算法，就能得到更加便 于观察和利用的图像。图1 - 2 是微光传感器信息和红外传感器信息融合示意图： 冗余信息 互补信息 图1 - 2 微光传感器信息和红外传感器信息融合 f i g u r e1 - 2f u s i o no fl o w l i g h ts e n s o ri n fa n di n f r a r e ds e n s o ri n f 课题的主要研究目的是设计与实现低光照条件下图像融合及增强系统，在此 平台上分析研究低光照条件下各种图像增强去噪算法以及低光照条件下图像融合 6 算法。 1 4 论文主要内容及章节安排 本论文的主要任务是设计与实现了低光照条件图像融合及增强系统。在此基 础上，研究低光照条件下图像增强去噪算法以及图像融合算法。 章节安排如下： 第一章为引言部分，简要介绍了课题的研究背景、国内外发展现状、课题研 究的意义以及本课题的研究内容与创新点。 第二章介绍了系统的总体结构设计。 第三章首先介绍了图像配准的方法，包括基于灰度信息的图像配准方法、基 于变换域的配准方法以及基于特征域的配准方法；然后介绍了图像配准模块的设 计与实现。 第四章分析与研究了低光照条件下图像增强去噪算法，包括直方图均衡、灰 度值拉伸、高斯平滑、中值滤波以及小波去噪，并分析比较了不同算法的增强去 噪效果。 第五章分析与研究了低光照条件下图像融合算法。首先简单介绍了图像融合 的概念以及层次，然后介绍了图像多尺度分解方法，最后重点介绍了图像融合算 法，其中包括经典算法以及一种改进的基于窗口的自适应阈值融合算法并对比了 改进算法与传统算法的融合效果。 第六章首先介绍图像融合的评价方法，包括信息熵、平均梯度、边缘保持度 等评价指标，然后介绍了图像融合评价模块的设计与实现，最后对融合实验结果 进行了分析。 第七章对全文工作进行了总结，并提出了下一步工作及展望。 7 2 系统总体结构设计 本章首先介绍了低光照条件下图像融合及增强软件的总体结构设计，包括设 计目标、开发环境、系统的特点、模块划分等等；然后介绍了系统输入，主要是 图像的采集；最后简单介绍了系统各个模块的功能。图2 1 是软件的启动界面。 图2 1 低光照条件卜图像融合及增强软件启动界面 f i g u r e2 - lt h es o f t w a r es t a r ti n t e r f a c e 2 1 系统总体设计 1 设计目标 实现低光照条件下多传感器图像的图像增强、图像配准、图像融合以及图像 融合评价。 2 系统开发环境 低光照条件下图像融合及增强软件在w i n d o w sx pp r o f e s s i o n a lv e r s i o n 系统下 开发，以m a t l a br 2 0 0 8 b 为平台，采用m a t l a bg u i 开发。 3 系统特点 系统采用模块化设计，各个功能模块间耦合度很低，因此易于功能扩充、系 统维护、系统升级。 4 系统模块划分 系统可以划分成图像配准、图像增强、图像融合、融合评价四个模块，各个 模块在功能上相互独立，但模块之间又相互联系，前一模块处理的输出结果往往 f i g u r e2 - 2t h es o f t w a r em a i ni n t e r f a c e 5 系统处理流程 系统处理流程图如图2 3 所示。 9 面。 l 微光图像采集红外图像采集 ， l图像预处理 r l 融合后的系数表示 r l 多尺度重构 r l 融合后的图像 1r l 融合图像评价 图2 - 3 实验处理流程图 f i g u r e2 - 3p r o c e s s i n gf l o wc h a r t 1 0 2 2 系统输入 系统输入数据为红外图像和微光图像，因此首先需要进行红外图像采集和微 光图像采集。用到的主要采集设备有红外摄像头、微光摄像头、c c d 白光摄像头、 视频采集卡及配套软件，如图2 4 所示。 ( a ) 红外摄像头 ( a ) i ri n t e n s i f i e r ( b ) 微光摄像头 ( b ) l li n t e n s i f i e r ( c ) 白光c c d 摄像头( d ) 图像采集卡 ( c ) v i s i b l el i g h tc c d ( d ) i m a g ec a p t u r i n gc a r d 图2 _ 4 图像采集设备 f i g u r e2 - 4i m a g ec a p t u r i n gd e v i c e s 红外传感器比较适合观察热对比度较大的低可视目标，而且观察的距离较远。 可以实现全天候观察，即使在有烟雾或雨雪等恶劣气候条件下物体也能发出辐射， 形成红外图像。但是由于红外图像表征的是目标和景物的温度分布，是灰度图像， 没有立体感，因此分辨率较低。热成像系统的探测能力和空间分辨率低于可见光 c c d 阵列，这使得红外图像的清晰度低于可见光图像，同时红外图像由于受目标 和景物热平衡、传输距离远、波长、大气衰减等因素的影响空间相关性较强，视 觉效果模糊【2 3 1 。 微光图像比较符合人眼视觉的观察习惯，分辨率高、细节刻画较好，但相比 较红外来说，微光的探测距离较小。微光经过像增强器会产生固定的图像噪声， 该噪声是来自微通道板( m c p ) 的颗粒噪声。而且c c d 自身也会产生相应的噪声。 这些噪声是由输出放大器噪声、传输损失噪声和界面噪声构成的，但相对于m c p 的颗粒噪声来说，对输出的微光图像影响相对小一些。由于微光图像借助于夜光 反射成像，因此受外界因素影响较大，例如天气、烟雾、星光等，在天气非常恶 劣的条件下甚至无法工作【2 4 之5 1 。图2 5 是用红外摄像头和微光摄像采集的图像。 ( a ) 红外图像( b ) 微光图像 ( a ) i n f r a r e di m a g ec o ) l o w l i g h ti m a g e 图2 5 采集到的图像 f i g u r e2 - 5t h ec a p t u r i n gi m a g e s 利用图像采集工具采集完图像后，首先建立图片库，然后对图片库中的图片 进行分类、挑选、裁剪、分辨率调整等简单处理，最终得到系统输入。 2 3 模块功能介绍 整个软件系统从功能上可分为图像配准、图像增强、图像融合、融合评价四 个模块。 1 图像配准模块 图像配准模块的主要功能是将红外传感器和微光传感器在相同时间、相同条 件下( 照度、天候、角度、摄像位置等) 获得的两幅图片进行匹配。首先对两幅图 像进行特征提取得到特征点；通过进行相似性度量找到匹配的特征点对；然后通 过匹配的特征点对得到图像空间坐标变换参数：最后由坐标变换参数进行图像配 准。而特征提取是配准技术中的关键，准确的特征提取为特征匹配的成功进行提 供了保障。 2 图像增强模块 图像增强模块的主要功能是对微光传感器得到的图片进行增强去噪处理。微 光图像是一种低信噪比的图像，动态范围和可视粒度小，对比度低；又由于像增 强器本身的制造工艺；会产生电子噪声，在实际应用特别是军事应用中，应当对 微光图像进行增强和降噪处理。在该模块中可运用直方图均衡、灰度值线性拉伸、 1 2 中值滤波等算法对微光图像进行增强去噪处理。 3 图像融合模块 图像融合模块的主要功能是将红外传感器和微光传感器所采集到的关于同一 目标的图像经过一定的图像处理，提取各自信道的信息，最后综合成一幅包含更 加丰富信息图像以供观察或进一步处理。首先利用拉普拉斯金字塔变换、离散小 波变换、方向金字塔变换等方法对红外图像和微光图像进行多尺度分解，然后按 照一定的融合规则对分解后的系数进行融合，得到融合系数，然后进行多尺度重 构得到融合后的新图像。 4 融合评价模块 融合评价模块的主要功能是对图像融合模块得到的融合结果进行定量评价。 由于多传感器图像融合的种类不同( 如m r i 图像和c t 图像融合、红外图像和微光 图像融合、多源遥感图像融合) ，因此到目前为止没有一种较为通用的融合评价方 法。针对微光图像的特点，本文从信息熵、边缘保持度、互信息三个方面对融合 效果进行了评价，以评判不同融合算法的融合效果。 1 3 3 图像配准模块设计与实现 由于红外传感器和微光传感器的成像机理、镜头焦距、拍摄位置和角度等因 素均不相同，因此所获得的图像之间存在坐标位置、分辨率等差异，所以在图像 融合前需要进行图像配准。图像配准是指对同一景物在不同的时间、不同传感器、 不同视角所获得的两幅或多幅图像进行匹配、叠加，找出图像之间的相对位置关 系的过程【2 6 】。图像配准方法通常由三个部分组成：特征空间、相似性准则和搜索 策略。特征空间指的是从图像中提取出有用的配准信息，搜索策略从图像转换集 中选择配准的转换方式，相似性准则决定配准的相对数值，然后基于这一结果继 续搜索，直到找到能使相似性度量有令人满意的结果的图像转换方式。选择不同 的图像配准的三个基本元素，可产生对各种具体的图像配准技术的不同的分类方 法。现有的图像配准的方法很多，大体上可以分为三个基本类别：基于灰度信息 的方法、基于变换域的方法和基于特征的方法圳。 3 1 基于灰度信息的图像配准方法 基于灰度信息的图像配准方法是利用图像本身具有的一些统计信息来度量图 像的相似程度。这种方法的优点是一般不需要对图像进行复杂的预处，算法简单 易行，缺点是计算量大、对光照条件的改变和噪声敏感。经过数十年的发展，人 们提出了许多基于灰度信息的图像配准方法，大致可分为三类：互相关法、交互 信息法和序贯相似度检测法。 3 1 1 互相关法 1 9 8 2 年r o s e n f e l d 等人提出的互相关法是最基本的基于灰度统计的图像配准方 法，通常被用来进行模板或者模式识别。对于一幅图像i ( x ，”和一个尺寸小于i ( x ，y ) 的模板t ( x ，y ) ，归一化互相关函数的定义如下： r ( x ，y ) l ( x m ，y 一刀) a 鸭力2 苍零丽 p j c ( m ，n ) 表示模板t 在图像i 上位移( m ，n ) 位置的相似程度。如果模板能够和图 像恰当地匹配，c ( m ，n ) 将达到极值。互相关算法本身不是一种完整的图像配准方法， 而是一种匹配度量，但是通过计算模板图像和搜索窗1 2 1 之间的互相关值来确定匹 1 4 配的程度进而决定模板图像在待配准图像中的位置。 相关系数是另一个类似的度量方式，在某些情况下可能效果更好，其表达式 为： e ( r ( c ，y ) 一所) ( ，( x ，j ，) 一所) 咖亿耻百c o y ( i , t ) 2 赢篙焉赫 2 ， 上式中，c o v ( i ，t ) 代表图像i ( x ，y ) 和模板t ( x ，y ) 的协方差，一和听分别代表图像i ( x ，y ) 的均值和方差，所和听分别代表模板t ( x ，y ) 的均值和方差。相关系数是在【1 ，1 尺度范围内计算相关性的，在一定程度上可以假设相关系数的值与两幅图像的相 3 1 2 序贯相似监测法 b a m e a 提出了一种序贯相似检测算法( s e q u e n t i a ls i m i l a r i t y d e t e c t i o n a l g o r i t h m s ，s s d a ) 。与传统的互相关法相比，s s d a 算法更为简单，处理速度更快。 这个相似性度量准则的表达式为： e ( u ，y ) = ，i 丁( x ，y ) - i ( x - u ，y v ) l ( 3 3 ) 归一化后的准则定义为： e ( u ，1 ，) = ，e ，i r ( x ，y ) - 6 - i ( x - u ，y - v ) - t 1l ( 3 4 ) 式中，所和朋分别表示图像窗1 2 1 和模板窗e l 的均值。e ( u ，v ) 取得极小值时，“v ) 表示匹配的位置【2 7 1 。同时，b a r n e a 还提出另一个改进就是序贯搜索策略。该策略 实际上是通过误差绝对值的累加和的变化规律来判断图像匹配的位置。在图像不 匹配的位置，累加时e 沁v ) 增长很快，而在图像匹配位置上e ( u ，v ) 随累加次数增长 缓慢。如果选择一个合适的门限值r ，并规定累加误差一旦超过这个门限值就会停 止运算，这样在各个不匹配位置上累加运算将提前停止，从而大大降低了运算量。 3 1 3 交互信息法 1 9 9 5 年，为了解决多模态医学图像的配准问题，v i o l a 等人和c o l l i