（微电子学与固体电子学专业论文）自适应夜视图像处理技术研究.pdf

南京理工大学硕士学位论文自 适应夜视图像处理技术 研究 abs tract ni沙t vi si ons y s t em isn e c 七 s sa n 尸 eq山 p m e n t inthe s tudy ofi n c r e as l ” g the d e te c l i n g d i 劝 an c e i n thc ni ght orl ow i l l 切 旧 1拙 at i on i n o r d erto邝 a 】 l zec o n c e al e ddet e c ti ng. inthes e y e 别 rs ， 诚thth e c o n t i n 摊山vel0 p m e n t ofni ght vi si o n s y s t e m ， “ 碑c iallyt hetr 出 巧 fo rm from the lo o k i n e y e s sy st 曰 m toni ght 了 从the n i ght 讨 s i o n 即 劝 曰 的m 吐 e s a b i g 仪 in日 l fi e l d s o f 。 urli fe ， incl u d e t h e n at i o nal defe n se ， 而li t aj 即a ffairs， 仕 司 五 c and soon. t b e ni ght vi si on sy st e mincl 园esthe in 丘 ar ed t h e rma 】 加 妞 g in g s y 日 . 几lllni ght vi s i o n sy st e mand th e l m 吧 e fosi ons y ， 。 . . 加c hap t e r l ， the d e v e l o p m e n t 坛 storyof俪 扭 ght vi si on s y st 翎， 明d the import 朋t 即p l l 。 时 i on innon n a l m ili l aj 令a 月 h irs， 几e 氏ie se ar c h b a c k gr o und and i m po比 却 ceof面5 di s se “ 冶 t i o n are e x p 】 a i n 目， inc hap te r z ， it isdi sc usse d the m e th odu ， 刃toe s t in ” 加the i 刘 份 盯 edi m a g esand the fusio n i m ag e s ， d e s i gnedane st i m al 比s y st e munder the e n v ir o . 旧 ent o f v c . inc ha p t e r 3 ， the p a per a na】y ze s the th eo ryofthe in fr ar e d i m a g e s an d the l l l ni ght . m ag e s ， poi nts o utth e re l ativ e m e ri tso f th e se汕age s . expl al n th e n e c e s s i tyo f the i m 昭 e 佃io n b as edo nthese。 浑 oki n dso f 而昭e s ， and ana n a l ysiso nthe c h 别 比 岭 t e ri sti c o f the 佃io n u 刀 a g e s t 七 eq ualjti 。 f th eu n agesare n otal w a y s good be ca比 笼oft h eli m i ta t i on o f the detec t o r andth eo utsi dc di st ur b . 5 。访c h a p i 耽4 ， 山 efa c to rsth at川 币 父 t the q uali tyo f 助犯c s are ana l y 以 月 ， 叻dp 代 物t e dthe c h aj 旧 c t e ri sticso f 阮 i m ag e y a 叭 甲 . t h i s c h ap姗 po访 tso uts o m e co lnm onm e th 冈 5 o f i m 鳍i ngp r 以 姆 ， si ng， and a fe wi m p ro v edm et h o ds ， s to d y the s h 0 itag e o f the w ays . atl as 仁 anad apt l vem et h odisad v an c ed， 5 加日 川 曰in阮 c o mp u 让 沉 inc h a p te r s ， iti s s tu d i e dthe di 油 现 ced e t ec t in g equat l o n o f the l l l垃 ght 而age ， in di c a t eda new w a y toin erease the d e t e c t in g di s 。 口 ce ， p r o 代d itsfe as ib ili tyb y th e o ryand ex伴ri m e n t ， inc h apt er6 ， the who l e worki s s ux m 几 幼 以 月助d the 丘 时 h erd e vel o p m e nti s pol n t ed o u t 1 0 0 k e y w o rds : n i ght v i s i o ns y stem， p r o c e s s l n g ，a d a p t i ve， v a l uati on o flmag eq uali ty， d e l e cti v e d i s 加 ln c e l ma g e 声明 本学位论文是我在导师的指导下取得的研究成果， 尽我所知， 在 本学位论文中， 除了加以 标注和致谢的部分外， 不包含其他人已经发 表或公布过的研究成果， 也不包含我为获得任何教育机构的学位或学 历而使用过的材料。 与我一同工作的同事对本学位论文做出的贡献均 已在论文中作了明确的说明。 研究生签名: 甲 年 月 侈 日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档， 可以 借阅 或上网公布本学位论文的部分或全部内容， 可以向有关部门或机构送 交并授权其保存、 借阅或上网公布本学位论文的部分或全部内容。 对 于保密论文，按保密的有关规定和程序处理。 研究生签名: 刃 卜年了 月 ， 3 日 南京理工大学硕士学位论文自 适应夜视图像处理技术研究 1 绪论 夜视设备是研究在夜间或低照度条件下， 用于扩展观察者视力范围以实现隐蔽观 察的一种不可缺少的重要装备。 现代战争中， 拥有先进的夜视设备就更易于掌握夜间 作战的主动权。目前， 适用于夜间作战的成像系统主要有红外热成像系统、 微光成像 系统以及各种成像雷达。 近年来， 随着夜视技术的不断发展， 特别是夜视技术由直视夜视设备向电视夜视 设备迅速发展，使得夜视技术除了在国防军事领域得到广泛应用外，也渗透到公安、 消防、科学、交通、工业等部门和领域，越来越引起人们的重视. 然而， 夜视观察系统也存在它自 身的缺陷， 在某些情况下得到的观察图像是不能 令人 满意的. 具体的 表现为: ( 1) 画 面上 迭加 有较 大的 噪声; (2 ) 图 像 对比 度较低， 与 周围环境不容易区别。 针对这些问题， 人们研究了夜视图像实时处理技术。 通过图像处理可以显著地改 善夜视图像的质量，有效地识别目 标。 1 . 1 夜视成像系统发展现状 1 . 1 . 1 红外热成像系统11.2 1 热成像技术的发展始于上世纪50年代， 起初只能研制出基于单元器件的热像仪， 场频较低， 只限于小范围 应用。 二战以后， 红外信息与处理技术蓬勃兴起。 由于红外 技术的 特殊优点和地位， 它日 益引起了国家、 科研机构、 各大公司及科研工作者的重 视。 直到20世纪70年代中长波材料与光导型多元线列器件工艺成熟之后， 热像仪才 开始大量生产并装备军队。 最近正在大力发展不用光机扫描而用红外焦平面阵列器件 成像的 热像仪。 由于去掉了光机扫描， 这种用大规模焦平面成像的传感器被称为凝视 传感器。 它的体积小、 重量轻、 可靠性高。 第三代红外热像技术采用的红外焦平面探 测器单元数己 达到3 20 x 2 40元或更高， 其性能 提高了 近3 个数量级。 概括起来， 红外技术有四大有优点: 一、 环境适应性优于可见光， 尤其是在夜间 和恶劣气候下的工作能力; 二、 隐蔽性好， 很多情况下都是被动接收目 标的信号，比 雷达和激光探测安全、 保密性强且不易 被干扰; 三、 由于依靠目 标和背景之间的 温差 和发射率差形成的红外辐射特性进行探测， 因而识别伪装目 标的能力优于可见光; 四、 与雷达系统相比，红外系统的体积小、重量轻、 功耗低， 特别适用于精确制导武器。 红外技术的发展以 红外探测器的发展为标志， 可以从红外探测器的发展来推断其 发展趋势. l 南京理工大学硕士学位论文 自 适应夜视图像处理技术研究 (l ) 红 外 焦 平 面器 件 发 展到 高 密 度、 快响 应、 元数 达 到 1 护 一 1 o 8 元以 上的 大 规 模 集成器件， 由二维向三维多层次结构发展， 在应用上就可以实现高清晰度热像仪， 极 大的缩小整机体积，增强功能。 (2)双色、多色红外器件的发展使整机可同时实 现不同波长的多光谱成像探测， 成倍扩大系统信息量，成为目 标识别和光电对抗的有效手段。 (3 ) 探测器在焦平面上实现神经网 络功能，按程序进行逻辑处理， 使红外整机实 现智能化。 (4)提高 探测器工作温度， 高 性能 室 温红 外探测 器和焦平面器 件是发展重点 之 一， 不需要制冷器，将会使整机更精巧、更可靠，从而实现全固体化. (5) 提 高 成 品 率 ， 降 低 价 格 。 1 . 1 . 2 微光成像系统 ” 微光夜视技术始于20 世纪60 年代， 它靠夜里自然光照明景物， 以被动方式工作， 自 身隐蔽性好， 在军事、安全、 交通等领域得到广泛的应用. 近年来， 微光夜视技术 得到了迅速发展。 2 0 世纪60年代初， 在多碱光阴极、 光学纤维面板的发明和同心球电子光学系统 设计理论完善的基础上，研制了第一代微光管。其一级单管可实现约 50 倍亮度的增 益， 通 过三 级 级 联， 增益 可 达5 x l 了 一 1 护 倍。 第 一 代 微光 夜 视 技术 属于 被 动 观 察 方 式， 其特点是隐蔽性好、体积小、重量小、成品率高，便于大批生产;成像质量明显 提高。其缺点是怕强光，有晕光现象. 第二 代微光 夜视器件的主 要特色是 微通道板电 子倍增器 (mc p)的发明 并 将它引 入了 单级微光管中. 装有一 个m c p 的 一 级 微光管可 达到1 护 一1 0 5 亮度增益， 从而 替 代了原有的体积大、笨重的三级级联第一代微光管;同时，mc p微通道板内壁实际 上是具有固定板电阻的连续打拿级， 因此， 在恒定工作电压下， 有强电流输入时， 有 恒定输出电流的自 饱和效应， 此效应正好克服了微光管的晕光现象; 加之它的体积更 小，重量更轻.所以，第二代微光夜视仪是目 前国内微光夜视装备的主体. 在第二代微光器件的基础上， 人们改进了微通道板的材料， 发展了第三代、 第四 代微光管，对夜天光光谱利用率显著提高， 在漆黑夜晚的目 标视距也得到了延伸. 1 . 1 ， 3 图 像融合系统 1 . 1 . 3 . 1 图像融合发展 由 于实际环境条件的制约， 单独有热像仪或是像增强器构成的夜视系统获取的图 2 南京理工大学硕士学位论文 自 适应夜视图 像处理技术研究 像信息或质量均会受到一些限制. 当 前， 将双波段或多波段图像有机合成的图像融合 技术受到普遍关注。一般，图像融合可以 增加图像的信息量。因此，在夜视成像中， 经常将红外图像与微光图 像进行融合。 融合后的图像更逼真、 更清晰; 在近红外、 中 红外和远红外波段可以扩展成像红外波段同时成像，更利于识别伪装。 “ 数据融合” 的概念最早由美国学者提出， 并于20世纪80年代建立了相关技术， 由于军事上的迫切要求， 它得到了很快的发展， 并引 起世界各国的普遍关注。 在1 9 73 年，美国国防部就进行了 信息融合技术的研究。 随着遥感技术的发展，特别是20世 纪9 0 年代中后期， 图像融合技术的研究也不断呈上升趋势， 应用的领域也越来越广. 图像融合是将两个或者两个以上的传感器在同 一时间( 或不同时间 ) 获取的关于 某个场景的图像或者图像序列信息加以综合， 生成一个新的有关此场景的解释， 而这 个解释是从单一传感器获取的信息中无法得到的。 它包括多传感器不同时获取的图像 的融合、 多传感器同时获取的图像的融合、 单一传感器不同时间或者不同环境条件下 获取的图像的融合。 图像融合技术广泛应用于图像处理、 遥感、 计算机视觉以及军事等领域， 其作用 包括: 图 像增强。 通过综合来自 多 传感器( 或者单 一传感器在不同 时间 ) 的图 像， 获 得比原始图像清晰度更高的新图像; 特征提取: 去噪; 目 标识别与跟踪; 三 维重构。 1 . 1 . 3 . 2 图 像融合的 方法“7 ， 数字图像融合按照融合在处理流程中的阶段可分为像素级、 特征级和决策级三个 层次1 2 峨 ， “ 1 . 像素级融合的过程一般可分为四 个步骤:预处理、 变换、 综合和反变换( 重构图 像) 。 预处理阶段包括了 对被融合原始图 像的滤波和配准处理。 配准就是将被融合的 原 始图 像进行必要的 变换( 主要是 几何变换 ) ， 从而使被融合图 像的每一 个像素都 对 准。 变 换 阶 段 采 用的 主 要 方 法 有: 主 成分 分 析 ( princ i间c o m po n e n t a 刀 a l y sis 即p c a)、 ihs( i n t e ns ity一 hu e 一 涨 由 江 掀 io n ) 变换、 多 分 辨方 法。 综 合 阶 段 将 被融 合图 像的 变换 结 果 进 行综合处理， 从而获得最终的融合图像。 综合方法可分为: 选择法， 即根据某种规则， 分别选择不同被融合图像的变换系数， 组成一组新的变换系数: 加权法， 即用某种加 权平均算法将不同被融合图 像的变换系数综合为一组新的 变换系数; 优化法， 即 根据 应用不同， 构造某个评价融合效果的性能指标， 综合结果使该性能指标达到最优。 反 变换阶段是根据综合阶段得到的一组变换系数进行反变换操作，得到融合图像。 特征级图 像融合属于中间层次， 可分为两大类， 即目 标状态数据融合和目 标特性 融合。 目 标状态数据融合主要用于多 传感器目 标跟踪领域， 其实现过程是首先通过融 南京理工大学硕士学位论文自 适应夜视图像处理技术研究 合系统对传感器数据进行预处理以完成数据校准， 然后在实现主要参数相关的状态矢 量估计。 特征级目 标特性融合就是特征层联合识别， 也就是采用模式识别等相关技术， 在融合前对特征进行相关处理，从而把特征矢量分类成有意义的组合。 目 前 特征级数据融合的主要方法有: 聚类分析方法、 d e ln p st er . s ha fl 叮 推理方法、 贝叶斯估计方法、信息嫡方法、加权平均法、表决方法以及神经网络方法等。 决策级图像融合是一种更高层次的 信息融合， 其结果将为各种控制或决策提供依 据。常用的融合方法有贝叶斯估计法、神经网络法、模糊聚类法，以及专家系统等。 由于输入为各种特征信息，而结果为决策描述，因此决策级图像融合的数据量最小， 抗干扰能力强。决策级图像融合的主要优点为: 通信及传输要求低:容错性高: 数据 要求低;分析能力强。 目 前， 大多数图像融合算法只是针对静止图 像对于序列图像， 其图像间存在着强 相关性，对序列图像的融合要充分利用这一点，此外还要考虑序列图像融合所需要的 实 时 性。 序列图 像融合要求: ( 1) 时间 序列 上稳定。 融合的 序列图像在时间 上是稳定 的，也就是说，融合序列图像的灰度变化仅仅是由输入序列图像的灰度变化引起的， 决 不能 是融 合算法引 起的; ( 2) 时间序列上 一致。 输入序列图 像的灰度变化必 须没有 延迟或对比 度变化的出 现在融合序列图像中. 经验表明， 对单帧图像效果好的图像融 合算法未必在连续条件下也合适。 所以， 一个图像融合算法应该在不同环境条件下具 有灵活性和适应性， 用户为了最优化融合效果， 应该可以改变融合参数， 保证待融合 图像可以有更广泛的结合方式。 本论文的背景及意义 在西方军事大力发展的今天， 夜视成像技术的水平在某种程度上决定着战争的成 经过几十年的发展， 美国和欧洲己 经拥有了 很成熟的技术， 我国的起步较晚， 技 q山。 l败 术水平稍显落后。目 前， 探测器主要是经过商业渠道进口的产品， 国那还很难生产使 用的探测器。 在这种情况下， 与xx 单位签订了 研制小型化非制冷红外热成像系统的 技术合同， 合作的主要内容包括: 1)自 行设计信号处理电路， 实现红外焦平面阵列的 实时信号处理， 解决红外图 像的 非均匀性、 盲元和对比 度差的问 题; 2)在进口 微测 辐 射热计红外焦平面阵列器件的基础上， 研制出小型化非制冷热成像系统。 3)研制军品 级原理样机一台。 同时与另一单位合作开发设计低功耗、 高集成、 红外与微光实时图 像融合处理系统， 实现对微光电 视和非制冷红外热像仪的图 像融合。 该系统要求能够 采集红外和微光的灰度图像， 可以支撑起一些简单的图像融合的算法。 这两个项目 就 是本文的研究背景。 本论文的主要任务是在现有的 成像系统的 基础之上， 对采集到的图 像进行分析， 南京理工大学硕士学位论文 自 适应夜视图像处理技术 研究 在现有的图像质量评价方法之上， 设计单幅图像质量评价软件和融合图像质量评价软 件; 设计一种适合夜视图像的自 适应增强算法， 应用于动态图像中的运动小目 标检测， 增强目 标的效果. 1 . 3 本论文的主要工作 针对本设计的主要研究目 的， 在查阅了 大量中外科技文献的基础上， 围绕着夜视 图像增强处理进行了以下几方面的工作: ( 1 ) 研究了 夜视成像系统 ( 包括红外热成像系统、 微光成 像系 统、图像融合系统 ) 的工作原理，以及研究现状和发展情况。 (2 ) 对单幅图像质量评价方法和融合图 像质量评价方法分别进行研究， 用v c 设计 了对图像进行成像效果评价的程序系统。 (3 ) 对各种夜视图 像( 红外图像、 微光图 像、融合图 像) 自 身的 特点 进行分析。 (4)对影响图像质量的因素进行了分析; 介绍了 一些常用的图像增强处理的方法; 并在这些方法的基础之上， 提出了几种改进的图像增强的方法， 并对这些方法做了简 单的分析。 (5 ) 针对序列图 像， 提出了 一种自 适应的处理方法. (6 ) 研究了 微光成像视距公式，提出了 一种新的增加探测视距的方法一一 对图 像 进行帧累加处理。并通过理论推导和现场实验证明了这种方法的可行性。 南京理工大学硕士学位论文 自适应夜视图像处理技术研究 2 图像质量评价 图像质量 评价在图 像处理中非常重要， 主要体现 在: 在图 像质量控制系 统中 监控 图像质量: 在图像处理系统中作为评价系统优劣的依据; 植入图像处理系统中以优化 算法和设置参数。 因为人的视觉系统才是图像系统的最后终端， 所以人的视觉做出的 质量评价应是最佳评价。但是人类视觉系统( h vs) 本身就是一个结构复杂、性能十分 优越的图像系统， 人们对此研究的时间并不长， 虽然取得了不少有意义的成果， 但在 实际应用中还有许多问题。 2 . 1 红外图像质量评价 随着红外热成像等光电 成像技术的 迅速发展， 军用红外装备的发展日 新月异， 数 字图像的质量评价问题受到了广泛的关注。 图像质量直接取决于红外成像装备的光学 性能、图像对比度、仪器噪声等多种因素的影响，通过质量评价可以对影像的获取、 处理等各环节提供监控手段，对红外成像装备的性能的定性评价具有指导意义。 自然界中温度高于绝对零度的物体都向外辐射红外线，红外系统利用探测器将红 外辐射转换成电量， 经信号处理后在显示介质上呈现出相应的可见图像。 根据红外图 像的形成过程可知， 红外图像由目标红外辐射、 背景红外辐射以及噪声共同作用组成， 因此一幅红 外图 像可分为目 标图像、 背景图 像和噪声图 像三 部分。 目 标图像和背景图 像是红外图 像的 主体， 它们的划分是相互的， 差 别只在于观察者的兴趣点不同. 对 红 外图像质量评价的核心是评价图像主体所能提供信息量是否丰富、 细节是否明显。 噪 声图 像是叠加 在红外图 像主体上的千扰， 对图 像细节 信息的 展现起到阻碍 作用， 噪声 越大红外图像质量越差。 图像质量的评价分为主观评价和客观评价。 2 . 1 . 1 图 像的 主 观 评 价 方 法” 主观评价基于h vs， 主要采用平均评价分数m o s ( m e an 0pi nion s c ore)方法， 但 此法 在实际应用中不仅速 度慢， 费用高， 而 且存在许多局限， 诸如观察者的选取， 实 验条件的确定等。 主 观评价方法就是让观 测者 根据事先 规定的 评价尺 度或凭借自 己的 经验， 对测试 图像按 视觉效果进行质量判断， 并给出 质量分数， 然后 对所有观测者 给出的 分数进行 加权平 均， 所得的 结果即为图 像的主 观质量 评价. 这种打分的随意 性很大， 同 一个人 在不同 情况下对同 一幅图像可能会打出不同的 分。 主观评价主要有两种度量尺度， 即 南京理工大学硕士学位论文 自适应夜视图像处理技术研究 绝对尺度和相对尺度， 如表 2 . 1 所示。 这种测量方法虽然较好地反映出了图像的直观 质量， 但无法应用数学模型对其进行描述， 不易于定量准确测量， 带有明显的主观性， 并且实现过程繁琐，过于费时费力。 在实际应用中，图像的主观质量评价方法受到了 严重限制，甚至根本不适用于某些应用场合，如实时图像传输等领域。 表2 . 1主观质量测量评分 级别 绝对测量尺度 相对测量尺度 1 很好 一群中最好的 2 较好 好于该群中平均水平的 3 一般该群中平均水平 4 较差 差于该群中平均水平的 5 很差该群中最差的 2 . 1 . 2 图像的客观评价方法 客观评价方法采用数学模型计算失真图像和原始图像的相似度( 或失真度) ， 得到 评价结果，因而具有简单，便于内置于图像处理系统中的优点。 (1 ) 峰值 信噪比( psn r)和均方误差( m s e)评价 . 【01 ps nr 和 m s e 是多 年来应用最广泛的客 观评价标准， 原因 在于 其计 算复杂度低， 物理意义清晰。 戈 氢 人 ， 一 大 ， ) 五 菇 班= 止 巴 左 巴 一 几 了.n psss = 1 。 1o 9 1声 煞 勇 互 月 座白乃 ( 2 . 1 ) (2.2 ) 式中 厂 。 和大 ， 分 别 为 原 始 无 噪 图 像 和 恢复 图 像 ， m， n 为 图 像 的 高 与 宽 。 当 原始图像不存在或无法得到时， 此方 法就无法作图 像评价。 因此人 们在此基 础 上研究了无参考图像的信噪比评价方法。 无参考图像的信噪比 评估方法的原 理是先估计图像噪声方差的大小， 计算峰 值信 噪比 (p s n r ) ， 然后根据噪 声方差和 p s n r的大小估计出 信噪比 提高的情况:处理后 图像的p s n r减去原图像的p s n r就是 估计的信噪比 提高数. 传统的噪声方差的估计 是 取 图 像中 平 坦 区 域 进 行 计 算 ， 设 数 字 图 像 混 噪 信 号 为i(x. y) 习 r(x i y) 十 n (x，y) 。 其 中 ， f(x， y) 为 理 想 信号 ; n (x，y) 为 噪 声 信 号 : x. y 为 数 字 图 像 的 坐 标 值 ; n (x，y) 可 以 认 为 是 近 似 服 从刀 田 ， 口 2 ) 的 高 斯 分 布 的白 噪 声 ， 对 于 加 性 噪 声， 理 想 信 号 f(x. y) 与 噪 声n (x，y) 统计独立。 南京理工大学硕士学位论文自适应夜视图像处理技术研究 3 图 像特点分析 在进行图像处理的过程中， 需要针对各种图像 自 身的特点， 有选择性的采用不同 的方法。因此就有必要对图像的特点进行分析。 3 . 1 红 外图 像特点 3 . 1 . 1 概述 红外图像是利用红外热像仪接受来自目 标和景物的红外辐射， 经过光电转换， 将不 可见的 辐射 转变成可见的图像， 图 像的各像素点的 明暗( 亮度) 变化对应着目 标和景物 的辐 射能量强弱的变化。 目 前 红外图 像在军事上的 应用越来越多， 例如 在精确制导方 面， 更多的防空导 弹采用了红 外成 像制导， 使其具备了 其它制导 方式 无法替代的优势。 当外界环境照度比较低时，可见光 c c d摄像机几乎获取不到清晰的图像。即使 有灯光照明，由于照明强度和范围有限， 效果也很不理想。红外热像仪作为一种优良 的夜视传感器正逐渐受到关注。 在低照度环境中， 红外图像的视觉效果明显优于可见 光图像 。 3 . 1 . 2 红外成像的原 理 川 红 外成像是摄取景物发射的红外辐 射并将其转换成电 子图像。自 然界中的 一切物 体， 只 要它的温度高于绝对零度， 总是 在不断 地发射辐射。 只要能收 集并探测这些辐 射能， 就可以 通过重新排列来自 探测器的 信号 形成与景物辐射分布相 对应的 热图 像。 这种热图像再现了景物各部分辐射起伏，因而能显示出景物的特征. 红 外热像仪是一种二 维热图 像成像 装置， 该系统利用目 标与 环境 之间由 于温度辐 射与发射率的差异所产生的热对比 度不同， 把红外辐射能量密度分布探测并显示出 来。 红 外热像仪具有将红外图 像变为可见图 像功 能。 在红外热像仪中， 红外图 像转换 成可见图像分两步进行: 第一步是 通过光学系统，由 红外探测器把红外热辐射变为电 信号， 该 信号的大小反映出 红外辐射的强弱; 第二步是通过电视显像系 统， 经过电 子 学处理， 将反映目 标红外辐射分布的电 子视频信号 在监 视器上 显示出 来， 实 现从电 到 光的转换， 得到反映目 标热像的可见图 像。 在热 像仪中 具体实现由 红 外光 变成电 信号， 又由电 信号 变为可见光的 转换功能 是由 热 像仪 各个部件完成的。 当代 使用的 热像仪大 都 采用光 机扫描。 这种热像仪主要由 光学系统、 扫描器、 红 外探测器、 信号 处理电 路 和显示记录装置等几部分组成。 南京理工大学硕士学位论文自适应夜视图像处理技术研究 3 . 4 本章总 结 本章主要是对夜视图像中的红外图像、 微光图像以及红外微光融合图像的特点进 行了 详细的 分析。 指出了 红外图 像、 微光图 像各自 的优 缺点， 对实际采 集的 红外图像 和微光图像采用第二章中设计的图像质量评价程序进行了评价，以验证图像特点。由 于红外图像和微光图像自身都有比较大的缺陷， 两者可以进行互补， 因此有进行图像 融合的必 要性。 同 样采用融合图 像质量 评价程序 对红外微光融 合的图 像进行评 价， 说 明了融合图像的特点。 红外图像、 微光图像在成像过程中都会受到外界影响， 图像成像效果往往不尽如 人意，尤其在进行图像融合之前，都需要对源图像进行处理， 因此在第四章中介绍一 些图像处理方法，并提出一种适合远距离运动小目标检测的自适应图像处理方法。 南京理工大学硕士学位论文自适应夜视图像处理技术研究 4 自适应图像处理 在图像采集、 传输过程中，由于输入转换器件、周围环境、电压波动等多种因素 的影响， 图像不可避免地含有各种各样地随机千扰信号， 这些信号就是我们所讲地噪 声， 它们或与图像的内容有关，或无关。 但有一点是共同的，那就是噪声会导致图像 的失真， 使图像模糊， 甚至淹没图像的重要特征， 给后续的图像分析和处理带来很坏 的影响 。 4 . 1 图 像噪声 分析1 川 噪声可以理解为 “ 妨碍人们感觉器官对所接收的信源信息理解的因素” 。它在理 论 上可定义为 “ 不可预测， 只能用概率统计方法来认识的随 机误差” 。 因此， 将图像 噪声看成是多维随机过程是合适的， 描述噪声的方法完全可以借用随机过程及概率分 布函 数和概率密度函数。 但是在很多情况下， 这种描述方 法很复杂， 甚至不可能， 而 且在实际应用中也不必要， 通常是用其数字特征， 取均值方差、 相关函数等进行处理。 图像噪声按其产生的原因可以分为外部噪声和内部噪声。 外部噪声是指系统外部 干扰从电磁波或经电源传进系统内部引起的噪声， 如电气设备， 天体放电现象等引起 的噪声。主要的外部干扰如下: ( 1) 由 光和电 的基本性质所引起的噪声。 (2 ) 电 器的机械运动产生的 噪声。 如，各 种接头因抖动引 起电 流变化所产 生的噪 声等. (3 ) 元 器件材料本身引 起的 噪声. (4)系统内部设备所引起的 噪声。 如，电 源系统引入的交流噪声， 偏转系 统和 箱 位电路所引起的噪声。 图像噪声从统计特性可分为平稳噪声和非平稳噪声两种。 统计特性不随时间变化 的噪声称为平稳噪声，统计特性随时间变化的噪声称为非平稳噪声。 另外， 按噪声和信号之间的关 系可分为 加性噪声和乘性噪声.假定信号为5 (t)， 噪 声 为n (t) ， 如 果 混 合 叠 加 波形 是5 (t) + n (t) ， 则称 其 为 加 性 噪 声; 如 果 叠 加 波 形为 5 (t) i十 ， (t) 形式， 则 称其为 乘性噪声。为了分 析处理方便， 往往将乘性噪声近 似认为 加 性噪声， 而且总假定信号和噪声 互相独立的。 图 像中 的噪声存在以 下三个 特点: ( 1) 噪声在图像中 的分布和大小不规则。由于图像中的噪声多是随机出现的， 所 以其 分布和大小也是随机的。 (2 ) 噪声与图像之间具有相关性. 可以 认为，使 用光导摄像管的摄像机， 其信号 29 南京理工大学硕士学位论文自适应夜视图像处理技术研究 幅度和噪声幅度无关。 面摄像机的信号和噪声相关。 是肯定存在的，它与图像相位相关。 (3 ) 噪声具有叠加性。 在串联图 像传输系 统中， 来，造成信噪比下降。 在数字图像处理技术中量化噪声 各个串联部件引起的噪声叠加起 4 . 2 常用的图 像处 理方法 改善降质图像的方法有两类: 一类是不考虑图像降质的原因， 只将图像中感兴趣 的部分加以处理或突出有用的图像特征，故改善后的图像并不一定要去逼近原图像. 这一类图像改善方法称为图像增强， 主要 目的是要提高图像的可懂度。另一类方法是 针对图像降质的具体原因， 设法补偿降质原因， 使改善后的图像尽可能的逼近原始图 像。这类方法称为图像恢复或图像复原技术。 图像增强处 理的 方法基本上可分为空间域 法和频率域法两大类. 前者是在原图像 上直接进行数据运算， 对像素的灰度值进行处理。 它又分为两类， 一类是对图像作逐 点 运算， 称为点运 算; 另 一类是 在与处理像素点 邻域有关的空间上 进行运算， 称为局 部 运算。 频 域法是 在图 像的 变换域上进行处理， 增强 感兴趣的 频率分量， 然后进行反 变换，得到了增强了的图像。 4 . 2 . 1 灰度变换法 灰度变换法是将图像灰度级整个范围或者其中某一段范围扩展或压缩到记录器 件输入灰度级动态范围 之内， 以便 充分利用记录期间 灰度动态范围显示输出图 像的细 节。 灰度变换法算 法简单， 易于实 现， 根据原始图 像灰度级范围 和记录器件 灰度级动 态范围之间的不同关系，可以采用不同的灰度变换公式进行图像增强。 假设整个图像灰度 值较低， 灰度级范围为 (a，b)， 为将其灰度范围 扩展为 禹， 习 ， 就可以采用下面的灰度变换公式: z i 2 = t ( 2 ) = 吸 2 ， ( 凡一 z i x z 一 刃+ 乙 厂 一 一 百一 a 2 b ( 4 . 1 ) a 弓 2 b 从公式可以看出灰度变换法的实质是 将较小的灰度空间按线性关系扩展到范围 较大的 灰度空间。 经过灰 度变换后， 灰 度值较低的区域得到很好的增强， 但灰 度高 端 南京理工大学硕士学位论文自适应夜视图像处理技术研究 由 于 对比度下降 层次感会降 低。 红 外探测器离目 标较远时， 获得的图像普遍灰度 值较 低，采用灰度变换法会得到较好的效果。但随着红外探测器越来越接近目标， 图像灰 度动态范围 扩大， 目 标灰度值越来越高， 采用灰 度变换法由 于背景灰度得到很大提升， 反而会降低目标和背景的对比度. 4 . 2 . 2 直方图均衡化法 一 般的图像在 低值灰 度区间 上像素点出 现的 概率 较大， 这种图像较暗区域中的细 节常常看不清楚。 我们可以通过直方图均衡化的方法让频率较小的灰度级经变换后频 率变得大一些， 使变换后的图像灰度直方图在较大的动态范围内趋于均衡. 直方图均 衡化的算法步骤如下: a .求出图像中某一灰度级像素 点出现的概率 抓 a ， 卜生(k 二 0，1 l 一 d( 4 . 2 ) 式中l为图 像灰度级数， p (ad 为第k 个灰度级出 现的 概率， nk是图 像中第k 个灰度级 的像素数，n 为图像总像素数。 b .求出某一灰度级的累计概率 分布作为灰度变换系数 飞-n .艺j-0 凡= t( 气 ) 一 艺 p( a ， ) - (43 ) c . 根据灰 度变换系 数求出 各像素点图像增强 后的 灰度值( 取l = 2 ， 习 兀= 2 5 5 x 凡(4 4) 我们设输入灰度级是场 ， 直方图均衡 化后的 灰度级为界 ， 则tt= 5 1 火 夕 乃， 当 输入 灰 度为ai ， ， 时，设输出灰 度为ti 月 ，则: 不 + 、 = 况 + ， x 2 5 5 = p ( a 。 ) + p ( a : ) + + p ( a ， ) + 尸 (a，+ 。 )1 x 2 5 5 = p ( a 。 ) + p ( a . ) + + p ( a 口 ) x 2 5 5 + p ( a ， + : ) x 2 5 5 = 不 + p ( a + 。 x 2 5 5 ) (4 . 5) 如果一个面目 标的 灰度级为at 月 ， 背景的 灰度为场 ， 设面目 标像素 点出 现的 概率 p (ai + 1) 为 j %， 则相邻灰度级图像经 过直方图均衡化后，灰 度级增加 p (a t+ i) xz”月 万欠 乃j = 12 夕 万 勺1 乳 即原 始图 像中目 标与背景之间 只相差一级灰度， 在经过直方图 均衡 化后相差 13级灰度，因 此目 标 得到了 很好的 增强. 从直方图 均衡化的 过程中， 我们可以 看出 ， 某灰度级图像增 强的 程度是 和该灰度 级的累 计概率分布成正比的。 对一 般图像而言， 背景和目 标占 有 较多 像素， 通过直方 图均 衡化法加大了 背景和目 标的对比 度。 但是对于图 像中目 标为斑点时， 占 有的 像素 点少， 灰度增加幅 度小， 而背景占 有很多像素， 灰度得到很 大增强， 因 此直接采用直 南京理工大学硕士学位论文自适 应 夜 视 图 像处 理 技 术 研 究 方图均衡化反而会降低 目 标和背景的对比度。 4 . 2 . 3 微分算子法 为了突出图像的精细结构， 或者增强图像中已经被模糊化的细节， 我们可以采用 各种微分算子对图 像进行卷积运算以 达到锐化增强的目 的。常用的微分算子主 要有 robe rts 算 子、 p re 初tt 算子、 sobe l 算子以 及拉普 拉斯算 子， 我们以sobe l 算子为 例进 行分析。 5 o bel 算子包括一对空间模板，分别为: 000 2 0 阳.卜 卜 图4 . 1 5 0 吮1 算 子 锐化处理后的 输出图像了 切像素 点的灰度 值为: 夕 ( 1， j ) = 艺艺气 ( n ， m ) x ( 1 一 n， j 一 m ) + 艺艺气 ( n ， m )x ( 一 n ，j 一 m )(4 6 ) 日司加 -0 式中， x (i j) 为原始图像中r 切像素点的 灰度值。 从 5 。 比1 算子的模板可以 看出 ，在图 像灰度变化大的区域( 如目 标和背景的分界 处 ) ， 经过50比1 算子卷积运算后图 像会进一步 增强。 但是在灰度变化小的区 域， 进行 卷 积运算时由 于隔 行和隔列像素点的灰 度互相抵消， 图 像将 变暗。 因 此， 微分算子法 具有很强的图像边缘检测能力，对面目 标则不适用。 4 . 3 改进的图像处理方法 4 . 3 . 1 时 域 递 归 滤 波 处 理川 时 域递归滤波用于降低动态图像的随 机噪声， 改善图 像质量， 提高 信噪比 具有很 好的效果。 时 域递归滤波的数学表达式为: 1 ; = 人 + k ( 10 一 1 .)( 4 .7) 其 中 ， 10 : 前 一 帧 图 像: 石 : 当 前 帧图 像; ，l : 滤 波 过 后 的 当 前 帧: k : 滤 波 系 数 ， k 已(0， 1)。 从 式(4 . 7)中可以 看出， 这种滤波器在时间上是 递归的。 在具体实 现时， 就是把 南京理工大学硕士学位论文自适应夜视图像处理技术研究 5 帧累加处理对探测视距的影响 微光成像系统发展于上世纪六十年代。 其主要优点是不用人工照明， 而是靠夜天 自 然光照明， 以 被动方式工作， 自 身隐蔽 性好。 从目 前发 展看， 工艺成熟， 造价较 低， 构造简单，体积小，重量轻，耗电省且像质也较好。 在夜视技术发展的过程中， 许多学者都对微光夜视系统的探测进行了深入的理论 和实验分析， 并根据人眼视觉特性建立了不同形式的闽值探测理论模型和视距探测方 程，讨论了影响视距大小的各种因素，寻找增大视距的办法。 视距是系统各 个参数的 直接反映， 也是总体设 计考虑的依据和检验成品性能的 参 考。 一般说来， 视距只有通过实际测量才能算数， 通过计算解决是很难做到极其精确 的。 这是因为微光 成像系 统作用距离受 诸多因 素的影响， 如天候 ( 天空辐射度， 大气 能 见度) 、 环境( 背景的均匀性、 光 谱反 射性) 、目 标( 大小、 形状、 光谱反 射特性等) 、 成像系统 ( 物镜的t数、 传函、杂光系数以及光电器件的性能、显示特性) 等， 而实 际情况是 千变万化的， 大 气的透射系数， 随时间、 地理、 气象条件等的不同， 每时每 刻都在变化，目 标和背景的情况也是无法固定的. 本章在 修正了的 视距方程的 基础之上， 从理论上 研究了在不同照度下， 增加积分 时间对增大视距的作用，并且用现场实验来验证了这一思想。 5 . 1 视距探测方程 5 . 1 . 1 理想视 距探测 方程 帐们 人眼的微光视觉与日间视觉有着很大的差异，通常，人眼在白天是一个高灵敏、 细分辨、快响应的多功能器件。在微光 ( 低于 0 . l lx)条件下，人眼的性能与白天相 差很 大， 看 不远、 分 不清， 响应慢、 分辨能力仅为白 天的七十分之一。 从人眼的视觉 特性来 看， 只要夜视仪器输出图像的亮度、 视角、 对比 度能够达到人眼视觉的相 应要 求，就可实 现对不同距离目 标的观察。 从这点出 发， 人们 将人眼 作为在 微光条 件下受光量子 起伏噪声限制的一种量子 探 测器来描述，推导出了理想成像系统的探测方程。 所谓理 想成像系统是指其性能仅受输入端光敏面光电 转换中光量子随 机起伏限 制的系统。常见的理想成像系统的探测方程有以下几种: ( 1) 罗 斯 方 程 : b c ， a ， = 5 . z x l o 刁k z dz . t 0 ( 5 . 1 ) 南京理工大学硕士学位论文 自适应夜视图像处理技术研究 式中， b为目标亮度;c为对比度定义 c =乙丑 旧;a为分辨角:d为成像物镜有效 孔 径: 0 为光敏面量子效率; t 为 光敏面积累时间: k为闽值信噪比。 (2 ) 戴维斯方程: b 二a z 此 = 7 s x l o ，0 ( 5 / n ) 蕊 dz . ， . 9. p ( 5 2 ) 其 中 ， 氏为目 标 和 背 景 的 平均 亮 度: a 为 分 辨 角; 几为 对 比 度; d 为 物 镜 有 效 孔 径: p 为 每 秒每 流明 光 子 数: (s/n 孺 为 闽 值 信噪 比 (3 ) 科尔特曼方 程:b o 2 二 兰 = 2一c 4 k2 p. 0 . t . d z . r ( 5 . 3 ) b为目 标亮度;“为分辨角;c为对比度:d为物镜有效孔径;k为阐值信噪比:0 为光敏面量子效率;p为每秒每流明的白