（光学工程专业论文）红外热像整机关键技术研究.pdf

硕士论文红外热像整机关键技术研究 摘要 随着科学技术的迅速发展，红外热像仪在军事和民用领域中得到了越来越广泛的 应用。但是目前由于受到红外器件的限制，红外热像仪的成像效果还不够理想，影响 了红外热像仪在实际应用中的应用效果。而在红外热像仪的处理部分为红外热像仪的 关键部分之一，该部分是在很大程度上决定了输出图像的质量。 本文以非致冷红外焦平面探测器的输出的特性为理论基础，探讨并尝试适用于红 外图像实时处理的算法，并设计和完成了一套小型化的红外图像实时处理系统。该系 统以f p g a 为核心处理部件，确定了系统总体设计方案和具体电路结构。通过v e r i l o g 逻辑设计，完成驱动信号的产生、多种适用于红外图像实时处理的算法( 基于灰度冗 余的直方图均衡、二维时间延迟积分、非均匀性校正及盲元补偿) 以及友好的人机接 口。完成了红外热像仪中一部分关键功能。最后，总结了系统的设计和调试经验，对 调试时遇到的一些问题进行了分析，并将在设计与调试中的经验与大家分享。 关键字：非致冷红外焦平面探测器，非均匀性校正，实时处理，f p g a ， v e r i l 。g 硕士论文红外热像整机关键技术研究 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fs c i e n c ea n dt e c h n o l o g y , t h ei n f r a r e dt h e r m a li m a g e r h a sb e e nm o r ea n dm o r eu s e d , a n dh a ss h o w nal a r g em a r k e tp o t e n t i a la n dab r i g h tf u t u r e b u tn o wt h ei m a g i n gq u a l i t yi sa l w a y sn o ts a t i s f y i n gb e c a u s eo ft h el i m i t a t i o no fi n f r a r e d d e t e c t o r , w h i c hr e s t r i c t st h ea p p l i c a t i o no ft h ei n f r a r e dt h e r m a li m a g e ri np r a c t i c e t h e i m a g ep r o c e s su n i ti so n eo ft h em o s ti m p o r t a n tp a r t si nt h ei n f r a r e dt h e r m a li m a g e r t h e q u a l i t yo ft h eo u t p u tv i d e od e p e n d so ni tg r e a t l y i nt h i sp a p e r , w ed i s c u s s e dt h eo u t p u tc h a r a c t e r so ft h eu n c o o l e di r f p a ( i n f r a r e df o c u sp a n e l a r r a y ) b a s e d0 1 1t h a t , w eh a v es t u d i e da n dt r i e dm a n ya l g o r i t h m sf o ri n f r a r e di m a g e ，am i n i t y p e i n f r a r e dt h e r m a li m a g e rw a sb u i l d t h ek e yc h i p so ft h i si m a g e ra r er a m sa n daf p g a t h e a l g o r i t h m sa p p l i e d i nt h i s i m a g e rs u c h a s h i s t o g r a me q u a l i z a t i o n ，2 d t d i ， n o n - u n i f o r m i t yc o r r e c t i o n , b l i n dp i x e lc o m p e n s m i o na n daf r i e n d l ym a n - m a c h i n ei n t e r f a c e a r er e a l i z e dw i t hv e r i l o g i na d d i t i o n ，t h ee x p e r i e n c e si ns y s t e md e s i g na n dd e b u ga r e s u m m a r i z e da n da n a l y z e d ，a n dih o p et h ee x p e r i e n c e si nt i m i n gd e s i g na r eh e l p f u l k e y w o r d s ：u f p a ，n o n - u n i f o r m i t yc o r r e c t i o n ，r e a l t i m ep r o c e s s i n g ，f p g a ， v e r i l o g r ， y z o o , 咖：3 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在 本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发 表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均 已在论文中作了明确的说明。 研究生签名：越垃 加。6 年6 月卯日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅 或上网公布本学位论文的全部或部分内容，可以向有关部门或机构送 交并授权其保存、借阅或上网公布本学位论文的全部或部分内容。对 于保密论文，按保密的有关规定和程序处理。 研究生签名：拯丝2 一印6 年5 月坳日 硕士论文红外热像整机关键技术研究 1 绪论 1 1 热像仪工作原理 红外热像仪是一种二维热图像成像装置，该系统利用目标与环境之间由于温度辐 射与发射率的差异所产生的热对比度不同，把红外辐射能量密度分布探测并显示出 来，成为“热像”，由于人眼对红外光不敏感，所以红外热像仪必须具有把红外光变 成可见光的功能，将红外图像变为可见图像。在红外热像仪中，红外熟辐射通过光学 系统，由红外探测器把红外热辐射投射到探测器上，变为电信号，该信号反映出红外 辐射的强弱，然后经过电子学处理，将反映目标红外辐射分布的电子视频信号在监视 器上显示出来，实现从电到光的转换，得到反映目标热像的可见图像。 红外探测器是热像仪的核心部件，它实现光电转换的功能，形成二维图像数据； 其后部是电子组件，完成探测器输出信号到图像信号的体制转换和进行改善像质的图 像处理。目前，红外热像仪是夜视的重要工具，其工作原理的最根本依据和系统应用 基础是红外热辐射原理，与光学望远镜、雷达等成像观察设备相比，它具有诸多优点。 它可以全天候的工作，不受限制；作用距离远，红外辐射比可见光具有更强的透过雾、 雨、雪及烟尘的能力：能识别伪装，探测隐蔽的军事目标和强光干扰下的目标；被动 式和非接触式工作，具有较好的隐蔽性；比雷达更适宜于高精度观察，不受电磁干扰； 生动的图像观察方式。从这些特点和实际需要来看，红外热像仪具有广泛的应用前景 和研究开发价值。u 1 2 热像仪发展现状 红外热成像系统分为制冷型和非制冷型。制冷红外热像系统又有一代、二代和三 代之分。第一代红外热成像系统主要由红外探测器( 含致冷器) 、光机扫描器、信号处 理电路和视频显示器组成。红外探测器通常使用的有铟锑( i n s b ) 和碲镉汞( c m t ) 器件， 目前发展的是高性能多元c m t 探测器，器件元数已高达6 0 元、1 2 0 元和1 8 0 元。多 元c m t 器件不但提高了探测度，而且可以增大视场，提高分辨率和信噪比，并可在3 5 m 和8 1 4 1 z m 两个大气窗口波段下工作。2 0 世纪8 0 年代初，又有一种称为s p r i t e 探测器新型红外探测器( 或称扫积型探测器) 问世，它是由n 条纵横比大于1 0 ：1 的窄 条光导c m t 元件所组成，在高偏压下工作。s p r i t e 探测器除了具有探测功能外，又 能在元件内部实现信号的时间延迟和积分，从而取消了普通线列器件所需的后接信号 处理电路，减少了元件引线和热负载，使红外系统简化紧凑，工艺难度下降，大大提 高了可靠性。目前美国的热成像通用组件采用多元( 6 0 元、1 2 0 元、1 8 0 元) c m t 探测 硕士论文 红外热像整机关键技术研究 器，并扫体制，图像清晰度可与采用图像增强技术的图像相比，最小可分辨温差达 0 1 k 。 第二代红外热成像系统与第一代通用组件相比响应速度更快、分辨率更高、视场 更大、尺寸更小、质量更轻、可靠性更好、能耗更少、自动化程度更高，且应用范围 更广。第二代热成像系统采用位于光学系统焦平面、具有栉埘元且带有信号处理的 面阵探测器，即红外焦平面探测器阵列( i r f p a ) 伽。它是借助集成电路的方法将探 测器装在同一块芯片上，并利用极少量引线把每个芯片上成千上万个探测器信号传输 到信号处理器中。这种焦平面阵列的优点是，既能在焦平面上封装高密度探测器，又 能在焦平面上进行信号处理。红外焦平面阵列是探测器制造技术和大规模集成电路结 合的产物，有两种工作方式：一种是扫描式，其阵列规模多在5 0 x 4 l o o o x 3 2 元之 间，前一数字表示分辨通道的数目，后一数字决定时间延迟和积分的次数；另一种是 凝视式，其阵列规模在3 2 3 2 5 1 2 5 1 2 元之间。阵列中元数越多，能获得视场景物 的分辨率就越高。目前红外焦平面凝视式阵列( 称为第三代红外热成像器件) 日趋成 熟，除3 2 x 3 2 和6 4 x 6 4 元凝视式中波红外阵列外，5 1 2 x 5 1 2 元高密度c e r 阵列已经 问世。 红外探测器是红外成像系统的核心部件，而红外探测器分为光子探测器和热探测 器两大类。虽然光子探测器如碲镉汞( h g c d t e ) 探测器( 工作在8 1 4 m 波段) 和锑化 铟( i n s b ) 探测器( 工作在3 5 m 波段) 的灵敏度、响应速度、探测距离等性能都比较 高，但必须用低温致冷器进行制冷，而且红外成像系统几乎都要使用机械扫描装置， 因而整个红外成像系统显得结构复杂、体积大、成本高。尤其是昂贵的价格不仅限制 了它在军事上的普遍应用，而且使商业( 民用) 用户望而却步。所以研究开发轻、小、 低成本的非致冷焦平面( u f p a ) 及其成像系统成为一种必然的发展趋势。近年来，军、 民用的低成本非致冷焦平面及其成像系统飞速发展，标志着这门高新技术的美好前 景。非致冷热成像技术采用热电探测器探测景物的热辐射，利用热电探测器对红外辐 射引起的温度变化敏感，而温度变化速度和探测器某些电参量成正比，通过光电和电 光转换成像。其主要优点是可以在一般环境温度下工作，不需要致冷；缺点是灵敏度 低和响应速度慢。非致冷焦平面的出现和应用标志红外技术的又一次革命，拓宽了红 外热成像技术发展领域。目前研制非制冷焦平面阵列( u f p a ) 的两大代表是以德支萨斯 仪器公司( t i 公司) 为首的热释电u f p a 和霍尼威尔公司为首的微测辐射热计u f p a 】。 1 3 存在问题与发展方向 由于目前红外器件发展的限制，红外夜视成像仪的成像效果还不够理想，主要表 现为红外图像中噪声较大，对比度较低，视觉效果不好，分辨图像细节能力比较差等 2 硕士论文 红外热像整机关键技术研究 缺点，影响了红外夜热像仪在实际应用中的应用效果。而解决以上所有问题的一个最 经济最有效的手段就是在熟像仪的电子处理部分加入实时图像处理功能。实时图像处 理技术能在现有的条件下不仅能提高红外图像质量、增大作用距离，更主要的是在较 短的时间内迅速改善和提高红外热像仪的各项性能指标。因此，在开展红外热像仪整 机系统研究的同时，也要极力进行红外图像实时处理技术的研究。其核心任务是研制 模块化红外图像实时处理系统，从而有效地提高红外热成像系统的动态范围、抑制图 像噪声、消除非均匀性、改善图像质量。 实时图像处理系统必须具有快速处理巨大数据量的能力，以一幅分辨率为3 2 0 x 2 4 0 的1 6 位灰度图像为例，其包含的数据量为1 5 3 6 k 个字节，这还仅仅是一帧图像， 因此要想保证系统处理的实时性，系统的快速处理能力和大数据量的吞吐能力是其先 决条件。其次，对系统的体积、功耗、稳定性等也有较严格的要求，因为最终相当部 分的热成像系统要应用于军事，较小的体积、较低的功耗和良好的稳定性是其基本要 求。 实时图像处理算法中经常用到对图像的求和、求差运算、二维梯度运算、图像分 割及区域特征提取等不同层次、不同种类的处理。因此，实时图像处理系统是运算速 度高、运算种类多的综合性信息处理系统 我国是从八十年代中期开始进行红外图像的实时处理技术的研究工作，红外图像 由于其自身的特点，处理的方式与处理可见光图像的方式不完全相同，其基本的处理 内容为图像畸变的校正、函数变换、直流恢复、非均匀性校正、对比度与亮度调节、 查询处理以及图像平滑、图像增强( 线间积累、帧间积累、中值滤波、直方图处理、 像素倍增) 等处理功能“1 。红外图像处理功能对处理速度要求比较高，新型高性能的 处理实现比较困难。 近年来，随着大规模可编程器件的发展，采用d s p + a s i c 结构的信号处理系统显 示出了其优越性，正逐步得到重视。与通用集成电路相比，a s i c 芯片具有体积小、 重量轻、功耗低、可靠性高等几个方面的优势，而且在大批量应用时，可降低成本。 现场可编程门阵列( f p g a ) 和复杂可编程逻辑器件( c p l d ) 是在专用a s i c 的基 础上发展出来的，它克服了专用a s i c 不够灵活的缺点。与其他中小规模集成电路相 比，其优点主要在于它有很强的灵活性，即其内部的具体逻辑功能可以根据需要配置， 对电路的修改和维护很方便。目前，f p g a c p l d 的容量已经跨过了百万门级，使其成 为解决系统级设计的重要选择方案之一 1 4 论文研究工作 本论文研究非致冷红外焦平面的响应特点，设计和完成了红外热像仪，完成从驱 动时序、数字处理、模拟输出的处理过程，并应用了多种适用于红外图像处理的实时 3 硕士论文 化算法，取得 1 ) 根据非致冷 理( 基于冗余 2 ) 利用可编程 和具体电路结 3 ) 完成处理部 到实时化要求 4 ) 完成菜单设 广= 二二二一壁二 2 红外探测器驱动信号与工作原理 2 i 红外探测器驱动信号 从热像仪整体结构来看，读出电路是由红外探测器芯片与热像仪外部电路的接口 部分组成的。由于红外探测器的信号质量较低，所以需要配置相应的信号处理电路。 把信号处理电路直接与读出电路合并，可以显著提高信号质量。目前，提高焦平面输 出信号质量已经成为读出电路的另一个任务。现在，红外焦平面阵列的读出电路除了 能够完成稠密线阵和面阵器件的信号积分、传输、处理和扫描等基本任务外，基于良 好的读出电路性能的红外焦平面还能在性能优良的红外热成像整机系统设计中发挥 关键性的作用。 课题中使用s o f r a d i r 公司的u l 0 10 1l 探铡器。该探测器工作波段为8 - 1 2 u m ， 分辨率为3 2 0 * 2 4 0 像素。热常数4 m s 。其中含有硅工艺的c m o s 读出电路。 驱动电路需要给探测器提供各种时钟信号和电压偏置嘲。表2 1 1 列出了主要的 信号。 信号方向 数字模拟说明 【a s t e rc l o c ki nd 主时钟 i n ti n d 允许积分 r e s e ti nd 复位 l e “e 1o u td 第一行指示 d a t a v a l i do 盯d 数据有效 v e b a s a g ei na 调节探测温度范围 v d e ti na 电压偏置，接模拟地 v e b i n a 电压偏置，接模拟地 f i di na 电压偏置。 c a l i b r e ii nd 模拟输出控制 c a l i b r e 2 i nd 模拟输出控制 c a l i b r e 3i n d 模拟输出控制 b i a s s u ii na 电压偏置 s o r t i e o u ta 模拟信号输出 表2 1 1 探测器部分重要的信号 硕士论文红外热像整机关键技术研究 图2 i 1 驱动时序图 以上的数字信号都可以通过f p g a 对逻辑的配置来实现叫，见图2 1 1 。 1 ) 主时钟 u f p a 输出数据的速率与主时钟的速度相等，主时钟可随需要的帧频来调整。 2 ) 复位信号 复位信号通过强制从f p a 的第一行开始信号积分来使读出电路复位的工作复 位。r e s e t 应该在主时钟的上升沿改变状态，它不应该杂每帧信号中复位两次。 3 ) 积分信号 当积分信号为高电平时，允许对来自微测辐射热计的一行像元信号进行积分。 根据工作的要求，i n t 信号应该在每行积分时发送( 2 4 0 次i s ) 。 4 ) 增益1 增益2 增益3 增益l ( c a l i b r e l ) 增益2 ( c a l i b r e 2 ) 增益3 ( c a l i b r e 3 ) 是三种不同帧 频工作状态下的增益使能信号线。缺省的设置工作在5 0 6 0 h z 的频率范围。 5 ) u f p a 的输出信号及性能 u f p a 中的c 0 s 处理器输出两类信号：1 个模拟信号( s o r t i e ) 和2 个数字信号 ( d a t a v a l i d 和l i g n e i ) 。具体功能见表2 1 。 6 硕士论文红外热像整机关键技术研究 2 2 工作原理 点璺画墨旦翌蛰宴卫毪出塞坚塑匹 图2 2 1u l 0 10 11 探测器工作原理图 工作原理如图2 2 i ，每一个像素可看作一个热敏电阻，辐射能量的变化将引起 其阻值的变化。首先，在积分信号有效时，读出电路在偏置电压的作用下对选中的行 进行积分，当积分信号失效后，转到下一行，在下一次积分信号到来时对下一行积分， 采样保持电路开始对积分的结果进行采样。在当前行积分信号变低1 8 5 个周期后， 采样结束，在主时钟的驱动下，多路选择器依次选通各个采样保持器的输出，从而读 出信号。 7 硕士论文 红外热像整机关键技术研究 3 红外热像整机需要解决的问题与方案 3 1 非致冷红外焦平面探测器非均匀性 非均匀性表现为均匀辐照度下不同的像元的输出不一致。由于制造工艺的原因， 目前的红外焦平面探测器都具有比较严重的非均匀性。 通常对于非均匀性的测试中对于非均匀性的测试方法为；当焦平面照度均匀时， 输出的最高值与最低值的差与平均值的比。这个方法能比较客观的评价测试当时的非 均匀性，但是一旦环境或目标发生变化，这个值就不再准确。例如，将实验室中三种 不同的非致冷热像仪对准晴天的天空( 非常冷的目标) ，不管测量的时候一致性有多 好，无一例外都出现较强的非均匀性。因此，比较热像仪非均匀性时，同时需要参看 整个动态范围内的情况。 常用算法与实现： 非均匀性校正的方法有很多，基本可以分为两类：基于参照源的校正技术m ” 和基于场景的校正技术“删。基于参照源的校正技术一般要求在特定温度的黑体均匀 辐射下，对红外焦平面阵列定标。基于场景的方法不需黑体标定，而是根据场景的运 动，在每个像素上产生场景温度的变化。这些温度变化依次提供统计参考点，依照这 些参考点，探测器的非均匀性响应就可以被校正了基于场景的校正技术如：高通滤 波，神经网络法等，动辄需要上百帧，或者需要特定的场景，均不能达到实时处理和 工程应用的要求，所以文中不讨论。 由于响应的特点，校正算法对不可能所有温度的目标都能很好的处理，校正算 法都是针对一定的温度范围的。 3 1 1 一点校正 a 理论基础”1 一点校正假定所有像元的响应率在感兴趣的温度范围内近似为相同的，背景噪声 在一定的时间内是不变的，此时，响应简化为目标信号加上一个固定的背景噪声： r ( x ，y ) = s ( x ，y ) + ( ，( x ，y ) ( 3 1 1 1 ) 其中7 b ，力为得到信号，s g ，力为目标信号，【，g ，y ) 为非均匀性背景噪声。因此， 可以用亮度信号减去背景噪声完成校正。背景噪声信号可以在没有目标景物( 镜头遮 盖) 时获取。由于镜头遮盖同样在发射红外辐射，所以应当将所有像元的输出校正到 一致，通常用平均值。 b 理论误差： 而实际各个像元的响应率在感兴趣的温度范围内是不同的，所以校正得到的数据 硕士论文 红外热像整机关键技术研究 与实际的结果存在一个误差a w ， w = 【，( 工，力一u o 似力】+ 4 0 ， i s 力一瓯 ，力】+ 4 ，伉y ) 眵 ，力一最o ，力】( 3 1 1 2 ) 其中，s o ( x ，力为采背景时的背景入射信号，“( 工，力为采集背景时的附加背景。当这 个误差足够大时，将被人眼察觉，此时，该像元校正失败，定义该像元为不可校正像 元，采用周围像元的均值或最近邻像元值来代替。从公式看到，背景的选取u g ，) 对 a w 的大小起着决定性的作用，离校正点越远，w 越大。背景最理想的情况为目标信 号的平均值，取决于镜头遮盖物的温度与发射率。因此，需要慎重选择镜头遮盖物的 材料与表面处理，保证发射率的稳定性。 c 算法简化与硬件实现 简化处理：根据上述一点校正描述将没有目标的背景信号校正到平均亮度。如果 按照这样去做，则不可避免的要使用到有符号数，当校正亮度超过平均亮度的像素时， 可能出现负数结果。考虑到f p g a 中使用有符号整数加减法将耗费更多的逻辑资源而 且会影响速度，应该尽量避免使用有符号数。现将这种算法改为：取背景作为校正量， 将得到的信号加上一个与信号最高值的相等偏移量之后再与背景相减。这样就不但在 完成校正过程中不出现负数，同时也保证了信号的相对大小。 算法实现：每当获取1 4 位数字视频之后，先加上一个偏移量即将第1 5 位置位， 然后再进行相减，得到的结果就是校正之后的值。生成对应的r t l 电路如图3 1 1 1 所示。 ，0 d 日t 图3 1 1 1 一点校正( 减背景) 结构 d 在实际的应用中的问题 由于环境的变化、器件工作产生的热量、探测器老化、各种器件的温度系数，使 得工作点漂移，所以u g ，y ) 是一直变化的。这使得工作点离校正点越来越远，h w 增 大，则部分像元校正失败，当有5 的像元校正失败时影响观察，需要重新采集背景。 以校正失败像元所占比例作为是否需要采集背景的标准有良好的效果。由于工作点的 变化，所以在定义不可校正像元时，必须在所有可能的工作区间内满足要求。 9 硕士论文 红外热像整机关键技末研究 3 1 2 两点校正 a 理论基础m 两点校正假定所有的像元在感兴趣的范围内的响应是线性的， 的，即 地力= 舷搬马力+ 嗽力 设置两个定标点s 似力、曷以力，即 k = a ( x ，力墨( x ，) 。+ v ( x ，力 砭= a ( x ，y ) 是) ，) + 【，( x ，力 将所有的响应校正到一条直线上去，得到 讹y ) = s 2 ( x 土, y ) l - s l ( x , y ) u ( x ，y ) = 巧一a ( x ，y ) s l ( x ，y ) 校正直线： y ( x ，) ，) = a ( x ，y ) s ( x ，y ) + u ( x ，y ) 背景噪声是不变 该式可以理解为：将得到的数值先进行增益校正，使增益一致，然后减去一个固定的 背景噪声。 b 理论误差 虽然所有像元在感兴趣的范围内的响应不都是线性的，但是两点校正法消除了大 部分的应响应率不同而带来的误差，使得a w 比一点校正要好很多。由于某些像元工 作在非线性区，使得船在温度边界点不符合要求，仍然有不可校正的像元出现，但 是数量较一点校正大为减少。响应率较低的像元受到探测器以及驱动板的噪声的影 响，在校正的时候会将噪声放大到比较高的水平，同样会影响观察，考虑到人眼的积 分作用，可以将该阈值设置为船两倍的水平。一般可以认为响应率在平均值0 2 5 以 下的，即使a w 符合要求，也不宣傲为可校正点使用。 c 硬件实现 两点校正需要大量的校正数据。设计中使用了一个大容量的串行f l a s h 作为非 易失的存储器。由于串行的f l a s h 的读写速度比并行的f l a s h 的速度要低，不能满足 实时校正的需求，所以，在开机时将数据读取到r a m 中，完成数据转移。对于每一个 点的校正需要读取两个校正数据，这样很容易就能实现了。由于，阢为负数，所 以，将其取绝对值，利用减法实现。由于 具体实现结构如图3 1 2 1 。设计中使用了1 6 1 4 位的无符号乘法器，五级流水， 1 0 硕士论文 红外执像整机关键技术研究 由于向的读出比爿阮要晚一个时钟，所以将伍延时4 个时钟，以便于同 时到达减法器。 3 l2 1 两点校正结构 d 实际应用中的问题 从理论看两点校正效果应当比一点校正要好很多，但实际应用过程中效果并不 好。如3 1 1 节提到的，探测器与驱动电路的工作点随环境变化，所以对于校正点的选 取要求很高。理想的定标点应选择在使得a w 的均方根最小由于的地方。当这样选择 定标点时候，由于定标时候的背景c ，k y ) 与工作时候的背景不相同，工作点常常超出 定标区域，造成校正失败。此时u g ，y ) 对a w 的贡献远远大于a ( x , y ) 的不同对a w 的贡献。 为了保证成像系统能稳定地工作，把所有可能的工作点都包含在校正的区域内，所以 常常把动态范围设置得很宽，这样做不但降低了温度分辨率，而且对像元的一致性提 出了更高要求。一些a w 接近阈值的像元在超出标定区域响应率就发生很大变化，所 以这些点也要剔除，从不可校正像元数目的角度比较，两点校正与一点校正所剔除的 像元差不多。实际应用该算法时常常不能得到很好的图像，总是能很明显地看到明 亮的竖向条纹，并有很重的背景像帘幕笼罩在目标上。 3 1 3 复合校正 a 理论基础嘲 复合校正假定所有像元的响应率在感兴趣的温度范围内一致的，背景噪声在一定 的时间内是不变的。 r ( x ，) ，) 2 a ( x ，y ) s ( x ，y ) + ( ，o ，) ( 3 1 3 1 ) 由于背景噪声c ，b ，力在一定的时间内是不变的所以，校正过程要减去一个背景， 然后再将响应率再校正一致。过程与两点校正类似。 b 理论误差 复合校正的理论误差与两点校正相同。 c 硬件实现 硕士论文 红外热像整机关键技术酽究 复合校正中由于需要对减的结果进行增益的校正，所以不能按一点校正的算法， 所以不可避免地出现了负数。为了使乘法器的占用的逻辑单元更少，处理速度增加， 所以应当避免使用有符号乘法器。解决方法如下；仍然使用原码表示结果，使用最高 位表示符号，即仅使用相减之后的绝对值，并在最高位标记符号，但该位不参与运算。 在完成增益校正后仍然保持该位，即绝对值运算后不改变该符号位，最后为了消除符 号位，将所有结果都加上一个固定值，根据符号位，在固定值的基础上加上或者减去 信号值，其余部分与3 1 2 节中所描述的两点校正相同。具体结构如图3 1 3 1 所示。 图3 1 3 1 复合校正中的进行增益校正时为增益补偿系数为一系列浮点数，而浮点数乘法器 耗费较多的逻辑资源并且限制了速度，为了使用整数乘法器，可以将所有的校正系数 都相对1 6 位整数o x f f f f 进行归一化。 d 实际应用中的问题： 复合校正与两点校正不同的地方在于复合校正实时校正了背景，由背景的变化对 a w 的影响变得很小，不需要考虑工作点的漂移所带来的动态范围扩大的问题。兼具 有两点校正与一点校正的优点。在应用中，当浮点数转化成整数时损失了一部分精度， 所以需要考虑这部分的误差。 3 1 4 多点校正与多项式插值 如果这些算法的目标在于更接近探测器像元的响应曲线，得到更精确的图像。 实际应用这些算法时，需要很多的定标点，需要存储大量的数据，并且需要大量的运 算。对于实时实现具有较大的困难。 从实际仿真结果看对图像质量并没有太大的改善，仍然需要对背景进行实时校正。 3 1 5 效果分析 从理论上看，两点校正和复合校正都完成对背景( 零次项) 和响应率( 一次项) 的校正，应该具有相同的效果，但事实并非如此：两点校正的效果并不好，总伴随着 明亮的竖向条纹。将两点校正与复合校正比较发现：两点校正对背景校正时采用固定 硕士论文红外热像整机关键技术研究 背景而复合校正实时采集背景，所以，可以断定两点教正效果不好是由于背景的变化 所导致的。 分析引发背景变化的原因，可能导致背景的变化的情况有： a 探测器响应变化由于热电稳定器的作用，红外焦平面的温度被稳定在一个 固定值( 一般为3 0 0 k ”1 ) 。假设所加的偏压不变，则对于每个探测器的工作像元来说工 作条件都没变化，所以可以消除该影响。 b 入射背景辐射发生变化。从结构上考虑，非致冷红外焦平面探测器由带锗窗 口的钢壳封装湖，如图3 1 5 1 所示。虽然采用了冷屏设计，且金属的发射率比较 低，但是它们常温下仍然向外发出红外辐射，这些辐射照射到红外焦平面上就行成背 景辐射。所以当环境温度变化时，背景辐射也会改变。而对于致冷的红外焦平面由于 探测器和杜瓦都处于较低的温度( 一般使用液氮冷却至7 7 k ) ，根据波耳兹曼定律 ( b o l t z m a n n ) 定律汹1 ， 托( 丁) = a t 4 与常温3 0 0 k 相比，辐出度降低了2 4 0 4 2 倍；根据维恩位移定律让盯， 厶丁= 6 ，b = 2 8 9 7 7 5 6 x 1 0 3 r t l k 在7 7 k 下，光谱辐出度峰值对应的波长为3 7 6 3 3 u m ，不在探测器的响应区( 8 - 1 4 u m ) 内。所以背景辐射很小，以至于可以忽略。 3 2 盲元 图3 1 5 1 非致冷红外焦平面探测器结构 3 2 1 盲元的界定 红外焦平面阵列中总是存在着一些对输入辐照度没有响应或者响应过大或者几 乎没有响应的像元，称为盲元。根据像元不同的响应特性，通常定义盲元为响应率大 于平均响应率的1 0 倍或小于0 1 的像元，响应率大于平均响应率的1 0 倍的为过热像 元。实际应用过程中，这个定义并不能准确地指导校正，作者认为，是否定义为盲元 应该以该像元在某个系统中探测感兴趣的目标时是否能被校正为标准，即分为可校正 像元和不可校正像元。由于在不同的非均匀性算法中，对于是否为不可校正像元的定 义不同，所以，盲元补偿通常与非均匀性校正算法有关，当某个像元不能被校正时就 f j 硕士论文 红外熟像整机关键技术研究 必须当做盲元剔除。常用的方法是用周围像元值替代，如周围像素的平均值或者最近 邻的像素值。 3 2 2 盲元校正的硬件实现 实际应用中的盲元的数目相对整个像元数来说是非常少的，所以采用最近邻的 像素值替代和周围像素的平均值替代没有明显的差别，为了应用过程中的方便简洁， 设计中使用最近邻的像素值替代。目前根据输出的信号实时判断是否为盲元还有一定 的难度，所以，一般使用r o m 来标记盲元的位置。 a ) 一点校正中的处理 通常有两种方法来处理： 方法1 ：对于一点校正来说，当盲元很少的时候，可以生成一个查询表，仅记录 盲元的位置即盲元的行和列，从左上到右下按顺序排列。从每一帧开始时复位到查询 表的第一项，判断当前像素的位置是否与表中记录的位置相同，如果相同则使用前一 个像素的值替换，转到查询表的下一项。 具体使用一个r o m 来存储。对于3 2 0 * 2 4 0 来说，记录行位置需要8 位，记录列位 置需要9 位，所以设置r o m 的数据位宽为1 7 ，即r o m 的一个字对应一个标记的盲元， 再根据盲元的数目来设置r o m 的长度，由于一般的新探测器盲元数目比较少，很少有 超过2 5 6 的，所以一点校正的时候采用这种方法比较方便、快捷。 一般情况下新的探测器很少有盲元数目超过2 5 6 的，所以为一点校正中的首选方 法。 方法2 ：如果盲元比较多，生成的查询表就会比较庞大。可以生成一个盲元位置 图来记录盲元的位置。每个像素使用1 位标志，根据图像大小( 3 2 0 2 4 0 ) 仅需要7 6 8 0 0 位，但这样不方便寻址，所以可以选用1 2 8 0 0 0 位，虽然这样有许多的没有用上，但 提高的速度、简化了结构，并且相对于所选的f p g a ，其内部的r 删容量足够大，能 满足要求。 根据以上两种方法的描述，当盲元数目达到7 5 2 9 时，两种方法使用的资源数量 相等，但实际应用中，当盲元数目稍大( 达5 1 2 或更高) 时，查询表的制作将比较困 难，占用的r 删资源比较多，分布在f p g a 中各处，影响系统性能，所以，此时应使 用方法2 。 b ) 两点校正与复合校正中的处理 两点校正与复合校正则不需要专门的盲元位置图。他们的校正数据中都包含有一 个斜率校正的值，这个值对于所有可校正像元都不为零，所以可以在校正斜率的数据 表中标记盲元的位置，将对应盲元位置的斜率值置为零。当遇到标记为盲元的像素时， 直接用前一像素的值代替。 具体的实现方法为：根据非均匀性校正的要求，将所有的校正数据到事先烧写到 1 4 颈士论文红外热像整机关键技术研究 f l a s h 中去。在系统开机的时候，首先经过一个可靠的复位，由于设计中选择的 f l a s h 为串行f l a s h ，其速度不能满足实时校正的要求，而r a m 的速度则足够快， 所以需要将f l a s h 中的数据读到r a m 中去。盲元的检测电路一直监视着斜率校正 的数值，并使用一个寄存器保存上一像素的亮度值，一旦该像素的斜率校正的数值为 零，则不保存该像素的亮度值，输出也由上一像素的亮度值代替。 3 3 动态范围与直方图均衡显示“例 3 3 1 算法描述 由于原始的视频数据动态范围很大，景物灰度主要集中在与温度有关的一个很窄 的范围内，需要将1 5 位数据通过1 0 位a d 很好得显示出来，所以得到视频数据还不 能直接用于显示。如果使用高位则对比度太小看不到目标景物( 如图3 3 1 1 所示) ， a 图中将监视器的对比度调到最大，也只能勉强看到手，如果使用低位则出现大面积 溢出，b 图中的一个高温水瓶发生溢出。本设计中采用更改的基于冗余灰度去除的直 方图均衡算法，取得很好的视觉效果。 a ) 原始图像高位直接显示 b ) 原始图像使用低位直接显示 图3 3 1 1 使用原始图像的两种显示方式 在实际应用中，对红外图像进行传统的直方图均衡后，我们发现在处理过程中图 像的灰度级可能被过多的合并，导致处理后灰度级过多减少，降低了图像的灰度层次 感，而且还造成了明显的灰度断层，同时均衡后的图像对比度过大，使图像变得生硬， 不太适合人眼观察。因此采用基于冗余灰度去除的直方图均衡算法，具体原理如下： 嘲 基于冗余灰度去除的均衡方法可以描述为：图像灰度直方图表示为： h 捃 i l ( i 【0 , 2 1 】) ，a 为该直方图的均值，则阙值取r = o 1 3 a 。该方法即为将个数小于 阈值的灰度全部映射到前面最近的大于阈值的灰度级，然后等距排列，即： 硕士论文红外执像整机关键技术研究 胁瞄主； 映射函数表示为： j r e f l e c t i = ，( 七) 设映射后灰度级数为工，等距| 萨麴为： ，p 加c r i f = l o - 孚2 4 r e f l e c t f 】 i 【0 , 1 0 2 4 为尽量减少灰度级的损失，可对厂( f ) 进行修改： 邝，= 鬻并 i 【0 ，l - 1 这样实现了冗余灰度压缩到一个范围，而不是一个固定灰度。 在实际应用基于灰度冗余的直方图处理算法时，发现这种算发虽然很好地克服了 过多合并灰度等级的缺陷，然而在目标灰度级数很低时，仍然会出现明显出现断层， 同时将噪声放大到很大。如图3 3 1 2a 所示，当镜头被完全挡住时，处理算法将噪 声放大到很大，形成刺眼的闪烁斑点。为了克服这个缺点，在应用中处理结果等距排 列但是不拉伸到整个显示范围，其排列距离作为对比度，可以通过菜单调整。最后将 灰度值钳位到合适的范围以适合显示，这个值可以自动调整或者通过菜单调整。效果 如图3 3 1 2 b 所示，图中的两个两点为屏幕反射的灯光，仔细查看才能看到有细微 的噪声条纹。 a ) 普镜头被挡时，基于灰度冗余的b ) 当镜头被挡时，改进的基于灰度 直方图处理算法对噪声的处理冗余的直方图处理算法对噪声的处理 图3 3 1 2 算法对噪声的处理效果 具体为： 设映射后灰度级数为工，等距排列为： r e f l e c t 【刁= 三c o n x r e f l e c t i 】f 【o ，一1 】 1 6 硕士论文 红外熟像整机关键技术研究 其中，c o n 可使用菜单调整的对比度值。再将灰度值钳位到合适的范围： b r i i 】= r e f l e c t i 【f 】+ t i 【o , l 一1 】 ( 3 3 1 6 ) 其中，为自动调整或者通过菜单调整的钳位亮度值。 这样处理相对于原算法的优点有：永远不会出现灰度断层，即使当灰度级很低时， 也不会将噪声放大到很大，显示柔和，适合人眼观察，见图3 3 1 3 。 a ) 基于灰度冗余的直方图处理算b ) 改进后的处理结果图像柔和 法对比度高但比较生硬 图3 3 1 3 改进前后对比 3 3 2 硬件实现 根据3 3 1 节改进的基于灰度冗余的直方图均衡算法实现的描述，在硬件实现的 过程中需要如下的工作：将整个帧的数据统计，形成一个统计表；处理统计表，完成 表数据的生成；将原始的值查表，映射输出。 a 总体算法设计 本设计中的查表与统计是同时处理的，所以不能共同使用一个统计表。设计中设 置了两个表：一个用于数据统计，称为统计表，另一个保存处理完的数据用于查表输 出，文中称为显示表。在行消隐开始时，将下一行需要显示的内容查表，存放于一个 f i f o 中，下面的显示过程就不需要再占用r 删，在行正程完成统计过程，最后在场 消隐过程中完成表处理。 b 统计表设置 由于红外图像的灰度比较低，所以完成的统计表某些灰度的值可能非常高，要使 得表不溢出，需要使用字长比较长的数来存储。从算法的特点考虑，对直方图进行处 理的时候，所设置的阈值不可能很高，绝对不可能超过1 2 8 ，所以设计中对统计表的 字长进行了压缩，当统计值超过1 2 8 时，该灰度对应的像素数就不再增加，文中使用 1 7 硬士论文红外热像整机关键技术研究 了1 6 位宽的存储器，所以，每个存储器的字可以存储表的两项。根据对1 5 位的统计 计算，原需要3 2 7 6 8 个存储单元的表，现在只需要1 6 3 8 4 个单元就可以了 另一个用于查表输出：表中存放的是对应值的输出灰度。通常视频中使用的部是 8 位的d a 转换器，所以，按常规来说，这个表也可以像上面所说到的统计表一样压 缩字长，从而缩小表的体积。但设计中使用了l o 位的d a 转换器，虽然一般的情况 下人的视觉不能分辨最后两位的差异，但在某些监视器上通过调整，还是能发挥这种 优势的。所以，本设计中没有压缩这个表占用3 2 7 6 8 个单元。 c 数据统计 统计数据的目的是为了得到图像的直方图，即该图像灰度分布的特点。统计一帧 图像的直方图需要比较长的时间，给整个系统的处理带来比较大的延时，为了使统计 更简洁快速地处理，设计中只统计了一半的数据。选取数据的规则为：每行中，每隔 一个像素取一个用于统计，使用这样生成的直方图的处理效果与使用统计全部数据的 直方图看不出明显的差别，但使得处理的性能有了较大的提高。 如上文所说，由于统计表被压缩了，带来的一个问题就是统计时对表处理过程中 需要识别读出的字中，那8 位是需要加增加的，而另外8 位是无关的。所以，设计中 定义存放方式定为：高八位存放灰度值较大项，低八位存放较小项，表的寻址通过待 统计数据的高1 4 位作为偏移量进行，最低位识别存放位置( 高八位或者低八位) 。具 体代码为： a l w a y s ( p o s e d g ef a s t c l k ) i f ( w r i t e c y c l e = = c 2 ) r a m a d d = b a s ea d d ， f i f o d a t a 1 4 ：1 ) , 通过表基地址与待统计数据的高1 4 位作为偏移量寻址 s s i g ns h o u l d o u t 7 ：0 = ( r a m d a t a i n b u f f e r 7 ) ? r a m d a t a i n b u f f e r 7 ：o ： ( ( f i f o d a t a o ) ? r a m d a t a i n b u f f e r 7 ：0 ：( r a m d a t a i n b u f f e r 7 ：0 + 1 ) ) ： a s s i g ns h o u l d o u t 1 5 ：8 = ( r a m d a t a i n b u f