（光学工程专业论文）基于fpga的红外图像实时图像增强的改进算法及硬件实现.pdf

硕士学位论文基于f p g a 的红外图像实时图像增强的改进算法及硬件实现 摘要 红外图像增强技术是夜视技术领域一项重要内容。由于非制冷热成像系统的输出 图像成像模糊和非均匀性明显，研究针对其图像的锐化增强算法具有重大意义本文 重点探讨了图像锐化算法，在现场可编程门阵列技术( f p g a ) 的基础上，架构了红外 图像增强处理电路，确定了系统设计方案并成功调试具体电路。本文还深入分析了现 有算法在硬件电路中锐化增强与大量引入噪声这对矛盾，在大量仿真实验基础上，改 进了原有算法，并将改进算法成功运用在所设计的硬件系统中。改进算法取得了良好 的实验效果，消除了图像非均匀性对锐化的影响，达到了图像锐化去模糊和引入噪声 小的平衡。最后，根据系统设计过程中的情况，提出了以后研究工作的改进方向。 关键词：红外图像，锐化，平滑，f p g a 硕士学位论文 基于f p g a 的红外图像实时图像增强的改进算法及硬件实现 t h ei n f r a r e di m a g ee n h a n c e m e n ti si m p o r t a n ti nt h ea r e ao fn i g h tv i s i o nt e c h n o l o g y t h i sd i s s e r t a t i o nf o c u s e so nt h ea r i t h m e t i co fi m a g es h a r p i n g u s i n gv l s it e c h n i q u e sa n d o nt h eb a s eo ff p g a , a ni n f r a r e di 玎l l a g ee n h a n c e m e n ts y s t e ma n dt h ed e t a i l e dc i r c u i t a r c h i t e c t u r ei se s t a b l i s h e d t h ed i s a d v a n t a g eo fe d g es h a r p i n ga n dn o i s ei m p o r t e dw i t h e x i s t i n ga r i t h m e t i ci sa l s od e e p l ya n a l y z e di nt h ed i s s e r t a t i o n w i t ht h eh e l po f ag r e a td e a l o f e x p e r i m e n t , a ni m p r o v e da r i t h m e t i ci ss u c c e s s f u l l ya p p l i e di nt h eh a r d w a r es y s t e m n o t o n l yt h ei n f l u e n c eo f t h en o n u n i f o r m i t yi ni n f r a r e di m a g i n gs y s t e m si se l i m i n a t e d ，b u ta l s o t h eb a l a n c eo fi m a g es 1 1 a r p e na n dn o i s ei m p o r t e di so b t a i n e d a tl a s t , t h ed i r e c t i o no ft h e f u t u r er e s e a r c h i n gw o r ki si n d i c a t e dw i t hs u m m i n gu pt h ee x p e r i e n c eo f r e s e a r c h i n g k e y w o r d s ：i n f r a r e di i i l a g e ，e d g es h a r p i n g ，s m o o t h i n g ，f p g a 2 硕士学位论文基于f p o a 的红外图像实时图像增强的改进算法及硬件实现 1 绪论 红外熟成像技术是- - f - ) 新兴的学科分支，国防战备和经济建设的需要，使之正处 在不断的发展中。随着科学技术的高速发展，红外图像在军事、科研、医疗卫生等领 域的应用越来越广泛。而由于成像器件自身存在的缺陷、应用领域要求的提高、微电 子的迅速发展，使红外图像增强处理及硬件系统的小型化、实时化、模块化显得尤为 重要。 1 1 红外热像仪成像原理 红外热像仪是利用红外探测器、光学成像物镜和光机扫描系统( 目前先进的焦平 面技术则省去了光机扫描系统) 接收被测目标的红外辐射能量分布图像反映到红外探 测器的光敏元o ”上，在光学系统和红外探测器之间，有一个光机扫描机构( 焦平面热 像仪无此机构) 对被测物体的红外热像进行扫描，并聚焦在探测器上，由探测器将红 外辐射能转换成电信号，经放大处理、转换成标准视频信号通过电视屏或监视器显示 红外热像图。这种热像图与物体表面的热分布场相对应；实质上是被测目标物体各部 分红外辐射的热像分布图。由于信号非常弱，与可见光图像相比，缺少层次和立体感， 因此，在实际的操作过程中为更有效地判断被测目标的红外热分布场，常采用一些辅 助措施来增加仪器的实用功能，如图像亮度、对比度的控制、伪色彩描绘等技术。 热像仪主要由光学系统、扫描器、红外探测器、信号处理电路和显示记录装置等 几部分组成嘲。图1 1 1 为热像仪工作过程的原理方框图。 图1 1 1 热像仪结构原理图 红外探测器是热像仪的核心部件，它实现光电转换的功能。前部是光学系统和光 机扫描等组件，完成对光学视场内的红外辐射会聚和水平垂直方向扫描，形成二维 t 硕士学位论文 基于f p o a 的红外图像实时图像增强的改进算法及硬件实现 观察数据；其后部是电子组件，完成探测器输出信号到图像信号的体制转换和进行改 善像质的图像处理。目前，红外热像仪是夜视成像系统的重要工具，其工作原理的最 根本依据和系统应用基础是红外热辐射原理，与光学望远镜，雷达等成像观察设备相 比，它具有诸多优点。它可以全天候的工作，不受限制：作用距离远，红外辐射比可 见光具有更强的透过雾，雨雪及烟尘的能力；能识别伪装，探测隐蔽的军事目标和 强光干扰下的目标；被动式和非接触式工作，具有较好的隐蔽性；比雷达更适宜于高 精度观察，不受电磁干扰；生动的图像观察方式。从这些特点和实际需要来看，红外 热像仪具有广泛的应用前景和研究开发价值。 1 2 红外热像仪的发展和分类 1 8 0 0 年，英国物理学家f w 赫胥尔发现了红外线，从此开辟了人类应用红外 技术的广阔道路。在第二次世界大战中，德国人用红外变像管作为光电转换器件，研 制出了主动式夜视仪和红外通信设备，为红外技术的发展奠定了基础“。“。 二次世界大战后，首先由美国德克萨兰仪器公司经过近一年的探索，开发研制的 第一代用于军事领域的红外成像装置，称之为红外寻视系统( f l i r ) ，它是利用光学 机械系统对被测目标的红外辐射扫描。由光子探测器接收两维红外辐射迹象，经光电 转换及一系列仪器处理，形成视频图像信号。这种系统、原始的形式是一种非实时的 自动温度分布记录仪，后来随着2 0 世纪5 0 年代锑化铟和锗掺汞光子探测器的发展， 才开始出现高速扫描及实时显示目标热图像的系统。 2 0 世纪6 0 年代早期，瑞典a g a 公司研制成功第二代红外成像装置，它是在红外 寻视系统的基础上增加了测温的功能，称之为红外熟像仪。 起初由于保密的原因，在发达的国家中也仅限于军用，投入应用的热成像装置可 在黑夜或浓厚幕云雾中探测对方的目标，探测伪装的目标和高速运动的目标。由于有 国家经费的支撑，投入的研制开发费用很大，仪器的成本也很高。之后考虑到在工业 生产发展中的实用性，结合工业红外探测的特点，采取压缩仪器造价，降低生产成本 并根据民用的要求，通过减小扫描速度来提高图像分辨率等措施逐渐发展到民用领 域。 2 0 世纪6 0 年代中期，a g a 公司研制出第一套工业用的实时成像系统( t i n ) ，该 系统由液氮致冷，1 1 0 v 电源电压供电，重约3 5 公斤，因此使用中便携性很差，经过 对仪器的几代改进，1 9 8 6 年研制的红外热像仪已无需液氮或高压气，而以热电方式 致冷，可用电池供电；1 9 8 8 年推出的全功能热像仪，将温度的测量、修改，分析、 图像采集、存储合于一体，重量小于7 公斤，仪器的功能、精度和可靠性都得n t 显 著的提高。 2 0 世纪9 0 年代中期，美国f s l 公司首先研制成功由军用技术( f p a ) 转民用并 2 硕士学位论文 基于f p g a 的红外圈像实时图像增强的改进算法及硬件实现 商品化的新一代红外热像仪( c c d ) 属焦平面阵列式结构的一种凝视成像装置，技术 功能更加先进，现场测温时只需对准耳标摄取图像，并将上述信息存储到机内的p c 卡上，即完成全部操作，各种参数的设定可回到室内用软件进行修改和分析数据，最 后直接得出检测报告，由于技术的改进和结构的改变，取代了复杂的机械扫描，仪器 重量已小于两公斤，使用中如同手持摄像机一样，单手即可方便地操作。 如今，红外热成像系统已经在电力、消防、石化以及医疗等领域得到了广泛的应 用。红外热像仪在世界经济的发展中正发挥着举足轻重的作用。 红外热像仪般分光机扫描成像系统和非扫描成像系统。光机扫描成像系统采用 单元或多元( 元数有8 、l o 、1 6 、2 3 、4 8 、5 5 、6 0 、1 2 0 、1 8 0 甚至更多) 光电导或光 伏红外探测器，用单元探测器时速度慢，主要是振幅响应的时间不够侠，多元阵列探 测器可做成高速实时热像仪。非扫描成像的热像仪，如近几年推出的阵列式凝视成像 的焦平面热像仪，属新一代的热成像装置，在性能上大大优于光机扫描式热像仅，有 逐步取代光机扫描式热像仪的趋势。其关键技术是探测器由单片集成电路组成，被测 目标的整个视野都聚焦在上面，并且图像更加清晰，使用更拥方便，仪器非常小巧轻 便，同时具有自动调焦图像冻结，连续放大，点温、线温、等温和语音注释图像等功 能，仪器采用p c 卡，存储容量可高达5 0 0 幅图像。 红外热视电成像系统是红外热像仪的一种。红外热视电成像系统是通过热释电摄 像管( p e v ) 接收被测目标物体的表面红外辐射，并把目标内热辐射分布的不可见热 图像转变成视频信号，因此，热释电摄像管是红外热视电成像系统的关键器件，它是 一种实时成像，宽谱成像( 对3 u m 5 “m 及8 l i m 1 4 l i m 有较好的频率响应) 具有 中等分辨率的热成像器件，主要由透镜、靶面和电子枪三部分组成。其技术功能是将 被测目标的红外辐射线通过透镜聚焦成像到热释电摄像管，采用常温热视电探测器和 电子束扫描及靶面成像技术来实现的。 i 3 红外图像实时处理背景与研究现状 由于目前红外器件发展的限制，红外夜税成像仪的成像效果还不够理想，主要表 现为红外图像中噪声较大，对比度较低，视觉效果不好，分辨图像细节能力比较差等 缺点，影响了红外热像仪在实际应用中的应用效果。而解决以上所有问题的一个最经 济最有效的手段就是在热像仪的电子处理部分加入实时图像处理功能。实时图像处理 技术能在现有的条件下不仅能提高红外图像质量、增大作用距离，更主要的是在较短 的时间内迅速改善和提高红外热像仪的各项性能指际。因此，在开展红外热像仪整机 系统研究的同时，也要极力进行红外图像实时处理技术的研究。其核心任务是研制模 块化红外图像实时处理系统，从而有效地提高红外热成缘系统的动态范围、抑制图像 噪声、消除非均匀性、改善图像质量。 3 硕士学位论史基于f p g a 的红外图像实时图像增强的改进算法及硬件实现 实时图像处理系统必须具有快速处理巨大数据量的能力，以一幅分辨率为 7 6 8 x 5 7 6 的2 5 6 级灰度图像为例，其包含的数据量为4 3 2 k 个字节，这还仅仅是一帧 图像，因此要想保证系统处理的实时性，系统的快速处理能力和大数据量的吞吐能力 是其先决条件。其次，对系统的体积、功耗、稳定性等也有较严格的要求，因为最终 相当部分的热成像系统要应用于军事，较小的体积、较低的功耗和良好的稳定性是其 基本要求嘲。 实时图像处理算法中经常用到对图像的求和、求差运算、二维梯度运算、图像分 割及区域特征提取等不同层次、不同种类的处理。因此，实时图像处理系统是运算速 度高、运算种类多的综合性信息处理系统。 我国是从八十年代中期开始进行红外图像的实时处理技术的研究工作，红外图像 由于其自身的特点，处理的方式与处理可见光图像的方式不完全相同，其基本的处理 内容为图像畸变的校正、函数变换、直流恢复、非均匀性校正、对比度与亮度调节、 查询处理以及图像平滑、图像增强( 线间积累、帧间积累、中值滤波、直方图处理、 像素倍增) 等处理功能o “。红外图像处理功能对处理速度要求比较高，新型高性能的 处理实现比较困难。 近年来，随着大规模可编程器件的发展，采用d s p + a s i c 结构的信号处理系统显 示出了其优越性，正逐步得到重视。与通用集成电路相比，a s i c 芯片具有体积小、 重量轻、功耗低、可靠性高等几个方面的优势，而且在大批量应用时，可降低成本。 现场可编程门阵列( f p g a ) 和复杂可编程逻辑器件( c p l d ) 是在专用a s i c 的基 础上发展出来的，它克服了专用a s i c 不够灵活的缺点。与其他中小规模集成电路相 比，其优点主要在于它有很强的灵活性，即其内部的具体逻辑功能可以根据需要配置， 对电路的修改和维护很方便。目前，f p g a c p l d 的容量已经跨过了百万门级，使其成 为解决系统级设计的重要选择方案之一。 d s p + f p g a c p l d 结构最大的特点是结构灵活，有较强的通用性，适于模块化设计， 从而能够提高算法效率。同时其开发周期较短，系统易于维护和扩展，适合于实时信 号处理。 1 4 论文主要研究工作 红外图像增强处理，目前国内外的研究主要集中于直方图均衡与非均匀性校正以 及图像去噪方面，图像的锐化算法虽然有梯变算子和拉普拉斯算子比较成熟，但是作 用于红外图像时效果并不理想，主要是因为引入的噪声明显导致图像质量严重恶化， 锐化效果也不明显。现有的研究多数还只是停留在算法的软件仿真上，能成功的在硬 件系统中实现的有效的算法很少。本论文的主要目标是通过对各种图像锐化算法的研 究，提出一种适合于硬件实现并在硬件系统中能成功获得锐化效果的算法，并设计硬 4 硕士学位论文 基于f p g a 的红外图像实时图像增强的改进算法及硬件实现 件系统，在硬件系统中予以实现验证。本文以实时性为基本出发点，系统研究处理器 的结构、算法及集成与调试过程，主要工作如下： 1 ) 通过对红外图像特点的研究，对红外图像的直方图特征、噪声特性以及非均匀性 特征进行了详细的研究分析： 2 ) 对多种图像增强算法进行研究，并对红外图像进行仿真实验； 3 ) 针对现有的锐化增强算法对红外图像处理效果不明显及引入噪声大的缺点，改进 原有的算法，提出易于硬件实现的有效的图像锐化增强算法； 4 ) 设计基于现场可编程门阵列( f p g a ) 和s r a m 的实时图像处理平台； 5 ) 利用v h d l 语言与原理图相结合的方式，在q u a r t u s 软件中设计图像锐化算法模 块和图像平滑模块以及时序逻辑控制模块，并在设计的硬件系统中调试验证。 砺士学位论文基于f p g a 的红外图像实时图像增强的改进算法及硬件实现 2 红外图像主要特征分析 2 1 红外图像噪声特性分析 红外图像的信噪比一般比可见光c c d 电视图像低，而且噪声情况十分复杂，不论 是外界环境的随机干扰，还是内部物理量的随机变化均可产生图像噪声。红外热图像 的噪声除了有随机闪烁的颗粒噪声外，还有固定图案噪声。随机闪烁的颗粒噪声主要 由红外背景辐射的光子起伏、红外探测器光电转换噪声和信号读出与处理电路的附加 噪声引起，而固定图案噪声则主要由红外探测器本身响应率的不均匀、成像缺陷和杂 波干扰所产生。噪声来源多样，噪声类型繁多，这些都造成红外热图像上噪声的不可 预测的分布复杂性。但固定图案噪声的影响远大于随机噪声汹1 。 通常用三维噪声模型来分析热成像系统的噪声情况。三维噪声分析所需的实验数 据是以一个均匀恒定的背景为目标，热成像系统用其采集的连续数字化图像组成噪声 数据组。三维噪声分析随机响应模型如式( 2 1 1 ) ： u ( t ，v ，h ) = s + r ( f ) + _ ( d + 胃( ) + h r v ( t ，v ) + ，o11 、 m ( f ，h ) + m w ( v ) + m ( f ，v ，h ) u ( t ，v ， ) 代表获得的实验数据的总值，是时间、垂直方向和水平方向的函数，s 是三维数据组中所有点的总平均值。 ( 1 ) 固定像素噪声。( v ) ，由空间双向的零点平均值随机变化构成，无时间响应。 这一噪声对应于成像中的二维固定空间图形。固定图形噪声即属于这一类，它在 凝视探测器中占主导地位。 ( 2 ) 固定行噪声，( v ) ，描述了仅在垂直方向上零点平均值的变化，在时间上固定不 变且在水平方向上无响应。一般来讲，它表示数据在行与行之间固定的非均匀性。 这种噪声主要来自于通道间增益或电平的不适当校正及l f 噪声。 ( 3 ) 固定列噪声。( ) ，这一噪声类型代表仅在水平方向上零点平均值的变化，是时 间和水平方向上每列数据的平均值变化。 ( 4 ) 帧间噪声n r ( f ) ，这一噪声类型仅代表与时间有关的随机噪声。它在数据组中以帧 与帧的平均值为变量。 ( 5 ) 时间行噪声，( f ，v ) ，由时间和垂直方向上零点平均值随机变化构成，在水平方 向上无响应。在数据组中，它表示时间上和垂直方向上每行数据的平均值变化。 ( 6 ) 时间列噪声。( f ，h ) ，这一噪声类型代表时间和水平方向上的零点平均值变化， 是时间和水平方向上每列数据的变化，主要来自于1 f 噪声和其它一些低频噪 声。 ( 7 ) 时间像素噪声。o ，v ， ) ，它代表三维坐标系中三个方向上零点平均值的变化， 6 硕士学位论文 基于f p g a 的红外图像实时圈像增强的改进算法及硬件实现 与典型的电子探测器噪声很相近。这种噪声开始有时间性，通过成像系统时，在 扫描装置和焦平面的垂直与水平方向均有表现。在热成像系统中，光子散粒噪声、 电阻热噪声、放大器噪声等均属于这类噪声。 2 2 红外图像的对比度和分辨率 2 2 1 红外图像对比度 红外热像仪是一种利用目标与背景之间的温差来成像的成像装置。由于一般景物 的温差比较小，再加上经过大气传输、热像仪中光学部分和电子处理部分过程中损失 的灰度级，所以红外图像的对比度比较低，不利于人眼的观察。通常可以在灰度直方 图中看出此特征，往往表现为绝大部分灰度集中于某些相邻的灰度级范围内。 2 2 2 红外图像分辨率 红外成像系统由于探测器阵列数目有限及探测单元尺寸的限制，空间采样频率无 法满足采样定理，图像空间分辨率低，混频现象有时很严重。而制造密集的红外焦平 面阵列，工艺复杂，费用昂贵。按照傅立叶光学的观点，光学成像系统是一个低通滤 波器，由于受到光学衍射的影响，其传递函数在由衍射极限分辨率所决定的某个截止 频率以上，其值全为0 。而大多数自然景物空间频率较丰富，包括各种高频信息，红 外成像系统由于光学衍射和有限的探测器尺寸，成像过程中，图像信号的高频部分( 细 节) 会有所丢失，造成图像的模糊和变形。所以目前的红外热像仪输出的红外图像分 辨率较低。 2 3 红外图像直方图特征分析 2 3 1 直方图的定义及特点 图像的基本描述有灰度、分辨率、信噪比、频谱等等。灰度直方图是用于表示图 像像素灰度分布情况的统计图表，有一维直方图和二维直方图之分。其中最常用的是 一维直方图，其定义是：对于数字图像f ( x ，y ) ，设图像灰度值为r 。，r l ，”，r 。则概 率密度函数p ( r 。) 叫为： p7、：；!：i?；燃(f：o，l，2，七一1tra ) 1 。2 3 1 ) ， 2 1 i i 西( i ：西i 历1 暴。j i ；。万u2 ”，1 z 七一) 3 1 j p t ) = 1 ( 2 3 2 ) 7 硕士学位论文 基于f f g a 的红外图像实时圈像增强的改进算法及硬件实现 由于取离散值。故直方图习惯画成如图2 3 1 所示。直方图还有另外两种常用 的表示方式：a 像素数一灰度级坐标形式；b 像素数相对于最频值的百分比一灰度级 坐标形式。 图2 3 1 直方图 直方图有以下性质： 直方图是图像阈值面积函数导数的负值，即 h ( d ) = 烛型半= 一面d a ( d ) ( 2 3 3 ) 对于离散函数，固定a d 为l ，等式( 2 3 3 ) 变为 日( d ) = 爿( d ) 一4 ( d + 1 ) ( 2 3 4 ) 只表示图像中每一灰度级出现的频数，而失去了具有该灰度级的像素的位置信 息。 图像与直方图之间是多对一的映射关系。 一幅图像各子区直方图之和等于该图像的全图直方图。 在图像处理中，直方图是很有用的决策和评价工具。直方图可以提供下列信息： ( 1 ) 每个灰度级像素数出现的频数：( 2 ) 图像像素值的动态范围；( 3 ) 整幅图像的大致 平均亮度；( 4 ) 图像的整体对比度情况。 2 3 2 红外图像的直方图特点 在本论文的研究工作中，利用非制冷红外热像仪实地拍摄了多幅场景，并对红 外图像直方图持点进行了研究。图2 3 2 和图2 3 3 分别为红外图像及其直方图和可 见光图像及其直方图： 硕士学位论文 基于f p g a 的红外图像实时图像增强的改进算法及硬件实现 图2 3 2 红外图像及其直方图 图2 3 3 可见光图像及其直方图 对红外图像直方图和可见光图像直方图的对比研究“1 ，可得其直方图具有以下特 点： ( 1 ) 像素灰度值动态范围不大，很少充满整个灰度级空间。可见光图像的像素则分布 于几乎整个灰度级空间； ( 2 ) 绝大部分像素集中于某些相邻的灰度级范围，这些范围以外的灰度级上则没有或 只有很少的像素。可见光图像的像素分布则比较均匀； ( 3 ) 直方图中有明显的峰存在，多数情况下为单峰或双峰( 分为主、次峰) 。可见光 图像直方图的峰不如红外图像明显，并且多个峰同时存在。 2 4 红外图像的非均匀性分析 红外热成像系统对热辐射物体敏感，热细节对比度很低、动态范围非常有限，在 不同目标背景温度下会失去自然表象。红外图像信号的大小取决于外界景物之间的温 差，对于自然景物，在一个局部的小范围内，由于总存在热平衡的趋势，这种温差不 可能很大，这就决定了热像仪分辨图像细节的能力比较差。 在理想情况下，红外探测器受均匀红外辐射时，各成像单元的输出信号幅度应完 全一致。然而在实际上，由于制作器件的半导体材料的不均匀性、掩膜误差、缺陷、 工艺等因素影响，使得热像仪的输出幅囊会出现不均匀，这就导致了红外图像的非均 匀性。 红外焦平面热像仪是采用红外焦平面作为探测器的热成像仪器，其典型图像信号 特征是不同的图像单元对应不同的红外探测器单元( 可以有周期性重复) 。与多元探测 9 硕士学位论文基于f p g a 的红外图像实时雹像增强的改进算法及硬件实现 器热像仪相比较，由于采用了多路传输等信号处理技术，使整体成像性能获得了显著 提高，但由于放弃了放大器与探测嚣一对应的工作模式，对红外焦平面探测器的空 间均匀性提出了更高的技术要求。 产生红外图像非均匀性的因素有多种。从红外图像的信号传递过程看，首先是探 测器像元响应率或光谱响应率的非均匀性；其次是读出电路自身及读出电路与探测器 的耦合因素等。详细来说产生红外图像非均匀性的原因大致可分为“”埘： ( 1 ) 器件自身的非均匀性 器件自身非均匀性是红外图像非均匀性的主要组成部分，以h g c z i 阳光伏探测器 c c d 混合焦平面阵列结构为例，它的非均匀性主要可分为红外探测器及探测器与c c d 的相互耦合，它们主要由器件的材料及制造工艺水平决定。一旦焦平面器件制造完成， 这种由器件自身制造工艺产生的非均匀性将始终存在。 ( 2 ) 器件工作状态引入的非均匀性 在红外热成像系统的性能中与红外焦平面器件工作状态相关的主要参数有工作 温度和温度的均匀性、红外探测器及其c c d 器件的驱动信号等。h g c a 光伏探测器 的辐射响应性能与它所处的实际温度相关，焦平面器件和焦平面器件探测单元的温度 均匀性变化将影响整个红外焦平面器件响应的均匀性。同样，红外探测器单元及其 c c d 器件单元驱动信号的变化将影响整个焦平面器件响应的均匀性，这种非均匀性主 要由红外焦平面器件的工作状态确定，同一焦平面器件在不同成像系统中可以有不同 的非均匀性效果。 ( 3 ) 与外界输入相关的非均匀性 在红外热成像系统中目标和背景入射红外辐射的强度变化范围、红外热像仪光学 系统的背景辐射等外界特性均可对焦平面器件的非均匀性产生影响。景物的红外辐射 变化主要有辐射总量和辐射光谱两种形式，由于红外探测器光谱响应变化比较复杂， 辐射总量的响应均匀佳并不能代表其辐射光谱变化后仍具有相葡的均匀往。 红外图像的非均匀性对图像的后续处理会带来一定程度的影响。在下一章的算法 软件仿真中可以看出。某些锐化算法会加重图像的非均匀性，造成图像的横向条纹异 常明显。因此，本文着眼于对图像噪声相对不敏感的锐化算法，使红外图像的非均匀 性问题不影响到图像的增强处理。 1 0 硕士学位论文 基于f p g a 的红外图像实时圈像增强的改进算法及硬件实现 3 红外图像增强算法研究及其软件仿真 3 1 图像增强算法概述 图像增强的主要目的有两个：一是改善图像的视觉效果，提高图像成分的清晰度； 二是使图像变得更有利于计算机的处理。图像增强理论目前尚无统一的权威性的定 义，因为还没有衡量图像增强质量的通用标准。从增强处理的作用域出发，图像增强 可分为空间域法、时间域法和频率域法“1 。空间域处理时直接面对图像灰度级作运算； 时间域通常有2 d t d i 、多帧累加等算法；频率域处理是在图像的某种变换域内，对 图像的变换系数值进行运算，即做某种修正，然后通过逆变换获得增强图像，变换域 常见的有傅立叶变换、小波变换。3 等，这是一种间接增强的方法。图3 i i 列出了图 像增强方法概况。 r 灰度级校正 厂点运算l 灰度变换 fl - 直方图修正 ir 噪声稍除法 li 邻域平均法 i厂图像平滑中值滤披 lii 梯度倒数加权 jil 选择式掩模平滑 ，空问域法 邻域增强 f1lr 弟捩法 llll l a p l a c i a n 算子 il图像锐化 高通滤波 jil 掩模匹配法 图像增强 i l 统计差值法 1i广假彩色处理 l、i 彩色技术1 伪彩色处理 i 、 i广低通滤波 频率域法1 同态图像增强 图3 1 1 图像增强的分类 本文主要讨论的是红外图像的图像增强，并且要将之应用于硬件，所以对于硬件 实现较困难的频率域法和彩色技术暂时不加以讨论，我们主要讨论直接面对灰度级作 运算的空间域法。 本文研究的方法属于空间域的邻域处理增强，着重于增强图像边缘，锐化图像。 图像增强算法的优劣不是绝对的，由于具体应用的目的和要求不同，所需要的具体的 硕士学位论文基于f p g a 的红外匣像实时图像增强的改进算法及硬件实现 增强技术也大不相同，因此没有图像增强的通用标准，观察者才是某种增强方法优劣 的最终判断者。增强算法处理的效果，除与算法本身有一定关系外，还与图像的数据 特征直接相关。实际中应当根据图像数据特点和工作要求来选择合理的图像增强处理 方法。 本章结合图像硬件处理的可行性，并将图像平滑与图像锐化这对看似矛盾的图像 增强方法相结合，从软件仿真与硬件实现可行性两方面进行了深入地研究。软件仿真 主要采用m a t l a b 进行仿真删。硬件主要考虑适合于f p g a 的可实现性。 3 2 空间域单点增强 点处理指仅根据图像中像素的原值按一定规则或变换来确定点新值的一种方法， 这是在笛卡儿坐标平面内按帧扫描顺序以单个像素为对象所进行的简单、实用的图像 增强技术。 3 2 1 灰度变换 灰度变换可使图像动态范围加大，图像对比度扩展，图像清晰，特征明显，是图 像增强的重要手段。在曝光不足或过渡的情况下，图像灰度可能会局限在一个很小的 范围内。这时在显示器上看到的将是一个模糊不清、似乎没有灰度层次的图像。用一 个线性单值函数，对帧内的每一个像素作线性扩展，将有效地改善图像视觉效果。 令原图像f ( j ，k ) 的灰度范围为 a ，b ，线性变换后图像g j ，k 的范围为 c ，d ， 见图3 2 1 。 g a ，k ) d g c 0 afb 图3 2 1 灰度变换示意图 g ( j ，k ) 和f ( j ，k ) 之间存在以下关系： g ( j ，_ j ) = a + b ( f 一口) 其中4 ：c ，b ：d - c ( 3 2 1 ) 0 一口 对离散图像来说，尽管变换前后像素个数不变，但不同像素之间的灰度差变大， 硕士学位论文 基于f p g a 的红外图像实时图像增强的改进算法及硬件实现 图像观看质量必然优于前者。 灰度变换的主要目的在于将输入图像的灰度值的动态范围按某种关系公式拉伸 扩展至某个特定的或整个动态范围，对于常见的8 b i t 灰度图像而言其动态范围是 0 ，2 5 5 。图3 2 2 显示了灰度图像经过灰度变换后的仿真效果图。 图3 2 2 灰度变换效果图 同时我们还可以通过图3 2 3 观察得出，图像的灰度值的动态范围得到了充分的 扩展，更有利于图像的观察。 3 2 2 直方图均衡 图3 2 3 灰度变换前后的直方图比较 直方图是用来表达一帧图像灰度级分布情况的图表。图像直方图反映了不同灰度 值的像素的面积( 连续图像) 或像素个数( 离散图像) 在一帧中的比例，反映了图像的某 些信息。直方图均衡就是把一幅已知灰度概率分布的图像，经过一种变换，使之变成 具有均匀概率分布的图像，从而使信息熵最大。在红外图像处理中，针对图像的灰度 级比较集中，层次感差等问题，采用直方图均衡算法来进行处理，可以使其灰度级尽 量拉开，从而达到了对比度增强的效果”。 直方图均衡化的原理为：假设一幅灰度级为2 5 6 级的数字图像，其归一化直方图 为x ( n ) i l 0 , 2 5 5 】，经过一个转换函数t ( r ) 后，r ( n ) 转变为均衡化后的直方图。r ( ，) 的转换关系式为： 2 5 5 r ( r ) = 2 5 5 x ( f ) r 【o ，2 5 5 i o ( 3 2 2 ) 1 3 硕士学位论文 基于f p g a 的红外瞪像实时图像增强的改进算法及硬件实现 从式( 3 2 2 ) 可以看出，r ( r ) 是x ( 月) 的数字积分。r ( ，) 即为灰度r 转换后对应的灰 度值。 图3 2 4 的a ，b 为原始红外图像及其对应直方图，c ，d 为经典直方图均衡后红 外图像及其对应直方图。可以看出，直方图均衡算法对红外图像的作用明显。比较处 理前图像和处理后图像可知，处理前直方图比较窄，绝大部分像素集中于某些相邻的 灰度级范围，处理后直方图接近于均匀分布的直方图，扩展到整个范围，从而调节了 图像的动态范围，图像对比度得到了较大的提高。 3 3 空间域图像平滑研究 3 3 1 图像平滑概述 图3 2 4 直方图均衡效果图 任何一幅未经处理的原始图像，都存在着一定程度的噪声干扰。噪声恶化了图像 质量，使图像模糊，甚至淹没特征，给分析带来困难。消除图像噪声的工作称之为图 像平滑或滤波。平滑的目的有两个：改善图像质量和抽出对象特征。由于噪声源众多 ( 如光栅扫描、底片颗粒、机械元件、信道传输等) ，噪声种类复杂( 如加性噪声、 乘性噪声、量化噪声等) ，所有平滑方法也多种多样。综合目前国内外研究现状，图 像平滑方法主要有：噪声消除法、邻域平均法、中值滤波、梯变倒数加权法、选择式 掩模平滑、算术均值滤波、几何均值滤波、谐波均值滤波、逆谐波均值滤波、最大值 1 4 硕士学位论文 基于f p g a 的红外图像实时匿像增强的改进算法及硬件实现 和最小值滤波、阿尔法均值滤波等等“”。 噪声消除法和邻域平均法在消除噪声的同时，都不可避免地带来平均化的缺陷， 致使尖锐变化的边缘或线变得模糊；选择式掩模平滑旨在追求既完成滤波操作，又不 破坏区域边界的细节，在软件仿真中效果较好，但是该算法太复杂，不适合于硬件实 现。以5 x 5 窗口为例，在窗口内以中心像素为基准点，需制作4 个五边形，4 个六 边形、1 个边长为3 的正方形共9 个掩模，并计算各掩模的均值及方差等等操作，可 见对于硬件实现而言太过复杂，尤其不适合于f p g a 的设计实现。梯度倒数加权法平 滑的产生起源于这样的考虑：在一帧离散图像中，相邻区域的变化大于区域内部的变 化，在同一区域中中间像素的变化小于边沿像素的变化。梯度值正比于邻近像素灰度 级差值，即在图像变化缓慢区域，梯度值小，反之则大。现在去梯度倒数，该倒数之 大小正好与梯度相反，以梯度倒数做权重因子，则区域内部的邻点权重就大于边沿近 旁或区域外的邻点。也就是说，这种平滑其贡献主要来自于区域内部的像素，平滑后 图像边沿和细节不会受到明显损害。但是梯度倒数加权法平滑的第一步就是建立归一 化的权重矩阵做为平滑的掩模，涉及到求倒数和除法的运算，并且其权重因子一般为 小数，因此在研究适合于f p g a 这一硬件结构时，该方法也不合适。 本文针对非制冷红外热像仪采集图像的特点，针对大多数图像的非均匀性重点研 究了非线性校正技术以及2 d _ t d i 等图像平滑技术“”。 3 3 22 d - t d i 算法 2 d - t d i 提高图像信噪比原理是：假设被探测的目标是静态的或缓慢运动的，由 于图像信号的帧间相关性和噪声的非相关性，经过一定时间的延迟积分后，图像的信 噪比就会得到有效的提高。设对图像序列进行m 帧时间的2 d - t d i 积分处理，则对应 像素的信号功率p 为： m mi - - i p = ( 一) 2 = 1 2 + 2 c f k 巧 ( 3 3 1 ) i = l i ；ll - 2 j = i 式( 3 3 1 ) 中k 和y ，是帧间对应像素的图像信号电压幅值，c 是图像之间的相 关系数( o c ；1 ) 。 图像的噪声主要是一些均匀分布的系统噪声，比如热噪声，用多帧累加技术，可 以提高信噪比，从而改善图像质量。由于噪声时域分布特性是随机的、不相关的、且 服从泊松分布，因此噪声之间的相关系数e ，= o ，经过m 帧2 d t d i 处理以后，对应 像素的噪声功率为： = ( 吒，) 2 = 瑶= 册嘭 ( 3 3 2 ) 硕士学位论文 基于f p g a 的红外图像实时图像增强的改进算法及硬件实现 式( 3 3 2 ) 中是帧间对应像素的噪声电压幅值，圪定义为等效噪声电压。对 于图像信号而言，如果被探测的目标是静态的，或者在m 帧积分时间内目标的运动距 离不大于一个像素，帧间对应像素可视为近似相等并记为v s ，因此帧间对应像素之间 的相关系数g = 1 ，经过脚帧2 d t d i 处理以后，对应像素的图像功率s 由式( 3 3 3 ) 表示： s = ( ) 2 = 呼+ 2 呼= 扰2 曙 ( 3 3 3 ) 式( 3 3 3 ) 中、一是帧间对应像素的图像信号电压幅值。因此图像的功率信 噪比为s n r ： 舢：s ：珲：警 ( 3 3 4 ) m v ：圪 假设处理之前的原始图像的功率信噪比为s n r 。，有 s n r o = 一 ( 3 3 5 ) 于是有： s n r = 珊s n r o ( 3 3 6 ) 由此可见，经过m 帧的2 d t d i 处理以后，图像信号的功率信噪比提高了m 倍， 电压信噪比提高了4 - g 倍，因此必将对图像的质量有所改善。 由2 d - t d i 的原理知，它假设被探测的目标是静态的或缓慢运动的，m = 4 时算 法涉及4 帧图像，因此在实际应用过程中，运动目标经2 d t d i 处理后会出现托尾现 象，造成图像模糊，使得2 d t d i 算法的应用受到限制。 3 3 3 非均匀性校正 红外图像的非均匀性严重影响着图像质量，因此需要进行非均匀性校正。非均匀 性校正的方法很多，一般分为两大类：线性校正和非线性校正”“。线性校正相对于 非线性校正来说技术上较为成熟。 红外非均匀性校正的线性校正公式如下： y 一。g t + d 一 ( 3 3 7 ) y l 为第f 个光敏元校正后的输出信号，g ；为第i 个光敏元的校正增益，盯，为第f 个 光敏元的校正偏移，为第f 个光敏元的在辐照度蛾下的响应输出。如果入射各光敏 硕士学也论文 基于f p g a 的红外图像实时图像增强的改进算法及硬件实现 元的幅照度竹相同，则各光敏元的校正输出咒应该相同。目前红外系统非均匀校正的 线性校正方法主要有以下两种：基于定标和基于场景的校正技术。前一种技术要求在 特定温度下由黑体产生的均匀辐射对f p a 定标。在对f p a 定标时，要求停止镜头的 正常工作，通常使用的两点定标技术属于该类。后一种方法不需停止探测系统的正常 工作，通常使用图像序列并且依赖于运动，以在每一探测器单元上产生场景温度的变 化。这些温度变化依次提供统计参考点，依照这些参考点，探测器的响应就能被校正 了。定标法在需要精确测量温度的应用中是必要的。然而，在很多实际应用中不需要 十分精确的结果，而只需相应的非均匀性补偿来消除固定模式噪声。因此，近期大量 的研究工作集中于基于场景的非均匀性校正技术来替代定标法。 本文采用的方法是基于场景的非均匀性校正，主要针对第一代扫描型红外热像仪 的输出图像进行非均匀校正。在二代红外成像系统中，红外探测器的非均匀性导致图 像上出现水平纹理，因此我们提出一种非均匀性校正方法，校正模板为： l 9 2 9 3 9 2 9 1 9 图3 3 1 是原始图像和校正后图像的效果图。 a 原始图像 b 校正后图像 图3 3 1红外图像非均匀性校正效果图 3 4 空间域图像锐化 ( 3 3 8 ) 锐化的目的是增强图像边缘，使人看起来惬意，以及便于对目标的识别和处理。 3 4 1 图像模糊的机理及解决方法 图像模糊是常见的图像降质问题。在图像摄取、传输及处理过程中有许多因素可 以使图像变模糊。如光的衍射、聚焦不良、景物和取像装置的相对运动都会使图像变 1 7 硕士学位论文基于f p g a 的红外图像实时图像增强的改进算法及硬件实现 模糊，电子系统高频性能不好也会损失图像的高频分量，而使图像不清晰。在对图像 的数字化时，实际取样点总是有一定的面积，所得的样本是这个具有一定面积的区域 的亮度的平均值，若取样点正好在边界上，则使样本值降低，从而使数字图像的边界 变得不清楚。 大量的研究表明，各种图像变模糊的物理过程的数学模型一般含有求和、平均或 积分运算。在某些应用中，可以不必深究图像变模糊的物理过程及其数学模型，而根 据各种图像变模糊的过程都有相加或积分运算这一共同特点，在空间域中运用微分运 r61 算增强图像，由付氏变换性质f 卜u ，、x ，y ) l = j 2 删f ( x ，y ) 1 可知，也可在频域中用加 l 四j 强信号高频分量的方法增强图像。图像锐化处理的目的就是突出图像中的细节或者增 强被模糊了的细节。梯度锐化和拉氏锐化是两种常用的锐化方法。 3 4 2 梯度法 梯度是图像处理中最常用的一次微分方法。我们所感兴趣的微分性质是恒定灰度 区域( 平坦段) 、突变的开头与结尾( 阶梯和斜坡突变) 及沿着灰度级斜坡处的特性。 这些类型的特性可以用来对图像中的噪声点、细节与边缘模型化瑚。对图像，u ，七) ， 其在点u k ) 上的梯度定义为矢量： g f ( j ，七) 】- 8 f 谚 a f a k g f ( j ，| ) 】的幅度( 或称为模) 为 ( 3 4 1 ) g f ( j ，| i ) 】：【( 要) ：+ ( 要) ：】； ( 3 4 2 ) 叼 删 对于离散图像而言可用差分近似表示，一种常用的近似关系式是： 三 g f ( j ，七) 】= 【f ( _ ，k ) - f ( + l ，七) 】2 + f u ，k ) - v ( ，七+ 1 ) 】2 2 ( 3 4 3 ) 为了便于编程和提高运算速宣，可将( 3 4 1 ) 式简化为 q f u ，七) 】= i f ( j ，七) 一f ( j + i ，七) l + i f ( j ，七) 一f ( j ，七+ 1 ) i ( 3 4 4 ) 梯度是向量，各向同性。梯度方向对应于f ( j ，k ) 最大变化率方向上，梯度幅度 比例于相邻像素的灰度级差值。在灰度陡变区域，梯度值大；在灰度相似区域，梯度 值小；在灰度级为常数的区域，梯叟值为零。梯度向量的模值是各向同性的，但将式 硕士学位论文基于f p g a 的红外图像实时图像增强的改进算法及硬件实现 ( 3 4 2 ) 简化为式( 3 4 4 ) 后，各向同性特性通常就不存在了。由于梯度处理的各 向同性只对9 0 。的倍数才能保持，因此用式( 3 4 2 ) 还是式( 3 4 4 ) 没有什么关 系，实践证明两个公式中较简单的算法对实验处理结果并没有什么影响。正是根据梯 度的这些性质，通过选择不同的算法，从而获得不同的锐化效果m 1 。 知道了梯度后，确定锐化输出有几种经典的赋值方法。 ( 1 ) 直接以梯度值代替，见式( 3 4 5 ) 。 g ( 工七) = g f u ，七) 】 (