（光学工程专业论文）基于fpgadsp的模块化红外图像实时处理系统的研制.pdf

基于f p g a d s p 的模块化红外图像实时处理系统的研制 摘要 随着科学技术的快速发展 红外热像仪在军事和民用领域中得到了广 表现出了巨大的市场潜力和良好的前景 但是由于目前红外器件发展 外热像仪的成像效果还不够理想 影响了红外热像仪在实际应用中的 而在红外热像仪的电子处理部分加入实时图像处理功能是解决问题的 f 最有效的手段 殳计和完成了一套功能模块化图像实时处理系统 探讨了新型的适用于 上理的智能化算法 取得了良好的效果 系统以d s p f p g a 为架构 丑于红外图像处理技术的抑制噪声和图像增强的新型简化算法应用于 磊统 完成了模块化红外图像实时处理器的研制 同时 总结了系统的 式经验 对调试时遇到的一些问题进行了详细 深入的分析 工外图像 实时处理 d s p f p g a 模块化 硕士学位论文基于f p g a d s p 的模块化红外图像实时处理系统的研制 a b s t r a c t w i t ht h ed e v e l o p m e n to fm o d e mt e c h n o l o g y t h ei n f r a r e dt h e r m a l i m a g e r h a sb e e nw i d e l yu s e d a n dh a ss h o w nal a r g em a r k e tp o t e n t i a la n d a b r i g h tf u t u r e b u ts i n c et h el i m i t a t i o no f i n f r a r e dd e t e c t o r t h ei m a g i n g q u a l i t y i s a l w a y sn o ts a t i s f y i n g w h i c h r e s t r i c t st h e a p p l i c a t i o no f t h e i n f r a r e dt h e r m a li m a g e ri np r a c t i c e s oi ti s t h em o s te c o n o m i c a la n d e f f e c t i v e w a y o fa d d i n gt h er e a l t i m e i m a g ep r o c e s s i n g f u n c t i o ni n p r o c e s s i n gp a r to f t h e i n f r a r e dt h e r m a li m a g e r i nt h i sd i s s e r t a t i o n a f u n c t i o n m o d u l a r i z a t i o nr e a l t i m e i n f r a r e d i m a g ep r o c e s s i n gs y s t e m i sd e s i g n e da n dn e wi n t e l l e c t u a l i z e da l g o r i t h m s a r e p r o p o s e d t h es y s t e m i sb a s e do nd s p f p g as t r u c t u r e a n db y a d o p t i n gv a r i o u sa l g o r i t h m si n t h eh a r d w a r ec i r c u i tt os u p p r e s si m a g e n o i s e sa n dt oi m p r o v ei m a g eq u a l i t y w ef i n i s h e dt h e m o d u l a r i z a t i o n r e a l t i m ei n f r a r e di m a g ep r o c e s s i n gs y s t e m i n a d d i t i o n t h es y s t e m d e s i g n i n g a n dd e b u g g i n ge x p e r i e n c e i ss u m m a r i z e da n d a n a l y z e d i n d e t a n k e y w o r d s i n f r a r e di m a g e r e a l t i m ep r o c e s s i n g d s p f p g a m o d u l a r i z a t i o n 硕士学位论文 基于f p g a d s p 的模块化红外图像实时处理系统的研制 1 绪论 1 1 红外热像仪成像原理 红外技术是二战后兴起的一项红外信息转换和处理技术 它研究红外辐射的 发射 传输和接收的规律及其应用原理 在工程实践上 被动式红外系统应用较 为普及 被动式红外探测方式具有非接触 隐蔽 不受昼夜和天气限制及探测距 离较远等优异性能 红外热像仪是一种二维热图像成像装置 该系统利用目标与环境之间由于温 度辐射与发射率的差异所产生的热对比度不同 把红外辐射能量密度分布探测并 显示出来 成为 热像 由于人眼对红外光不敏感 所以红外热像仪必须具 有把红外光变成可见光的功能 将红外图像变为可见图像 在红外热像仪中 红 外图像转换成可见图像分两步进行 第一步是通过光学系统 由红外探测器把红 外热辐射变为电信号 该信号的大小反映出红外辐射的强弱 第二步是通过电视 显像系统 经过电子学处理 将反映目标红外辐射分布的电子视频信号在监视器 上显示出来 实现从电到光的转换 得到反映目标热像的可见图像 在热像仪中具体实现由红外光变成电信号 又由电信号变为可见光的转换功 能是由热像仪各个部件完成的 当代使用的热像仪大都采用光机扫描 这种热像 仪主要由光学系统 扫描器 红外探测器 信号处理电路和显示记录装置等几部 分组成 图1 1 1 为热像仪工作过程的原理方框图 图1 1 1 热像仪结构原理图 硕士学位论文 基于f p g a d s p 的模块化红外图像实时处理系统的研制 红外探测器是热像仪的核心部件 它实现光电转换的功能 前部是光学系统 和光机扫描等组件 完成对光学视场内的红外辐射会聚和水平 垂直方向扫描 形成二维观察数据 其后部是电子组件 完成探测器输出信号到图像信号的体制 转换和进行改善像质的图像处理 目前 红外热像仪是夜视的重要工具 其工作 原理的最根本依据和系统应用基础是红外热辐射原理 与光学望远镜 雷达等成 像观察设备相比 它具有诸多优点 它可以全天候的工作 不受限制 作用距离 远 红外辐射比可见光具有更强的透过雾 雨 雪及烟尘的能力 能识别伪装 探测隐蔽的军事目标和强光干扰下的目标 被动式和非接触式工作 具有较好的 隐蔽性 比雷达更适宜于高精度观察 不受电磁干扰 生动的图像观察方式 从 这些特点和实际需要来看 红外热像仪具有广泛的应用前景和研究开发价值 1 2 红外热像仪的分类和发展 红外热成像系统分为制冷型和非制冷型 制冷红外热像系统又有一代 二代 和三代之分 第一代红外热成像系统主要由红外探测器 含致冷器 光机扫描器 信号处理电路和视频显示器组成 红外探测器通常使用的有铟锑 i n s b 和碲镉汞 c m t 器件 目前发展的是高性能多元c m t 探测器 器件元数已高达6 0 元 1 2 0 元和1 8 0 元 多元c m t 器件不但提高了探测度 而且可以增大视场 提高分辨率 和信噪比 并可在3 5 m 和8 1 4 m 两个大气窗口波段下工作 2 0 世纪8 0 年代初 又有 种称为s p r i t e 探测器新型红外探测器 或称扫积型探测器 问世 它是由n 条纵横比大于1 0 1 的窄条光导c m t 元件所组成 在高偏压下工作 s p r i t e 探测器除了具有探测功能外 又能在元件内部实现信号的时间延迟和积 分 从而取消了普通线列器件所需的后接信号处理电路 减少了元件引线和热负 载 使红外系统简化紧凑 工艺难度下降 大大提高了可靠性 目前美国的热成 像通用组件采用多元 6 0 元 1 2 0 元 1 8 0 元 c m t 探测器 并扫体制 图像清晰 度可与采用图像增强技术的图像相比 最小可分辨温差达0 1 k 第二代红外热成像系统与第一代通用组件相比响应速度更快 分辨率更高 视场更大 尺寸更小 质量更轻 可靠性更好 能耗更少 自动化程度更高 且 应用范围更广 第二代热成像系统采用位于光学系统焦平面 具有n m 元且带 有信号处理的面阵探测器 即红外焦平面探测器阵列 i r f p a 它是借助集 成电路的方法将探测器装在同一块芯片上 并利用极少量引线把每个芯片上成千 上万个探测器信号传输到信号处理器中 这种焦平面阵列的优点是 既能在焦平 面上封装高密度探测器 又能在焦平面上进行信号处理 红外焦平面阵列是探测 器制造技术和大规模集成电路结合的产物 有两种工作方式 一种是扫描式 其 阵列规模多在5 0 4 1 0 0 0 x 3 2 元之间 前一数字表示分辨通道的数目 后一数 坝i 学位论义 基于f p g a d s p 的模块化红外图像实时处理系统的研制 字决定时间延迟和积分的次数 另一种是凝视式 其阵列规模在3 2 x3 2 5 1 2 5 1 2 元之间 阵列中元数越多 能获得视场景物的分辨率就越高 目前红外 焦平面凝视式阵列 称为第三代红外热成像器件 日趋成熟 除3 2 3 2 和6 4 6 4 元凝视式中波红外阵列外 5 1 2 5 1 2 元高密度c m t 阵列已经问世 红外探测器是红外成像系统的核心部件 而红外探测器分为光子探测器和热 探测器两大类 虽然光子探测器如碲镉汞 h g c d t e 探测器 工作在8 1 4 r t l 波段 和锑化铟 i n s b 探测器 工作在3 5 2 m 波段 的灵敏度 响应速度 探测距离等 性能都比较高 但必须用低温致冷器进行制冷 而且红外成像系统几乎都要使用 机械扫描装置 因而整个红外成像系统显得结构复杂 体积大 成本高 尤其是 昂贵的价格不仅限制了它在军事上的普遍应用 而且使商业 民用 用户望而却 步 所以研究开发轻 小 低成本的非致冷焦平面 u f p a 及其成像系统成为一 种必然的发展趋势 近年来 军 民用的低成本非致冷焦平面及其成像系统飞速 发展 标志着这门高新技术的美好前景 非致冷热成像技术采用热电探测器探测 景物的热辐射 利用热电探测器对红外辐射引起的温度变化敏感 而温度变化速 度和探测器某些电参量成正比 通过光电和电光转换成像 其主要优点是可以在 一般环境温度下工作 不需要致冷 缺点是灵敏度低和响应速度慢 非致冷焦平 面的出现和应用标志红外技术的又一次革命 拓宽了红外热成像技术发展领域 目前研制非制冷焦平面阵列 u f p a 的两大代表是以德支萨斯仪器公司 t i 公司 为首的热释电u f p a 和霍尼威尔公司为首的微测辐射热计u f p a 1 1 1 3 红外图像实时处理背景与研究现状 由 j 前红外器件发展的限制 红外夜视成像仪的成像效果还不够理想 主 要表现为红外图像中噪声较大 对比度较低 视觉效果不好 分辨图像细节能力 比较差等缺点 影响了红外夜热像仪在实际应用中的应用效果 而解决以上所有 问题的一个最经济最有效的手段就是在热像仪的电子处理部分加入实时图像处 理功能 实时图像处理技术能在现有的条件下不仅能提高红外图像质量 增大作 用距离 更主要的是在较短的时间内迅速改善和提高红外热像仪的各项性能指 标 因此 在开展红外热像仪整机系统研究的同时 也要极力进行红外图像实时 处理技术的研究 其核心任务是研制模块化红外图像实时处理系统 从而有效地 提高1 1 3 i 热成像系统的动态范围 抑制图像噪声 消除非均匀性 改善图像质量 实时图像处理系统必须具有快速处理巨大数据量的能力 以一幅分辨率为 7 6 8 5 7 6 的2 5 6 级灰度图像为例 其包含的数据量为4 3 2 k 个字节 这还仅仅是 一帧图像 因此要想保证系统处理的实时性 系统的快速处理能力和大数据量的 吞吐能力是其先决条件 其次 对系统的体积 功耗 稳定性等也有较严格的要 坝 i 学位论义基于f p g a d s p 的模块化红外图像实时处理系统的1 f 制 求 因为最终相当部分的热成像系统要应用于军事 较小的体积 较低的功耗和 良好的稳定性是其基本要求 1 实时图像处理算法中经常用到对图像的求和 求差运算 二维梯度运算 图 像分割及区域特征提取等不同层次 不同种类的处理 因此 实时图像处理系统 是运算速度高 运算种类多的综合性信息处理系统 我国是从八十年代中期开始进行红外图像的实时处理技术的研究工作 红外 图像由于其自身的特点 处理的方式与处理可见光图像的方式不完全相同 其基 本的处理内容为图像畸变的校正 函数变换 直流恢复 非均匀性校正 对比度 与亮度调节 查询处理以及图像平滑 图像增强 线间积累 帧间积累 中值滤 波 直方图处理 像素倍增 等处理功能 红外图像处理功能对处理速度要求 比较高 新型高性能的处理实现比较困难 近年来 随着大规模可编程器件的发展 采用d s p a s i c 结构的信号处理系 统显示出了其优越性 正逐步得到重视 与通用集成电路相比 a s i c 芯片具有 体积小 重量轻 功耗低 可靠性高等几个方面的优势 而且在大批量应用时 可降低成本 现场可编程门阵列 f p g a 和复杂可编程逻辑器件 c p l d 是在专用a s i c 的基础上发展出来的 它克服了专用a s i c 不够灵活的缺点 与其他中小规模集 成电路相比 其优点主要在于它有很强的灵活性 即其内部的具体逻辑功能可以 根据需要配置 对电路的修改和维护很方便 目前 f p o a c p l d 的容量已经跨过 了百万门级 使其成为解决系统级设计的重要选择方案之一 d s p f p g a c p l d 结构最大的特点是结构灵活 有较强的通用性 适于模块化 设计 从而能够提高算法效率 同时其开发周期较短 系统易于维护和扩展 适 合于实时信号处理 1 4 论文研究工作 本论文从红外图像的特点为出发点 设计和完成了一套红外图像实时处理系 统 探讨并实现了新型的适用于红外图像处理的实时化算法 取得了良好的效果 围绕课题设计主要做了如下的研究工作 1 利用可编程逻辑器件 f p g a 和数字信号处理器 d s p 在f p g a d s p 的 基础上 确定了红外处理部分设计方案和具体电路结构 成功实现了红外 处理系统的实时化和模块化 2 根据红外图像的特征 简化了多种适用于红外图像处理 基于冗余灰度去 除的直方图均衡 2 d t d i 非均匀性校正 边缘锐化等 的新型简化算 法 实现了硬件处理 完成了系统电路的设计与调试 坝l 学位论义 基于f p g a d s p 的模块化红外图像实时处理系统的研制 3 利用f l a s h 芯片完成了d s p 的b o o t l o a d e r 程序加载 利用专用配置芯片 完成了对f p g a 的加载 实现了系统的脱机独立运行 4 大量采用贴片元器件 进一步减小了电路板的面积 噪声和功耗 根据抗 干扰原则 对高速印刷电路板进行合理的布局和布线 提高了系统的可靠 性和稳定性 颤l 学位论文 基于f p g a d s p 的模块化e x 5 l 图像实时处理系统的研制 2 红外图像特征分析 红外热成像技术是一种波长转换技术 即把红外辐射图像转换为可视图像的 技术 它利用景物自身各部分辐射的差异获得图像的细节 通常采用3 5 i r l 和8 1 4 m 两个波段 这是由大气透红外性质和目标自身辐射所决定的 红外 热成像技术既克服了主动红外夜视需要依靠人工热辐射 并由此产生容易自我暴 露的缺点 又克服了被动微光夜视完全依赖于环境自然光和无光不能成像的缺 点 红外热成像系统具有一定的穿透烟 雾 霾 雪等限制以及识别伪装的能力 不受战场上强光 闪光干扰而致盲 可以实现远距离 全天候观察 这些特点使 热成像系统特别适合军事应用 因此 各国都以巨额投资竞相开展这一领域的研 究工作 们 2 1 红外图像的产生过程及特点 红外图像反映了目标和背景不可见红外辐射的空间分布 其辐射亮度分布主 要由被观测景物的温度和发射率决定 因此红外图像近似反映了景物温度差或辐 射差 图2 1 1 热成像系统的方框图 但是 从图2 1 1 热成像系统的方框图中可以看出 目标和背景的红外辐射 需经过大气传输 光学成像 光电转换和电子处理等过程 才被转换成为红外图 像 所以根据红外图像产生过程 结合实际热成像系统的输出结果 得出红外图 像具有以下特点 1 由于红外成像器件的探测单元数比较少 且红外图像是表征景物温度分布 的灰度图像 所以红外图像分辨率比较低 2 由于景物热平衡 光波波长长 传输距离远 大气衰减等原因 造成红外 图像空刚相关性强 所以红外图像对比度低 坐 兰些堡墨 兰三 垒 里 竺堡垫些兰竺望堡兰堕竺型至竺竺竺型 3 由于外界环境的随机干扰和热成像系统的不完善 所以红外图像带来多种 多样的噪声 比如热噪声 散粒噪声 l 噪声 光子电子涨落噪声等等 4 由于红外探测器各探测单元的响应特性不一致 光机扫描系统缺陷等原 因 造成红外图像的非均匀性 体现为图像的固定图案噪声 串扰 畸变等 1 2 2 红外图像特征具体分析 2 2 1 红外图像分辨率和对比度 1 红外图像分辨率 红外成像系统由于探测器阵列数目有限及探测单元尺寸的限制 空间采样频 率无法满足采样定理 图像空间分辨率低 混频现象有时很严重 而制造密集的 红外焦平面阵列 工艺复杂 费用昂贵 按照傅立叶光学的观点 光学成像系统 是一个低通滤波器 由于受到光学衍射的影响 其传递函数在由衍射极限分辨率 所决定的某个截止频率以上 其值全为o 而大多数自然景物空间频率较丰富 包括各种高频信息 红外成像系统由于光学衍射和有限的探测器尺寸 成像过程 中 图像信号的高频部分 细节 会有所丢失 造成图像的模糊和变形 所以目前 的红外热像仪输出的红外图像分辨率较低 2 红外图像对比度 红外热像仪是一种成像装置 它是利用目标与背景之问的温差来成像 由于 一般景物的温差比较小 再加上经过大气传输 热像仪中光学部分和电子处理部 分过程中损失的灰度级 所以红外图像的对比度比较低 不利于人眼的观察 通 常可以在灰度直方图中看出此特征 往往表现为绝大部分灰度集中于某些相邻的 灰度级范围内 2 2 2 红外图像噪声 红外图像的信噪比一般比可见光c c d 电视图像低 噪声情况非常复杂 不 论是外界环境的随机干扰 还是内部物理量的随机变化均可产生图像噪声 仅仅 是红外探测器输出的基本噪声就有热噪声 散粒噪声 产生一复合噪声 l 厂噪 声 光子电子涨落噪声等 红外热图像的噪声除了有随机闪烁的颗粒噪声外 还 有带状噪声 随机闪烁的颗粒噪声主要由红外背景辐射的光子起伏 红外探测器 光电转换噪声和信号读出与处理电路的附加噪声引起 而带状噪声则主要由红外 探测器本身响应率的不均匀 成像缺陷和杂波干扰所产生 噪声来源多样 噪声 顺i 掌位论文 基十f p g a d s p 豹模块化红外图像实时处 e 系统的研制 类型繁多 这些都造成f l 9 t 热图像上噪声的不可预测的分布复杂性 通常用三维噪声模型来分析热成像系统的噪声情况 三维噪声分析所需的实 验数据是以一个均匀恒定的背景为目标 热成像系统用其采集的连续数字化图像 组成噪声数据组 三维噪声分析随机响应模型为 u t v h s 7 f p v h 卉 r p r v 7 h f h 州 v 向 7 f v h 1 g t v h 代表获得的实验数据的总值 是时间 垂直方向和水平方向 的函数 s 是三维数据组中所有点的总平均值 2 v h 是固定像素噪声 由空间双向的零点平均值随机变化构成 无时间响应 3 固定行噪声 v 这一噪声描述了仅在垂直方向上零点平均值的变化 在时间上固定不变且在水平 方向上无响应 一般来讲 它表示数据在行与行之间固定的非均匀性 4 固定 列噪声n h 这一噪声类型代表仅在水平方向上零点平均值的变化 是时间和 水平方向上每列数据的平均值变化 5 帧间噪声 0 这一噪声类型仅代表 与时间有关的随机噪声 6 时间行噪声 f v 它是由时间和垂直方向上零 点平均值随机变化构成的 在水平方向上无响应 7 时间列噪声 a 这 一一噪声类型代表时间和水平方向上的零点平均值变化 是时问和水平方向上每列 数据的变化 主要来自于l 厂噪声和其它一些低频噪声 8 时间像素噪声 r v h 它代表三维坐标系中三个方向上零点平均值的变化 与典型的电子 探测器噪声很相近 2 2 3 红外图像非均匀 i 生 一般意义七的红外图像非均匀性是指红外探测器在同一均匀辐射下 由于探 测器各阵列元的红外响应度不一致 其视频输出幅度不同而导致的像质降低 又 称空剧噪声或固定图案噪声 更进一步意义上的非均匀性还包括由红外探测器所 处环境的温度变化 电荷传输效率 l 厂噪声 电流噪声 无效探测元 盲元 以及红外光学系统等诸多原因所造成的成像质量下降 产生红外图像非均匀性的原因大致可分为 1 器件自身非均匀性 器件自身非均匀性是红外图像非均匀性的主要组成部分 以l f g c d t e 光伏探 测器 c c d 混合焦平面阵列结构为例 它的非均匀性主要可分为红外探测器及探 测器与c c d 的相互耦合 它们主要由器件的材料及其制造工艺水平决定 一旦焦 平面器件制造完成 这种山器件自身制造工艺产生的非均匀性因素将始终存在 2 器件工作状态引入的非均匀性 硕士学位论文 基于f p g a d s p 的模块化红外图像实时处理系统的研制 在红外热成像系统的性能中与红外焦平面器件工作状态相关的主要参数有 焦平面器件工作温度和温度的均匀性 红外探测器及其咖器件的驱动信号等 h g c d t e 光伏探测器的辐射响应性能与它所处的实际温度相关 焦平面器件 和焦平面器件探测单元的温度均匀性变化将影响整个焦平面器件响应的均匀性 同样 红外探测器单元及其c c d 器件单元驱动信号的变化将影响整个焦平面器件 响应的均匀性 这种非均匀性主要由焦平面器件的工作状态确定 同一焦平面器 件在不同成像系统中可以有不同的非均匀性效果 3 与外界输入相关的非均匀性 在红外热成像系统中目标和背景入射红外辐射的强度变化范围 红外热像仪 光学系统的背景辐射等外界特性均可对焦平面器件的非均匀性产生影响 景物的 红外辐射变化主要有辐射总量和辐射光谱两种形式 由于红外探测器光谱响应变 化比较复杂 辐射总量的响应均匀性并不能代表其辐射光谱变化后仍具有相同的 均匀性 红外光学系统的背景辐射条件的变化将直接影响到红外探铡器所处的工 作环境 工作参数和工作性能 这类非均匀性与实际外界条件密切相关 在 焦平面器件的研制和红外热成像系统的设计中很难直接观测到 研究表明 最主要最直接的原因是红外成像器件的自身非均匀性 倾1 学位论业基于f p g a d s p 的模块化红外图像实时处理系统的 l j f 制 3 红外图像实时处理适用算法 红外图像的缺陷主要是图像分辨率低 图像对比度不高 有噪声和图像不均 匀性等 因此 红外图像实时处理的算法也主要集中在图像增强 去噪和非均匀 性校 f 等方面 现今已经有很多有关图像处理的成熟算法 但大多过于复杂 不 利于将其实时化和模块化 因此只有在对图像效果影响不大的基础上对现有的算 法进行改进 使之在硬件上易于实现 才是目前红外图像实时处理的关键所在 3 1 直方图均衡 3 1 1 经典直方图均衡 直方图是用来表达一帧图像灰度级分布情况的图表 图像直方图反映了不同 灰度值的像素的面积 连续图像 或像素个数 离散图像 在一帧中的比例 反映了 图像的某些信息 直方图均衡就是把一幅已知灰度概率分布的图像 经过一种变 换 使之变成具有均匀概率分布的图像 从而使信息熵最大 在红外图像处理中 针对图像的灰度级比较集中 层次感差等问题 采用直方图均衡算法来进行处理 可以使其灰度级尽量拉开 从而达到了对比度增强的效果 1 直方图均衡化的原理为 假设一幅灰度级为2 5 6 级的数字图像 其归一化直 方图为x n 0 2 5 5 经过一个转换函数7 后 y n 转变为均衡化后的 直方图 7 1 f 的转换关系式为 r r 2 5 5 x 0 r o 2 5 5 i 0 从式 3 1 1 1 可以看出 t r 是x n 的数字积分 z r 即为灰度r 转换后对 应的狄度值 图3 1 1 1 的a b 为原始红外图像及其对应直方图 c d 为经典直方图均 衡后红外图像及其对应直方图 可以看出 直方图均衡算法对红外图像的作用明 显 比较处理前图像和处理后图像可知 处理前直方图比较窄 绝大部分像素集 中于某些相邻的灰度级范围 处理后直方图接近于均匀分布的直方图 扩展到整 个范围 从而调节了图像的动态范围 图像对比度得到了较大的提高 3 1 2 基于冗余灰度去除的直方图均衡 硕1 学位论义基于f p g a d s p 的模块化红外剖像实时处理系统的训制 在实际应用中 对红外图像进行直方图均衡后 我们发现在处理过程中图像 的灰度级可能被过多的合并 导致处理后灰度级过多减少 降低了图像的灰度层 次感 而且还造成了明显的灰度断层 同时均衡后的图像对比度过大 使图像变 得生硬 不太适合人眼观察 本文所采用的基于冗余狄度去除的直方图均衡算法 较好的克服了上述的不足 图3 1 1 1 中的e f 为基于冗余狄度去除直方图均 衡后红外图像及其对应直方图 a 原始图像 b 原始图像对应直方图 c 经典直方图均衡d 经典直方图均衡对应直方图 e 基于冗余灰度直方图均衡 f 基于冗余灰度直方图均衡对应直方图 图3 1 1 1 直方图均衡对比图 基7 余灰度去除的均衡方法可以描述为 图像灰度直方图表示为 h i s i i o 2 5 5 a 为该直方图的均值 则阂值取r 0 3 aa 该方法即为将个数小 于闽值的灰度全部映射到前面最近的大于闽值的灰度级 然后等距排列 即 硕士学位论文 基于f p g a d s p 的模块化红外图像实时处理系统的研制 巾 黼耋 映射函数表示为 r e f l e c t i 厂 七 设映射后灰度级数为工 等距排列为 r e f l e c t 订 二孑r 廊c f f 与气 i o 2 5 5 为尽量减少灰度级的损失 可对 f 进行修改 朋 黼筹 i 0 l 1 这样实现了冗余灰度压缩到一个范围 而不是一个固定灰度 此算法还可以进行参数可调 其中r 是参数 我们可以针对不同的红外图像 修改参数 使得到的图像更适合人眼观察 从图3 1 1 1 中的c d 和e f 比较 后可以看出经典算法有明显的断层 层次感较差 而基于冗余灰度直方图均衡算 法则克服了上述缺点 3 22 d t d 对于红外图像而言 景物的光辐射一般传输路径为 景物光辐射一大气窗 口一光学系统一探测器一电子处理一显示器 所经过的每 级都造成了辐射 能量的衰减 同时加进了噪声 比如在有雨 雾的天气条件下用热像仪观察景物 就会发现比在晴朗的天气条件下观察得到的图像模糊 这是因为雨 雾滴吸收了 景物光辐射的能量 同时自身又产生辐射 这种辐射对热像仪来说是种噪声 又 比如图像在经过电子处理单元处理时 电子系统的噪声也会叠加进图像中 导致 信噪比降低 因此 在这些成像器件的后级电子处理系统中增加去噪处理 改善 图像质量是十分必要的 2 d t o t 提高图像信噪比原理是 假设被探测的且标是静态的或缓慢运动的 由于图像信号的帧间相关性和噪声的非相关性 经过一定时间的延迟积分后 图 像的信噪比就会得到有效的提高 设对图像序列进行r t l 帧时间的2 d t d i 积分处理 则对应像素的信号功率p 为 mmmi i p 2 杉2 2 c y 6 3 2 1 f 1i tf 2 j l 式 3 2 1 中一和矿 是帧间对应像素的图像信号电压幅值 c 是图像之间的相关 硕士学位论文 基于f p g a d s p 的模块化红外图像实时处理系统的研制 系数 0 c j 1 图像的噪声主要是一些均匀分布的系统噪声 比如热噪声 用多帧累加技 术 可以提高信噪比 从而改善图像质量 由于噪声时域分布特性是随机的 不 相关的 且服从泊松分布 因此噪声之间的相关系数c 一o 经过卅帧2 d t d i 处理以后 对应像素的噪声功率 为 2 瑶 肌曙 3 2 2 式 3 2 2 中 是帧间对应像素的噪声电压幅值 k 定义为等效噪声电压 对于图像信号而言 如果被探测的目标是静态的 或者在m 帧积分时间内目标的 运动距离不大于一个像素 帧间对应像素可视为近似相等并记为v s 因此帧间 对应像素之间的相关系数c o l 经过m 帧2 d t d i 处理以后 对应像素的图像 功率s 由式 3 2 3 表示 s 2 砰 2 c 三曙 i l l 2 曙 3 2 3 式 3 2 3 中珞 圪是帧间对应像素懿图像信号电压幅值 因此图像的功率 信噪比为s n r s n r s n 等 等 z 假设处理之前的原始图像的功率倍噪比为s n r o 有 s n r o 圪 v 3 2 5 于是有 s n r m s n r o 3 2 6 由此可见 经过m 帧的2 d t d i 处理以后 图像信号的功率信噪比提高了m 倍 电压信噪比提高了 焉倍 因此必将对图像的质量有所改善 3 3 图像锐化 图像锐化是通过增强图像中的高频分量减少图像中的模糊 因此又称高通滤 波 图像锐化处理的目的是加强图像中景物的边缘和轮廓 便于目标的提取和识 别 边缘和轮廓 般都位于灰度突变的地方 由此而来 我们可以利用灰度差分 的方法将其提取出来 然而 由于边缘和轮廓在一幅图像中常常具有任意的方向 而差分运算是具有方向性 因此和差分方向一致的边缘和轮廓便不能被检测出 硕士学位论文 基于f p g a d s p 的模块化红外图像实时处理系统的研制 来 因而我们希望找到一些具有各向同性的检测算子 他们对任意方向的边缘和 轮廓都具有相同的检测能力 这样的算予有梯度 拉普拉斯及s o b e l 算子等 钔 1 拉普拉斯 l a p l a e i a n 算子 基于二阶导数的锐化处理方法称为拉普拉斯算子 对于一个连续的二元函数 f x 力 其拉普拉斯运算定义为 v 2 警 等 限 其中 v 2 称为拉普拉斯算子 对于数字图像 拉普拉斯算子可简化为卷积的形式 g x y f x r y s h r j 3 3 2 k 根据所选择的邻域大小来决定 用拉普拉斯算子锐化的输出图像g o 力为如下形式 9 0 f 似y v 2 f 3 3 3 其中g x y 为输出图像 f x 为原始图像 2 s o b e l 算予 s o b e l 算子具有较好的边缘锐化效果 而且受噪声的影响较小 当使用的邻 域较大时 抗噪声的效果更好 但这要增加计算量 而且得出的边缘较粗 s o b e l 算子运算公式如下 l s d 2 司 j 阢l 阿 以 j 正 2 0 j i 正一 2 o l d i 2 i i i i 一 2 厶 用s o b e l 算子锐化的输出图像g 化力为如下形式 3 3 4 3 3 5 3 3 6 g x f x 力 s f x y 3 3 7 其中g x y 为输出图像 f x y 为原始图像 拉普拉斯算子具有各向同性的特点 当希望目标图像的轮廓更好的闭台时 用此方法 s o b e l 算子得到的图像边缘粗而亮 适用于边界不清楚的图像 本文 采用了拉普拉斯算子 取3 x 3 模板 r 一1 1 j 一 9 i i l 一1 1 一j 硕士学位论文基于f p g a d s p 的模块化红外图像实时处理系统的研制 图3 3 1 是红外原始图像和经过锐化处理的图像效果图 a 原始图像b 锐化处理后图像 图3 3 1 红外图像锐化处理效果图 3 4 非均匀 陛校正 红外图像的非均匀性严重影响着图像质量 因此需要进行非均匀性校正 非 均匀性校正的方法很多 一般分为两大类 即是线性校正和非线性校正 线 性校正相对于非线性校正来说技术上较为成熟 红外非均匀性校正的线性校正公式如下 y g x d f 3 4 1 y 为第i 个光敏元校正后的输出信号 g 为第f 个光敏元的校正增益 盯 为 第j 个光敏元的校正偏移 x 为第f 个光敏元的在辐照度办下的响应输出 如果 入射各光敏元的幅照度谚相同 则各光敏元的校正输出y 应该相同 目前红外系 统非均匀校正的线性校正方法主要有以下两种 基于定标和基于场景的校正技 术 前一种技术要求在特定温度下由黑体产生的均匀辐射对f p a 定标 在对f p a 定标时 要求停止镜头的正常工作 通常使用的两点定标技术属于该类 后一种 方法不需停止探测系统的正常工作 通常使用图像序列并且依赖于运动 以在每 一探测器单元上产生场景温度的变化 这些温度变化依次提供统计参考点 依照 这些参考点 探测器的响应就能被校正了 定标法在需要精确测量温度的应用中 是必要的 然而 在很多实际应用中不需要十分精确的结果 而只需相应的非均 匀性补偿来消除固定模式噪声 因此 近期大量的研究工作集中于基于场景的非 均匀性校正技术来替代定标法 本文采用的方法是基于场景的非均匀性校正 主要针对第一代扫描型红外热 像仪的输出图像进行非均匀校正 在二代红外成像系统中 红外探测器的非均匀 硕士学位论文基于f p g a d s p 的模块化红外图像实时处理系统的研制 性导致图像上出现水平纹理 因此我们提出一种非均匀性校正方法 校正模板为 9 2 9 3 9 2 9 1 9 此垂直滤波系数做两次 图3 4 1 是原始图像和校正后图像的效果图 a 原始图像b 校正后图像 图3 4 1 红外图像非均匀性校正效果图 硕士学位论文 基于f p g a d s p 的模块化红外图像实时处理系统的研制 4 模块化红外图像实时处理器的设计 在第二 三章讨论的基础上 本文成功设计并开发出了一套模块化红外图像 实时处理系统 完成了2 d t d i 基于冗余灰度直方图均衡 图像锐化 非均匀 性校正等算法 系统已实现脱机 取得了良好的效果 这一章阐述了该处理器的 设计思想 系统结构以及基本实现电路 4 1 模块化红外图像实时处理器的设计思想 1 图像处理算法尽量有利于硬件实现 模块化红外图像处理器的设计其实就是将各种算法硬件化的过程 由于复杂 算法必然造成无法硬件实现 即使能够实现 也要消耗大量的系统资源 既不经 济 也不实用 因此 图像处理算法一定要简化 适用于硬件系统 2 红外处理算法尽量采用并行处理技术 由于实时图像处理数据量大 串行处理技术已经不能适用 因此需要使用并 行数据处理技术 并行处理是信息处理的一种有效形式 它着重发掘出计算过程 中的并发事件 并发性包含并行性 同时性以及流水线性处理 因此本文中采用 d s p 和f p g a 技术实现数据的并行处理 1 3 处理器应采用同步电路设计技术 由于系统的工作频率较高 数据量大 且数据变化快 如果采用异步电路设 计 容易处理射数据变化时的不确定状态 产生毛刺 降低了系统的稳定性和可 靠性 因此应采用流水线式的同步电路设计技术 4 处理器功能应该实现功能模块化 由于处理器要实现各种图像处理功能 因此应该采用模块化设计 每个模块 实现一个功能 而且要保证某个处理模块出现问题时 不会影响其它处理模块的 使用 提高系统的灵活性和可靠性 4 采用多种抗干扰措施 抑制电路附加噪声 电路设计中遇到的一个常见问题就是电路带来的附加噪声和干扰 在系统工 作频率较高的情况下 这种干扰尤为突出 且直接会影响系统的正常工作 一个 完善的实时处理系统必须充分考虑到采用各种抗干扰措施 抑制电路附加噪声 4 2 模块化红外图像实时处理器的基本结构 本文设计的红外图像实时处理器主要用于完成各种图像处理算法 以 塑主堂垡堡苎 苎三 璺垒竺竺竺壁堡些塾丛望堡壅堕竺里至竺塑至型 d s p f p g a 为架构 其基本结构如图4 2 1 所示 红外热像仪输出的视频信号 图4 2 1 红外图像实时处理器基本结构框图 经过集成视频处理a d 之后 输出8 位数字信号和相关的视频时序信号 经过 锁相的像素时钟 行同步 场同步以及奇偶信号等 f p g a 是本系统的核心部分 实现2 d t d i 图像锐化和非均匀性校正等算法 d s p 和f p g a 相结合主要实现基 于红外图像的冗余灰度去除均衡算法 s r a m 阵列是存放图像的 用于算法的实 现 f l a s h 程序存储器存放d s p 的运行程序 f p g a 配置f l a s h 存放f p g a 的配置 程序 d a 及视频合成是实现由数字信号向信号的转变 并将模拟信号与同步信 号进行生成全电视信号 4 3 视频信号数字化处理 红外热像仪的输出信号为标准全电视信号 峰峰值为l v 左右 其中0 7 v 为有用的视频信号 在对信号进行模数转换之前 必须要对视频信号进行预处理 其原理框图如4 3 1 所示 图4 3 1 视频预处理方框图 基于f p g a d s p 的模块化红外圈像实时处理系统的研制 根据本文所要处理的信号特征和要求 可以选用针对视频信号数字化处理的 专用集成电路芯片 在本文中选取了p h i l i p s 公司的视频输入处理器 r i p s a a 7 1 1 1 s a a 7 1 1 1 为一款可编程视频输入处理芯片 其采用c m o s 工艺 通过简 单的i 2 c 总线与外部控制c p u 接口 该芯片使用简单 能对输入视频信号进行 预处理 抗混叠 去假频 滤波 自动钳位 自动增益控制 a g c 节省了预处理 电路 能自动检测行 场同步信号 内部数字锁相环电路能对行同步信号h s 进 行锁相同步 以产生时钟控制信号 像素时钟 省去了以往时钟同步电路的设 计 能自动检测5 0 6 0 h z 的场同步信号 并进行p a l n t s c 和s e c a m 制式的自动 切换 具有对亮度和色度进行处理的能力 可输出y u v 一4 2 2 r g b 一8 8 8 c c i r 6 5 6 等多种标准数字视频信号 对于p a l 制式的标准视频信号 其采样规格为 6 2 5 行 7 2 0 列 s a a 7 1 l l 的功能方框图如图4 3 2 所示 糌卜塑竺 帅 s d a s 控 幅号 i 既邕翘接口 一 l 或 分离 一 厂 一 一 隔v sv r 陌r t m 邴 0 赢蕊 黜 图4 3 2s a a 7 1 1 1 功能方框图 i f l l 晓c r f f 1 模拟输入处理及控制 s a a 7 1 l l 提供4 路视频输入端口 内有2 路模拟处理通道 具有钳位电路 模拟放大 抗混叠滤波 两路a o 如图4 3 3 所示 每一功能的实现都有对应 的控制位对其进行控制 例如可以通过i2 c 总线对s a a 7 t 1 1 内部地址为0 2 的寄 存器的m o d e 2 m o d e l m o d e 0 控制位置相应的值 来控制4 路输入的选择 通过 置寄存器0 4 o j 的值可控制自动增益控制的参数 2 色度信号处理及输出格式 色度信号处理框图如图4 3 4 从a d 出来的8 位数字色度信号 被送入平 方解调器 在此利用了两个副载波信号 相位与解码器成 或9 0 关系 频率由 当前所输入视频的色彩制式所决定 结果输出到一低通滤波器 以获得所需带 硕士学位论文 基于f p g a d s p 的模块化红外图像实时处理系统的研制 宽的色差信号 色差信号被送入亮度 对比度 饱和度 b c s 控制块 主要完成 以下功能 l a g c 2 色度信号幅度匹配 3 亮度 对比度 饱和度控制 4 限制y u v 在1 到2 4 4 范围内 y 信号也被送到色度信号处理器 经延时补偿与通过梳状滤波段的u v 信号 一起进入r g b 变换矩阵 产生r g b 信号 送入格式选择器 由v p o 输出 有 多种格式可供使用 4 1 1 v 1 6 位 4 2 2 y u v 0 2 位 c c i r 一6 5 6 8 位 5 6 5 r g b 1 6 位 8 8 8 r g b 2 4 位 a 1 1 1 亮度色度 信号信号 耐糕日渊h 糟 图4 3 4 色度信号处理框图 3 亮度信号处理 时钟产生及同步分离 亮度信理电路框图如图4 3 5 所示 8 位亮度信号 c v b s s v l s 格式 被送 到一个可切换的预滤波器 为补偿高频损失 高频成分在此得到加强 色度信号 陷波器 可选中心频率f 4 4 3 m h z 或3 5 8 m h z 以最大程度地减弱色载波信号 而对s v h s 格式其必须是旁通的 经可变带宽滤波 匹配放大后叠加 产生 硕士学位论文 基于f p g a d s p 的模块化红外国像实时处理系统的研制 y 信号 供上面的色度信号处理电路中使用 预滤波后的亮度信号另一路用于同步处理 进入同步滤波器 其为带宽为 1 m h z 的低通滤波器 同步信号被分离后 再经相位检测 送入一环形滤波器 再经计数器 场处理产生相应的行 场同步信号h s 和v s 等 同时环形滤波器驱 动一个晶体振荡器 产生占空比为5 0 的l l c 2 7 腑z l l c 2 1 3 5 m h z c r e f 相 对l l c 2 有一定的延时 等时钟信号 图4 3 5 亮度信理电路框图 4 i2 c 总线编程 s m 7 1 1 1 内部有0 0 h l f h 共3 2 个8 位控制寄存器 分别完成钳位 增益控 制 同步控制 亮度通道 色度通道等功能 本论文中采用简化方案 通过通用 单片机2 0 5 1 对s u 4 7 1 儿的内部寄存器编程 占用2 0 5 1 的通用i o 口p i 6 p 1 7 作为总线的s o a s c l 信号线 实现i2 c 的编程 其电路原理图如图4 3 6 所示 本文采用a t m e l 公司的单片机8 9 c 2 0 5 1 该芯片有2 k 字节可重编程闪烁存储器 1 2 8 8 位内部r a i l 图4 3 6i2 c 总线编程电路图 坚 堂笪堡塞基于f p g a d s p 的模块化红外图像实时处理系统的研制 由于红外热像仪的图像是黑白的 所以本文中采用c c i r 一6 5 6 8 位 的输出格 式 4 4 数字视频信号实时图像算法的实现 模拟视频经过集成可编程a d 器件s a a t i i 后 产生了八位的数字视频信号 d a t a 0 d a t a 7 行同步信号 h s 场同步信号 v s 奇偶信号 o e 以及同步 时钟