（光学工程专业论文）基于fpga的红外图像非均匀性校正.pdf

摘要 红外成像系统，尤其是红外焦平面阵列，由于探测器材料和制造工艺的原因， 各像素点之间的灵敏度存在差别，甚至存在一些缺陷点，各个探测单元特征参数 不完全一致，因而存在着较大的非均匀性，降低了图像的分辨率，影响了红外成 像系统的有效作用距离。实时非均匀性校正是提高和改善红外图像质量的一项重 要技术。 本文根据红外探测器光谱响应的特点和基于参考源的两点温度非均匀性校 正理论，采用f p g a 器件实现红外成像系统实时非均匀性两点校正。该方法动态 范围大而且处理速度快，适用于红外成像系统实时的图像处理场合。 在f p g a 程序的设计时，无论是整个系统的顶层设计上，还是在数字信号处 理的常用的加乘单元上都完全地贯彻了流水线的思想，从而使f p g a 工作的并行 度大大提高。 本文完成了红外视频图像实时非均匀性校正系统的硬件设计以及软件设计。 对该系统的硬件系统中各单元的功能、电路进行了详细的讨论，给出了相应的结 构框图。对软件设计中涉及的自上到下的各模块的功能进行了详细的描述，给出 相应的电原理图，解决了用v h d l 语言设计软件的关键问题，并给出仿真波形。 同时本论文还从硬件和软件的角度，对整个系统的可扩展性进行了相应的设计。 关键词：红外热成像系统非均匀性校正两点校正f p g a 流水线技术 a b s t r a c t t h e r ei sm u c h n o n u n i f o r m i t yi nt h ei n f r a r e di m a g i n gs y s t e m ，e s p e c i a l l yi ni r f o c a lp l a n e a r r a y b e c a u s eo ft h el i m i t so ft h e d e t e c t o r sm a t e r i a l sa n dt h e m a n u f a c t u r i n gt e c h n o l o g y t h i sc a u s e st h er e d u c t i o no ft h ed i s t i n g u i s ha b i l i t yo ft h e i m a g ea n dt h ed i s t a n c eo ft h ei n f r a r e di m a g i n gs y s t e m s or e a l t i m en o n u n i f o r m c o r r e c t i o ni sa k e yt e c h n i q u ef o rt h ep r o c e s s i n go ft h ei n f r a r e ds i g n a l i nt h i sp a p e r , an e w r e a l - t i m ea n du n i f o r i l lt w o p o i n tc o r r e c t i o nm e t h o df o rt h e i n f r a r e d i m a g i n gs y s t e m j sc a r r i e do u tb ym e a n so fx i l i n x c o r p o r a t i o n s f i e l d p r o g r a m m a b l eg a t ea r r a y ( f p g a ) a c c o r d i n gt os p e c t r a lr e s p o n s ec h a r a c t e r i s t i c so f i rd e t e c t o r sa n dn o n u n i f o r m i t yc o r r e c t i o nt h e o r yf o rt w o - p o i n tt h e r m o m e t r i cs c a l e b a s e do nr e f e r e n c er a d i a n t p o i n t t h i sm e a nh a st h ea d v a n t a g e so fl a r g ed y n a m i c r a n g ea n df a s tp r o c e s s i n gs p e e d i ti s s u i t a b l ef o rp r o c e s s i n gi m a g ea tr e a l - t i m ei n i n f r a r e di m a g i n g s y s t e m i nt h ep r o g r a mo f f p g a a s s e m b l y l i n et e c h n i q u ei su s e di nb o t ht h ed e s i g no f t h et o pl e v e lo ft h es y s t e ma n dt h ed e s i g no ft h ec o f f n d _ o na d d i n ga n dm u l t i p l y i n g u n i t so f d i g i t a ls i g n a lp r o c e s s t l l i sw i l lg r e a t l yi m p r o v et h ec o n c u r r e n td e g r e eo f t h e o p e r a t i o no f t h ef p g as y s t e m t h ed e s i g no fh a r d w a r ea n ds o f t w a r ei s e m p h a s i z e di n t h i s p a p e r i n t h e d e s c r i p t i o no fh a r d w a r e ，t h ef u n c t i o na n d c i r c u i td e s i g no f e v e r yu n i t sa r ed i s c u s s e di n d e t a i l t h ed i a g r a m so f e v e r yu n i ta r ea l s oi i s t e d i nt h es o f t w a r ep a r to f t h es y s t e m t h em o d u l e sf r o m t o pt od o w n a r ed e s c r i b e di nd e t a i l i na d d i t i o n ，t h es c h e m a t i co rt h e i m p o r t a n tp o i n t so f t h ev h d l p r o g r a ma n dt h es i m u l a t ew a v e f o r r na r ep r o p o s e di n t h i sp a r t i nt h i sp a p e r , t h ew o r ka b o u tt h ee n l a r g e m e n to ft h es y s t e mi sa l s od o n e p r o p e r l yb ym e a n s o fh a r d w a r ea n ds o f t w a r e k e yw o r d si n f r a r e di m a g i n g s y s t e m t w o p o i n tc o r r e c t i o n n o n u n i f o n nc o r r e c t i o n f p g a a s s e m b l y - l i n et e c h n i q u e 南京理i ：火学硕士论文基于f p g a 的红外图像非均匀性校正 1 绪论 1 1 红外热像仪的原理 一般红外探测系统要获取目标的信息，是将目标当做点源进行处理的。热成 像系统则要求对景物成像，根据热像的特征而确定景物的某些特性，因此热成像 系统所观察的景物为面辐射源。一般的红外探测器的面积很小，只能接受景物某 一空间单元的信息。所以热成像的关键是将景物按照一定的规律分割，即将所观 察的整个景物空间按照水平和垂直分为很多小的空间单元，将探测器接收单元依 次扫过各空间单元，将各空间单元的热辐射依次转换为一维的时序视频信号。接 收系统对景物空间进行二维的扫描的任务由扫描结构来完成，如果水平和垂直扫 描方式和监视器的行和列扫描方式一样，一维的时序视频信号经过放大后送到监 视器，监视器就可以显示空间热像“1 。图1 1 表示红外成像系统的原理。 图1 1 红外热成像系统原理翻 按照扫描机构的工作原理不同，可以将热像仪分为光机扫描热像仪，电子束 扫描热像仪和固体自扫描热像仪。 i 光机扫描热像仪 单位探测器与景物空间相对应，当光学系统作方向偏转和俯仰偏转时，单位 探测器所对应的景物空间也在作相应的方向偏转和俯仰偏转。光学系统偏转角的 大小决定了扫描空间的范围。这种探测器的接收范围很小，靠光学系统偏转来获 得整个景物的热像，因此叫做光机扫描热像仪。 l 南京理 大学硕士论文 基于f p g a 的红外图像非均匀性校正 2 电子束扫描热像仪 电子柬扫描热像仪主要是指热释电热像仪。景物空间的整个观察区域一起通 过物镜成像在热释电热像仪的靶面上，图像信号是通过电子束扫描检测出来的， 只有电子束扫描所触及的那一小块区域才有信号。摄像管的偏转线圈控制电子束 在靶面上扫描，来获得整个景物的热像。 3 固体自扫描热像仪 面阵探测器的每一个探测器单元对应景物空间的一个相应单元，整个面阵探 测器对应整个景物空间。通过采样转接技术，使各探测器单元的景物信号依次送 出。这种利用面阵探测器进行大面积摄像，通过采样对图像进行分割的方法叫做 凝视型系统。若面阵探测器是c c d ，则采样换接成c c d 的信号电荷方式，探测器 上各单元的信号电贺在转移脉冲的作用下快速的转移，输出到器件的外部。3 。 l2 红外视频信号的特点 p a l ( p h a s ea l t e r n a t i o nl i n e ) 是一种2 ：1 隔行扫描的视频信号，隔行扫 描是一种在不增加带宽的情况下降低闪烁的技术，每秒5 0 场，每帧两场，每场 3 1 2 5 行，即每帧6 2 5 行，两场消隐占去5 0 行，也就是只有5 7 6 行是有效的。 所以水平扫描的频率是6 2 5 2 5 = 1 5 6 2 5 k h z ，周期是6 4 u s ，其中行消隐1 2 u s ， 每行有效视频5 2u s 。水平同步脉冲位于水平消隐脉冲的顶部，宽高比为4 ：3 ， 所以每行的有效像素5 7 6 x 4 3 = 7 6 8 。全电视信号，包括图像信号、复合消隐信 号和复合同步信号( 由行同步脉冲，开槽的场同步脉冲和前后均衡脉冲组成) ，h 表示行周期o “，图1 2 为视频信号的特征图。 1 消隐脉冲 为了使扫描逆程光栅不显示，需要加入行和场的消隐脉冲，电子束被截止。 行和场的消隐脉冲的宽度与扫描逆程相同，为了保证接收端消除逆程光栅痕迹， 消隐脉冲的宽度适当长一点。行和场的消隐脉冲的周期与行和场的扫描周期相 同。若峰值白电平到同步脉冲为1 0 0 ，则峰值白电平到消隐脉冲为7 0 。行消 隐脉冲的宽度为1 2 u s ，场消隐脉冲的宽度为2 5 h + 1 2 u s ，行同步脉冲的前沿到行 消隐脉冲的后沿的计算平均值为1 0 5u s 。 2 同步脉冲 为了j f 确的重现图像，必须使收端和发端同步扫描，从而收端和发端有一一 2 南京理【：人学硕十论文 基于f p g a 的红外图像非均匀性校正 h w 2h 胆胀t 聃2 算u 第= 霸场罔带幅号 图1 2 视频信号的特征图 对应的几何位蔑，这就是行和场的同步脉冲所起的作用。在逆程期间传送的同步 脉冲宽度比逆程窄，因此一般将它叠加在消隐脉冲上，这样就可以用简单的幅度 分离法分离出同步脉冲。由于行同步脉冲的前沿决定了接收机行扫描电路的行正 程的结束和行逆程的开始，为了保证行同步脉冲的前沿的正确性，一般要使行消 隐脉冲的前沿超前行同步脉冲的前沿大约1 5u s 。行同步脉冲一般只有行周期 的7 5 ，场的同步脉冲为行周期的2 3 倍，这样电路就可以用脉冲的宽度分出 行和场的同步脉冲。 3 场同步开槽和均衡脉冲 如果场的同步期间无行同步信号，扫描过程的同步性将受到影响。因此在场 的同步脉冲中有一些缺口，代替同步信号。采用隔行扫描时，奇数场和偶数场的 行同步信号错丌半行。为了这段时间内的奇数场和偶数场的同步脉冲相同，在场 的同步脉冲以及其前后的几行内，使行同步信号频率提高一倍。同时为了确保行 同步信号频率提高一倍后的平均电平不变，在脉冲间隔为为0 5 h 时，将脉冲宽 度降低为原来的一半。将前后的窄脉冲称为前均衡脉冲和后均衡脉冲。它们都是 5 个，各占去2 5 行的时间。行同步脉冲的宽度为4 7u s 。均衡脉冲为2 3 5u s ， 场的同步脉冲也是占去2 5 行的时间，在它的上面由于开了5 个槽而形成5 个齿 脉冲，齿脉冲宽度为2 7 3 u s ，槽宽度为4 7 u s 。 南京理j 大学硕士论文 基于f p g a 的红外图像非均匀性校正 由上面的分析，p a l 视频信号的参数如表1 1 。 表1 1p a l 视频信号的参数 f 奇数场行号偶敢场彳亍号 场同步6 2 5 18 2 5 5 1 0 屠均衡 5 56 副载波阶段开始 1 l1 0 5 副载波阶段内同步开始 l l1 2 5 7 6 行开始彳亍 4 54 6 视频真正开始 4 5 s4 6 开始后第1 个同步 4 7 6 5 7 6 行终止 6 2 i6 2 0 5 前均衡 6 2 l6 2 0 5 红外热像仪，输出多为非标准的视频信号，若是焦平面阵列型的，视频参 数多为3 2 0 2 4 0 ，若是扫描型的，视频参数多为3 2 0 1 9 2 。1 。对红外视频信号 进行非均匀性校正的本质是对探测器的不同的成像元的非均匀性进行校正，但是 每一种红外热像仪的探测器的元数都有所不同。本论文考虑到通用性，假定视频 参数为3 2 0 2 4 0 ，同时将每帧中的每一个像素作为一个校正单元，而每一个像 素有增益校正因子和偏移量校正因子两个参数。 1 3 数字图像处理技术简介 数字图像处理技术是随着大规模数字集成电路和计算机技术而发展起来的 一个重要的技术领域，它已经在很多领域得到了广泛的应用，取得了显著的经济 和社会效应。 图像是任一二维或者是三维的物体的模拟和描述，它包含这个物体的信息。 对图像的处理是为了达到一定的目的，例如使之清晰度提高或者是提取特定的信 息等。图像的处理技术有模拟技术和数字技术之分，前者是传统的图像处理技术， 后者则是近十几年是随着高速数字电路和计算机技术而发展起来的。 数字图像处理技术，就是将模拟图像信号转化成数字信号，然后用计算机或 者是高速数字信号处理器件如数字信号处理器( d s p ) ，可编程的f p g a 器件或者 是专门的数字集成电路对其进行处理。前者主要应用于非实时的数字图像处理领 域，后者则应用于实时的数字图像处理领域“”。数字图像处理技术与光学、照 南京理，i 人学硕十论文 基于f p g a 的红外图像非均匀性校正 录像等传统的模拟图像处理技术的比较如表1 2 。 表i 2 图像处理技术比较 方法处理速度 灵活性精度再现性 光学快中 d 口由 照片快差差差 录像快 由 蔫中 数字慢好好好 数字图像处理技术的主要优点在于：因为对图像的处理是通过运行处理程序 来实现的，所以可以灵活多变的进行各种处理，如可以对图像作线形变换或者是 非线形变换。同时数字图像处理的精度和再现性也远优于模拟图像处理。 与模拟图像处理技术相比，数字图像处理技术的主要缺点在于：图像数据的 存储空间大，但是相对于它的优点来说，这个缺点很多情况下可以忽略不计。 随着数字图像处理技术的发展，尤其是随着人们对处理设备的小型化和实时 性的追求，以计算机为平台的数字图像处理技术越来越不能满足要求。相反以高 速数字信号处理器件如数字信号处理器( d s p ) 、可编程的f p g a 器件或者是专门 的数字集成电路为平台的实时数字图像处理技术则越来越受到重视，尤其在便携 式的嵌入式系统中。本论文研究的内容就属于以可编程的f p g a 器件为平台的实 时数字图像处理技术的领域。 按照离速数字信号处理器件的不同，可以将实时数字图像处理分为以专用数 字图像处理芯片为平台的实时数字图像处理和以通用高速数字信号处理器件为 平台的实时数字图像处理。专用数字图像处理芯片通常具有价格便宜、性能稳定 、功耗低和功能强等优点，因此得到了广泛的应用。但是专用芯片对于用户来说 也存在着很多缺点，如使用的灵活性差、二次开发成本高和功能单一等。相反通 用高速数字信号处理器件，如数字信号处理器( d s p ) 和可编程的f p g a 器件等， 应用于数字图像处理领域，却可以弥补专用数字图像处理芯片这些方面的不足。 而且随着通用高速数字信号处理器件的价格越来越便宜，相关的开发工具越来越 强大，甚至在一些专用芯片占优势的领域也丌始大量的采用通用高速数字芯片进 南京理【：人学硕七论文 基t - f p g a 的红外图像非均匀性校正 行数字图像处理。本论文就采用f p g a 器件进行红外数字图像处理。 1 4 本论文的主要研究内容 本论文主要研究用利用x i l i n x 公司f p g a 器件进行红外成像的非均匀性进行 校正，采用的算法是基于参照源的两点校正法。 本文在对红外成像的非均匀性来源，校准算法和f p g a 器件的原理与设计方 法讨论的基础上，完成了红外视频图像实时非均匀性校正系统的硬件设计以及软 件设计。对该系统的硬件系统中各单元的功能、电路进行了详细的讨论，给出了 相应的结构框图。对软件设计中涉及的自上到下的各模块的功能进行了详细的描 述，给出相应的电原理图或者指出用v h d l 语言设计时的关键问题，并给出仿 真波形。同时本论文还从硬件和软件的角度，对整个的可扩展性进行了相关的设 计。本论文的创新性的方面有： 在硬件设计时，采取了将系统数字部分和模拟部分分别两块独立的电路板的 设计方法。从而保证了本论文的数字部分的通用性，同时也方便的比较不同数字 系统对红外视频信号处理的优缺点。 同时在硬件的数字部分设计时，在f p g a 器件的外部接上高速的s r a m 用以存 放校正因子，不仅能够满足要求，而且从经济角度考虑也非常合算。 在f p g a 的软件设计时，无论是整个系统的顶层设计上，还是在数字信号处 理的常用的加乘单元上都完全的贯彻了流水线的思想，从而使f p g ai 作的并行 度大大提高。 软件设计工具的选择上时，采用v h d l 语言与原理图相结合的设计方法， 充分的利用了它们各自的优点。特别是与通常的只强调v h d l 语言的优点不同， 本论文在最低层通用加乘模块和顶层的系统设计时采用原理图设计方法，前者可 以将加深对流水线算法的理解，后者可以直观的看出系统各部分之间的关系。 对数字部分的可扩展性进行了相关的设计，在硬件电路板设计上，f p g a 必 须对存储器的地址线和控制信号完全控制。软件设计时，将这些不用的地址管脚 和控制管脚置于固定值，在整个f p g a 的工作过程中保持不变。 南京理1 人学硕士论文 基1 - f p g a 的红外图像非均匀性校正 2 红外成像的非均匀性与校正技术的理论分析 2 1 红外成像的非均匀性来源 非均匀性校正是红外成像的一项关键技术，它既可以应用于扫描型红外成像 系统，也可以应用于红外焦平面阵列成像系统。尤其是后者。本论文主要是对后 者讨论。 红外焦平面阵列( i r f p a ) 探测元具有敏感度高、探测性能强、能够获得物体 更多的表面消息以及更高的、可变的帧速率等优点，正成为红外热成像技术中的 主流器件。然而，由于制造和使用环境的影响，图像的非均匀性( n o n u n i f o r m i t y ) 成为制约红外焦平面阵列探测器性能的限制性因素。一般意义上的非均匀性是指 红外焦平面阵列在同一均匀辐射下，由于探测器各阵列元的红外响应度不一致， 其视频输出幅度不同而导致的象质降低，又称空间噪音或者固定图案噪音。更进 一步意义上的非均匀性还包括由焦平面阵列所处环境的温度变化、电荷传输速率、 电流噪声、无效探测元( 盲元) 、以及红外光学系统等诸多因素造成的成像质量的 下降。 红外焦平面阵列多元探测器的响应度不一致会造成图像上出现水平纹理， 使得红外成像系统输出图像的视觉效果很差。对于r l 元探测器( i = 0 ，l ，2 ，n 1 ) ， 由于其响应度非均匀性的存在，在同样的入射照度作用下，将引起不同的输出信 号( 幅度) v 。，v 。- i9v 。对于n 元探测器响应度非均匀性一般定义为：各探 测器单元在二分之一饱和辐射量下所输出的原始响应等效电压信号与其平均值之 比，即 p r u n = ( 2 1 ) 其中瓦为各探测器单元原始响应信号的平均值。 如果各探测器的光谱响应度r 。= ，m 。与波长无关，且考虑无照射辐射时探 测器输出的暗电流信号v o ，于是探测器的响应关系为： v 。= r 中+ v 。 ( 2 - 2 ) 其中 南京理【：人学硕士论文 基于f p g a 的红外图像非均匀性校正 中= 嘉叫一产胁 。) 表示汇集到探测器焦平面上的景物辐射功率。 2 2 红外图像非均匀性校正方法技术研究 在热成像系统中，由于制造红外探测器材料的内部结构的不均匀，以及在后 续的信号变换和处理过程中各路信号所得到的增益不一致等原因，不同的探测光 敏组件在相同的红外辐射条件下产生的输出信号不完成相同，于是便造成红外图 像非均匀，在监视器上表现为，相同的物体显示为不固定的红外图像。对红外图 像非均匀性校正有两种方法，一种是基于同一参考源的非均匀性校正法，另种 是基于场景的自适应非均匀性校正法。_ 。前者更适合于凝视型的红外成像系统， 后者更适合于扫描型的红外成像系统，本论文主要研究第一种非均匀性校正方法 红外图像非均匀性校正的一般公式如下： 誓= g l x 。( p ，) + 仃， ( 2 - 4 ) 其中，r 表示第i 个光敏元校f 后的输出信号，g 。为第i 个光敏元的校正增益， 仃为第i 个光敏元的校正偏移，x ，( 识) 为光强为的辐射照射到第i 个光敏元的原始 输出信号。 一基于同一参考源的非均匀性校正 基于参照源的两点校正法是目前最为成熟并实用化的技术，图2 1 为校正前 后的红外图像： ( a ) 图2 1 两点校正法前后的红外图像 南京理工人学硕+ 论文 基于f p g a 的红外图像非均匀性校正 基于参照源的两点校正法有两个假设，第一，从红外图像非均匀性的来源和 表现形式看来，如果各阵列元的响应特征在所感兴趣的温度范围内为线性的，这 一假设再探测器响应的大部分区域是成立的，只有在输入极小或者是接近饱和时 才有较大的非线形，在忽略这些误差的情况下可以认为各阵列元为线性的。第二， 假设1 f 在时间上是稳定的，否则，定标的数据在使用时就会失去意义“”3 。 在这两个假设下，阵列元在均匀辐射的背景下的输出为： xc j ( 中) = u ，j 中+ v f j( 2 5 ) i = 0 ，l ，2 ，n 一1 ：j = 0 ，1 ，2 ，m 一1 其中，中为辐射通量，u 。和v ：。分别为增益和偏移量，i 和j 代表不同的阵 列元。对于每个阵列元，u 、。和v ，的值是固定的，并且不随时间变化。因此采用 两点校正法可实现红外焦平面阵列非均匀性校正，校正的方程可以为： y = g 。x 。( 中) + q 。j ( 2 _ 6 ) 其中，g 。和q 。分别为增益校正因子和偏移量因子，y 。为校正后的输出。 由此可见，非均匀性校正可分为两步，先进行增益补偿，再进行偏移补偿。 假设红外图像原始响应特征曲线如图2 2 所示。 郴埘02 0 柏1 0 0 r | d i m ， ( a ) r c s p o f 娣c l i 删a1 i n tc o m h 图2 2 红外图像原始响应特征曲线 那么进行增益补偿，处理后的曲线就如图2 3 所示，接着进行偏移补偿，处理 后的曲线则如图2 4 所示。 9 奄：占至8墨 南京理l 一人学硕十论文 基t - f p g a 的红外图像非均匀性校止 8 0 = 6 0 h 芑4 0 盘2 0 0 - 4 0 锄 02 0 4 0 6 0 8 01 0 0r a d i a t i o n ， 8 0 号 6 0 h ；j 量4 0 墨 a 委2 0 o 图2 3 增益补偿后的响应特征曲线 4 0 _ 2 00 2 0柏6 08 01 0 0r a d i a t i o n ， 图2 4 偏移补偿后的响应特征曲线 通常两点校正法分为标定和补偿两步。在光路中插入一均匀辐射的黑体，将 所有阵列元在低温t 。( 第一定标点) 和高温t h ( 第二定标点) 下的响应记为v 。 和v 。有下列关系式： v l - g ；。x 。( 中，) + q 。j ，v ”= g xj ( 中“) + q 。 ( 2 7 ) 通过求解二元一次方程组而得出增益校正因子和偏移量因子： 0 南京理1 人学硕士论文 基于f p g a 的红外图像非均匀性校正 2 鬻 ( 2 8 ) ( 2 9 ) 其中x 。，( 巾。) 和x 、，( 中。) 分别为像元( i ，j ) 在低温t 。( 第一定标点) 和高 温t 。( 第= 定标点) 下的响应。 将各阵列元的增益校正因子g ；，和偏移量因子q 。预先存入相应的存储单元， 这样就完成了两点校正法的标定。然后将实际的探测器单元响应信号与对应的校 正因子相乘，再加上该探测器单元的偏移量，即完成了两点校正法的补偿。由此 可见，两点校正法实际上就是在第一定标点处把各响应曲线平移到平均响应值 上，然后以这个点为轴将各响应曲线旋转到第二定标点的平均响应值上。 一般来说，探测器单元的响应不完全是理想直线，故参照源越多，插值的零 节点越多，校正精度越高。故对系统的非线形比较严重，或者是非均匀性校正要 求较高的可以采用多点定标“”。 这种方法的优点是计算量小，在体积，质量和功耗上都较小。通常在出厂前 便将各阵列元的增益校正因子和偏移量因子求出来预先存入相应的存储器。当要 求较高时就需要周期性定标，这就需要在系统内或外加上定标设备，加重了系统 的负担。 二基于场景的自适应校正法 基于场景的自适应校f 法是目前正在不断探索的技术“，它与的不同之处在 于计算的增益校正因子和偏移量因子不是取自参考源，而是来自于对场景的估 计，因而可以省去参考源，使系统简化。 c s ( c o n s t a n t s t a t i s t i c ) 算法是最典型的基于场景的自适应校正算法，它 建立在如下的假设的基础上： ( 1 ) 每个探测器单元的输入信号的统计平均值恒定。 ( 2 ) 每个探测器单元的输入信号的统计方差相等。 由此，非均匀校正公式= g i x ，( 仍) + 盯，可以表示为： m r = 丘 y 】= e 昏r ( 妒) + 盯】+ o - = g e 【x ( 妒) 】+ 盯= g m + 盯 ( 2 1 0 ) 捣 = r u 南京理f 人学硕十论文 基丁f p g a 的红外例像1 i 均匀性校正 筇= 9 2 畦 不失一般性，假设m l = 0 、贬= 1 ，那么有 o - 。m v ( 2 1 1 ) g = 6 y 最终的校正公式为： x = ( y m ，) 4 ( 2 1 2 ) 在实际的计算时，均方根可以用平均绝对误差代替，平均值和平均绝对 误差可以用循环计算而得。 对于扫描型的系统，特别是多次扫描才能形成一帧图像的系统，无论场 景是运动的还是静止的，上面的假设条件基本都能满足。所以基于场景的自 适应校正法更加适合于扫描型的红外成像系统“1 。 2 3 常见红外成像非均匀校正电路 最初的红外成像的校正大概有两种方法，一种是由各种不同的模拟和数字电 路分别构成各种功能单元，再将这些模拟和数字电路组合在一块p c b 板上构成校 正系统。这种类型的校正系统由于采用了大量的分列器件从而稳定性差，同时体 积庞大。现在已经很少使用 z s l o 另一种类型的校正系统是把原始的红外信号经过a d 转换后输入电脑，由电 脑软件进行较为完善的校正和处理。这种类型的校正系统可以对红外信号的处理 效果最好，但是由于其非实时性而限制了其应用范围。 一数字信号处理器( d s p ) 为主要的运算器件的电路 随着电子工业的发展，特别是高速的数字信号处理器( d s p ) 的出现，使得 利用较为简化的电子系统来实现实时性红外成像信号的校正成为可能。这便是现 代意义上的红外成像的校正系统。图2 5 为这种校正系统的原理框图。 在系统中，d s p 的引导方式为f l a s h + d s p 模式，将程序放在属于电擦除r o m 的f l a s h 中，脱机工作时，d s p 自动将放在f l a s h 中的程序调入d s p 中。由于视 频信号处理的最大的特点是数据量大，通常对d s p 的数据存储器进行扩展。单片 机主要用于人机接口以及和上位机的接i ：z l ，用于算法的选择，参数的交换。通常 采用查找表的方式进行视频图象的输入和输出啉1 。 南京理t 大学硕士论文 基于f p g a 的红外图像非均匀性校正 图2 5d s p 型的校正系统的原理框图 这种设计方法的优点是利用了d s p 芯片的快速运算能力，而且软件编写的主 要任务是编写d s p 芯片的程序，诃试难度不大。但是由于视频信号处理的运算量 大，特别是涉及到大量重复性的统计运算，而这些都必须由d s p 完成。这样会大 大的加重d s p 的运算负担，或者会因为d s p 运算能力跟不上而不得不简化算法， 从而减低了校正的效果。于是为了达到更好的效果，选用的d s p 芯片的档次不断 提高，相应的，成本也不断提高。作为一种高速的微处理器芯片，d s p 芯片的优 势是在拥有高速运算能力的同时还可以实现较为灵活的算法。而这种设计方法将 不得不极大的牺牲1 ) s p 运算的灵活性的优势，d s p 的主要功能放在大量重复性的 统计运算上。 同时，从运算速度的角度看，d s p 的运算速度毕竟赶不上纯硬件的f p g a 器 件。于是便有人提出将算法中的大量重复性的统计运算部分分出来由f p g a 完成 ，这便是下面所讲的d s p - + - f p g a 结构。 二d s p + f p g a 结构处理电路 d s p + f p g a 结构最大的特点是结构灵活，有较强的通用性，适于模块化设计， 南京理丁大学硕士论文 基于f p g a 的红外图像非均匀性校正 从而能够提高算法效率；同时其开发周期较短，系统易于维护和扩展适合于实 时信号处理，图2 6 为d s p + f p g a 型的校正系统的原理框图。 f p g a 可以完成模块级的任务，起到d s p 的协处理器的作用。它的可编程性 使它既具有专用集成电路的速度，又具有很高的灵活性。d s p 具有软件的灵活性： 而f p g a 具有硬件的高速性，从器件上考察，能够满足处理复杂算法的要求。这 样d s p + f p g a 的结构为设计中如何处理软硬件的关系提供了个较好的解决方 案、同时，该系统具有灵活的处理结构，对不同结构的算法都有较强的适应能力。 尤其适合实时信号处理任务”8 。2 ”。 圈2 6d s p + f p g a 型的校正系统的原理框图 这种设计方法的优点是可以执行多种算法，相对灵活性、精度比较商。但是 由于在设计中涉及到d s p 、f p g a 运算的匹配，调试的难度加大。同时由于涉及到 多个高速器件的匹配，而d s p 和f p g a 的控制功能相对较差，一般要在系统中引 入单片机和上位机的接口，迸一步增加了调试的难度和系统的成本。同时一般体 积庞大，稳定性差，一般多使用于精度要求高、价格昂贵的大型红外扫描成像系 统。 由上述论述可以看出，这两种实现方法分别有其自身的缺点。特别是随着红 外成像技术越来越应用于低成本的嵌入式便携装置中，这两种实现方法更是有其 不可克服的缺陷。因为嵌入式便携红外成像装置大多要求成本低、体积小、同时 所使用的红外校正算法也相对单一。因此很多情况下，单纯使用f p g a 芯片所构 成的校正系统反而能很好的解决这个问题，这就是本论文所探索和解决的问题。 1 4 南京理工大学硕士论文 基于f p g a 的红外圈像非均匀性校j e 3 f p g a 的原理与设计方法 3 1f p g a 的原理 本论文选用的f p g a 器件为x i l i n x 公司生产的v i r t e x 系列f p g a 器件 x c v l 0 0 e ，所以下面主要介绍这种f p g a 器件的原理3 。 3 1 1f p g a 的总体结构 v i r t e x 系列f p g a 由以下两个主要配置单元组成： 1 供构造逻辑的可配置逻辑块( c l b ) 。 2 提供封装引脚到c l b 接口的输入输出块( 1 0 b ) 。 图3 1 即为v i r t e x 系列f p g a 的结构图。 d l l1 0 8 8d l l v e r s a r i n g 秭 詈= 四基 差 c l b s 蛋出 芷 墨 们 q 芒 岩 v e r s a r i n g i o b s d l ld l l 图3 1v i r t e x 系列f p g a 的结构图 c l b 之间的互连由通用布线矩阵g r m ( g e n e r a lr o u t l a gm a t r i x ) 完成。g r m 为一个由水平和垂直布线通道节点构成的开关阵列。上图中v e r s a r i n gi o 接口 提供器件周边的附加布线资源，增加i o 的步通率，引脚锁定也更加容易。 此外v i r t e x 系列f p g a 还包括连向g r m 的电路： ( 1 ) 专用块r a m ，大小为4 0 9 6 位的。 ( 2 ) 时钟延时锁定环( d l l ) ，用于时钟分布延时补偿和时钟域控制。 南京理i 人学硕十论文 基丁f p g a 的红外图像非均匀性校正 ( 3 ) 三态缓冲( b u f t ) ，驱动专用分段的水平布线资源。 存放在静态存储单元中的数据控制逻辑单元和互连资源的配景，这些数据在 上电时被加载入静态存储单元，如果要改变器件的功能，就必须重新加载。 3 1 2 输入输出块( 1 0 b ) v i r t e x 系列f p g a 支持很多信号标准，如l v t t l 、l v c m o s 2 、p c i 、g t l 、h s t l 、a g p 和s s t l 2 等，高速的p c i 接口传输速率可以达到6 6 m h z 。图3 2 为输入输 出块的结构图。 图3 2 输入输出块( i o b ) 结构图 图3 2 中i o b 有三个存储单元，可以配置成边沿触发的d 触发器，也可以配 置成电平触发的d 锁存器。三个触发器共用相同的时钟信号c l k ，使用各自的时 钟使能信号。同时三个触发器共用相同的置位复位信号s r 。对每个触发器，这 个信号地可以被独立配置为同步复位，同步置位，异步预置或者异步清零。 i o b 中的输入输出缓冲和控制信号都由一个独立的极性控制。 所以的引脚都可防e s d 而且有过压保护措施。有两种形式的过压保护，一种 形式是5 v 允许兼容，当输出升到6 5 v 时，一个接地的齐纳型结构起作用：另一 种形式是不允许5 v 兼容，这时使用一个传统的箝位= 极管。每一个引脚都可以 1 6 南京理f ：人学硕士论文 基于f p g a 的红外图像菲均匀性校正 独立选用一种形式的过压保护。 每一个引脚都有个可以选择的上拉电阻、下拉电阻和一个可以选择的弱 保持( w e a k k e e p e r ) 电路，在配置以前，所有与配置无关的输出引脚均为高阻， 下拉电阻和弱保持电路均无效，但是输入引脚可以按上拉电阻。如果上拉电阻没 有接，那么所以引脚都是空的。所以配置前，某些重要的引脚必须接上拉电阻， 以保证电路的安全。 3 1 3 可配置逻辑块( c l b ) 图3 3 为可配置逻辑块结构图。 图3 3 可配置逻辑块结构图 v i r t e x 系列f p g a 的每个c l b 由2 个s 1 i c e 组成。每个s l i c e 由两个l c 组 成。每个l c 由一个4 输入的函数发生器( l u t ) 组成、一个进位逻辑 ( c a r r y c o n t r 0 1 ) 和一个存储单元组成。每个c l b 除了4 个l c ，还有一些其他 的逻辑电路，和函数发生其一起实现任意5 输入和6 输入的逻辑函数。因此可以 认为1 个c l b 包括4 5 个l c 。 v i r t e x 器件中，查找表( l u t ) 用作函数发生器，每个l u t 能提供1 个1 6 1 位同步r a m 。一个c l b 的两个l u t 可以一个1 6 2 位或者3 2 1 的双端口同步r a m 。 同时l u t 中还提供1 个1 6 位的移位寄存器，在数字信号处理场合用于捕捉和存 储高速突发数据。 d 触发器的输入可以是s 1 i c e 内的函数发生器，也可以直接被s l i c e 的输入 7 南京理一i ：人学硕十论文基1 = f p g a 的红外图像非均匀性校正 驱动。除了时钟信号和时钟使能信号外，每个s 1 i c e 还包括冒位和复位信号，这 些信号可以被配置为同步或者是异步方式。 f 5 数据选择器将s li c e 的两个l u t 组合到一起，实现任意的5 输入的函数 发生器、4 ：l 的数据选择器或者是某些9 输入的函数。f 5 数据选择器将4 个函 数发生器实现任意的6 输入的函数发生器，8 ：l 的数据选择器或者是某些1 9 输 入的函数。 c l b 中每个l c 有一条直通路径，用于提供附加的输入线路和附加的本地布 线，而不占用逻辑资源。c l b 中有两个三态驱动缓冲器。每个三态驱动缓冲器有 一个独立的三态控制引脚和一个独立的输入引脚。 c l b 中每个s l i c e 有一个独立的提供快速的算术进位能力的进位链，即c l b 的进位高度为2 。每个l c 可以实现一个异或功能的全加器。同时一个专用的与 门使乘法更为高效。 3 1 4 块r a m v i r t e x 器件有几个大的“b l o c ks e l e c t r a m + ”块r a m ，所有的v i r t e x 器件 都包括2 个柱形块r a m ，每4 个c l b 包括1 个块r a m ，块r a m 的接口如图3 4 所示： r a m b 4 s # 一s 嚣 w e a e n a r s t a c l k a a d d r a 【掌：0 1 d ia i # ：o 】 w e b e n b r s t b d o b # ：o 】 c l k b a dd r b # ：0 i d 旧【掌：0 1 图3 4 块r a m 的接口 块r a m 为一个同步双口4 0 9 6 位r a m ，每个端口有一个独立的控制信号，数 据宽度可以独立配霹。 1 8 南京理j 人学硕士论文 基于f p g a 的红外酗像非均匀性校正 3 1 5 时钟分布 v i r t e x 器件提供一个快速和低摆率的时钟分布，与每个全局时钟输入缓冲 相连的是一个全数字的延时锁定环d l l ( d e l a y - l o c k e d l o o p ) ，它可以消除时钟 焊盘和内部时钟引脚间的摆动。每个延时锁定环两个全局时钟网络。d l l 监视输 入时钟和分布时钟，并自动调整时钟延时。引入延时后使时钟沿到达内部触发器 时刚好是到达输入端后的一个时钟周期，这个闭环系统有效的消除时钟分布延 时。 延时锁定环d l l 还提供了先进的多时钟控制技术。提供4 个正交相位的时钟 源，可以对时钟倍频和分频，如1 5 、2 、2 5 、3 、4 等，输出其中6 个频率。每 个v i r t e x 器件有4 个全局缓冲引脚，直接4 个全局缓冲相连。 随着f p g a 技术的发展，尤其在v i r t e x - i i 和v i r t e x i ip r o f p g a 器件中，d l l 逐步被数字时钟管理单元d c m 代替，d c m 与全局时钟密不可分，为了达到最小的 延时和抖动，几乎所有的d c m 都运用到全局缓冲资源。从i s e 5 。l 以后的x 订i n x 的开发工具中，使用a r c h i t e c t u r ew i z a r d 来设计d c m 。 3 1 _ 6 边界扫描和程序加载 随着微电子技术、微封装技术和印刷制造技术的不断发展，印刷电路板越来 越小，密度和复杂程度越来越高。面对这样的发展趋势，沿用传统的外探针测试 法和针床测试法来全面和彻底的测试焊接在电路板上的器件是难以实现的。特别 是随着多层电路板和采用贴片封装的电路板的发展，传统的测试法更是无法测 试。 2 0 世纪8 0 年代，联合测试行动组( j t a g ，j o i n tt e s ta c t i o ng r o u p ) 开 发了i e e e l l 4 9 1 边界扫描测试技术规范。该规范提供了有效的产生引脚致密的 器件的能力。如今，几乎所有的c p l d f p g a 器件均遵循i e e e 边界扫描测试技术 规范，为输入输出引脚和专用配置引脚提供了边界扫描测试能力。 j t