（信号与信息处理专业论文）基于fpga的红外图像处理技术研究.pdf

重庆邮电大学硕士论文摘要 摘要 随着微电子技术的发展，国内外红外成像技术也得到了广泛的应用和 研究。各国军方针对现代战争和未来信息战的新形势，对热成像技术提出 了更高的要求，希望今后能研制出性能更佳、体积更小、分辨率和灵敏 度更高、作用距离更远、价格更低的红外成像系统。 c c d 成像系统的关键技术是c c d 器件设计和图像处理。本课题通过对 c c d 图像处理技术的研究，采用嵌入式n i o si i + f p g a 的工作方式，充分 发挥嵌入式n i o si i 处理器灵活性和f p g a 处理速度快的优点，构建出结构 灵活、处理速度高以及功能完善的图像处理系统。该系统能同时实时实现 两点校正算法、加权滤波算法、对比度增强算法以及疵点补偿等多项功能。 本系统成功应用于国内某研究所研制的目前国内最大型面阵( p t s i5 1 2 x 5 1 2 ) c c d 焦平面探测器成像组件中，得到了良好的成像效果；同时， 由该处理系统构成的i n g a a s 成像组件也处于国内领先水平。从长远来看， 该项技术应用于中电4 4 所多种成像组件项目的研究中，推动了p t s i2 5 6 x 2 5 6 、p t s i5 1 2 x 5 1 2 焦平面探测器成像组件以及4 0 9 6 x 9 6 t d ic c d 成像组 件的工程化应用进程。 关键词：f p g a 、n i o si i 、滤波、图像增强、疵点补偿 重庆邮电大学硕士论文摘要 a b s t r a c t w i t ht h e d e v e l o p m e n t o ft h em i c r o - e l e c t r o n i c s t e c h n o l o g y , t h e a p p l i c a t i o n sa n dr e s e a r c ho fi n f r a r e di m a g i n ga r ed e v e l o p i n gf a s ta l lo v e rt h e w o r l d a i m i n ga tt h en e wi n s t a n c e so fm o d e r nw a r sa n df u t u r ei n f o r m a t i o n w a r s ，t h ea r m yo fm a n yc o u n t r i e se x p e c tt oi n v e n tt h es y s t e m so fi n f r a r e d i m a g i n gi n f u t u r ew h i c hh a v eb e t t e rp e r f o r m a n c e ，s m a l l e rs i z e ，h i g h e r r e s o l v i n gp o w e ra n ds e n s i t i v i t y , f a t h e re f f e c td i s t a n c ea n dl o w e rp r i c e t h ek e yt e c h n o l o g i e so ft h ec c di m a g es y s t e ma r ed e s i g nt e c h n o l o g ya n d i m a g ep r o c e s s i n gt e c h n o l o g y b ys t u d y i n gt h ep r o c e s s i n gt e c h n o l o g yo fc c d i m a g e s ，w ed e s i g nt h ei m a g ep r o c e s s i n gs y s t e mw h i c hh a sa g i l ec o n f i g u r a t i o n ， h i g hp r o c e s s i n gs p e e d a n dp e r f e c tf u n c t i o n s t h e s y s t e mw o r k sw i t h e m b e d d e dn l o sl ic p ua n df p g aa n de x e r t st h ee x c e l l e n c et h a te m b e d d e d n i o si ic p ui sa g i l ea n df p g ai sr u n n i n gf a s t t h es y s t e mc a nd ot h e t w o p o i n tn o n u n i f o r m i t yc o r r e c t i o n ，i m a g ef i l t e r i n g ，i m a g ee n h a n c i n g ，f l a w r e p a i r i n ga n ds o0 n t h es y s t e mi su s e do np t s i5 1 2 x 5 1 2f o c a lp l a n ed e t e c t o rw h i c hi st h e b i g g e s ti r f p am a d ei nc h i n aa n dg o tp e r f e c ti m a g i n ge f f e c t a tt h es a m et i m e ， t h ei n g a a si m a g i n ge q u i p m e n t sc o m p o s e dw i t ht h es y s t e mk e e pa h e a di n c h i n a i naw o r d ，t h i ss y s t e mi sa c c e l e r a t i n gt h ee n g i n e e r i n ga p p l i c a t i o no f p t s i2 5 6 x 2 5 6i r f p a i m a g i n gm o d u l e ，p t s i5 1 2 5 1 2i r f p ai m a g i n gm o d u l e a n d4 0 9 6x9 6 t d ic c di m a g i n gm o d u l e k e yw o r d s ：f p g a 、n i o si i 、f i l t e r ，i m a g ee n h a n c i n g 、f l a wr e p a i r 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研 究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得重鏖鲣直太堂或其他教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所傲的任何贡 献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：同建勇 签字日期： 2 矿。7 年钼s 日 学位论文版权使用授权书 本学位论文作者完全了解重迭整直太堂有关保留、使用学位论文的规 定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查 阅和借阅。本人授权重鏖壑虫太堂可以将学位论文的全部或部分内容编入 有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论 文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：同建旁 签字日期： 2 7 年月y 目 f”1 月瑟o鼋年 惭1 孙 。 签 期 煨 臣整 导 字 重庆邮电大学硕士论文 第一章绪论 1 1 引言 第一章绪论 自2 0 世纪9 0 年代以来，红外成像技术随着科学技术的进步得到了迅 猛发展。各国军方针对现代战争和未来信息战的新形势，对热成像技术提 出了更高的要求，希望今后能研制出性能更佳、体积更小、分辨率和灵 敏度更高、作用距离更远、价格更低的红外成像系统。作为红外成像技术 发展方向的红外焦平面成像系统将因此而获得越来越广泛的应用。进入2 l 世纪以来，红外热成像技术已从当初的机械扫描机构发展到了目前的全固 体小型化全电子自扫描凝视摄像，红外探测器己从第一代的单元和线阵列 发展到了第二代的二维时间延迟与积分( t d i ) 8 1 2 l is 的扫描和3 - 5 ps 的 6 4 0 4 8 0 元凝视阵列，目前正在向焦平面超高密度集成探测器元、高性能、 高可靠性、进一步小型化、低成本和军民两用技术的方向发展，正在由第 二代阵列技术向第三代微型化高密度和高性能红外焦平面阵列技术方向 发展【i j 。红外热成像技术的应用也从军事领域扩展到诸如工业监控测温、 执法缉毒、安全防犯、医疗卫生、遥感、设备先期性故障诊断与维护、海 上救援、天文探测、车辆、飞行器和舰船的驾驶员夜视增强观察仪等广阔 的民用领域。 1 2 红外焦平面阵列器件介绍 1 2 1 红外焦平面阵列国内外发展概况 红外焦平面阵列器件在国外起步较早，研究水平居世界领先地位的国 家有美国、法国、英国和日本。早在2 0 世纪中后期国外就已经研制成功 了3 2 x 3 2 元阵列规模的红外焦平面探测器。三十年来，红外探测器技术 已从第一代的单元和线阵列发展到了第二代的二维时间延迟与积分( t d i ) 的8 1 2nm 的扫描和3 5pm 的凝视阵列 2 1 。目前，红外焦平面阵 列正向高密度集成探测器元、高性能、高可靠性、微型化、非致冷工作和 军民两用技术的方向发展，并正从第二代的t d i 和凝视i r f p a 技术向第 重庆邮电大学硕士论文第一章绪论 三代更加小型化的高密度高性能i r f p a 技术发展【3 1 。国外的红外焦平面 阵列器件很多，性能和用途也不尽相同，而且其分类方法也是多种多样。 但是，一般来说我们可以按照以下几个方面对红外焦平面阵列器件进行分 类4 l ： ( 1 ) 按工作原理分类 可分为本征型、掺杂型和肖特基势垒型三大类。其中本征型可分为光 导型( 如h g c d t e ) 、光伏型( 如h g c d t e 、i n s b ) 和m i s 型( 如h g c d t e 、 i n s b ) ；掺杂型又分为光导型( 如g e ：h g 、g v ：a u ) 和m o s 型( 如s i ：i n ) 。 本征型器件的敏感由材料的禁带宽度决定，非本征型器件由杂质能级位置 确定，而肖特基势垒探测器则由势垒高度决定。 ( 2 ) 按读出方式分类 若按读出方式分类，可分为：电荷耦合器件( c c d ) ：c c d 是一种 以电荷包形式存贮和传输信息的器件，它由一系列相邻且有间隙的m o s 电容组成，利用加在相邻电容上的脉冲，将电荷包由一个地方转换到另一 个地方，具有模拟延迟和移位寄存功能。电荷注入器件( c i d ) ：它的基 本单元是由金属绝缘体半导体组成的m i s 电容器，电容器既是光电转 换存贮元件，又是读出元件。光生信号电荷在势阱中积分、存贮，将电荷 注入进衬底，实现电荷读出。金属氧化物半导体( m o s ) ：在单片式器 件中，m o s 电容作为光电转换器件，又是信号读出开关及x 、y 选址器 件；而在混合式器件中，则主要利用m o s 多种传输器的开关特性及x 、 y 寻址功能。电荷成像矩阵( c i m ) ：c i m 是c i d 和m o s 方式的改 进形式，只作一个m i s 电容器，既是光电转换元件，又是读出元件。 ( 3 ) 按结构分类 若按元件结构分类，可分为：混合式结构：在混成技术中，光子探 测和多路传输分别利用单独的基片实现。由于探测器和信号处理器分别制 备。故能使两者性能均满足最佳化。单片式结构：单片式红外焦平面阵 列是在同一种材料上制备光敏元件和信号处理器，同时具有探测和读出功 能。 当然，红外焦平面的分类方式不仅限于此，我们也可以按其它方式对 红外焦平面阵列器件进行分类。例如：按红外焦平面阵列的工作方式可分 为：扫描型和凝视型；按所使用的探测器种类可分为：热电探测器、光子 探测器、超晶格量子阱探测器及超导探测器。总的来说，我们可以将红外 焦平面阵列的类型用下表来表示： 2 重庆邮电大学硕士论文第一章绪论 表1 1 红外焦平面阵列的类型 结构 信号读出 材料特点成像方式 方式 混合式c c d i n s b 、h g c d t e低噪声扫描、凝 视 m o s i n s b 、h g c d t e 、动态范围宽扫描、凝 p t s i视 单片式c c d p t s is i 工艺凝视为主 m o s不成熟凝视为主 半单片 c i d i n s b 、h g c d t e工艺复杂 扫描、凝 式 视 c i m h g c d t e比c i mt 艺简扫描、凝 盥 视 z 平面多种多种工艺复杂扫描、凝 视 s p r i t e内部t d i h g c d t e工艺简单高速扫描 近年来国外红外焦平面阵列的研究取得了相当大的进展，研制出了一 系列高性能的红外焦平面阵列器件。 我国在红外焦平面阵列技术上起步较晚，近年来国家投入了大量人力 物力用于非致冷焦平面阵列的研究，目前已经取得了初步进展。1 9 9 5 年， 中国科学院长春光学精密机械研究所利用微机械加工技术研制成功了低 成本线列3 2 元、1 2 8 元硅微测热辐射计阵列，n e t d 为3 0 0 m k ，存储 时间为l m s 。由中国科学院上海技术物理研究所承担的钛酸锯钡铁电薄膜 材料研究项目已于2 0 0 0 年1 2 月通过中国科学院上海分院鉴定。该项目采 用新工艺制各的钛酸锶钡铁电薄膜材料性能达到国际领先水平。与美国 3 重庆邮电大学硕士论文第一章绪论 t i 公司演示的第一代非致冷探测器所使用的材料相同。这表明我国在非 致冷热成像技术研究上还有很大的潜力【5 】。 对于制冷型焦平面探测器来说，研究所投入了大量的人力物力，进行 了对c c d 器件深入研究，并且在c c d 焦平面探测器研究领域得到了比较 大的技术进步。在像元数、灵敏度、成像质量等多方面都有了重大突破。 这表明我国c c d 探测器也逐渐走向了工程化应用。 但是，与国外相比，我国在红外焦平面技术领域还只能说是刚刚起步。 我们自己的红外焦平面阵列器件无论是在像元数量上，还是在器件性能上 都和国外同类产品存在着相当大的差距。我国在非致冷红外热成像方面的 研究主要集中在部分高等院校和研究院所。这些研究单位主要进行探测器 阵列及其工艺的研究。 1 2 2 阵列器件的基本结构和工作原理 由于红外焦平面探测器种类特别多，本文就列举一种d l 3 2 型面阵 c c d i 6 】为例介绍。 ( 一) 结构 附l 九2 九3 九i 九2 ， 图1 1d l 3 2 型i c c d 的结构图 d l 3 2 型面阵c c d 为n 型表面沟道、三相三层多晶硅电极、帧转移型面阵 器件。该器件主要由摄像区、存储区、水平移位寄存器和输出电路等四部 4 重庆邮电大学硕士论文第一章绪论 分构成。如图1 1 所示，摄像区和存储区均由2 5 6 3 2 0 个三相c c d 单元构 成，水平移位寄存器由3 2 5 个三相交叠的c c d 单元构成。其输出电路由 输出栅o g 、补偿放大器和信号通道放大器构成。 摄像区和存储区的c c d 单元的结构尺寸如图1 2 所示，其沟道区长为 2 0 pm ，沟阻区长为4 i lm 。在垂直方向上，它由三层交叠多晶硅电极构成， 每层电极的宽度为8 - lm ，一个c c d 单元的垂直尺寸为2 4 j im ，可见某一 电极光积分时的有效光敏面积为8pm x 2 0l im ，光敏区总面积为 7 7 m m x 6 1 m m ，对角线长度为9 8 2 m m 。 ) j l i 淄iej 暖曲 酋限 图1 2 摄像区、存储区 c c d 单元结构图 一层 二层 三层 66 6 - 沟道】 一层二层三层 图卜3 水平转移寄存 器c c d 水平移位寄存器的c c d 单元尺寸如图l - 3 所示，水平方向1 8 i im ，沟 道宽度为3 6 l lm 。每个电极处理电荷的实际区域为6 l lm x 3 6 i lm 。 c c d 输出电路如图1 - 4 所示，由一个双栅复位场效应管和用作源极跟 随放大器的场效应管的跨导分别为1 8 0ps 和6 0 0 i ls 。 ( 二) 工作原理 c c d 工作主要是靠电荷的转移，如图1 - 4 所示，有四个彼此靠得很近 的电极，在这四个电极加上不同电压，其势阱与电荷的运动规律就反映了 电荷的转移过程。 假设开始时有一些电荷存储在栅极为1 0 v 的第一个电极下面的势阱 里，其他电极上均加有大于阈值的低电压。若图1 - 4 ( a ) 所示为初始时刻， 经过f 1 时刻后，各电极上的电压变为如图1 4 ( b ) 所示，第一个电极仍保持 为1 0 v ，第2 个电极的电压由2 v 变为1 0 v 。因这两个电极靠得很近( 间 隔不大于3 u m )，它们各自的势阱将合并在一起，原来第1 个电极下的 电荷变为这两个电极下联合势阱所共有，如图1 - 4 ( b ) 和1 - 4 ( c ) 所示。若此 重庆邮电大学硕士论文 第一章绪论 后各电极上的电压变为如图l 4 ( d ) 所示，第一个电极上的电压由1 0 v 变为 2 v ，第2 个电极上的电压仍为1 0 v ，则共有的电荷转移到第2 电极下面的 势阱中，如图1 4 ( e ) 所示。由此可见，深势阱及电荷包向右移动到了一个 新位置。 ( a ) 2 v 2 v1 0 v2 v 2 v2 v 1 0 v2 v 五堪五五疆五 j 黍r - r - 1 百 黉崔善功 亡= = 】 ( e )( d ) 图1 - 4c c d 电荷转移示意图 1 3 红外焦平面阵列非均匀性概念、影响和来源 ( c ) 由于探测器设计、工艺条件、电路设计等多方面原因，会导致红外焦 平面产生响应不均匀性。我们把红外焦平面阵列( i r f p a ) 的非均匀性定 义为红外焦平面阵列在均匀辐射源照射时各响应单元之间输出的不一致 性，又称固定图案噪声【7 】。 i r f p a 非均匀性是由其固有特性所决定的，其大大降低了红外成像系 统的温度分辨率和成像质量，以致成为了制约红外焦平面器件应用的主要 因素。所以必须对其进行相应的校正处理。为了有效地实现i r f p a 非均匀 性校正，则必须深入分析各种非均匀性的来源及其表现形式，以便于研究 出有效的校正技术对其进行补偿校正。 产生红外焦平面阵列器件非均匀性的因素有多种，从红外图像的信号 6 薹一 圆埘墨三一州墨三一喾 墨f ho岍是 m墨至一善 烈0-士鬲 拼薹可 研o_杰要一善 重庆邮电大学硕士论文 第一章绪论 传递过程看，首先是探测器像元响应率或光谱响应率的非均匀性；其次是 读出电路自身及读出电路与探测器之间产生的暗电流非均匀性等。总的来 说，这几种非均匀性的产生来源可以归纳为以下几个方面【s 1 ： ( 1 ) 器件自身的非均匀性 器件自身非均匀性是红外焦平面阵列非均匀性的主体部分，其主要是由 器件的材料和制造工艺水平所决定的。焦平面器件制造完成后，这种非均 匀性因素也就基本确定了。 1 ) 像元响应率的非均匀性。根据m o o n e y 的理论【叭，均匀照度下，i r f p a 单个像元的响应输出可用电子数表示为： 心何) 2 毛l 工( 五，r ) ( 五) 以+ 聊 m 1 、 憎：o s 4 8 。? 式中：嘞2 7 矿1 子1 4 ，l ( ，t ) 为物空间单元在温度t 下的光 谱光子辐射；f 为成像光学系统的f 数；te f f 是光学系统的有效透过率o xl 、 2 分别为光学系统截止波长的上限和下限；0i j 为像元( i ，j ) 相对 出射光瞳而言的偏轴角；di j 是像元( i ，j ) 在积分时间内的暗电荷； a i j 是像元( i ，j ) 的有效面积；ni j 是像元的量子效率的波谱；ti n t 为积分时 间。受目前的材料制造及工艺所限，i r f p a 器件的材料中会出现掺杂不均、 厚度不等和探测元尺寸不均等各种缺陷，造成不同探测单元之间的0j j 、 t ) i j 、aij 和n i j 等参数的不同，而各像元之间的0i j 、d i j 、aij 和ni j 等任何参数的不同都会引起像元之间响应的非均匀性。 i r f p a 器件的红外探测阵列对材料和工艺的均匀性要求较高。制作器 件的半导体材料杂质浓度不均匀、掩模误差及光刻偏差等多种因素都会造 成上述几个参数的差异，导致在均匀光照下，各个像元的响应出现不相等 的现象，即产生了不均匀性，其表现为乘性和加性分量。 2 ) 信号传输的非均匀性。 入射光子转换为电荷信号后，必须注入到读出电路实现多路输出，同 样受到材料和制造工艺水平所限，各探测单元和读出电路之间的信号耦合 通道以及读出电路的参数有所不同，这也都将导致整个焦平面阵列响应输 出信号的非均匀性，其表现为乘性分量。 3 ) 电流的非均匀性。 暗电流是指焦平面探测器在无辐射输入时的输出电流，其产生于探测元 或读出电路中暗电流可表示为： 7 重庆邮电大学硕士论文第一章绪论 l = g 厄+ 扣c r j 弧 ( 1 _ 2 ) 式中；g 为热生载流子的净产生率，v o 为栅极电压，q 为少子电荷量， n i 为本征材料中载流子浓度，吒是俘获截面，为电子热运动速度，t 为 温度，“n 是禁带中的截面态密度。可见暗电流的大小不仅与器件的材料有 关，还与器件的工作电压、工作温度等有关。在直流耦合系统中，外加电 压、温度、输入偏置阀值变化都将引起各探测单元暗电流的非均匀性，其 通常表现为固定的加性分量。 器件自身的非均匀性是红外焦平面阵列器件非均匀性的主要组成部分 【1 0 l ，以h g c d t e 光伏探测器c c d 混合焦平面阵列结构为例，它的非均匀 性主要可分为红外探测器及探测器与c c d 的相互耦合，它们主要由器件 的材料及其制造工艺水平决定。v i s h n u g o p a l 的研究成果表明，h 9 1 x c d x t o 材料中x 组分的变化和c c d 注入效率的变化将影响红外探测器的均匀性。 当a x 为o 0 0 2 时，中波红外焦平面阵列有1 0 的固有非均匀性：当注入 效率为9 0 时，非均匀性为2 0 2 2 ，而当注入效率提高到9 9 9 后，非 均匀性的最大值为1 7 。一旦焦平面阵列制造完成，这种由器件自身制造 工艺产生的非均匀性因素将始终存在。 ( 2 ) 器件工作状态引入的非均匀性 i r f p a 器件的驱动信号和成像系统的工作温度等与i r f p a 工作状态相 关，这些相关条件的变化将直接对探测单元的光学增益、注入效率、读出 电路的增益以及暗电流等方而产生影响，从而影响到整个i r f p a 器件响应 的均匀性。 仍以h g c d t e 光伏探测器c c d 混合焦平面阵列结构为例，其辐射响应 性能与它所处的实际温度有关，焦平面器件和焦平面器件探测单元的温度 均匀性变化将影响整个焦平面阵列响应的均匀性。 这种非均匀性主要由焦平面阵列的工作状态确定，同一焦平面阵列在 不同成像系统中可以有不同的非均匀性效果。 ( 3 ) 与外界输入相关的非均匀性 i r f p a 成像系统中光学系统光路的均匀性及冷反射等因素、环境温度 的随机变化以及外界的电磁干扰等多种外界因素均可对焦平面器件阵列 元的工作参数和工作性能产生影响，从而导致器件输出信号的非均匀性。 此外，在红外热成像系统中目标和背景入射红外辐射的强度变化范围、红 8 重庆邮电大学硕士论文第一章绪论 外热像仪光学系统的背景辐射等外界特性均可对焦平面器件的均匀性产 生影响。景物的红外辐射变化主要有辐射总量和辐射光谱两种形式，由于 红外探测器光谱响应变化比较复杂，辐射总量的响应均匀性并不能代表其 辐射光谱变化后仍具有相同的均匀性。红外光学系统的背景辐射条件的变 化将直接影响到红外探测器所处的工作环境、工作参数和工作性能。 这类非均匀性与外界条件密切相关，使得同一焦平面阵列在不同成像 系统中有不同的非均匀性效果，而且它们在焦平而器件的研制和红外热成 像系统的设计中很难直接观测到。 总之，红外焦平面成像系统的非均匀性不仅与i r f p a 器件的材料、结 构和工作状态有关，还与成像光路等因素有关，属于一种系统性能参数。 后两类非均匀性与外界条件密切相关，使得同一焦平面阵列在不同成像系 统中、在不同的工作环境下可以有不同的非均匀性效果。正是由于红外焦 平面探测器阵列非均匀性的复杂特性，使得对它的校正存在着很大的难 度。在这些非均匀性因素中有些仅与探测器自身性能相关，其中线性的因 素比较容易校正；而对于其中与目标红外辐射、器件工作条件等相关的非 均匀性因素很难进行校正。 1 4 红外成像组件基本结构 红外c c d 图像传感器成像组件由四个部分组成：c c d 或c m o s 器件、 驱动与信号处理电路、图像处理系统、视频显示。下面就以制冷型c c d 器件为例简单介绍红外成像组件结构原理。图1 5 为成像组件结构示意图。 红 外 镜 图1 - 5c c d 成像组件 在整个红外成像系统中，图像处理技术是成像组件应用和发展的关键 图像处理技术的好坏直接影响整个成像组件的整体性能。通过前一小节对 红外焦平面阵列非均匀性原因分析以及非均匀性校正的必要性分析，因此 我们了解到图像处理的重要性 9 重庆邮电大学硕士论文第一章绪论 1 5 红外图像处理技术发展现状 数字图像处理技术，是2 0 世纪6 0 年代后发展起来的一门新兴的数 字信号处理技术进入7 0 年代以来，随着电子计算机、大规模集成电路 ( l s i ) 和超大规模集成电路( v s l i ) ，以及微处理器等技术的发展，数字图像 处理无论是在理论上还是在工程中的硬件实现，都是目前发展最快的科学 之一而且，数字图像处理技术广泛应用于数字通信、雷达、遥感、声纳、 测量与控制、高清晰度电视、多媒体技术、生物医学工程、机器人等各个 领域。数字图像处理从产生到现在，其实现方法也随着微电子与计算机的 发展而不断进步。在目前的技术条件下，实现对数字图像的处理大体上有 如下几种方法： ( 1 ) 在通用计算机上通过软件编程实现 硬件电路将从传感器得到的模拟信号，经a d 转换后存入存储单元， 计算机读取存储器的数据，并按照数字滤波器的数学模型，利用高级编程 语言( 如c + + 等) 编制出处理软件，对图像信号进行处理。近年用的较多地 工具m a t l a b ，是一款功能十分强大的工程计算及数值分析软件，带有丰富 且实用的图像处理工具箱。其优点就是方便、灵活，基本上可以实现所有 的图像处理算法。但其缺点也十分明显，实时性差、速度慢，只能适应于 教学和算法研究。但对于实时性要求较高的场所，这种方法并不适用。 ( 2 ) 利用单片机 例如i n t e l 的9 6 0 0 ，这种单片机运行速度较快，而且单片机的接口性 能较好，容易实现人机接口。但单片机采用的是冯诺伊曼总线结构，所 以在图像处理领域使用单片机对于运算量的图像处理算法速度就会比较 慢，也难以满足运算量大、实时性要求较高的图像处理算法。 ( 3 ) 使用通用可编程的d s p 芯片来实现 自从2 0 世纪7 0 年代末第一片数字处理器芯片问世来，d s p 芯片就 以其特有的稳定性、可重复性，特别是可编程性和易于实现自适应处理等 特点，给数字信号处理以及图像处理的发展带来了巨大机遇。同单片机相 比，d s p 有着更适合于数字信号处理器的特点。采用了改进的哈佛总线结 构，内部有硬件乘法器，累加器，广泛的使用了流水线结构，具有良好的 并行性，并都有改进了的适合于数字信号处理的指令集。正是由于以上特 点，d s p 芯片使得数字图像处理技术应用于实际的实时性工程领域成为可 能。 i o 重庆邮电大学硕士论文第一章绪论 ( 4 ) 使用专用的d s p 芯片 在数字图像、数字信号处理中，有一些算法例如f f t 、f i r 滤波，卷 积运算等使用的频率很高。针对于这一现象，国际上很多公司推出了这方 面的专用芯片，来完成这些相关的运算。美国的i n m o s 公司的i m s a l 0 0 芯片，可以完成f i r 、f f t 、相关、卷积等运算。可以在2 m s 内完成1 0 2 4 点的复数f f t 运算。美国的摩托罗拉公司的d s p 5 6 2 0 0 也属于这种专用 型的d s p 芯片。用户在使用这些芯片时，只需要按照芯片说明，将数据 从输入端输入然后输出端输出结果。这种方案速度快，非常适合于嵌入式 实时性场合，但正是由于这类d s p 芯片都是为了特定的运算而设计，因 此灵活性差，开发工具不完全。 ( 5 ) 现场可编程门阵列( f p g a ) 用于数字图像处理 近些年来，可编程逻辑器件取得了迅速的发展，其功能日益强大，f p g a 内部可用逻辑资源飞速增长，近来推出的f p g a 都针对数字信号处理的 特点做了特定设计，集成了存储器、锁相环( p l l ) 、硬件乘法器、d s p 模 块等，通过使用各个公司提供的f p g a 开发软件使用硬件描述语言，可 以实现特定的信号处理算法，如f f t 、f i r 等。有影响的f p g a 公司有 a l t e r a 、x i l i n x 等。 ( 6 ) 早期的数字图像处理由于对图像的数据量较小，主要采用早期推出 的低端的d s p 处理器实现，这一类的d s p 有t m s 3 2 0 c 3 0 、a d i 公司的 a d s p 2 1 8 1 等。但近年来，对图像处理的要求也不断提高，分辨率不断提 高，处理的数据量增大，单纯的依靠单片d s p 来完成这些实时性高的算 法已经显得力不从心【1 1 i t 2 ，明显达不到技术指标。随着近些年超大规模集 成电路的发展，更多的实时图像处理系统采用了f p g a + d s p 的结构来完 成整个复杂的图像处理算法。将图像处理算法进行分类，f p g a 和d s p 份 协作发挥各自的长处，对于算法实现简单、运算量大、实时性高的这类处 理过程由大容量高性能的f p g a 实现，例如可以采用f p g a 来实现中值 滤波、直方图统计、卷积运算等预处理算法。d s p 则用来处理经过预处理 后的图像数据，运行结构复杂以及乘加运算多的算法，例如且标的聚类、 数据融合等处理。 1 6 本课题研究的主要内容 本课题研究的主要内容是采用嵌入式n i o si i 处理器与f p g a 的协同工 作，充分发挥嵌入式n i o s i i 处理器灵活性优点和f p g a 处理速度快的优点， 重庆邮电大学硕士论文第一章绪论 构建出结构灵活、处理速度高以及功能完善的图像处理系统。该系统能同 时完成实时非均匀性校正、图像滤波、图像增强、疵点补偿等多项功能。 采用这种图像处理系统结构的优越性表现在三个方面：其一，n i o si i 处理器是嵌于f p g a 内部的软核，它的优点在于其结构的灵活性一一可 以在处理器上添加多条a v a l o n 数据总线，多个外部中断以及多个外部 设备接口。其二，f p o a 优点在于集成度高、体积小，具有通过用户编程 实现专门应用的功能；延时小，有利于器件的高频率工作。其三。通过 n i o si i 处理器对片外多个存储器的灵活操作，再加上f p g a 逻辑电路的灵 活设计，充分发挥了其各自优点，使整个处理系统功能更加完善，其输入 输出数据流可以高达2 0 m h z ，而输入输出时间延迟极小，可满足实时跟踪 需要。 在以下几章中阐述的系统设计内容主要是针对国内某研究所研制的 p t s i2 5 6 2 5 6 和p t s i5 1 2 5 1 2c c d 器件。第二章到第六章分别介绍f p g a 的特征、红外图像处理的算法、硬件系统构建、软件设计以及成像结果。 最后第七章对本文研究成果作一个简单总结。 1 2 重庆邮电大学硕士论文第二章f p g a 特征与开发环境介绍 第二章f p g a 特征与开发环境介绍 2 1f p g a 的基本特征 f p g a 芯片的选择主要是根据系统所需要的逻辑单元、片内存储单元、 速度等级要求、输出i 0 口等多个因素决定的。本系统根据几个设计要求 采用一种a l t e r a 公司生产的s t r a t i xi i 系列芯片中的e p 2 s 1 5 f 6 7 2 1 7 。下 面就以s t r a t i xi i 系列芯片为例详细介绍一下f p g a 的具体性能特征。 2 1 1s t r a t i xii 系列芯片的特征 s t r a t i xi i 系列是a l t e r a 公司于2 0 0 2 年以后最新推出的产品，它采用 了1 2 v 内核电压，9 0 r i m 全铜工艺【1 3 1 。该系列芯片的主要特点是： ( 1 ) s t r a t i xi i 系列芯片拥有1 5 6 0 0 1 7 9 4 0 0 个高密度逻辑单元( l e s ) 。 ( 2 ) 内嵌3 种r a m 块，即5 1 2 b i t 容量的小型r a m ( m 5 1 2 ) ，4 k b 容量 的标准r a m ( m 4 k ) ，5 1 2 k b 的大容量r a m 块( m e g a r a m ) 。 ( 3 ) 全新的布线结构，分为三种长度的行列布线，在保证延时可预测的 同时增加布线的灵活性。 ( 4 ) 增加片内终端匹配电阻，提高信号完整性，简化p c b 布线。 ( 5 ) 增强始终管理和锁相环( p l l ) 能力，片内包含有1 2 个p l l 模块。 ( 6 ) 片内还提供高速数字信号处理( d s p ) 模块，可以进行多位数据乘法运 算以及f i r 滤波运算，其运算速度可高达4 2 0 m h z 。 ( 7 ) 支持高速外部存储器，包括d d r 、d d r 2 、s d r a m 、p l dr a m i i 、 s d rs d r a m 等。 表2 1 列出了s t r a t i xi i 系列器件的性能以及s t r a t i xi i 系列器件内部 r a m 块的性能1 1 4 】。 表2 - 1s t r a t i xi if p g a 系列器件特性 特性 e p 2 s 1 5e p 2 s 3 0e p 2 s 6 0e p 2 s 9 0e p 2 s 1 3 0e p 2 s 1 8 0 a l m s 6 ，2 4 01 3 ，5 5 2 2 4 ，1 7 6 3 6 ，3 8 45 3 0 1 67 1 7 6 0 重庆邮电大学硕士论文第二章f p g a 特征与开发环境介绍 ( a l u t s ) 1 2 4 8 0 2 7 ，1 0 44 8 ，3 5 27 2 ，7 6 81 0 6 ，0 3 21 4 3 ，5 2 0 l e s 1 5 ，6 0 03 3 ，8 8 06 0 ，4 4 09 0 ，9 6 0 1 3 2 ，5 4 0 1 7 9 ，4 0 0 m 5 1 2 r a m 1 0 4 2 0 2 3 2 94 8 86 9 99 3 0 块 m 4 k r a m 7 81 4 42 5 54 0 8 6 0 97 6 8 块 m r a m 块 0l2469 r a m 总容 4 1 9 3 2 8 l 。3 6 9 ，7 2 82 ，5 4 4 ，i 9 24 ，5 2 0 ，4 8 86 ，7 4 1 ，8 4 09 ，3 8 3 ，0 4 0 量 d s pb l o c k s 1 2 1 63 64 86 39 6 1 8 b i t x 1 8 - b i t 乘法 4 86 41 4 41 9 22 5 23 8 4 单元 p l l s224444 高速p l l s 4 48888 最大可使用 3 6 65 0 07 1 89 0 2 1 1 2 6 i ，1 7 0 i o 引脚数 2 1 2s t r a t i xii 系列芯片结构 s t r a t i xi i 系列芯片是一个二维行列基本逻辑结构。在连续的每一行与 列之间是由较长的高速数据信号传输线把逻辑阵列块( a l b ) 、存储块以及 数字信号处理模块连接起来的。其中，每一个逻辑阵列块( a l b ) 包含8 个 适应逻辑模块( a l m s ) ，a l m 是s t r a t i xi i 系列f p g a 芯片的最基本的结构 单元【吲。 1 4 重庆邮电大学硕士论文 第二章f p g a 特征与开发环境介绍 图2 - 1 给出了s t r a t i xi i 系列器件的整体结构。图2 - 2 给出了逻辑阵列 块( a l b ) 的结构。 图2 - 1s t r a t i xi i 系列器件结构 图2 - 2 逻辑阵列块( a l b ) 结构 重庆邮电大学硕士论文第二章f p g a 特征与开发环境介绍 2 2n j o si l 处理器介绍 n i o s i i 是a l t e r a 特有的基于通用f p g a 构架的嵌入式软c p u 内核，具 有的完全可定制特性、性能高、较低的产品和实施成本、易用性、适应性 和不会过时等优势。n i o si i 系列3 2 位r i s c 嵌入式处理器具有超过2 0 0 d m i p 的性能，由于处理器是软核形式，具有很大的灵活性，可以在多种 系统设置组合中进行选择，达到性能、特性和成本目标。n i o s i i 处理器具 有以下几个方面的优点： ( 1 ) 可定制特性集 采用n i o si i 处理器，将不会局限于预先制造的处理器技术，而是根据 自己的标准定制处理器，按照需要选择合适的外设、存储器和接口。此外， 还可以轻松集成自己专有的功能，使设计具有独特的竞争优势。 ( 2 ) 配置系统性能 般来说，需要的处理器应该能够满足当前和今后的设计性能需求。 由于今后发展具有不确定性，因此，n i o si i 设计人员必须能够更改其设计， 加入多个n i o s i i c p u 、定制指令集、硬件加速器，以达到新的性能目标。 采用n i o si i 处理器，您可以通过a v a l o n 交换架构来调整系统性能，该架 构是a l t e r a 的专有互联技术，支持多种并行数据通道，实现大吞吐量应用。 ( 3 ) 低成本实现 在选择处理器时，为了实现需要的功能，可能要购买比实际所需数量 多的处理器，也可能为了节省成本，而不得不购买比实际需要数量少的处 理器。低成本、可定制n i o si i 处理器能够解决这一难题。采用n i o si i 处 理器，可以根据需要设置功能，在c y c l o n ei if p g a 等低成本a l t e r a 器件 中实施。在单个f p g a 中实现处理器、外设、存储器和i o 接口，可以降 低系统总体成本。 n i o s i i 系统开发有几个主要的组成部分，一是处理器内核；二是数据总 线：三是外围设备接口；四是定制指令。下面就详细介绍各个部分主要内 容。 2 2 1 处理器内核 n i o si i 处理器系列包括三种内核快速( n i o sg 0 、标准( n i o si i s ) 和 经济型( n i o si i e ) ，每一型号都针对价格和性能范围进行了优化( 表2 2 ) 。 1 6 重庆邮电大学硕士论文 第二章f p g a 特征与开发环境介绍 所有这些内核共享3 2 位指令集体系，与二进制代码1 0 0 兼容。使用a l t e r a 业内领先的q u a r t u s i i 设计软件中集成的s o p c b u i l d e r 工具，可以在系统 中轻松加入n i o si i 处理器。 表2 2 n i o si i 处理器系列型号参数 特性n i o s1 1 f ( 快 n i o si i s ( 标准) n i o s1 1 e ( 经济) 速1 说明针对最佳比第一代n i o sc p u 最针对最少 性能优化快的型号还要快，而体积的逻辑资源占 比最小的还要小用优化 流水线6 级5 级无 乘法器i 周期3 周期软件仿真实现 支路预测动态静态无 指令缓冲可设置可设置无 数据缓冲 可设置 无无 定制指令 2 5 62 5 62 5 6 2 2 2a v a i o n 交换架构 a v a l o n 交换架构能够进行多路数据同时处理，实现无与伦比的系统吞 吐量。s o p c b u i l d e r 自动生成的a v a l o n 交换架构针对系统处理器和外设的 专用互联需求进行优化。 传统总线结构( 图2 - 3 ) 中，单个总线仲裁器控制总线主机和从机之间的 通信。每个总线主机发起总线控制请求，由总线仲裁器对某个主机授权接 入总线。如果多个主机试图同时接入总线，总线仲裁器会根据一套固定的 总裁规则，分配总线资源给某个主机。由于每次只有一个主机能够接入总 线、使用总线资源，因此会导致带宽瓶颈。 a v a l o n 交换架构的同时多主机体系结构提高了系统带宽，消除了带宽 重庆邮电大学硕士论文第二章f p g a 特征与开发环境介绍 瓶颈( 图2 - 4 ) 。采用a v a l o n 交换架构，每个总线主机均有自己的专用互联， 总线主机只需抢占共享从机，而不是总线本身。每当系统加入模块或者外 设接入优先权改变时，s o p cb u i l d e r 利用最少的f p g a 资源，产生新的最 佳a v a l o n 交换架构。 图2 - 3 传统总线体系 图2 - 4a v a l o n 交换架构体系 a v a l o n 交换架构支持多种系统体系结构，如单主机多主机系统，可实 现数据在外设与性能最佳数据通道之间的无缝传输。a v a l o n 交换架构同样 支持您所设计的片外处理器和外设。由于外部存储器的不