（光学工程专业论文）tdiccd亚像元成像中的图像质量评价.pdf

摘要 摘要 t d ic c d 亚像元成像技术是实现空间光学遥感系统小型化的有效途径，可 以获得高于普通采样成像系统的高分辨率图像。那么，选择合适的评价准则，定 性或定量的评价与不同成像系统之问的性能比较是有意义的。对成像系统最直接 的评价可以通过其输出图像的质量来衡量。 图像质量的正确评价是一项很有意义但又有一定难度的研究课题。在过去的 几十年，已经做了大量工作研究图像质量的客观评价，但是，传统的客观质量评 价方法主要基于简单的物理意义上的误差统计分析。对图像质量客观评价的研究 目标就是建立可以和人眼的主观感知相一致的评价标准，因为往往人眼是最终的 图像接收器。但是基于误差统计分析的客观评价和人的主观评价有较大的差异。 而新发展的结合人眼视觉特性的评价模型也仅仅只是对视觉感知能力的一些肤 浅的和不成熟的模拟。因此，目前的许多图像质量评价还主要是靠人的主观判断。 本论文从分析t d ic c d 亚像元成像技术的机理出发，结合亚像元成像技术 后续图像处理的核心图像融合处理的特点；分析说明传统常用的图像质量评 价方法的特点及适用范围；结合人眼视觉系统( h v s ) 。提出了针对通过t d i c c d 亚像元成像技术获得的图像的质量评价方法，通过对试验采集图像的评测，得出 该方法具有定的有效性。 关键字t d i c c d 亚像元成像、图像融合、图像质量评价 t d ic c d 弧像元成像中的图像质量评价 a b s t r a c t z h a n gy i ( o p t i c a le n g i n e e r i n g ) d i r e c t e db yp r o f l iy i n g c a i t d ic c d s u b p i x e ld y n a m i ci m a g i n gt e c h n o l o g yi sav e r ye f f e c t i v en o v e lm e t h o d o fm i n i m i z i n gs p a c e - b a s e dr e m o t es e n s i n gs y s t e m s t h eh i g h e rs p a t i a lr e s o l u t i o n i m a g e st h a ng e n e r a ls a m p l e d i m a g i n gs y s t e mc a nb ec a p t u r e db yt h i st e c h n o l o g y i ti s s i g n i f i c a t i v et oe v a l u a t ea n dc o m p a r et h e d i f f e r e n ti m a g i n gs y s t e mt h r o u 曲t h ep r o p e r q u a l i t a t i v eo rq u a n t i t a t i v ee v a l u a t i o nc r i t e r i o n t h em o s td i r e c tw a yt oe v a l u a t e i m a g i n gs y s t e mi st oe v a l u a t et h eq u a l i t yo f o u t p u t t i n gi m a g e so f t h ei m a g i n gs y s t e m i m a g eq u a l i t ye v a l u a t i o np l a y sa ni m p o r t a n tr o l ei nv a r i o u si m a g ep r o c e s s i n g a p p l i c a t i o n ，h o w e v e r ，i ti sac h a l l e n g e ag r e a td e a lo fe f f o r t sh a v eb e e nm a d et o d e v e l o po b j e c t i v ei m a g eq u a l i t ym e t r i c si nt h ep a s tt h r e et of o u rd e c a d e s b u t ，t h o s e q u a l i t ya s s e s s m e n ta p p r o a c h e sa r eb a s e do nt h ee r r o rs t a t i s t i c a la n a l y s i s t h eg o a lo f o b j e c t i v ei m a g eq u a l i t ya s s e s s m e n tr e s e a r c hi st os u p p l yq u a l i t ym e t r i c st h a tc o r r e l a t e w i t hh u m a ne y e sp e r c e i v e di m a g eq u a l i t y b e c a u s eh u m a ne y e sa l et h eu l t i m a t e r e c e i v e r si nm o s ti m a g ep r o c e s s i n ge n v i r o n m e n t b u tt h em e t h o d sc a nn o tc o r r e l a t e w e l lw i t hs u b j e c t i v ev i s u a lp e r c e p t i o ni nb a s i so fe r r o rs t a t i s t i c a la n a l y s i s i nr e c e n t y e a r s ，an u m b e ro fe f f o r t sh a v eb e e nm a d et od e v e l o pn e wo b j e c t i v ei m a g eq u a l i t y m e a s u r e sw h i c hi n c o r p o r a t ep e r c e p t u a lq u a l i t ym e a s u r e sb yc o n s i d e r i n gh u m a nv i s u a l s y s t e m u n f o r t u n a t e l y , o n l yl i m i t e ds u c c e s sh a sb e e na c h i e v e d h e n c e ，t h es u b j e c t i v e q u a l i t ym e a s u r ea p p r o a c hi ss t i l lu s e di nm o s te n v i r o n m e n t a tf i r s t ，t h ep a p e rg i v e sa na n a l y s i so fp r i n c i p l eo ft d ic c d s u b p i x e ld y n a m i c i m a g i n gs y s t e m ，e s p e c i a l l y , i m a g ef u s i n g ，k e yo fp o s tp r o c e s s i n gi ns u b p i x e li m a g i n g a f t e rt h ed e s c r i p t i o no ft h ed e v e l o p m e n th i s t o r ya n dc l a s s i f i c a t i o no ft h em e t h o d so f i m a g eq u a l i t ye v a l u a t i o ns o m et r a d i t i o n a lm e t h o d sa r ea n a l y z e d ，t h e i rc h a r a c t e r i s t i c s ， g o o dq u a l i t i e sa n dw e a k n e s sa r ec o m p a r e da n ds u m m a r i z e d b yc o n s i d e r i n gh u m a n a b s t r a c t v i s u a ls y s t e mc h a r a c t e r i s t i c s ，t h ep a p e ri m p l e m e n t e da l li m a g eq u a l i t yi n d e x i n g a l g o r i t h m ，t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h em e t h o di se f f i c i e n t k e y w o r d s t d ic c ds u b p i x e li m a g i n g ，i m a g ef u s i n g ，i m a g eq u a l i t ye v a l u a t i o n 科研道德声明 秉承研究所严谨的学风与优良的科学道德，本人声明所呈交的论文是我个人 在导师指导下进行的研究工作及取得的研究成果。论文中所引用的内容都已给予 了明确的注释和致谢。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示了致谢。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 论文作者签名：f i 期：硅翌：二主! 知识产权声明 本人完全了解中科院西安光学精密机械研究所有关保护知识产权的规定 即：研究生在所攻读学位期间论文工作的知识产权单位系中科院西安光学精密机 械研究所。本人保证离所后，发表基于研究生工作的论文或使用本 仑文工作成果 时必须征得产权单位的同意，同意后发表的学术论文署名单位仍然为c t 科院西安 光学精密机械研究所。产权单位有权保留送交论文的复印件，允许论文被查阅和 借阅：产权单位可以公布论文的全部或部分内容，可以采用影印、缩印或其它复 制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 论文作者签名i 暨趑导师虢盔丝盐 r 期：立盟：! !同；岿：至竺兰：! ：! ! 第一章引言 1 1 研究的目的 第一章弓i言 随着航天技术和计算机技术的迅猛发展，数字遥感图像的应用领域 越来越广泛。在遥感图像产品大量应用，新的图像处理方法不断涌现的 同时，对如何评价遥感图像的质量却缺乏客观和统一的方法，图像质量 的好坏常常是依赖观察者的主观判断，不但缺乏准确性，而且不适应海 量数据处理的需要。同时评价方法的非客观性与非准确性，也使提高图 像质量成为窆谈。遥感图像作为一种产品，对其质量的评价，必将随着 遥感图像应用的进一步深入而引起越来越多的关注。 t d ic c d 亚像元成像技术是实现空间光学遥感系统小型化的有效途 径，可以获得高于普通采样成像系统的高分辨率图像。那么，选择合适 的评价准则，定性或定量的评价与不同成像系统性能比较是有实用价值 和经济意义的。对成像系统最直接的评价可以通过其输出图像的质量来 衡量。 目前我们评定光电系统成像质量广泛采用各种标准鉴别率板，比如 常用的w t l 0 0 5 6 2 标准鉴别率板，这实际是一种主观评测方法。采用鉴 别率板法有很多局限：受接受器( 如眼睛、底片等) 的影响较大，也受 目标衬度的影响较大，还存在伪分辨现象等。现在对于图像质量的评价 还是以人眼的主观评价为主，主观评价虽然较好的反映出了图像的直观 质量，但结果受观察者主观行为和感知能力的影响很大，而且无法应用 数学模型对其进行描述，不便于计算机自动分析。 所以迫切需要有客观、统一的，和主观评测相一致的图像质量评价 方法。 t d ic c d 弧像元成像中的图像质量评价 1 2 国内外的发展情况 图像质量评价方法广义上分为主观评价和客观评价。 主观评价传统的就是绝对尺度和相对尺度；针对遥感图像的质量评 价，美国提出了n i i r s ( n a t i o n a li m a g ei n t e r p r e t a b i l i t yr a t i n gs c a l e s ) 国 家图像解译度分级标准，采用十级评价等级，有很大的影响力，是目前谣 方情报机构广为使用的一种图像质量标准。还有常用的各种鉴别率板也 属于主观评价方法。 典型的客观的评价方法主要有均方误差和峰值信噪比等【卜2 】：这些传 统的方法计算较为简单，但是由于它们只考虑了影响图像质量的某方面 因素或者把图像质量看作简单的基于物理意义上的误差统计分析3 1 ，所 以它们的评测结果往往和主观评测结果不一致，并不能准确全面的给出 图像质量的结果。 基于此国内外发展了很多结合人眼视觉系统的评价方法，由于考 虑了人眼的感知能力，有些方法效果较好，和主观评测结果有较好的一 致性。比如美国m i t r e 公司的基于图像功率谱的i q m ( 1 m a g eq u a l i t y m e a s u r ef o r mi m a g ep o w e rs p e c t r u m ) 方法，就是结合了人眼视觉系统， 其结果与n i i r s 评价有很好的一致性。k o d a k 公司提出的g i q e ( g e n e r a l i m a g eq u a l i t y e q u a t i o n ) 通用图像质量评价公式，分析表明它与n i i r s 也 具有很好的一致性。 近年来，基于调制传递函数( m t f ) 澳4 定的数字图像质量评价方法也 得到了迅速的发展，并认为是较符合图像质量评价标准的客观而全面的 评价方法 4 1 。数字图像上测定m t f 的具体步骤如下【2 ，4 】：( 1 ) 在数字图像 上利用边缘提取技术提取刀刃扩散函数并确定刀刃扩散函数的范围和方 向。( 2 ) 对刀刃扩散函数进行重采样并滤波。( 3 ) 对刀刃扩散函数亮度曲线 求导得到线扩散函数，并由此求得线扩散函数的等效宽度( e q w ) 。( 4 ) 对 线扩散函数进行傅立叶变换，从而求得调制传递函数。在m t f 的求取过 程中可以得到一些重要的图像质量评价参数，对普通航空像片进行大量 第一章引言 测定后认为e q w 的倒数与图像的分辨率比较致。 西安测绘研究所的熊兴华搏士提出的基于扶度预测误差统计的方法， 是受二维差分脉冲编码调制( d p c m ) 图像压缩编码技术的启发提出的。其 本质与经典的方差和平均梯度同类。但通过对大量图像的试验比较后认 为该方法对图像质菖的变化敏感度明显高于上述经典方法。 还有基于模糊测度的方法【2 ，3 ，自1 9 8 1 年印度学者s k p a l 教授第 一次将模糊集理论引入图像处理与分析以来，图像的模糊处理技术得到 了飞跃发展。与此同时，研究人员针对图像的灰度模糊性和空间模糊性 也提出了一些相应的质量测度方法，其中，在灰度模糊性测度方面，最 具影响力的方法是源于文献“1 提出的模糊熵方法。 近年来，研究人员提出了一类符合人眼视觉系统( h v s ) 特性豹图像质 量评价方法。这类方法的共同特点是评价模型融入了人眼视觉特性的一 些阶段性研究成果，从而使其评价结果比经典的评价方法更符合人的主 观感受。 基于模糊测度的方法，基于人眼视觉特性的方法等都是近几年发展 比较快的新方法。 1 3 论文内容安排 本文从分析t d ic c d 亚像元成像技术的特点出发，分析了亚像元成 像后续图像处理过程；针对t d ic c d 亚像元成像技术特点提出了图像质 量评价方法，并通过试验进行了测试。 第二章：主要分析了亚像元成像技术的原理，并在此基础上分析了 t d c c d 亚像元成像技术的特点及后续图像处理中的图像融合处理环 节。 第三章：对图像质量评价进行了概述，详细介绍了各种最常用的主 观评价方法、客观评价方法和针对融合图像的质量评价方法；通过试验 分析各种评测指标的优缺点和适用范围。 第四章：介绍了人眼视觉系统( h v s ) ，分析了人眼视觉系统的特点。 t d ic c d 皿像元成像中的图像质量评价 并对结合了人眼视觉系统，对依据图像频谱特性的m i t r e 公司的质量评 价方法进行分析。 第五章：根据前几章的讨论分析，提出针对t d ic c d 弧像元成像的 图像质量评价方法，并用标准测试图像和相机实拍图像进行测试，给出 试验结果。 第六章：对本文工作进行了总结和对未来进行了展望。 4 第一二章t d ic c d 咂像元成像系统 第二章t d ic c d 亚像元成像系统 2 1亚像元成像技术 随着民用和军用遥感图像分辨率需求的不断提高以及遥感卫星朝着 小型化方向发展，轻小型和高分辨率光学遥感器已经成为世界各国航天 界在空间遥感领域研究的热点问题。亚像元成像技术就是在这些需求背 景下应运而生的，它是一种非常经济、非常有效的实现遥感卫星高分辨 率和小型化的技术途径。在国外，法国s p o t 一5 ，德国b i r d 卫星以及莱 卡公司研制的数字航空遥感相机a d s 4 0 上都采用了相类似的亚像元成 像技术；在国内，西安光学精密机械研究所等单位都在这项技术领域作 过深入的探讨和研究，取得了一系列的研究成果。 自从法国s p o t - 5 提出并成功应用亚像元成像技术以来，国内外对 此技术概念的定位和理解就存在一定的出入，叫法也有区别，有的叫亚 像元成像技术，有的叫差分采样技术。虽然说法不同，但是它们的本质 从理论基础上讲都是一致的，出发点都是通过提高采样式成像系统探测 器的空间和时间采样频率，降低频谱混叠，从而达到提高遥感器地面像 元分辨率的目的，只是实现的方法和途径不一样而已。 法国s p o t 一5 关于亚像元成像技术提出了两个概念，一个是 s u p e r m o d e 采样的概念，另一个是h i p e r m o d e 采样的概念，这两个 概念的探测器排列方式是相同的，都是把焦平面上常规的一排线阵c c d 采样变成两排c c d 采样。两排c c d 在探测器线阵方向错开0 5 个像元， 在卫星飞行方向错开3 5 个像元。h r g 光学遥感器采用了两路探测器实 现h i p e r m o d e 的亚像元采样。s u p e r m o d e 和h i p e r m o d e 采样的唯 一区别是，在s u p e r m o d e 采样方式中，探测器在飞行方向上的时间采 样频率不变，而在h i p e r m o d e 采样方式中，探测器在飞行方向上的时 间采样频率提高了一倍。s u p e r m o d e 采样图像重建示意图如图2 1 所 示。德国宇航中心研制的红外遥感器h s r s ( h o ts p o tr e c o g n i t i o n s e n s o r s ) 和l e i c a 公司研制的数字航空相机a d s 4 0 关于亚像元成像技术 第，：帝t d i c c d 业像元成像系统 第二章t d ic o d 贬像元成像系统 2 1 亚像元成像技术 随着民用和军用遥感图像分辨率需求的不断提高以及遥感卫星朝着 小型化方向发展，轻小型和高分辨率光学遥感器已经成为世界各国航天 界在空间遥感领域研究的热点问题。亚像元成像技术就是在这些需求背 景下应运而生的，它是一种非常经济、非常有效的实现遥感卫星高分辨 率和小型化的技术途径。在国外，法国s p o t - 5 ，德国b i r d 卫星以及莱 卡公司研制的数字航空遥感相机a d s 4 0 上都采用了相类似的亚像元成 像技术：在国内，西安光学糟密机械研究所等单位都在这项技术领域作 过深入的探讨和研究，取得了一系列的研究成果。 自从法国s p o t - 5 提出并成功应用亚像元成像技术以来，国内外对 此技术概念的定位和理解就存在一定的出入，叫法也有区别，有的叫亚 像元成像技术，有的叫差分采样技术。虽然说法不同，但是它们的本质 从理论基础上讲都是一致的，出发点都是通过提高采样式成像系统探测 器的空间和时闻采样频率，降低频谱棍叠，从而达到提高遥感器地面像 元分辨率的目的，只是实现的方法和途径不一样而已。 法国s p o t 5 关于亚像元成像技术提出了两个概念，一个是 s u p e r m o d e 采样的概念，另一个是h i p e r m o d e 采样的概念，这两个 概念的探测器排列方式是相同的，都是把焦平面上常规的一排线阵c c d 采样变成两排c c d 采样。两排c c d 在探测器线阵方向错开0 5 个像元- 在卫星飞行方向错开3 5 个像元。h r g 光学遥感器采用了两路探测器实 现h i p e r m o d e 的亚像元采样。s u p e r m o d e 和h i p e r m o d e 采样的唯 一区别是，在s u p e r m o d e 采样方式中，探测器在飞行方向上的时间采 样频率不变，而在h i p e r m o d e 采样方式中，探测器在飞行方向上的时 问采样频率提高丁一倍。s u p e r m o d e 采样例像重建示意图如图2 ，1 所 示。德国宇航中心研制的红外遥感器h s r s ( h o ts p o tr e c o g n i t i o n s e n s o r s ) 和l e i c a 公司研制的数字航空相机a d s 4 0 关于亚像元成像技术 s e n s o r s ) 和l e i c a 公司研制的数字航空相机a d s 4 0 关于亚像元成像技术 t d ic c d 距像7 t 成像中的圈像质量评价 提出了s t a g g e r e d a r r a y 的概念。h s r s 焦平面组件中的探测器模块是一 个交错 嘲 ，j ：；| j ；5 m i m 聃 ：i 耍j 。五茹譬 1 田孥0 i 。；j ； 1 n 摹m h - * 2 嘛i m 轴 - ，蝴 图2 is u p e r m o d e 采样图像重建示意图 排列的5 1 2 2 的双红外线阵列，双红外线阵列在线阵方向上错开了o 5 个像元，在垂直线阵方向上错丌2 个像元。h s r s 实现亚像元成像的途 径是：在线阵方向上，通过线阵列错位o 5 个像元得到，在垂直线阵方 向上通过把时间采样频率提高倍来实现。a d s 4 0 焦平面阵列由两个交 错的1 2 0 0 0 的c c d 线阵列组成。其高分辩率全色图像从4 个记录以1 2 g s d 计算得到。即每条记录从每个交错的c c d 的两个位置得到，为此， 在飞行方向上以1 2 g s d 的速率读出，从交错的c c d 获得1 2 0 s d 的 偏移量，从而实现了亚像元成像。 毫一 一 忠 蚋 井 li：，hpir#k#nn萎溉麟瓣焖黼髂淹麟黪瓣瓣嗍麟麟雠瓣粼鞫 第一章t d t c c d 弧像元成像系统 ( a ) l e ic aa d s 4 0 数字航空相机外形图 ( b ) a d s 4 0 中的特殊c c d 器件 ( c ) a d s 4 0 成像示意图 图2 2l e i c aa d s 4 0 中采用的亚像元成像技术 西安光学精密机械研究所的亚像元成像技术是在像丽前放置一分光 棱镜【6 】，把光等分成两路，在像砸位置分别放置两个探测器，探测器中 心坐标分别为( 0 ，0 ) 和( a 2 ，a 2 ) ，其中a 表示像元大小 图2 3 西安光机所提出的亚像元成像原理图 综上所述，亚像元成像是通过把采样式成像系统常规焦平面上的一 排探测器线阵列，改成线阵方向错丌o 5 个像元、在垂直线阵方向上错 t d ic c d 弧像元成像中的图像质量评价 开( n + o 5 ) 或n 个像元( n 为整数) 的两排探测器线阵列，在线阵列方 向上通过错位，在垂直线阵方向上通过提高或不提高时间采样频率的手 段来提高推扫式传输型航天遥感相机地元分辨率的一种新型技术。对于 此项技术，探测器阵列排列的方式可以分为两种 1 0 1 ： 第一种：两路探测器线阵列仅沿线阵方向错开半个像元，在飞行方 向错丌n 个像元( n 为正整数) ，并且两排线阵列保持很高的配准精度，德 国的红外遥感器h s r s 、莱卡公司数字航空相机a d s 4 0 以及西安光学精 密机械研究所线阵都是采用这种方法； 第二种：两路探测器线阵列沿线阵方向错开半个像元，在飞行方向 错开( n + 0 5 ) 个像元( n 为正整数) ，法国s p o t - 5 就采用了这种方法。 上述两种线阵排列方式，如果在垂直线阵列方向时间采样频率都提 高一倍的话，所采集的图像信息是一致的，即可以得到理论空间分辨率 相同的数字图像。这两种线阵列排列方式均有以下三种工作模式： ( 1 ) 采集两路探测器中的一路图像数据，此时图像数据量和理论空 间分辨率普通推扫传输遥感相机样； ( 2 ) 把垂直于线阵方向的时间采样频率提高一倍，即探测器像元的 数据读出时间减半，采集两路探测器的图像数据，此时的图像数据量是 普通推扫式传输遥感相机的4 倍，两路图像数据融合重建后，理论空间分 辨率提高一倍； 堡鲤楚塑矍查塑 - 一一 一一 一 一一 垂 直 线 阵 方 向 探测器线阵1 采集的采样点 探测器线阵2 采集的采样点 p探测器线阵采样间距 ( a ) 第一、二二种探测器排列方式垂直线阵方向时间采样频率加倍 第一二章t d ic c d 亚像元成像系统 探测器线阵方向 = 互= 一 一一 一一一 一一一 探测器线阵1 采集的采样点 一 探测器线阵2 采集的采样点 p 探测器线阵采样间距 垂 童 线 阵 方 向 ( b ) 第一种探测器排列方式，垂直线阵方向时间采样频率不变 探测器线阵方向 1 广_ - - ，l o 一 探测器线阵l 采集的采样点 探 雯i 器线阵2 采集的采样点 探测器线阵束采集的像 垂 直 线 阵 方 向 ( c ) 第二种探测器排列方式，垂真线阵方向时间采样频率不变 图2 4 两种探测器排列方式中的三种图像数据采集方式 ( 3 ) 垂直于线阵方向的时间采样频率不改变，采集两路探测器的图 像数据，此时的图像数据量是普通推扫式传输型遥感相机的两倍。对于 第一种排列方式所合成的图像空间分辨率在垂直线阵方向保持不变，在 线阵方向上图像理论空划分辨率提高了一倍；对于第二种排列方式所合 成的图像理论空问分辨率在两个方向上均提高到原来的2 倍。两种探测 o o 0 oo o o o o o 一o f d ic c d 瓶像元浅像中的匿像质量浮价 器排列方式中的三种图像数据采集方式如图2 4 所示。 亚像元成像中的图像融合处理主要包括两幅低分辨率图像的融合滤 波以及融合后图像的恢复和去噪声。图2 5 给出了亚像元图像融合恢复 处理的流程。图2 6 给出了s p o t 5 上天后拍摄的5 m 分辨率图像与结果亚 像元处理后图像之间的对比。 同一时刻低分辨率 图2 5 亚像元图像处理流程 ( a ) 5 m 分辨率的原始图像 ( b ) 处理后得到的2 5 m 分辨率图像 图2 6s p o t 一5 中h i p e r m o d e 亚像元获取的实际图像 2 。2 t d lc c d 技术 时间延迟积分( t d i ) c c d 是一种新型的空间遥感光电器件，工作 模式为：摄影时对某一个目标进行多次曝光，使积分时间增加m 倍m 是t d ic c d 的级数，通棠为可选控状态( m = 4 ，8 ，1 6 ，3 2 ，4 8 ，6 4 ，9 6 ，1 2 8 ) 。 即使在低照度的环境下，t d ic c d 器件也有较高的灵敏度及较大的动态 范围。 1 0 第二章t d ic c d 鳜像元成像系统 在实现遥感器小型化方面，使用t d lc c d 是一种非常实用的实现方 案。t d ic c d 具有高灵敏度响应特性，使得遥感器可以使用小相对口径 光学系统，实现了遥感器的小型化t d lc c d 已经在国外的航空和航天 高分辩率遥感器上得到了应用，美国仙童公司、艾特克( i t e k ) 公司等 都研制了使用t d ic c d 的航空遥感器，美国的快鸟( q u i c k b i r d ) 、观测镜 ( e y e g l a s s ) 及商业遥感系统( c r s s ) 等卫星上均采用了t d ic c d 器件， 德国和以色列联合研制的小卫星d a v i d 上也采用了t d ic c d 器件。此 外，韩国航空宇航研究院研制的“韩国多用途人造卫星2 ”( k o m p s a t - 2 ) 卫星、以色列的e r o s b l b 6 等系列卫星上也采用了t d ic c d 器件， 而且我国部分航天遥感器上已经采用了t d ic c d 器件。 图2 7t d i c c d 原理示意图 t d ic c d 的像元阵列是一个面阵结构，在工作模式上t d ic c d 属于 线阵c c d 的一种，它采用了一种称作时间延迟积分的扫描方式。t d i c c d 的像元结构和全帧转移面阵c c d 基本相同，其原理如图2 7 所示。 一方面，线阵c c d 一般应用于相机和拍摄目标之间有相对运动的场合， 如遥感卫星、自动化生产线的传送带等：另一方面，t d i 工作模式需要 对同目标多次成像电荷包进行累加，或者况，目标在像面上的运动需 要和电荷包在t d i 方向上的转移速度同步。因此，t d ic c d 必须应用在 目标和相机之蚓有相对运动的场合，而且，t d ic c d 通过目标和相机之 间的相对运动阻及阵列像元内电荷包的t d i 转移速度和像面上的移动速 t d ic c d 弧像元成像中的图像质量评价 度相对静止来实现对同一目标进行多次扫描，增加了成像的灵敏度。 t d ic c d 有以下优点： ( 1 )提高灵敏度的同时没有牺牲数据输出频率，也就是延长了 等效扫描时间却没有降低扫描频率： ( 2 ) ( 3 ) ( 4 ) ( 5 ) 提高了输出信噪比，无论对于微光摄像应用还是常规光照 摄影，增加t d i 的级数，都可以使c c d 的输出信号的信噪 比增加。信噪比增加的程度视工作条件而定，但是至少可 以提高m 倍。同普通c c d 相比，t d ic c d 解决了提高输 出信噪比与降低推扫方向上分辨率的矛盾； t d i 作用提高了像元的晌应一致性，对同一景物多次曝光 成像。c o d 输出信号等效电荷数为每个势阱单元所收集的 电荷数与级数m 的乘积，这可以减小像元之间的响应不均 匀性影响和固定图形噪声。 t d i 作用提高了同一列上像元暗电流的均匀性； 通过控制t d i 积分级数，可以进行曝光控制。 2 3 t d l0 c d 亚像元成像技术 西安光机所提出的“亚像元”工作模式与s p o t - 5 不同，但最终所获 取的图像结果是一致的。 b e a ms l ：i l i t t e r n o 2c c d 图2 8 半反半透分光棱镜示意图1 t d i 亚像元成像技术能够同时获得同一目标的两幅彼此微错位的图 严 第一二章1 d ic c d 豫像元成像系统 像，它们彼此之问的错位量为l 2 像元。如果把这两幅图插值组成一幅 大图，它相当于提高了2 倍图像的采样频率。我们知道，相机的分辨率 由光学系统的衍射极限、t d i 像元积分和采样间隔决定。通常情况下， t d i 像元积分和采样间隔决定了图像分辨率。在c c d 数字相机中，对于 填充因子为1 0 0 的c c d ，数字化的采样间隔等于c c d 的尺寸，此时采样 频率不能满足采样定律，图像存在高频混迭。亚像元成像技术提高了采 样频率，消除了一阶混频效应，从而提离了图像像质和分辨率。经过理 论分析，我们发现，t d i 相机满足一定的信噪比条件下，我们可以经过 图像融合和逆滤波，将分辨率提高到1 4 倍。 2 4t o i 亚像元图像处理 1 、d i 亚像元图像处理算法可分为三步”“。 ( 1 ) 图像预处理：由于分光棱镜的分光比和两片c c d 的响应及增益不 完全相等造成了两片c c d 输出图像灰度特性和直方图的差异。图像预 处理最关键的环节是直方图匹配，其流程如图2 9 。 图2 9 亚像元图像预处理框图 在流程图里，以图像2 的直方图为参考目标，对图像1 的直方图进 行变换，使它的直方图与直方图2 一致，得到图像3 。在以后的处理中 就用图像3 代替图像l 作为c c d i 输出的图像。由于图像2 和图像3 是同 一景物的两幅图像，直方图的匹配结果还是比较好的e ( 2 ) 图像位置匹配：主要是将2 幅倍频采样的图像捅值组合成一幅 图像。此时，可以发现图像的分辨率有了较大的提高。 t d ic c d 照像元成像中的图像质量评价 由于两片c c d 不可能做到理想拼接，两片c c d 之间存在一定的夹角， 且二者的错位量不可能完全做到错1 2 象元，同时还可能存在两片c 0 1 ) 的不完全同步驱动。所以我们采取图像位置匹配和线性插值作为补偿。 我们采用最佳匹配的原则进行图像位置匹配，其流程图如图3 2 所示。 在流程图的迭代算法中，最后得到的平移量和旋转量即为两片c c d 输出图像之间的位置关系。知道两路输出图像的位置关系，我们便可以 将这两幅图像双线性插值成一幅新的大图。 图2 10 图像位置配准流程图 ( 3 ) 图像处理合成技术：亚像元图像融合处理算法是整个亚像元成 像的核心所在，能否从多幅不同位置采集的低分辨率图像中有效提取并 恢复出高分辨率信息，将直接影响整个系统的性能。 对c c d 成像的时频域模型式为： f ( ”，v ) = h ，( ，v ) x ( u ，p ) + n ，( 即，v ) i = 【1 2 】，u 【l n ，】，v 阶n y 】 ( 2 - 1 ) 式中f ( h ，v ) 表示从两路c c d 获得的数字化图像的傅里叶变换， h ( h ，v ) 表示成像系统点扩展函数p s f 的傅里叶变换，亦即成像系统的 m t f ，x ( 1 4 , v ) 表示输入目标图像的傅里叶变换，( 甜，v ) 表示系统噪声的 傅里叶变换。1 , v 表示空问频率，表示两个方向上的最高频率。 ， 由上式可以看出，合成后的新图像的特性与一( 弹，p ) 、h ，( h ，v ) 、n ( 雄，v ) 亦即采用的图像融合算法性能等密切相关。同时也可以看出，新图像的 合成处理是典型的病态逆问题( i l 】一p o s e di n v e r s ep r o b l e m ) 求解问题。 对此，可以采用时域、频域的许多算法，如p o c s 、b a y e s i a n 、m a r k o vr a n d o m 第二章t d ic c d 亚像元成像系统 p r o c e s s 、m a p 等。 我们提出的亚像元成像的图像融合处理算法，充分利用已知两路 c c d 像元错位量的特点，将整个图像融合处理分两步来进行，即中间高 分辨率图像的生成及图像的退卷积和去噪声下面分别对其进行简要讨 论： ( a ) 中间图像高分辨率图像的生成处理 中间高分辨率图像的生成处理是将采集的两幅低分辨率图像经过不 均匀性校j 下、狄度匹配后，采用并交织插值( u p s a m p l i n ga n d i n t e r p o a t i o n ) ，从而形成一幅新的高分辨率中间图像。对此我们研制 了两种算法： 中间图像生成算法l ： 该方法即在前面图像处理中介绍的算法：先求得两幅图像之间的平 移量和旋转量即两片c c d 输出图像之间的位置关系，然后将这两幅图像 经双线性插值生成一幅新的中间图像。 中间图像生成算法2 ： 以一维连续情况来分析：假设c c d 像面上的输入图像信号为f ( x ) ， 它是经过光学系统及焦平面组件模糊化后的图像，c c d 像元之间的中心 距离为p ，并且假设图像信号是带限信号，即：对于空间频率i l 1 v 的 频率分量，其频谱，( h ) = 0 。此时两路c c d 采集的图像信号可以描述为： ，。( x ) = f ( x ) s a m p ( x ) ，j ，( x ) = f ( x ) s a m p ( x + 口) = f ( x + a ) s a m p ( x ) ( 2 2 ) 其中a 表示两路c c d 像元中心间错位量，而函数阳m p ( x ) ：l c o m b ( x ) pp 表示取样函数。 中间图像生成算法的目的是求解两个插值滤波器m ，( x ) 和珊，( x ) 的解 析表达式，从而使得我们可以从两路c c d 采集的两幅图像，生产高分辨 率的中间图像，( 工) ，其解析数学表示为： f ( x ) = y ( x ) + + 坩i ( x ) + y ：( x ) + ，( x ) ( 2 3 ) t d ic c d 娅像冗成傲中的图像质量评价 这里我们充分利用两幅图像中的信息量，即使它们包含有频谱混迭 成分。插值滤波器m 。( x ) 和m ，( 砷的求解可以在频率域比较方便地实现， 对公式( 2 1 ) 的两边作f o u r i o f 变换，可得： f ( ) = f ( u ) ”c o r n b ( p u ) ， e ( h ) = f ( u ) e x p ( j 2 n u u ) 】+ c o m b ( p u ) ( 2 4 ) 可见f ( x ) 的频谱被以1 p 为周期在频域进行拓展，从频域角度来看， 两幅图像的频谱仅相差一个线性相位因子，如果将我们的讨论局限于在 一1 p u 1 p 的频谱分量范围内，即有 ，：c h ，= 上p ，c h + 吉，+ ，c 即，+ ，c 一土p ，l p j 0 ) = 上p e x p l p 卜岁1 + 唧( j 2 a a u ) f ( u ) + e x p l j 2 m ( u - 1 ，卜1 ( 2 5 ) 此时从以上两个方程，可以进行f ( u ) 的求解，由于对于频率i | i p 的 约束条件，有：f ( h ) = 0 ，对于雎 0 ，则有f ( h 十t p ) = 0 ，此时可以求得： ，c h ，= ，詈! ! ：；：f i j ：；墨手2 fc h ，一，詈，! ：； ： ；耋；：考2 e x p c 一，2 矗h 甜，只c h ， c z - e ， 同理，当口 0 时，f ( u l i p ) = 0 ，可解得： 脚) - - j 詈搿f l ( 川詈哿时伽峨q ) ( 2 - 7 ) 对比上面的两个解，式中对应各项互为复数共轭，则在频率范围 一l p “1 p 内，以上两种情况下的鳃析解可以合并为： ，( 雎) = f ( 睁) 。m ( “) + t ( h ) m 。( u ) e x p ( 一j 2 n n u ) ( 2 8 ) 其中m ( u ) 的解析解为： 脚) = p r e c r ( 击) 一善c t a n ( 万( 齿) ( 2 9 ) 其中们7 表示三角函数对频率u 的导数。 6 第一二章t d ic c d 亚像元成像系统 如此以来，输入信号，( x ) 的频谱就可以从采集的两幅图像的频谱经 过滤波、叠加后得到。插值滤波器的空域关系式为： 卅( x ) ：s i n c ( 三x ) 一工互c t a l l 协兰) s i n c 2 ( 兰) ( 2 10 ) pp pp 并且有 小，( x ) ：删( 工) ：s i n c ( 三x ) 一x 互c t a n 协旦) s i n c 2 ( 三) ( 2 1 1 ) pppp ，( x ) ：m ( 口一x ) ；s i n c ( 三( 4 一z ) ) 一( 口一工) 三c t a n ( 石! ) s i n c 2 ( a - x ) ( 2 12 ) pppp 当两路c c d 得像元中心错位量为半个像元时，即a = p 2 时，卅( x ) 的 空域、频域表示式将为： r e ( x ) = s i n c ( - ；= x ) 脚) = 詈刚( 争 ( 2 1 3 ) = m ( ) = 导c ，( 等h ) ( ) p zz 上式即等效于采样间隔为p 2 ( 采样频率两倍于原采样频率1 p ) 时 理想的恢复滤波器( r e c o n s t f u c t io nf i l t e r ) 。 对两幅离散图像信号的中问图像处理算法，直接的方法就是在频域 进行，将采集的样点数为n 点的图像进行滤波，获得2 n 点的新数据，去 除频谱混迭影响。 从上面的理论分析和我们实际的计算机处理结果表明：当两幅图像 之间的错位蘸恰好为1 2 像元时，处理算法1 和处理算法2 是完全等效 的，或者说处理算法1 是处理算法2 的一个例，理论上处理算法2 可以 对两幅图像间各种错位量情况进行高效合成处理，更具通用性，处理算 法2 是比较合适的选择。 ( b ) 图像的退卷积( d e c o n v o l u t i o n ) 和去噪声( d e n o is i n g ) 处理 从亚像元的两幅图像经过处理获得中间图像后，还要对该图像进行 像质退化的恢复处理一一即退卷积；并对图像中的噪声进行抑制，也即 去噪声d e n o i s i n g 处理。 根据此时图像的线性成像模型： t d jc c d