（信号与信息处理专业论文）图像融合算法的研究及可重构fpga实现.pdf

西北t 业大学硕士学位论文摘要 摘要 图像融合技术( i m a g ef u s i o nt e c h n o l o g y ) 是近二十年来，引起了世界 范围内广泛关注的研究领域。图像融合是对多个传感器采集到的关于同一场景 或目标的多个源图像进行适当的融合处理，充分利用多个待融合源图像中包含 的冗余信息和互补信息，以获取对同一场景的更为准确、更为全面、更为可靠 的图像描述。融合后的图像应该更适合于人类视觉感知或计算机后续处理。 f p g a 器件为实现图像处理提供了一种数据处理算法的硬件实现的一个理 想的平台。f p g a 器件集成度高，体积小，通过用户编程实现专门应用的功能。 它允许电路设计者利用基于计算机的开发平台，经过设计输入，仿真，测试和 校验达到预期的结果，减少了开发周期。 本文在分析了数字图像融合理论的基础上，讨论了对i h s 图像融合算法和 小波变换图像融合算法。综合两种算法的优点，研究了基于i h s 变换与小波变 换相结合的图像融合方法。同时小波变换的提升算法系数简单，能够实现快速 算法，有利于硬件实现，并且有很好的兼容性。在确定了使用的图像融合算法 后，本文设计了实现图像融合的硬件结构。完成硬件结构设计的基础上，采用 v e r i l o g 硬件描述语言对设计进行了完全可综合的r t l 级描述，采用了同步设 计，提高了可靠性。在a l t e r a 公司的f p g a 开发软件q u a r t u s1 1 5 o 对设计的各 模块进行了仿真和实现，结果表明，本设计能很好的实现图像融合。 关键字：图像融合，f p g a ，i h s 变换，小波变换 塑i ! 三些奎兰堡圭兰堡丝圣垒! ：塑壁 a b s t r a c t i m a g e f u s i o nt e c h n o l o g yi sav e r yp o p u l a rr e s e a r c ha r e ai nr e c e n ty e a r s i m a g e f u s i o ni st h et e c h n i q u et h a ti n t e g r a t e sa n d p r o c e s s e st h em u f t i - s o u r c ei m a g e sf r o m v a r i o u ss e n s o r si n t e l l i g e n t l ya n do b t a i n sm o l ea c c u r a t e ，c o m p l e t ea n dd e p e n d a b l e d e s c r i p t i o na b o u tt h es a l n es c e n et h a na n yo ft h ei n d i v i d u a l u r c ei m a g e s t h e p u r p o s eo fi m a g ef u s i o ni st ou t i l i z et h ec o m p l e m e n t a r ya n dr e d u n d a n ti n f o r m a t i o n i nm u f t i - - s o u r c ei m a g e s a sar e s u l to ft h i sp r o c e s s i n g ，t h ef u s e di m a g es h o u l db e m o r es u i t a b l ef o rh u m a nv i s u a lp e r c e p t i o no rc o m p u t e rf u r t h e rp r o c e s s i n gt a s k ss u c h a so b j e c tr e c o g n i t i o na n df e a t u r ee x t r a c t i o n , e t e f p g ad e v i c es u p p l i e sap e r f e c th a r d w a r ep l a t f o r mf o ri m a g ec o m p r e s sb e c a u s e o fi t sh i g hi n t e g r a t i o na n dp o w e r f u lf u n c t i o n u s e r sc o u l di m p l e m e n tt h e i rd e s i g n s b yc o d i n gw i t l li - i d l w ec a nd oo u rd e s i g n sa n dd ot h es i m u l a t i o nw i t hp c w e c o u l dd e b u gt h ed e s i g nw i t hs p e c i 丘cs o f t w a r e ，t h e s em a k et h ed e s i g n i n gm u c h e a s i e ra n dr e d u c et h ed e s i g n i n gt i m e t h i st h e s i sa n a l y z e st h et h e o r yd i g i t a li m a g ef u s i o ni nd e t a i l s ，a n da l s o i n t r o d u c e si h st r a n s f o r ma n dw a v e l e tt r a n s f o r m c o m b i n e st h ea d v a n t a g eo ft w o a l g o r i t h m sa n di n t r o d u c e sa ni m a g ef u s i o na l g o r i t h mb a s e do ni h st r a n s f o r ma n d w a v e l e tt r a n s f o r m t h el i f t i n gs c h e m ef o r t h ew a v e l e tt r a n s f o r mi sv e r ys i m p l e ，a n d i se a s yt ob ei m p l e m e n t e dw i t l lh a r d w a r e a c c o r d i n gt ot h ea l g o r i t h mc h o o s ei n i m a g ef u s i o n , t h et h e s i sd e s i g n st h ea r c h i t e c t u r eo f i m a g ef u s i o n o nt h eb a s i so f t h e a r c h i t e c t u r e ，t h et h e s i sd e s c r i b e st h ew h o l ed e s i g ni nv e r i l o gh d la tt h ef u l l s y n t h e s i z a b l er t ll e v e l 谢ms y n c h r o n o u sd e s i g nt e c h n o l o g y t h es i m u l a t i o na n d i m p l e m e n t a t i o no fe a c hm o d u l ea r ep e r f o r m e do na l t e r a sf p g ad e s i g nt o o l s q u a r t u s i l 5 o a n dr e s u l t ss h o wt h a tt h ed e s i g nc a nc o m p l e t et h ei m a g ef u s i o n c o r r e c t l y k e y w o r d s ：i m a g ef u s i o n , f p g a , i i st r a n s f o r m ，w a v e l e tt r a n s f o r m h 西北工业大学业 学位论文知识产权声明书 本人完全了解学校有关保护知识产权的规定，即：研究生在校攻读学位期间论文工作 的知识产权单位属于西北工业大学学校有权保留并向国家有关部门或机构送交论文的复 印件和电子版本人允许论文被查阅和借阅。学校可以将本学位论文的全部或部分内容编 入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文 同时本人保证，毕业后结合学位论文研究课题再撰写的文章一律注明作者单位为西北工业 大学。 保密论文待解密后适用本声明。 学位论文作者签名： 羽菇私 谚7 年j 月群日 指导教师签名： 如p 7 年3 月啪 西北工业大学 学位论文原刨性声明 秉承学校严谨的学风和优良的科学道德，本人郑重声明：所呈交的学位论文，是本 人在导师的指导下进行研究工作所取得的成果。尽我所知，除文中已经注明引用的内容 和致谢的地方外，本论文不包含任何其他个人或集体已经公开发表或撰写过的研究成 果，不包含本人或其他已申请学位或其他用途使用过的成果。对本文的研究做出重要贡 献的个人和集体，均己在文中以明确方式表明。 本人学位论文与资料若有不实，愿意承担一切相关的法律责任。 学位论文作者签名：j i i ! i i 迕 研年歹月午日 西北工业大学硕十学位论文第一章绪论 1 1 引言 第一章绪论 随着科学技术的研究与发展，采集图像数据的手段不断完善，出现了各种 新的图像获取技术。但是，目前作为信息输出源的各种图像获取传感器的性能 还不能完全满足人们的要求，还没有一种图像获取技术能够保证按照要求提供 完整可靠的信息，这一方面是由于受到获取技术本身发展水平的限制；另一方 面是因为任何一种获取技术都有一定的精度和使用范围，且其信号都要受到周 围环境的干扰。也就是说，一幅图像只能提供部分的、不完全精确的信息，因 此不能排除对未知或部分未知环境描述的多义性。 图像融合是2 0 世纪七十年代后期才提出来的新概念，其含义是指将多源信 道所采集的关于同一目标的图像经过一定的处理，提取各自信道的信息，最后 综合形成统一图像或综合利用各图像信息供观察或作进一步处理。2 0 世纪9 0 年代以来，图像融合技术的研究呈不断上升趋势，应用领域也遍及遥感图像处 理、可见光图像处理、红外图像处理、医学图像处理等。 图像数据融合技术可以从多幅图像中抽取出比任何单一图像所提供的更为 准确可靠的信息。由于各幅图像中有用信息之间是相关的，而干扰却不具有这 种相关性，因此通过比较分析就可以排除干扰获取准确的图像信息；同时，各 幅图像提供的是被检测对象的各个侧面信息，综合这些信息能获得被检测对象 的全面信息，甚至能得到从单一图像得不到的信息。按数据融合的处理体系。 图像融合的目的是综合同一个场景的多个图像的信息，其结果是更适合人的视 觉和计算机视觉的一幅图像，或更适合进一步图像处理需要的图像。 当前，图像处理技术被广泛应用于各个领域。实用的图像处理系统都要求 高速处理，目前广泛使用软件进行处理，并采用并行计算机以提高处理速度， 但是使用并行计算机系统，存在着成本高、系统规模大等问题。为了更简单地 进行图像处理，达到图像处理系统实用化的目的，本文提出采用f p g a 使图像 融合技术硬件化的一种设计方法。由于f p g a 含有丰富的逻辑单元，很容易实 现各种电路设计和完成较复杂的运算，对于不同的图像处理要求，设计者只需 用软件修改f p g a 内部的逻辑功能即可；同时，f p g a 的高度集成化，使图像 处理板更简化、布局更紧凑。 l 西北工业人学硕十学位论文 第一章绪论 1 2 数字图像融合 数字图像融合( 简称“图像融合”) 是将两个或者两个以上的传感器在同一 时间( 或不同时间) 获取的关于某个具体场景的图像或者图像序列加以综合， 以生成一个新的有关此场景的解释，而这个解释是从单一传感器获取的信息中 无法得到的。近几年，多传感器图像融合技术己成为机器人、智能制造、智能 交通、医疗诊断、遥感，保安、军事应用等领域的研究热点。数据融合具有描 述所研究对象的较优化的信息表征，能减少或抑制对被感知对象或环境解释中 可能存在的多义性、不完全性和不确定性i l 】。 一般情况下，在图像经过预处理( 包括几何校正、噪声消除、图像配准) 以后 开始真正的图像融合过程。图1 - 1 显示了图像融合的步骤。l 是m 幅原 始图像，它们分别经过滤波和校准处理后，进行相应的特征变换，然后对获得 的每一幅原始图像的特征采用合适的方法进行融合得到融合后图像的特征，最 后对所得到的融合图像的特征进行逆变换，就得到了融合结果，【2 】。 i 薤 跫 口 预处理阶段融合阶段 逆 粪 图1 - 1 图像融合步骤 图像融合由低到高分为三个层次：像素级融合、特征级融合、决策级融合。 本文主要研究内容就是像素级图像融合中i h s 变换法和小波变换法及用f p g a 实现两种变换方法相结合的图像融合方法。 1 2 1 像素级融合 像素级融合是在图像预处理阶段的融合。首先将图像进行空间配准，然后 将图像上各类数据进行综合分析，以便改善如分割、特征提取等处理的效果。 因此像素级融合是图像融合过程中十分重要的环节，本文研究的是这一层次的 融合。 2 西北工业大学硕士学位论文 第一苹绪论 像素级融合首先对源图像进行预处理和空问配准。然后对处理后的图像采 用适当的算法接进行融合，得到融合图像并进行显示和相关后续处理。像素级 融合最大限度地保留了源图像的信息，在多传感器图像融合三个层次中精度最 高，同时它也是特征级和决策级融合的基础。像素级融合的缺点是处理的数据 量较大、对图像配准的精度要求高，而且一般要求参与融合的图像来自同类传 感器。像素级图像融合的流程见图卜2 。 l预处理卜+ 结 像 果 l预处理卜+ 图 素豆 像 级 匹 -图-或 像后 配 续融 合 处 i预处理卜_ + 理 图1 - 2 像素级图像融合流程图 传统的像素层融合方法主要有i h s ( i n t e n s i t y - h u e - s a t u r a t i o n ) 变换法，主成份 分析，小波变换法等。下面主要介绍i h s 变换法，p c a ( 主成分分析) 和小波变 换法。 1 i h s 变换法 i h s 变换方法的特点是高频信息丰富，但光谱信息有损失。r g b 到i h s 的 变换有多种，最具有代表性的是三角形法、六棱锥法和圆柱体法。对图像融合 中的i h s 变换而言，变换模型基本上不会影响处理结果。 一般的i h s 图像融合方法是：将被融合图像在r g b 和i h s 这两种彩色坐 标问进行变换，因为有些处理在某个彩色系统中可能更方便些。对多光谱图像 进行i h s 变换，得到亮度i 、色度h 、饱和度s 成分，用高分辨率图像代替1 分量，对h 。s 分量进行拉伸，最后通过逆变换回到r g b 空问。 2 p c a 方法 p c a 变换即主成分分析法的思想类似于i h s 变换，是将多个传感器的图像 经p c a 变换至各不相关的成分，而后对高分辨率图像与低分辨率图像主成分 按照特定融合规则进行融合处理，并使用该融合后的主成分置换原主成分，最 后使用逆变换重构融合图像。 1 9 8 7 年，w e l c h 等运用主成分分析法( 即p c a 方法) ，对多光谱图像和l a n d s a t t m 图像进行融合，得到精简数据。主成分分析法通过图像x 的协方差矩阵 3 两北丁业大学硕士学位论文 第一章绪论 c o v x 求得的特征值为五，如，五， ，且 五乃以，其相应的特征向 量也按这样的顺序排列形成一个矩阵a 。主成分变换为y = a 7 x ，y 的第一主 成分包含了x 的绝大部分能量。 3 小波变换法 伴随着数学理论如小波变换、以及相关学科的深入发展，许多新颖高效的 基于小波变换的融合方法相继产生。小波变换主要步骤为：首先对两幅图像进 行小波分解，得到低分辨率图像的高频和低频成分以及高分辨率图像的高频和 低频成分，然后对两低频成分采取加权平均得到新的低频成分，对高频部分按 照一定的融合算法进行，也可以得到新的高频成分，然后进行小波重构得到融 合图像吲。 一种类似于图像金字塔的信号分析方法是小波变换。主要的差别就是图像 金字塔导致数据增大，而小波分解具有非冗余性，使得图像经小波分解后的数 据总量不会变大。小波变换可以将原始图像分解成一系列具有不同空间分辨率 和频域特性的子空间，可以充分反映原始图像的局部变化特征。基于小波的融 合算法基本原则是在一个高分辨率空间数据的分解层次上合并低分辨率光谱 数据，这可以通过置换、相加，或者相应系数的选择来实现。最后综合的融合 分量生成一幅图像，它结合了低分辨率波段的光谱信息和较高全色波段的空间 分辨率。 传统的数据融合方法如p c a ，i h s 等相比，小波融合模型不仅能够针对输 入图像的不同特征来合理选择小波基以及小波变换的次数，而且在融合操作时 又可以根据实际需要来引入双方的细节信息，从而表现出更强的针对性和实用 性，融合效果更好。 基于小波变换融合增强方法能有效地增强不同传感器获得图像的空间细节 表现能力，保持影像融合前后的特性，但影像增强的效果受到小波分解层数的 影响，容易出现分块效应与纹理模糊。一般较好的分解层次为3 4 层。基于二 进制和三进制小波的s p o t 全色影像和多光谱影像的融合，由于它只是简单的 用高分辨率的遥感影像替换低分辨率影像经过小波分解后的低频分量，却没有 考虑影像特征方面的损失；基于特征的二进制小波影像融合，由于没有考虑到 待融合影像的分辨率，从而融合效果并不是很好。基于小波包变换的融合方法， 其优点是不仅对图像低频部分进行分解，对高频部分也进行分解，对于有大量 细节部分的图像的融合，能保持大量的细节信息。 4 西北t 业大学硕十学位论文 第一章绪论 1 2 2 特征级融合 特征级图像融合属于中间层次的图像融合，其处理方法是先对源图像分别 进行预处理和特征( 边缘、纹理等) 选择和提取，然后对从多传感器获得的多个 特征信息进行综合分析和处理，以实现对多传感器数据的分类、汇集和综合， 再进行融合处理。 特征级图像融合可分为两大类，即目标状态数据融合和目标特性融合。目 标状态数据融合主要用于多传感器目标跟随领域，其实现过程是首先通过融合 系统对传感器数据进行预处理以完成数据校准，然后再实现主要参数相关的状 态矢量估计。特征级目标特性融合就是特征层联合识别，也就是采用模式识别 等相关技术，再融合前对特征进行相关处理，从而把特征矢量分类成有意义的 组合。 特征级融合的优点在于实现了可观的信息压缩，便于实时处理。由于所提 出的特征直接于决策分析有关，因而融合结果能最大限度的给出推测分析所需 要的特征信息。特征级融合是中间层的图像融合，精度一般。 目前，特征级融合的主要方法有聚类分析法、d e m p s t e r - s h a f e 推理法、贝 叶斯估计法、信息熵法、加全平均方法、表决法和神经网络法等。 1 2 3 决策级融合 决策级融合是最高层次的图像融合，是在信息表示的最高层次上进行融合 处理。在进行融合处理前，先对从各个传感器获得的图像分别地进行预处理、 特征提取、识别或判决，建立了对同一目标的初步判决和结论；然后，对来自 各个传感器的决策进行相关( 配准) 处理；最后，进行决策级的融合处理从而获 得最终的联合判决。决策及融合是直接针对具体的决策目标，充分利用来自各 图像的初步决策。因此，在决策级图像融合中，对图像的配准要求低，在某些 情况下甚至无需考虑，因为其它各传感器的决策已经符号化或数据化了。 决策级融合适合多类不同传感器图像的融合，但融合结果精度较差。目前， 常用的决策级融合方法主要有：贝叶斯估计法、神经网络法、模糊聚类法和专 家系统等。 5 西北工业大学硕十学位论文 第一章绪论 1 3 现场可编程门阵列f p g a 概述 随着超大规模集成电路( v l s i ) 技术的发展，系统芯片和芯片集成系统的新 时代己经到来。现在人们可以把数以亿计的晶体管、几十万门、几百万门的电 路集成在一个芯片上，半导体集成电路由早期的单元集成、部件电路集成发展 到整机电路集成和系统电路集成。 现场可编程门阵列f p g a ( f i e mp r o g r a m m a b l eg a t ea r r a y ) 是超大规模集成 电路的可编程逻辑器件，自1 9 8 5 年美国x i l i n x 公司发明以来得到了迅速的普 及和发展，器件集成度和速度都在高速增长。f p g a 具有门阵列的高逻辑密度 和高可靠性，又具有可编程逻辑器件的用户可编程特性，可以减少系统设计和 维护的风险，降低产品成本，缩短设计周期。 f p g a 正是这样一种最具代表性的p l d 器件。f p g a 既继承了a s i c 的大 规模、高集成度、高可靠性的优点，又克服了普通a s i c 设计周期长、投资大、 灵活性差的缺点【5 1 。随着工艺技术的发展和市场需要，超大规模、高速、低功 耗的新型f p g a 器件不断推陈出新。新一代的f p g a 甚至集成了中央处理器 ( c p u ) 或数字信号处理器( d s p ) 内核，在一片f p g a 上进行软硬件协同设计，为 实现片上可编程系统s o p c ( s y s t e mo np r o g r a m m a b l ec h i p ) 提供了强大的支持。 无论是在速度、体积方面，还是在设计的灵活性上，f p g a 都能适应图像 和信号处理的要求。基于f p g a 的信号处理机能够充分发挥f p g a 硬件资源丰 富的特点，易于实现并行处理，从而大幅度提高系统的处理速度。 1 4 本文研究内容 像素级图像融合是在基础层面上进行的信息融合，它能够提供其它层次上 的融合处理所不具有的更丰富、更精确、更可靠的细节信息，有利于图像的进 一步分析、处理和理解，它在整个图像融合技术中是最为复杂、实施难度最大 的融合处理技术。本文的研究工作主要是围绕像素级的图像融合展开的，针对 像素级图像融合技术中需要解决的关键问题，研究了i h s 变换、小波变换图像 融合算法，并对i h s 变换与小波变换结合的图像融合算法进行了f p g a 实现前 的仿真。本文的主要内容安排如下： 第一章：绪论，分析了本课题的研究背景和意义，详细阐述了图像融合技 术的基本理论分析总结了目前已有的各种像素级图像融合方法及其特点，现场 6 西北工业大学硕士学位论文 第一章绪论 可变成门阵列的基本概念以及本文的研究重点和主要内容。 第二章：研究了像素级图像融合的基本方法，包括i h s 变换法、小波变换 法及i h s 与小波变换相结合的图像融合方法。 第三章：f p g a 及设计方法，介绍了f p g a 的基本构成及f p g a 设计方法 和需要注意的问题。 第四章：数字图像融合的f p g a 设计。以提升小波算法实现为基础，给出 了图像融合的分模块实现过程。 第五章：仿真与综合结果及分析。 第六章：结论与展望。 7 西北工业大学硕七学位论文 第二章像素级图像融合变换法 第二章像素级图像融合变换法 2 1 i h s 变换法 h - i s 变换法是像素级融合中最常用的方法。1 9 9 0 年，c a r p e r 等应用h i s 变 换法来融合全色图像和多光谱图像，c h a v e z 等对t m 和s p o t 图像的融合又做 了大量研究工作，随后，出现了大量的文献，对i h s 变换法进行研究和改进。 2 1 1i h s 变换的物理意义 在色度学中，把彩色摄影的红( r ) 、绿( g ) 、蓝( b ) 变换成亮度( d 、色度( i o 、 饱和度( s ) 称为h i s 变换，从i 、h 、s 变换成r 、g 、b 称为反变换。h i s 彩色 空间上图像的显示具有r g b 彩色空间上所不具有的优点，m s 坐标系统比r g b 系统能更好地表示出色光本身的物理特性以及与人眼视觉之间的关系。它用亮 度，色度和饱和度代替r g b 彩色系统中的红、绿、蓝三基色。亮度指颜色的 光亮程度，它主要反映的是原图像地物反射的全部能量和图像上所反映的空间 信息；饱和度是颜色的纯度，色度代表颜色属性，它们反映地物的光谱信息。 经过变换后，亮度、饱和度和色度三种成分之间的相关性变的很低，所以可以 认为三者之间相互独立。这就为对亮度、饱和度和色度进行分离，提供了统计 学方面的依据，使我们能够对h i s 空间中的三种变量单独地进行处理。更重要 的是i 、h 、s 三种成分的分离使我们能够对饱和度直接进行扩展，扩大饱和度 的动态范围，从而降低各个波段亮度值之间的相关性，从根本上改善图像的质 量；另外也可以为了特殊的目的分别或按不同程度同时改变亮度、色度和饱和 度，而这些是在r g b 空间上无法办到的。 对于s p o t 图像，m s 变换方法能将它的三个多光谱波段的低分辨率数据 转换到h i s 空间，同时将全色波段的高分辨率图像作为新的亮度分量代入h i s 反变换还原到原始空间中。这样获得的高分辨率彩色图像既具有较高空间分辨 率，同时又具有与原影像相同的色度与饱和度，有利于目视判读和计算机自动 化处理。由于提高了空间分辨率，从而也可以提高地物分类的精度。 亮度i 主要反映地物辐射总的能量及其空间分布，即表现为几何特征；而 h ，s 则主要反映地物的光谱信息，因此可对原始图像进行h i s 变换( 9 1 。图像融 8 西北丁业大学硕士学位论文第二章像素级图像融合变换法 合的原理( 图2 - 1 所示) ：首先对原始图像从r g b 空| 日j 变换到i h s 空间，得到三 个分量i ，h ，s ：然后用高分辨率图像代替1 分量，保持h ，s 分量不变，最后 通过i h s 逆变换再返回到r g b 空间。这样融合的结果既保持了原图像的光谱 特征，又引入了新图像的几何特征。 图2 - 1i h s 图像融合方法示意图 2 1 2i h s 彩色圆柱体 在r g b 彩色空间的原点上，任何基色均没有亮度，即原点为黑色，三基色 都达到最高亮度时则表现为白色，亮度较低的等量三基色产生灰色的影调。所 有这些点均落在彩色立方体的对角线上，该对角线被称为灰色轴，以三原色为 横、纵、竖三个坐标轴，构成了r g b 彩色立方体。如图2 2 定义了一个i h s 柱形彩色空间。亮度i 沿着轴线从底部的黑变到顶部的白。色度h 由圆柱底面 圆的角度表示，假定o 为红色，1 2 0 为绿色，2 4 0 。为蓝色，则色度o 到2 4 0 覆 盖了所有可见光谱的彩色。饱和度s 是色度环的原点( 圆心) 到彩色点的半径的 长度，圆心的饱和度为零，圆周上的饱和度为1 。 9 两北工业丈学硕七学位论文 第一二章像素级图像融合变换法 国 2 1 3i h s 与r g b 转换公式 跏阻 叫， = a r c t a n li v 2l，(2-2) ikj s = ( 巧) 2 + ( ) 2 ， ( 2 - 3 ) 1 0 西北工业大学硕士学位论文第- = 章像素级图像融合变换法 变换模型、六棱锥变换模型等。 1 圆柱体法 在r g b 空间中的灰度线是彩色立方体的对角线，而在i h s 空间中是垂直 中轴。这样，我们可以建立一个( x ，y ，z ) 坐标系，其中旋转r g b 立方体使其 对角线与z 轴重合，而其r 轴在x z 平面上，如图2 3 ： b ，z ( | = ( 奠- s i n 麓a s i n p 芝肫蚓弘 中定义极坐标系p = 如2 + j ，2 ，= a n g ( x , y ) 。这样( 妒，p ，z ) 与( 日，s ，i ) - - 对 s ：l ：1 一型；m i n ( 胄，g ，功( 2 5 ) 而拈一【端j + c ， 式中c = 仨拦或日= 2 二护g 其中 目；e i r - g ) + f r - b ) 酉 以上是由r g b 到h i s 的正变换，其反变换公式如下： 当o s h 1 2 0 时： 当1 2 0 h 2 4 0 。时： 当2 4 0 。s h 3 6 0 。时： 口：毒( 1 一s ) 、，j ，r r = 1 1 + 3l g ：、 亏i r b r = 去( 一s ) g = 讣可s o o s ( m 呵- 1 2 0 0 ) b ：豇一r g ( 2 7 ) g = 去( ) 口= 斗可s c o s ( h 丽- 2 4 0 。) ， r ：矗l b g 2 三角形法 在r g b 彩色立方体中，以r 、g 、b 为顶点可以得到一个等边三角形。如图 9 - 4 ，下面以b 最小为例推导其变换公式。 设i 。- r + g + b ，则i = e 3 。由于等量r g b 色光叠加为中性色，因此可先将 中性色剔除，近似地讨论色相。例如r ，g ，b 合成的色相就相当于 z 擅= r - b ，a g = g - b 合成的色相。所以当选红色为起始色时， h = a g ( a r + a g ) = ( g - b ) ( i - 3b 1 。 在r g b 空间中，单位平面w r g b 的方程为r + e 咀= 1 ，则w 点的坐标为 ( 1 3 ，l 3 ，1 3 ) ，其在r g 面上的坐标为f ( 1 ，3 ，1 3 ，o ) ，连接f d ，过c 作c e 口f d ， 1 2 g r 图2 - 4i h s 变换三角形模型 由图2 4 可知：s = w c w d = w e w f = i 一3 b 因为r - r ，rg - 爿3 a , b = 毋t ，所以 s = c r - a b ) m 。同理可得如表2 1 所示基于三角形模型的i h s 变换及逆变换公式 表2 - 1 基于三角形模型的i h s 变换及逆变换公式 条件正变换计算公式反变换计算公式 i = 伍+ g + b ) 3r = i ( 1 + 2 s 一3 s h ) 3 当b 为最小时或o h i h = ( g b ) c ，t - 3 b )g = j “一2 s + 3 s h ) 3 s = ( i - 3 b ) i b = ，( 1 一s ) 3 i = 伍+ g + b ) 3 r = j ( 1 一s ) 3 当r 为最小时或1 h 2 h = ( p r ) ( ? t - 3 r + 1 )g = 1 ( i + 5 8 3 s h ) 3 s = q 、- 3 r 、 1 1b = ，( 1 4 s + 3 s h ) 3 i = 伍+ g + b ) 3r = ，( 1 7 8 3 s h ) 3 当g 为最小时或2 s h = ，( x 砀j ：匹融 ( 2 1 8 ) 对f ( x ) ，小波级数展开为：b ) = 4 ，。乃 g ) 。 ( 2 - 1 9 ) ( 2 1 9 ) 式中，系数4 j 由式4 j = 几厣融给出，称为小波系数。容易 看出，小波系数4 ，正好是信号f 【x ) 的连续小波变换盯g ，6 ) 在a 取二进离散点 2 ，和b 取二进整数倍的离散点2 7 七所构成的点( 2 ，2 ，| ) 上的取值。 2 2 2 基于小波分解的图像融合算法 1 一维小波分解与重构算法 设e 。是r ) 中的一个m r a ( 多分辨率分析) ，其中一维m r a 的尺度函数 为妒g ) ，小波函数为g ) 。存在r ) 上对应的规范正交小波基p 加j 枷：。满 足双尺度方程( d o u b l es c a l i n ge q u a t i o n ) ： 伊g ) = p 。q ，( 2 x 一| | ) y g ) = 吼q ，( 2 x - k ) ( 2 2 0 ) e zt e z 对任意的厂r 伍) ，则 ，= = c ”纺 + d 小i ，j ( 2 2 1 ) iti 1 6 西北t 业人学硕十学位论文第二章像素级图像融合变换法 ：f ，) ：札训，仍，) ， c ， 2 ( 莩u 矿，+ 乃) _ 军礼训，仍，) c ，+ u d j , k = e ，c j + u ( q ，j 州，t ) 其中： ( 乃w ，纺，) ：f 2 譬伊( 2 工一，) 2 ；妒( 2 j x - k ) d x 兰= 查三兰2 i i 伊g - _ ，) 谁一，x - k ) c b ； 2 - 1 x - - k = x i 2 jj ：9 ，( 2 r 川一2 七) ) 烈x “皿”= p ，t t 同理( l ，的 ) = q t - 2 t 带入上式得m a l l a t 分解算法5 = p 啊。，d = q l - 2 勺w j， 重构算法为： = 魄。勺。+ 窖k - 2 n 矗。) 写成矩阵形式有： 令勺= ( 一，c j , k - i , 勺 ，勺j 。，) r ，d j = ( “，d j , l - t , d ”，d j i + l ，) r ， p = p lp 2 一儿p o 一，- ，p - 2 ，q = 吼吼 叮- lg o 叮4q - 2 ( 2 - 2 2 ) ( 2 - 2 3 ) ( 2 之4 ) ( 2 2 5 ) 此时得分解公式可表示为： c j = p 勺+ l ，d j = q l ( 2 - 2 6 ) 重构公式可表示为： 勺“= p 7 c 1 + q 7 d j 。 ( 2 2 7 ) 事实上，p t a l l a t 分解算法相当于先把输入信号通过滤波器，再对滤波器输 出进行抽样，取其偶数部分。这时，得到的信号的分辨率是原始信号的l 2 。 t a ll a t 重构算法相当于先对细节信号和近似信号进行插值，相邻两个数之 间插入一个0 ，再分别通过滤波器，最后把两个滤波器输出相加。 设幻 是一维信号，经小波分解后的低频分量为幻。 妇一1 为分解后的高 1 7 吼吼钆 见a n 西北_ 业大学硕七学位论文第二章像素级图像融合变换法 频分量( 细节分量) 。如图2 - 6 所示。 弋f 弋 d 7 2 ( a ) 分解过程 程 d ! 萎7 ：7 萎7 ：c m - 1 簟 的尺度函数，为正交小波函数，令 哆= 巧。巧，孵= 眈。) 。髟) 。帆。巧) 则有： ( 1 ) 巧c 哆。，吆。= 吁固嘭，形2 上孵，_ ，i ； ( 2 ) q k 2 = o ) ，e 哆= r 取2 l 谚= f 也2 ) ： ，e z，e ( 3 ) 令妒g ，y ) = 矿g 如) ，1 g ，y ) = 以眵( ，) ， 矿2 k j ，) = g ) 妒，y 3 g ，力= 妒g 砂， 丸，g ，y ) = 乃，g 耽，) ，纠，g ，) ，) = 纺，g 弦。( y ) ， i 。，g ，y ) = 妒肚g h ，埘) ，y 五，g ，) ，) = 蚧，g 弦。( y ) ， 则： 函数族钫加k 说。t z 构成哆的规范正交基； 函数族p k ，g ，j ，) ，妒知，g ，y l 吩，g ，y 坡。：构成孵的规范正交基；从 塑! ! 三些盔耋堡圭丝堡垒耋 篁三童堡童丝塑堡墼盒窑丝鎏 而p j ，g ，y ) f - 1 ，2 ，3 l ，。也构成了r ( r ) 的规范正交基。 对于任意的二维图像乃+ 。g ，j ，) 曙。，因为吆。= 吁。孵，可得 厶，= 。力以， i o = q 。办。，+ 珥。，y ；，。，+ 磁。，知，+ d 知，九，。( 2 2 8 ) t _t 。_t 卅 l 一 类似一维可得二维m a l l a t 分解与重构算法： = 瓦i 一h n - 2 m 咖 d 1 胁= 瓦一g n - 2 伽 d 2 j , k , m = l n 五石咖( 2 - 2 9 ) d 3 舯= 五一g n - 2 m c j + 。 c _ ，+ l 肺= 丸“k m c j j ，+ 以- 2 f g 。叫加+ g 纠，h 。嘞，。+ g 。，g 。， ( 2 。3 0 ) 引入无穷矩阵日，：何= l 以= ( - = ) ，g ，= e i l q 每：= ) ，其中下标 “r ”、“c ”分别表示对矩阵的行操作和列操作，则m a l l a t 分解与重构算法可 表示为： c j = hr hc cj + l 是! h 瞩, g , c 啊m ( ，卅t ) 巧= g , g , c j “ 重构算法为： 。= 日：珥q + 日：珥+ z z 蟛2 + g ：g ：珥 ( 2 3 2 ) 其中：日和g 分别是h 和g 的对偶算子，珥，巧，巧是从r ( 丑) 分别到子 空间一o ，固0 ，圆形的投影算子。j 表示分解层数，若图像的大小是 n n ，分解次数最大为1 0 9 ；。但在实际应用中，不可能取那么大，否贝| j ，子图 像像素点太少，引起严重失真；而分解层数太少，则无法体现多尺度的思想， 一般取3 到4 层为宜。 1 9 西北t 业大学硕+ 学位论文第二章像素级图像融合变换法 3 提升小波变换 m a l l a t 算法是基于卷积运算的，运算过程复杂并且需要大量的存贮单元用 于暂存中间运算的数据，因此用硬件难以实现。d a u b e c h i e s 和s w e l d e n s 在 m a l l a t 算法的基础上创建了提升算法，被誉为第二代小波变换。与m a l l a t 算 法相比，提升算法不依赖于傅立叶变换，降低了计算量和复杂程度，其运算效 率提高了1 倒13 1 。由于具有整数变换及耗费存贮单元资源少的特点，提升算法 能够通过硬件方式实现。 提升算法的基本思想是将现有的有限长小波滤波器分解成基本的构造模 块，分步骤完成小波变换。一个规范的提升算法有三个步骤：分裂( s p l i t ) 、预 测( p r e d i c t ) 和更新( u p d a t e ) 。假设工0 ) ，( 以= o , 1 ，2 一1 ) 是原离散信号序列： ( 1 ) 分裂： 将原信号x ( n ) 分为两个互不相交子集。通常采用惰性小波( l a z y w a v e l e t ) 分割法，按其序号奇偶性将原信号x ( n ) 分为奇数序列x ( 2 n + 1 ) 和偶数序列x ( 2 n ) 两个子集，表示为： 工( 2 力) ，x ( 2 n + 1 ) = 固咖( 膏( n ) ) ( 2 - 3 3 ) ( 2 ) 预测： 在基于原始数据相关性的基础上，用偶数序列x ( 2 n ) 去预测奇数序列 x ( 2 n + 1 1 ，而用x ( 2 n + 1 ) 的值与预测值p ( x ( 2 n ) ) 之间的误差表示细节信号 d ( n ) 。这一步在提升方案中称为“对偶提升”( d u a ll i f t i n g ) ，即 d ( 刀) = 工( 2 疗+ 1 ) 一p ( x ( 2 珂) ) ( 2 3 4 ) ( 3 ) 更新： 为了使子数据集x ( 2 n ) 维持原数据集x ( n ) 的某些整体特性，如均值等，因 此必须采用更新过程。更新的基本思想是找出一个更好的子集数据c ( n ) ，使之 保持原数据集的一些尺度特性( 如均值等) ，可以利用已计算的小波子集d ( n ) 对x ( 2 n ) 更新。这一步在提升方案中称为“原始提升”( p r i m a ll i f t i n g ) 即 c ( n ) = x ( 2 栉) + u ( d ( 刀) ) ( 2 3 5 ) 然后再对数据集c ( n ) 也进行以上三步分解，经过一定次数的迭代之后，就 可以得到原始信号x ( n ) 的一个多级分解。 重构过程是分解过程的逆过程，也有三个步骤： ( 1 ) 反更新： 给定c ( n ) 和d ( n ) ，通过下面更新公式恢复偶数序列： 2 0 塑! ! 三些奎兰堡圭兰堡丝塞 丝三童堡耋丝墼堡墼坌奎丝鎏 x ( 2 n ) - - - - c ( n ) 一u ( d ( n ) )( 2 3 6 ) ( 2 ) 反预测： 用反更新计算得到的x ( 2 n ) 和给定的d ( n ) ，通过下面预测公式恢复奇数序 列： x ( 2 n + 1 ) = d ( n ) - p ( x ( 2 n ) ) ( 2 - 3 7 ) ( 3 ) 合并： 通过反更新和反预测步骤，我们获得偶数和奇数序列，合并它们恢复原始 信号，即 x ( n ) = m e r g e ( x ( 2 n ) ，x ( 2 n + 1 ) 1 ( 2 3 8 ) 提升算法进行的小波变换如图2 7 所示： 图2 - 7 利用提升方案进行分解与重构 4 图像的小波分解 用小波变换对图像信号进行分解，实际上就是对一维数据进行小波变换。 可以通过在水平和垂直方向上应用h ，g 滤波器进行一维滤波来实现信号分解。 这个分解过程如图2 - 8 所示。 行变换 i 列变换 h h h l l h l l i 图2 - 8 图像的二维小波分解 首先利用高通滤波器g 和低通滤波器h 对图像沿水平方向进行分解。经过 2 1 西北丁业人学硕十学位论文 第二二章像素级图像融合变换法 下二采样后，得到2 个子带。如果原始图像大小为m x n ，那么每个子图像的大 小为；月。然后再对这两个子图像沿垂直方向进行小波分解，再次进行下二 z