（生物医学工程专业论文）基于nsct的ct与mri图像融合算法的研究.pdf

基于n s c t 的c t 与m r i 图像融合算法的研究 a b s t r a c t c ta n dm r ii m a g ef u s i o nt e c h n i q u ec a ns y n t h e s i z ei n f o r m a t i o no fc ta n dm r ii m a g e s b y u s i n gc o m p l e m e n t a r yi n f o r m a t i o no ft w oi m a g e sa d e q u a t e l y , t h ef u s i o ni m a g ec a l la c q u i r em o r e a b u n d a n ti n f o r m a t i o n , a n dp r o v i d eh e l pf o rc l i n i c a ld i a g n o s i sa n dt h e m p y f i r s t l y , t h em e a n i n ga n dm e t h o d so fc ta n dm r ii m a g ef u s i o nt e c h n o l o g yr r ei n t r o d u c e di nt h i s p a p e r l a p l a c i a np y r a m i di m a g ef u s i o na l g o r i t h ma n dt h ew a v e l e ti m a g ef u s i o na l g o r i t h mi nt h ep i x e l l e v e li m a g ef u s i o na l g o r i t h m sa l er e s e a r c h e d l a p l a c i a np y r a l i df u s i o na l g o r i t h mc a l lp r o v i d et h e m u l t i r e s o l u t i o ni n f o r m a t i o no fi m a g e ，b u ti td o e s n tc o n t a i nt h ed i r e c t i o ni n f o r m a t i o n t h ew a v e l e t f u s i o na l g o r i t h mc o n t a i n st h ed e r e c t i o ni n f o r m a t i o n , b u ti th a so n l yt h r e ed i r e c t i o ni n f o r m a t i o n ，s oi t c a nn o te x p r e s st h es t r a n g e n e s so fs m o o t hc b r v e c o n t r a p o s et h ep r o b l e m so fa b o v et w oi m a g ef u s i o n a l g o r i t h m s ，t h i sp a p e rr e s e a r c hn s c t ( n o n s u b s a m p l e dc o n t o u r l e tt r a n s f o r m ) i m a g et r a n s f o r mt h e o r y a m p l y , a n de x p e r i m e n t 、) l ，i t l lc ti m a g e ，p r o v et h a tt h en s c tc a l ld e s c r i b et h ed i r e c t i o ne d g e i n f o r m a t i o no fi m a g ef u l l y i td i s p l a ym u l t i r e s o l u t i o na n dm u l t i d i r e c t i o n a l ，a n da v o i dg i b b s p h e n o m e n o nb e c a u s eo ft r a n s l a t i o ni n v a r i a n to fn s c t i na d d i t i o n ，t h i sp a p e rr e s e a r c h e sf u s i o nr u l e s a n dv a l i d a t e st h ei m p o r t a n c eo ft h ec h o i c e so ff u s i o nr u l e si nd i f f e r e n ts c a l e s t h u s ，t h i sp a p e rc o m e s u pw i t ha ni m a g ef u s i o na l g o r i t h mb a s e do nn s c ta n dp c n n ( p u l s ec o u p l e dn e u r a ln e t w o r k ) t h e a l g o r i t h mu s i n gm u l t i r e s o l u t i o n ，m u l t i d i r e c t i o n a la n dt r a n s l a t i o ni n v a r i a n to fn s c tu s e st h ei m a g e m e a nv a l u ea st h ec o r r e s p o n dn e r v ec e l ll i n ks t r e n g t ho fp c n n ，a n dc o m b i n et h el o c a le n e r g y i n f o r m a t i o n ，f u s et h ec ta n dm r ii m a g e s b ye v a l u a t i n gt h ef u s i o ni m a g e ，t h er e s u l t ss h o wt h a tt h e p r o p o s e da l g o r i t h mi nt h i sp a p e rc a na c q u i r et h ef u s i o ni m a g e i nw h i c hb o n e sa n ds o f tt i s s u ea r ec l e a r k e yw o r d s ：i m a g ef u s i o n ，n s c t , p c n n ，c t m r i ，f u s i o nq u a l i t ya s s e s s m e n t 1 l 南京航空航天大学硕士学位论文 图清单 图2 1 脑部c t 与m r i 图像示例6 图2 2c t 与m r i 图像融合的一般模型6 图2 3 基于多分辨率分析的图像融合方法原理结构图8 图2 4 拉普拉斯塔形分解和重构步骤1 0 图2 5c t 与脉i 图像的拉普拉斯金字塔融合结果1 1 图2 6 小波变换融合法结构图1 1 图2 7 二维离散小波变换分解算法示意图1 3 图2 8 二维离散小波变换重构算法示意图1 3 图2 9c t 与m r i 图像的小波变换融合结果1 4 图3 1 二维信息的两种表示1 6 图3 2c o n t o u r l e t 变换结构图1 7 图3 3c o n t o u r l e t 变换频率划分1 7 图3 4 拉普拉斯分解示意图1 8 图3 5 拉普拉斯重构示意图1 8 图3 6 方向滤波器的频率分割1 9 图3 7 梅花形滤波器组1 9 图3 8 ，层树状方向滤波器组的多通道近似2 0 图3 9n s c t 示意图2 1 图3 1 0 非采样金子塔结构2 2 图3 1 1 四通道非采样方向滤波器组2 3 图3 1 2 双通道非采样滤波器组在n s c t 中的应用2 3 图3 1 3n s c t 中的上采样操作2 4 图3 1 4n s c t 在各分辨率层上的分解示意图2 7 图3 1 5 小波变换在各分辨率层上的分解示意图2 8 图4 1 不同层次不同融合规则的融合结果3 3 图4 2 标准脉冲耦合神经网络的模型3 4 图4 3p c n n 的简化模型3 6 图4 4 基于n s c t 和p c n n 融合算法流程图4 1 图5 1 第一组实验源图像4 6 图5 2 第二组实验源图像4 6 基于n s c t 的c t 与m r i 图像融合算法的研究 图5 3 融合结构比较试验第一组融合结果4 7 图5 4 融合结构比较试验第二组融合结果4 7 图5 5 融合规则比较试验第一组融合结果4 9 图5 6 融合规则比较试验第二组融合结果4 9 南京航空航天大学硕士学位论文 表清单 表5 1 主观评价尺度评分表4 2 表5 2 融合结构比较试验第一组融合结果的客观评价参数4 8 表5 3 融合结构比较试验第二组融合结果的客观评价参数4 8 表5 4 融合规则比较试验第一组融合结果的客观评价参数4 9 表5 5 融合规则比较试验第二组融合结果的客观评价参数4 9 略写 c t m r i n s c t p c n n n w p m s s i m v 1 1 1 基于n s c t 的c t 与躲i 图像融合算法的研究 注释表 英文全称中文全称 c o m p u t e dt o m o g r a p h y 计算机断层扫描 m a g n e t i cr e s o n a n c ei m a g i n g 核磁共振成像 n o n s u b s a m p l e dc o n t o u r l e tt r a n s f o r m非采样轮廓波变换 p u ls ec o u p l e dn e u r a ln e t w o r k脉冲耦合神经网络 n o r m a l i z e dw e i g h t e dp e r f o r m a n c em e t r i c 规范化加权性能度量 s t r u c t u r a ls i m il a r i t y结构相似性 承诺书 本人郑重声明：所呈交的硕士学位论文，是本人在导师指导下，独 立进行研究工作所取得的成果。尽我所知，除文中已经注明引用的内容 外，本论文的研究成果不包含任何他人享有著作权的内容。对本论文所 涉及的研究工作做出贡献的其他个人和集体，均已在文中以明确方式标 明。 本人授权南京航空航天大学可以有权保留送交论文的复印件，允许 论文被查阅和借阅，可以将学位论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的学位论文在解密后适用本承诺书) 作者签名： 日期： 谬怛 南京航空航天大学硕士学位论文 第一章绪论 1 1 课题研究的背景和意义 图像融合是数据融合一个非常重要的分支，是2 0 世纪7 0 年代后期提出的概念，是综合了 传感器、图像处理、信号处理、计算机和人工智能的现代高新技术。图像融合就是通过一种特 定算法将两幅或多幅图像合成为一幅新图像。他的主要思想是采用定的算法，把工作于不同 波长范围、具有不同成像机理的图像传感器对同一个场景的多个成像信息融合成一个新图像， 从而使融合的图像可信度更高，模糊较少，可理解性更好，更适合人的视觉及计算机检测、分 类、识别、理解等处理。多源图像融合比单源图像具有更多优势，因为多源图像具有冗余性， 具有单源图像无法捕捉的信息，即多源图像之间具有互补性，因此多源图像融合能够从多个视 点获取信息，扩大时空的传感范围，提高观测的准确性和鲁棒性u 。 医学图像融合技术是2 0 世纪9 0 年代中期发展起来的一项高新技术，是图像融合技术的一 个极具特色的应用领域，也是当前国内外研究的热点之一。其意义在于分别提供解剖结构信息 和新陈代谢功能信息的不同医学图像的综合整体信息大于各部分信息之和晗1 。基于多种原因， 临床上通常需要对同一个病人进行多种模式或同一种模式的多次成像，即同时从几幅图像获得 信息，进行综合分析。单一模式成像只使用一种成像设备，可用于观察病灶生长，对比手术前 后的治疗效果等。当一种成像设备所提供的信息不能满足需要时，可以采用多种模式成像。根 据充分利用图像中的有用信息从而形成新的图像的这个思想，分析c t 图像和m r i 图像发现：c t 图像反映的是人体组织的x 线吸收系数，而骨骼组织的吸收系数最大，所以c t 图像中骨骼组织 最清晰；m r i 图像反映的是人体组织的质子密度，而软组织的质子密度最高，所以m r i 图像中， 软组织最清晰。但是从单独一种图像中无法得到全面的诊断信息，所以将这两种不同模态图像 信息综合在一起，充分利用这两种图像的互补性，从而得到更丰富的信息，以便了解病变组织 或器官的更多数据，从而做出准确地诊断或制定出合适的治疗方案。对c t 与m r i 图像进行融合 处理，可以在一辐完整的图像中获得骨骼组织和软组织均清晰的图像，为临床提供更有效的辅 助诊断，这就是c t 与m r i 图像融合的意义 。 在目前的图像融合技术中，基于多分辨率分析的图像融合方法是应用非常广泛并极其重要 的一类方法。由于其融合过程是在不同尺度、不同空间分辨率、不同分解层上分别进行，与以 往的融合方法相比，它可以获得明显改善的融合效果，同时还具有适用场合广的特点。在基于 多分辨率分析的图像融合方法中应用比较广泛的是金子塔变换法h 、小波变换法强1 、c o n t o u r l e t 变换法1 等。但这些方法都有其不足，比如小波变换法因为由一维小波张成的可分离小波只具 基于n s c t 的c t 与m r i 图像融合算法的研究 有有限的方向，无法表达“沿”边缘特性，因此在基于小波的图像融合中不可避免地会在图像 边缘和细节位置引入一定程度的模糊，c o n t o u r l e t 变换法则会引起吉布斯现象。而这些边缘和 细节位置恰恰是c t 与m r i 图像中的关键信息，因此找到能更好地保留源图像细节信息的图像融 合算法具有重要的意义。 1 2 国内外研究现状 近二十年来，国内外在图像融合技术上开展了大量的探索和研究，从早期的简单的融合算 法发展到基于多分辨率分析的图像融合算法，甚至产生了智能图像融合算法，把神经网络和模 糊理论等引入图像融合算法中。 b u t t 和a d e l s o n 在1 9 8 3 年首先提出了用拉普拉斯金子塔作为图像的多分辨率表示，最早 应用于图像的压缩处理口1 。该方法可以把源图像分解成许多不同空间分辨率的子图像，然后对 子图像分别进行融合操作，最后进行金字塔逆变换得到融合图像。同属于多分辨率金字塔的融 合方法还包括比率低通金字塔嘲、对比度金字塔m 、梯度金字塔等融合方法n 伽。小波变换思想 最早由法国地球物理学家m o r l e t 和理论物理学家g r o s s m a n 在2 0 世纪8 0 年代初在分析地球物 理信号时作为一种信号分析工具提出来的叭1 。1 9 8 9 年，m a l l a t 将计算机视觉领域内的多尺度 分解的思想引入到了小波分析中，提出了多分辨率分析的概念。小波除了具有上述金子塔方法 的特点外，还具有水平、垂直和4 5 度角的方向性，利用这一特性，就有可能针对人眼对不同方 向的高频分量具有不同分辨率这一视觉特性，获得视觉效果更佳的融合图像。在小波理论基础 上，美国斯坦福大学的c a n d e se j 和d o n o h od l 建立了一种特别适合表示各向异性的多 尺度几何分析方法一脊波变换n 2 1 。由于脊波本质是通过对小波基函数添加一个表征方向的参 数得到的，所以它不但和小波一样具有局部时频分析能力，而且还具有很强的方向选择和辨识 能力，可以非常有效地表示信号中具有方向性的奇异性特征，如图像的线性轮廓等，这是小波 方法做不到的。为了进一步表示多维信号中更为普遍的曲线奇异性，随后又发展出局部脊波变 换和曲波变换，使之对曲线特征的表达能力更加有效。m i n hd o 于2 0 0 2 年提出c o n t o u r l e t 变换理论，该变换理论继承了脊波和曲波的各向异性尺度关系，其特征是用类似于线段的基结 构来逼近源图像n 斟。针对c o n t o u r l e t 交换融合算法中出现的吉布斯现象，a l c u n h a 等人提 出了一种具有平移不变性的c o n t o u r l e t 变换，即非采样c o n t o u r l e t 变换( n o n s u b s a m p l e d c o n t o u r l e tt r a n s f o r m ，n s c t ) 1 4 o 在图像融合领域，神经网络技术也得到了成功应用，h a k a n b a k i r c i o g l u 等人提出了一种脉冲耦合神经网络，并将之应用到目标检测的图像融合当中u 5 1 ； s h t a ol i 等人利用人工神经网络实现了多聚焦图像的融合n 引；z h a n g 等提出了一种基于自组织 特征映射网络的图像融合方法n 7 1 ；y i y a ol 等人提出了一种基于知识的神经网络n 引。图像融合 领域对模糊方法的研究也越来越多，l u d o v i cr o u x 等基于模糊集的可能性理论进行了多光谱卫 2 南京航空航天大学硕士学位论文 星图像融合坞1 ；w e n j i ec h e n 利用模糊推理进行了特征层融合实现目标识别乜0 1 ；刘源等提出一 种多源多层次自适应变权的图像融合的模糊算法，提供了一种表达和处理不确定性信息的有效 方法幢；沈景悦等提出了一种基于模糊融合的遥感图像目标识别方法嘲。 国内对图像融合技术研究虽然起步较晚，但已有不少研究机构和大学正在从事这一领域的 研究和探讨，例如中科院遥感所、中科院上海技术物理研究所、上海交通大学等单位。从目前 的发展水平来看，国内的研究水平与世界水平还存在一定差距，有独特思路的创新工作较少， 特别是从研究成果来看，大都局限在理论研究的初始阶段，还没有商品化的成熟软件或系统平 台推出。 1 3 本文的主要研究内容 通过对国内外图像融合技术研究工作的分析可以看出，尽管图像融合的算法有很多，但传 统的典型算法还存在一些不足，为了提高融合图像的效果，需要完善融合算法，这主要要从融 合结构和融合规则两方面进行完善。 融合结构方面，现今主要的融合结构大多是基于多分辨率分析的融合结构，比如金字塔结 构、小波变换结构、c o n t o u r l e t 变换结构等。但金字塔结构没有方向性信息，小波变换结构只 有水平、垂直、4 5 度方向三个方向性信息，c o n t o u r l e t 变换结构虽然有了多个方向的信息，但 在图像融合过程中会出现吉布斯现象。 融合规则方面，h j p a r k 等人分别对采用不同融合结构、相同融合规则以及相同融合结构、 不同融合规则情况下进行图像融合对比试验乜羽。结构表明，融合规则对于融合结果的影响远远 大于融合结构的影响，图像融合规则是融合算法的核心，融合规则的好坏直接影响生成融合图 像的速度和质量，选择适合的融合规则是图像融合的关键所在。 针对上述情况，本文主要在融合结构和融合规则两个方面进行了研究和实验。本文的主要 工作如下： 1 )研究了拉普拉斯金字塔融合方法和小波变换融合方法，并分析了它们各自的优缺点。 2 )研究了基于n s c t 的图像融合结构，该结构不仅具有其它基于多分辨率分析的融合结构的特 点，而且在描述图像边缘细节和方向性上性能良好，并解决了c o n t o u r l e t 变换中出现的吉 布斯现象。 3 ) 根据n s c t 的特点和人眼的视觉特性采用了一种新的融合规则，即p c n n 融合规则。该规则 可以使融合图像保留更多源图像的信息，更符合人类视觉系统的特性。 4 )设计了针对c t 与m r i 图像的仿真实验，分析了融合结构、融合规则对融合结果的影响，并 根据图像融合结果评价参数说明了本文提出的图像融合方法在c t 与腿i 图像融合中的优越 性。 3 基于n s c t 的c t 与m r i 图像融合算法的研究 1 4 论文结构 本文的主要内容和结构如下： 第一章：绪论。主要阐述了c t 与m r i 图像融合算法研究的背景和意义，介绍了国内外的相 关工作和研究现状，指出了本文的研究目标和主要工作，并给出了文章的结构。 第二章：首先介绍了图像融合的基本概念、c t 与m r i 图像融合的意义和方法。然后详细研 究了拉普拉斯金字塔融合法和小波变换融合法，给出了融合结果并指出了它们各自的优缺点。 第三章：针对拉普拉斯金字塔变换融合法和小波变换融合法对图像方向性信息描述不充分 的问题，对n s c t 图像变换理论进行了详细的研究，并应用c t 图像进行实验。说明了n s c t 可以 将图像分解成多尺度、多方向的子图像，可以充分挖掘图像的方向性信息。 第四章：研究了一般的融合规则，通过实验说明了在不同尺度上选取不同融合规则的重要 性，提出了基于p c n n 的融合规则。并对p c n n 的模型、工作原理和特性进行了研究，最后提出 了基于n s c t 和p c n n 的融合算法。 第五章：介绍了融合效果的主客观评价方法。然后应用c t 和m r i 图像，从融合结构和融合 规则两方面对融合算法进行了对比实验。实验结果表明，本文提出的融合算法可以获得骨骼和 软组织均较清晰的融合图像，可以获得较好的融合效果。 第六章：总结全文并探讨进一步的研究方向。 4 南京航空航天大学硕士学位论文 第二章图像融合 本章介绍了图像融合的概念、意义和方法，并对拉普拉斯金字塔融合方法和小波变换融合 方法进行了深入研究。 2 1c t 与m ri 图像融合 p o h l 和g e n d e r n 于1 9 9 8 年指出图像融合是通过一定的算法将图像数据结合在一起生成一 个新的影像。m a n g o l i n i 于1 9 9 6 年将融合定义为“一种方法、工具和手段的集合”，这个集合 可以利用来自不同传感器的图像来增加所需信息的质量。这些定义虽然在一定程度上指出了信 息质量的重要性，但是却过于强调融合中技术方法的重要性。l i 于1 9 9 3 年将融合定义为“将 一组图像数据结合并生成单一图像的过程，该数据与原始数据相比应具有更好的质量和可靠 性”。在这一定义中，首次引入了“质量和可靠性指标”来衡量融合的效果口 2 引。 由以上的各种定义我们可以看出，图像融合是指将多源信道所采集到的关于同一目标的图 像或同一信道中不同时刻获得的同一目标的图像经过一定的图像处理，提取各自信道的信息， 最后综合成一个图像以供观察或进一步处理的过程。 图像融合在医学方面有着重要的应用。c t ( c o m p u t e dt o m o g r a p h y ) 、m r i ( m a g n e t i cr e s o n a n c e i m a g i n g ) 、s p e c t ( s i n g l e p h o t o ne m i s s i o nc o m p u t e dt o m o g r a p h y ) 或p e t ( p o s i t r o ne m i s s i o n c o m p u t e dt o m o g r a p h y ) 等各种模态的医学图像可从不同角度反映人体信息，因此医学图像融合 的潜力就在于能够综合处理应用各种成像设备所得信息以获得新的有助于临床诊断的信息。 图2 1 ( a ) 显示的是一幅对人体脑部的c t 图像。c t 图像的最大特征是由图像重建算法算 出的各像素的密度分解能力很高。也就是说，它能十分清楚地表现出x 线吸收系数的微小差异。 以人体来说，c t 值对人体骨骼和软组织的差别较大，因此c t 图像中，骨骼组织图像清晰明亮。 图2 1 ( b ) 显示的是一幅对人体脑部的m r i 图像。在核磁共振成像中，质子是生物组织中含量 最丰富的一种核，容易产生较强的核磁共振信号，所以目前主要用质子来实现生物活体的成像。 由于骨骼组织中的质子密度较低，所以获得的m r i 图像中软组织明亮清晰，而骨骼组织不清晰。 c t 图像可以反映人体中的骨骼信息，但是从单独一种c t 图像中无法得到全面的诊断信息； m r i 图像可以反映人体中的软组织信息，将这两种不同模态图像信息综合在一起，充分利用这 两种图像的互补性，从而得到更丰富的信息，以便了解病变组织或器官的更多数据，从而做出 准确的诊断或制定出合适的治疗方案。对c t 与m r i 图像进行融合处理，可以在一幅完整的图像 中，获得骨骼组织和软组织均清晰的图像。所以对c t 与m r i 图像进行图像融合处理可以为临床 提供更有效的辅助诊断手段。 5 基于i q s c t 的c t 与m r i 图像融舍算法的研究 图像融合 z 结果评价 国22c t 与m r i 目像融合的一般模l 2 2c t 与m r l 图像融合方法 般c 丁与m r i 图像融台在以f 三个不同层次上进行：像索级融合、特征级融台和缺黹级融 南京航空航天大学硕士学位论文 像素级图像融合是最低层次的融合，是在c t 与m r i 的原始信息未经估计、识别之前就进行 信息的综合与分析口 。像素级图像融合的步骤如下：首先对c t 与m r i 图像数据预处理，然后 将预处理的图像送到融合中心，按照一定的融合算法进行融合处理，从而得出对融合结果属性 的说明。它的主要优点是保留了尽可能多的信息，能够提供其它层次上的融合所不具有的细节 信息，精度高。但由于它要处理的数据量较大，所以处理代价较高。 特征级图像融合是在信息的中间层进行融合，它是对预处理及特征提取后获得的c t 与m r i 图像特征信息( 如边缘、形状、轮廓等) 进行综合分析和处理旺劓。特征级图像融合的步骤如下： 首先对c t 与m r i 图像的原始信息进行特征提取，然后再对获得的多个特征信息进行综合分析和 处理，以实现对c t 与m r i 图像数据的分类、汇集和综合。它的特点是保留了足够数量的重要信 息，实现了可观的信息压缩，有利于实时处理，同时又保留了一定的融合精度，具有较大的灵 活性。 决策级图像融合是在信息表示的最高层次上进行的融合处理。决策级图像融合的步骤如下： 在进行融合处理前，先对c t 与m r i 图像进行预处理、特征提取、识别或判决，建立对同一目标 的初步判决的结论；然后对决策进行相关处理；最后，进行决策级的融合处理从而获得最终的 联合判决晗钔。决策级图像融合具有实时性好、容错性好的优点。但是在该层次融合之前，首先 要对各数据进行独立的预处理，以获得各自独立的决策结果，因此预处理花费较大，同时也有 信息损失。 总体来说，像素级的图像融合，无论作为直接观察，还是作为进一步处理的输入，都是最 基本的处理手段。因此，在图像融合研究中像素级图像融合是最活跃，研究成果也最丰富的。 下面对像素级图像融合方法中的典型方法进行研究。 2 3c t 与m r i 像素级图像融合方法 在像素级图像融合方法中，基于多分辨率分析的图像融合方法是应用非常广泛并极其重要 的一类方法。由于其融合过程是在不同尺度、不同空间分辨率、不同分解层上分别进行，所以 基于多分辨率分析的图像融合方法可以获得比较好的融合效果，适用场合也比较广。 该方法的原理结构如图2 3 所示。多分辨率结构中的各级子图像( 或系数) 相继表示分辨 率逐级降低的输入图像。此种结构描述了图像中的特征信息，其相继各级子图像( 或系数) 是 越来越粗略地表示这些特征。多分辨率结构的形成是采用对图像进行自底向项的分解，每一层 图像均是其前一层图像经过某种模板滤波形成的。多分辨率结构可以有效地执行许多基本的图 像运算，可以产生一组低通或带通图像。通过级与级的互连，多分辨率结构提供了局部处理与 全局处理之间的联系。基于多分辨率分析的图像融合方法中典型的方法有金字塔融合法和小波 变换融合法。 7 基于n s c t 的c t 与m r i 图像融合算法的研究 c t 图像b多 剖c 需笋b 新多 il 融 的融 子 尺 厶 尺 厶 图 度 口 度 口 像 k 后 r 前 变 还 - 图 m 铲 换 剖留 算 系 变 数 像 像r 换 图2 3 基于多分辨率分析的图像融合方法原理结构图 2 3 1 金字塔变换融合法 金字塔图像融合法是2 0 世纪8 0 年代应用较为广泛的融合算法，主要包括拉普拉斯金字塔 算法、对比度金字塔算法和梯度金字塔算法。这些金字塔算法都是在高斯金字塔算法的基础上 发展起来的。每一种金字塔算法的融合过程都是相同的。首先每一层图像的数据量只是上一层 图像的1 4 ，这样形成了一个多分辨率的塔形结构。然后在每一层都按照一种融合规则对多源 数据进行融合，从而形成一个合成的金字塔。最后对金字塔进行重构，得到融合图像。 下面主要介绍拉普拉斯金字塔的分解和重构方法。具体步骤如下： 1 )建立图像的高斯塔形分解 要建立图像的拉普拉斯金字塔分解，首先要进行高斯塔形分解。设源图像为g o ，以g 0 作 为高斯金字塔的零层( 底层) ，则高斯金字塔的第z 层图像g 这样构造：先将，一1 层图像q 一。和 一个具有低通特性的窗口函数w ( m ，n ) 进行卷积，再把卷积做隔行隔列的降采样即： 2 2 g = ew ( m ，n ) g t l ( 2 i + m ，2 j + n ) ( o ，o f q ，0 j 马) ( 2 1 ) m = - 2n = - 2 式中n 为高斯金字塔顶层的层号，g 为高斯金字塔第，层图像的列数，冠为高斯金字塔第 z 层图像的行数，w ( m ，z ) 为5 5 的窗口函数。w ( m ，z ) 的表示式如下： 8 l w = 一 2 5 6 146 41 62 4 62 4 3 6 41 62 4 14 6 41 1 64 2 46 1 64 41 为简化书写，( 2 - 1 ) 式可以记为： q = r e d u c e ( g , - 1 ) ( 2 2 ) ( 2 - 3 ) 南京航空航天大学硕士学位论文 g o ，g l ，g 就构成了高斯金字塔，其中g o 为金字塔的底层，g 为金字塔的顶层， 高斯金字塔的总层数为n + i 。可见，图像的高斯金字塔形分解是通过依次对低层图像与具有低 通特性的窗口函数w ( m ，以) 进行卷积，再把卷积结果做隔行隔列的降采样来实现的。由于窗口 权函数w ( m ，n ) 形状类似于高斯分布函数，因此，w ( m ，以) 也可称为高斯权矩阵，同时，由此 得到的图像金字塔就被称为高斯金字塔。 2 )由高斯金字塔建立图像的拉普拉斯金字塔 先将g ，内插放大，得到放大图像q ，使q 的尺寸与g f 一。的尺寸相同。表示为： 研= 4 壹2w ( m ，靠) g ? ( 三，# ) ( o j s ，o f q ，o 歹 弓) ( 2 - 4 ) 其中 g ，( 竿，掣) ： g f 卑，半) 半和字为整数时 ( 2 - 5 ) 。 【0 其它 与( 2 - 3 ) 对应，( 2 4 ) 式可以记为： 研= e x p a n d ( g 1 ) ( 2 6 ) e x p a n d 算子是r e d u c e 算子的逆算子，从式( 2 - 4 ) 可以看出，在原有像素间内插的新像素 的灰度值是通过对原有像素灰度值的加权平均确定的。由于q 是对q 一，进行低通滤波得到的， 即q 是模糊化、降采样的q 一。，所以q 所包含的细节信息少于q 一。即q 的尺寸与g f - ，相同， 但q 并不等于g ，一。下面考察g ；和q 一。间的差别，令 f 叼= q e x p a n d ( g _ f + 1 ) 1 上昂= g osl ( n l = n ( 2 7 ) 式中n 为拉普拉斯金字塔顶层的层号，l 曰为拉普拉斯金字塔分解的第，层图像。 由昂，叼，珥构成的金字塔即为拉普拉斯金字塔，它的每一层图像是高斯金字 塔本层图像与其高一层图像经放大算子方法后的图像之差，此过程相当于带通滤波。因此，拉 普拉斯金字塔也可称为带通塔形分解。 3 )由拉普拉斯金字塔重建图像 由式( 2 7 ) 可得 fg = l p u 【g ，= 坤+ e x p a n d ( g + 1 ) z = n 0 ， ( 2 8 ) 上式说明，从拉普拉斯金字塔的顶层开始逐层由上至下，按照上式进行递推，可以恢复其 9 基于n s c t 的c t 与m r i 图像融合算法的研究 对应的高斯金字塔，并最终可得到源图像g o 。若令 g ，。= e x p a n d e x p a n d e x p a n d ( g ) 】 共k 个e x p a n d 三驾，。= e x p a n d e x p a 甩d e x p a n d ( 奶) 】 共l 阶e ，【p d ( 2 - 9 ) ( 2 - 1 0 ) 由式( 2 8 ) 可递推得到 o o = g ，+ x z p , , f ( 2 11 ) i = 0 因珥= g ，故可以记珥，= g ，j ，于是式( 2 一1 1 ) 变为 ( 2 - 1 ：2 ) 式( 2 - 1 2 ) 表明，将拉普拉斯金字塔的各层图像经e x p a n d 算子逐步内插放大到与源图像一 样大，然后再相加，即可精确重建源图像。 拉普拉斯金字塔分解的步骤如图2 4 ( a ) 所示，拉普拉斯金字塔重建图像的步骤如图2 4 ( b ) 所示。 源图像 l o 高斯金字塔 拉普拉斯金字塔 ( a ) 高斯金字塔 ( b ) 图2 4 拉普拉斯塔形分解和重构步骤 源图像 金字塔融合法的优点是：能够提取图像的多分辨率信息，通过选择适当的融合规则，较好 弓 乙 枷 l l g 的实现丁凹像融台的目的。它的缺点是不同层次蚓像之间的数据具有根强的相关性，而滩以 确定这种相关性是圈像自身的特点还是来源于) c 余性：金字塔算法小能保证不同层次削信息损 火最小；当多游j 芏 像数据存在较人差异时，融台图像会山现斑块效应。 下面是埘拉昔拉斯金字塔融台方法对c t 与眦i 酗像进彳亍础台的实验结果。c t 和m r i 源幽 像如图25 ( a ) 和幽25 ( b ) 融台规则采刚绝对值取= ，融合结果如图25 ( c ) 。 ( a ) ( b )( c ) 圈25cr 与h r i 图像的拉黹拉斯盘字塔融合结果 232 小波变换融合法 小波变换融台法的基本思想是j 每临源幽像进行小波分解，得到它们的小波分解盘字塔 然后将再分解屡f j 小波系数特定的融合规则进行融台构造成新的小波分解盘字塔最后对 融合得到的小波金字塔进行小波逆变换就可a 到融l 利像。这个过程如蚓26 所示。 憾膏小镰耳麓 削26 小波变换融合法结构刿 在进行酗像处理时要h 到二维小波变换，目前应中主要以可分离小波为主，r 面给出构 造二维可分离正交小渡基的方法”。 基于n s c t 的c t 与m r i 图像融合算法的研究 令呼( z ) 是r 俾2 ) 的可分离多分辨率分析，并令痧( 工，y ) = 痧( x ) ( j ，) 是相应的二维尺 度函数，y ( z ) 是尺度函数对应的一维标准正交小波。相应定义三个“二维小波”： iy 1 ( x ，y ) = q 矗( x ) t ( y ) 少2 ( x ，y ) = i ( x ) q 6 ( y ) ( 2 - 1 3 ) i 少3 ( x ，y ) = 少( z ) 5 f ，( y ) 有 l2 一j 吵1 ( 2 - j x m ，2 - j y 一刀) 2 一y 2 ( 2 - j 工一m ，2 - j y 一刀) ( m ，咒) z 2 ( 2 1 4 ) i2 吖y 3 ( 2 - i x r a ，2 - ：y - n ) 分别是r ( r 2 ) 内的标准正交基。 设厂= f ( x ，y ) 砰为待分析的图像信号，其二维逼近图像为 4 厂= 4 + 。厂+ 谚+ 。厂+ 暖。厂+ 壤。f ( 2 1 5 ) 式中 以及 4 + 厂= q + ( 聊，刀) 办+ 。( 扰，以) 扛1 ，2 ，3 彰+ ，厂= 彰+ ( 聊，咒) 力+ ，( 聊，z ) ， m z - - e on = - e o ( 2 - 1 6 ) q + 。= 而( 七一2 m ) g ( ，一2 咒) c ( 后，) k f f i - ，= o 壤。= g ( 七一2 垅) 办( ，一2 刀) q ( 蚋 ( 2 1 7 ) k f f i - - 1 = - - o 壤，= g ( 七一2 m ) g ( ，一2 以) q ( 尼，0 引入矩阵算子，令耳和以分别代表用尺度滤波器系数对阵列 g ，) ( ”) 。z 2 的行和列作用 的算子，g ，和g c 分别表示用小波滤波器系数对行和列作用的算子，二维m a l l a t 分解算法为： 1 2 二维m a l l a t 重构算法为： j = o ，1 ，j( 2 - 1 8 ) q = z q + ，+ 彰壤，+ q z 彰2 + ，+ 壤。 ( 2 1 9 ) q q q q 耳耳e q = = l i = “ ，m 磅壤 南京航空航天大学硕士学位论文 图2 7 和图2 8 分别给出了二维图像的分解和重构算法框图。 以分解算法为例，利用可分离特性，在算法实现时先对行进行一维小波变换，然后再对按 行变换后的数据按列进行一维小波变换。 a 。j a j 0 哦n j f 谚，t ， 磙。f 囵 列下采样：保留偶数列 囤 行下采样：保留偶数行 图2 7 二维离散小波变换分解算法示意图 a 哺i 哦冉f 球f 壤，f a l 囤 行上采样：奇数行加0 圃 列上采样：奇数列加0 图2 8 二维离散小波变换重构算法示意图 下面是用小波变换融合方法对c t 与m r i 图像进行融合的实验结果。c t 和m r i 源图像分别 为图2 9 ( a ) 和图2 9 ( b ) ，融合规则采用绝对值取大，融合结果见图2 9 ( c ) 。 1 3 堕rk s c r 的c t 与m r i 斟像融台搏法的研究 ( a )( b ) lcj 斟29c t 与m r i 矧像的小波变拱融台结粜 小波对具有点状奇异的口标函数灶蛀优的丝，住分忻这粪目标时小波系数是稀疏的- 然而 小波变换仵处辟一维信号 i 太现出的优异特性j r 小能简竹地推到维戏肯更高维。田为由一 维小波张成的可分离小波只具有有限的方f 自在高维情况f 不能充分利川数据本身所特有的 儿何特征t 蛙优”地表示含线或者面奇异的高维函数。而事实上且有线或面奇异的函数在商维 卒问中非常忤逋例如c t 乖jm r i 图像的水连续性往往体现为光滑曲线上的奇异性t 而升1 ；仅仅 j 圭点奇异性，因此在对c t 和椰i 图像进行融台时小波就不能够很好地挖掘其中的方向边缘信 息。 24 本章小结 本学主要介绍了图像融合的基础，包括图像融台的概念、意义和方法a 根据不同的方法， 图像融舟可以分为不删的类别，其中介纠r 像索级、特征级利扶策级融合。随盯引对删和洲i h 像洋细研究了拉将拉蜥金字塔融台法和小波变换融合耙、，井分忻了它们的优缺点。 南京航空航天大学硕士学位论文 第三章基于n s c t 图像变换理论的融合方法研究 本章针对小波变换在图像融合中对方向信息描述不够充分的问题，详细研究了n s c t 图像变 换理论。并利用n s c t 图像变换理论对c 1 图像进行分解实验，实验表明n s c t 可以充分挖掘图像 的方向边缘信息。 3 1 有效的图像表示法理论 由于小波反映的是信号的点奇异性，即反映奇异点的位置和特征，而对诸如二维图像中的 边缘及线状特征等线、面奇异性，小波则难以表达其特征。所以为了避免小波变换的不足，更 加有效地表示和处理图像等高维空间数据，研究者们将目光投向了一门崭新的信号分析工具一 一多尺度几何分析b 卜3 引。 有效的图像表示法在图像融合中占有非常重要的位置，图像表示的有效性是指用较少的描 述捕获感兴趣图像信息的能力。对于图像中的线这样的一维分段光滑信号，小波变换是很好的 方法，因为它在某种意义上提供了最优的表示。另外，小波表示法具有有效的运算法则，它拥 有快速变换和方便的树状数据结构。这些都是小波在许多信号处理中成功应用的关键因素。然 而，图像不是简单一维光滑线段的堆积，它