（生物医学工程专业论文）医学图像融合算法研究与应用.pdf

a b s t r a c t 3 a b s t r a c t t h er i s i n g t e c h n o l o g yo fm e d i c a li m a g ef u s i o n i s b e c o m i n gh o tp o i n t f o r b i o m e d i c a le n g i n e e r i n ga n dm a n yo t h e rd i s c i p l i n e s t h i sp a p e rg i v e sar e s e a r c ho n m e d i c a li m a g e sf u s i o na n dr e l a t e dt h e o r ya n da l g o r i t h m ，b a s i n go nt h ei m a g e so fc t a n dm i u f i r s t l y , s e v e r a lm e d i c a li m a g i n gt h e o r ya n dt h e i rr e s p e c t i v ec h a r a c t e r i s t i c a r e r e v i e w e d ，e s p e c i a l l yc ta n dm 耐，w h o s ef u s i o ns i g n i f i c a n c ei sp r o p o s e d t h e nt h e b a s i cc o n c e p ta n dt h e o r yo fm e d i c a li m a g e sf u s i o na r ei n t r o d u c e d ，a n dt h ee v a l u a t i o no f i m a g e sf u s i o ni si n t r o d u c e dt o o ，a n df u s i o nm o d e lo fc ta n dm 对i m a g e sa r ea n a l y z e d i nt h et h i r dc h a p t e r , m u l t i - r e s o l u t i o na n a l y s i sa r ei n t r o d u c e d ，a n di tg i v e sa na n a l y s i so n c ta n dm 对i m a g e sw i t ht h ed a t as t r u c t u r eo fc u r v e l e t ，w h i c hp r o v e st h a tt h ec h o i c e s o ff u s i o nr u l e sa r eo ft h es a m ei m p o r t a n c ei ne v e r yd i r e c t i o na n de v e r ys c a l e i nt h e f o r t hc h a p t e r , t o wf u s i o nr u l e sa n dt h e i re x c e l l e n c e sa n dd i s a d v a n t a g e sa r ed i s c u s s e da t t h eb e g i n n i n g ，a n dt h e ni t f i n a l l yc o m e si n t ot h ei m a g e sf u s i o na l g o r i t h mb a s e do n c u r v e l e ta n dp c n n ( p u l s ec o u p l e dn e u r a ln e t w o r k ) w h a t sm o r e ，t h ee x p e r i m e n t a t i o n a b o u tt h i sr u l ei sa c t e do nt h ep l a t f o r mo fm a t l a b ，w h i c hs h o w st h a tt h i sm e t h o di s c a p a b l eo ff u s i n gt h ee d g ei n f o r m a t i o no fc ta n dm 刚i m a g e sv e r yw e l l ，a n dg i v e sa b e t t e ra p p e a r a n c et h a nt r a d i t i o n a lr u l e s a b o v ea l l ，t h em e t h o dp r o p o s e di nt h i sp a p e ra r ec a p a b l eo ff u s i o nt h ec ta n dm 对 i m a g e sm o r ee d g ei n f o r m a t i o na n d v i s u a le f f e c tt h a nt h et r a d i t i o n a lf u s i o na l g o r i t h m sd o t h u s ，f o rd e v e l o p e r sa n dr e s e a r c h e r si nt h i sf i e l dt h i sd i s s e r t a t i o ns h o u l db eo fs o m e u s e k e y w o r d ：i m a g e sf u s i o n w a v e l e tt r a n s f o r mc u r v e l e tp c n n 西安电子科技大学 学位论文独创性( 或创新性) 声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在导 师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注 和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果； 也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明 并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切法律责任。 本人签名：鬟叠同期必q 2 ，轴 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期问论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借l 弼论文：学校可以公自j 论文的全 阁：或部分内容，可以允许聚川影印、缩印或_ j e 它丛制于段保存论文。( f 袋衔的论文 存解密后遵j ：此舰定) 小学位论文属于保密亿一年解密后适用4 i 授 足二一。 缸人签私： 孽盎 一一 2 皇亟盘1 枷隧钉：连凝一引一b n 午犁一 第一章绪论 第一章绪论 本章首先概述了医学图像的发展历程，分析了医学图像成像原理及显像特点， 其中详细分析了c t 和m 酣的成像原理和显像特点，说明了c t 和m 对图像融合 的意义，然后介绍了医学图像融合的研究现状，最后阐明了本文的内容安排。 1 1 概述 随着医学成像技术的飞速发展，用于诊断和治疗的医学成像设备也越来越多。 这些医学成像设备各有特点，如果我们能够将它们提供的各具特点的信息互补综 合在一起，作为一个整体来表达，那么就能为医学诊断、人体的功能和结构的研 究提供更充分的信息。这种互补综合的过程就是医学图像信息融合。简称为医学 图像融合。 1 1 1 医学成像技术的发展 自伦琴1 8 9 5 年发现x 射线以来，医学的诊断方式发生了翻天覆地的变化。随 着可视化技术的不断发展，现代医学已越来越离不开医学影像的信息处理，医学 影像在临床诊断、教学科研等方面正发挥着极其重要的作用。 自2 0 世纪9 0 年代起，借助计算机图形学、虚拟现实与计算机网络等技术的 医学影像技术的研究，一直是国内外研究与应用的热点，也逐渐形成了一门具有 自身特色的交叉学科。 医学影像技术作为一个新的研究领域，要求人们提出新的、有针对性的理论 和方法，而不能应用传统的基于强度和光学图像的研究方法。医学影像技术涉及 的内容包括：医学影像数据的获取、医学图像的分割、医学图像的配准、医学图 像的融合、三维可视化、虚拟现实技术、医学图像归档与通信( p a c s ) 系统和图像 引导手术。而本文主要研究医学图像的融合。 随着医学影像成像系统的发展和运用日益广泛，医学诊断可以获得众多模态 的医学图像，如单光子发射式计算机断层s p e c t ( s i n g l ep h o t o ne m i s s i o nc o m p u t e d t o m o g r a p h y ) 图像、正电子发射式计算机断层成像p e t ( p o s i t r o ne m i s s i o n t o m o g r a p h y ) 图像、数字减影血管造影d s a ( d i g i m ls u b t r a c t i o na n g i o g r a p h y ) 图像、 x 射线断层成像x c t ( x c o m p u t e r i z e dt o m o g r a p h y ) 图像、磁共振成像 2 医学图像融合算法研究与应用 m r i ( m a g n e t i cr e s o n a n c ei m a g i n g ) l 虱像、功能磁共振成像f m r i ( f u n c t i o nm a g n e t i c r e s o n a n c ei m a g i n g ) 、脑部血流量图c b f 、数字荧光造影d f 、超声图像u s 等。同 时，更清晰、更有诊断价值的高质量医学图像正在不断研究和发展中【1 1 。 1 1 2 医学图像成像原理及显像的特点 现在可以获得的各种模式的医学图像从视觉角度为医生及研究人员提供了丰 富、直观、定性及定量的人体生理信息，成为诊断各种疾病的重要技术手段。由 于不同模式的设备对人体内大到组织小到分子原子有不同的灵敏度和分辨率，因 而有它们各自的适用范围和局限性。 ( 1 ) 单光子发射式计算机断层图像s p e c t s p e c t 是以放射性核素及其标记物在脏器中的浓度差为基础的显像方法，能 得到人体任意角度断层面的放射性浓度分布。 成像原理【2 】：使用核素9 9 乃”的标记物注入人体，人体各器官对标记物摄取量 不同，放出p 粒子，当退回到基态时发射的y 光子不同，探测器探出不同的y 光子 而进行结构功能成像，是当前较为成熟的一种核素成像技术。 特点：可反映组织、器官的代谢水平、血流状况，对肿瘤病变呈现“热点”。 在脑功能、心功能、肿瘤诊断，骨转移诊断上都有显著的特点。 ( 2 ) 正电子发射式计算机断层图像p e t 和s p e c t 不同的是p e t 利用的核素是放出正电子的核素。 成像原理【2 】：当前应用最多的1 8 f 标记的脱氧葡萄糖即1 8 f f d g 。1 8 f 放出的 正电子与组织中的电子湮没辐射产生的两个5 1 l k e v 的，光子，测出5 1 l k e v 的y 光子 多少而成像。 特点：尤其适于对神经系统功能的研究。但图像的分辨率往往很差( 约5 r a m ) ， 难以得到精确的解剖结构和立体定位，也不易分辨组织、器官的边界。 ( 3 ) 数字血管剪影d s a d s a 是一种投影图像，由注入造影剂前后的x 光投影图相减而得到。 成像原理：在给病人注射血管成像剂之前获得一副图像a ，注射成像剂之后， 再获得一副图片召，这时的血管成像和图像么不一样，两幅图片相减，图像相同 的部分就会完全消失，剩下不同的部分即血管，这样就达到了血管成像的目的。 特点：可清晰反映人体心、脑血管分布情况，对诊断各种动、静脉畸形及血 管瘤等有重要价值。但它不能显示周围结构以及病灶的空问位置【3 j 。 ( 4 ) c t 图像1 4 j 图1 1 中，脑部骨骼信息十分清晰。 广囊、 ul 矧l1 脑部c t i 刳像不例 人体内部各种物理量的分布，可以为我们提供对疾病诊断极为有用的信息。 但是，通常能够直接测量的量，是这些物理量沿某一路径的积分值。x 线c t 用很 细的x 线束检测人体的横断面，透过人体的x 线束的强度足与沿射束的人体吸收 系数的积分值的指数成反比的。所以，对透射x 线的强度取对数，就可以求得吸 收系数的线积分值。 c t 周像的最大特性，是由图像重建算法算出的各像素的密度分解能力很高。 也就是说，它能十分清楚地表现出x 线吸收系数的微小差异。x 线的吸收系数对 真空来说为0 对水来说为01 9 c m 。( 能量为7 3 k e y 时) ，对空气来说，差不多是0 。 当以人为对象叫，使用以水为基准的相对值更容易理解。若按以下定义新的c t 值： c t 值= ( “一儿) 爿p 。 其中，“为对象物的x 线吸收系数，。为水的x 线吸收系数，a 为常数。 如果设a = 5 0 0 ，那么水的c t 值为0 ，空气的c t 值大约为一5 0 0 ，这时骨骼的c t 值 大约是* 5 0 0 ( 骨骼的x 线吸收系数约是水的两倍) 。图12 给出了a = 5 0 0 时，生 物组织的c t 值。从图12 中可以看出：c t 值的差别对软组织与水之问来说，为 1 0 3 0 左右，头部的白质与扶质之问的差只有o 1 8 左右，而骨骼组织与软组织 的差别较大。故c t 图中，骨骼组织圈像清晰明亮。 医学图像融合搏法研究与应川 。”i”厂161值 1 0 0l 二= = _ j = s 。5 0 0 。 二二二6 【一l - - _ 一 组& l 刳12 人体纲纵的c t 佰 ( 5 ) m r i 图像1 4 j 幽l3 中，清楚地显示了脑部软组织的信息。 图13 惦部m r i 图像示例 由b l o c k 和p u r e e l l 分别独立发明的核磁共振技术，是一种核物理现象，简称 磁共振，磁共振成像白2 0 世纪8 0 年代用于临床医学领域，是利用原子核在磁场 内共振所产生信号经重建成像的一种成像技术。 古单数质子的原子核，例如人体内广泛存在的氯原子核，其质子有自旋运动， 带正电，产生磁矩，犹如一个小磁体。对热平衡状态下的自旋集团加一共振频率 的电磁波，在自旋方向反转的同时，各个自旋由于经典力学式的共振，其相位与 电磁波的相位一致，成为集柬状，会产生宏观上的磁化矢量，其放出的信号是宏 观上的，可以利用通常的检测方法进行测量。若切断电磁波，被激励起来的自旋 集团，由于自旋之间以及与周围的作用，逐渐返回到原来的热平衡状态中去。在 第一章绪论 这种场合，将会发生如下所述的两种现象，也就是：一个是由于自旋方向反转而 引起的所谓纵向弛豫现象；另一个是当由于共振现象而集束起来的自旋束，从取 向整齐变到七零八落状态时产生的所谓横向弛豫现象。 核磁共振图像法是以横向弛豫的特征时间较大，纵向弛豫的特征时间较小的 液体状态下的质子自旋为对象的。实际应用中，是靠测定共振谱来进行的。 在核磁共振成像中，质子是生物组织中含量最丰富的一种核，容易产生较强 的核磁共振信号，所以目前主要用质子来实现生物活体的成像。 由于骨骼组织中的质子密度较低，所以获得的m r j 图像中软组织明亮清晰， 而骨骼组织不清晰。 1 2c t 与m r i 图像融合的意义 各种模态的医学图像从不同角度反映人体信息，单独从某一种图像中无法得 到全面的诊断信息。从1 1 2 节中可以看出各种成像系统的成像原理不同，其图 像采集方式、采集格式、所形成图像的大小、层面厚度及图像质量、空间与时间 特征都有很大差别。如c t 、m 等形态图像的空间分辨率为毫米级，而p e t ，s p e c t 等功能图像往往分辨率较低，为厘米级。因此图像融合的潜力在于综合处理应用 各种成像设备所得信息以获得新的有助于临床诊断的信息。 各种成像设备所得到的信息的特点不同，但是对同一器官观察到的图像数据 之间具有冗余性和互补性。冗余性是因为对同一目标观测到的数据之间具有很强 的相关性，因此不同的成像设备获得的图像数据具有很大的冗余性；互补性是因 为不同成像设备得到的图像数据各有特点。 减少图像数据间的冗余，可以减少分析数据过程中的复杂度，充分利用图像 数据间的互补性可以更充分全面的反映人体信息。 根据充分利用图像中的有用信息从而形成新的图像的这个思想，分析c t 图像 和m 图像发现：c t 图像反映的是人体组织的x 线吸收系数，而骨骼组织的吸 收系数最大，所以c t 图像中骨骼组织最清晰，如图1 1 所示。m 图像反映的是 人体组织的质子密度，而软组织的质子密度最高，所以m r j 图像中，软组织最清 晰，如图1 3 所示。 c t 图像可以反映人体中的骨骼信息，但是从单独一种c t 图像中无法得到全 面的诊断信息；m 砌图像可以反映人体中的软组织信息，将这两种不同模态图像 信息综合征一起，充分利用这两种图像的互补性，从而得到更丰富的信息，以便 了解病变组织或器官的更多数据，从而做出准确的诊断或制定出合适的治疗方案。 对c t 与m r i 图像进行融合处理，可以在一副完整的图像中，获得骨骼组织 6医学图像融合算法研究与应用 和软组织均清晰的图像。所以对c t 与m 砌图像进行图像融合处理可以为临床提 供更有效的辅助诊断手段，这就是融合的意义。 1 3 医学图像融合的研究现状 由于各种成像设备所特有的成像原理各不相同，各种图像的信息内容也各有 侧重，所以单独用某种模式的图像进行诊疗，不能反映全面情况，只能得到定性 的，或在一定条件范围内的定量分析。另外，同一病人的各种医学图像可以在不 同的时间，不同的空间角度，甚至是不同状态下获得的。如果能通过图像处理技 术将各种医学图像的信息整合或集成在一起，就可以构成全面反映病人状况且非 常直观的图像，得到更丰富的信息以便了解病变组织或器官的综合情况，从而作 出准确的诊断或制定出合适的治疗方案。这正是医学图像融合技术( m e d i c a li m a g e f u s i o nt e c h n o l o g y ) 要解决的问题p j 。 图像融合技术是兴起于7 0 年代末的信息融合技术的基础上发展起来的图像处 理新技术1 6 j 。所谓图像融合是指综合两个或多个多源图像的信息，图像融合的目的 就是通过对多幅图像信息的提取与综合，从而获得对同一目标的更为准确更为全 面、更为可靠的图像描述。融合图像更符合人或机器的视觉特性，以利于对该图 像的进一步分析、理解以及目标的检测、识别或跟踪。 8 0 年代开始，医学图像融合开始逐渐引起临床医学界的关注，当时的一些研 究采用的一般是比较直观和简单的融合方法，如逐像素加权求平均，利用逻辑运 算符进行滤波等。主要分为两大类：基于图像像素的融合和基于图像特征的融合。 基于像素的融合是以像素为基础的方法，即简单地把两幅图像对应像素点的灰度 值进行加权求和，便可以得到一副融合图像。因为是对图像逐点处理，所以数学 原理易于理解，算法实现简单，但是实现效果和效率都相对较差。以图像特征为 基础的融合方法在原理上不够直观且算法复杂，但是实现效果较好。后来，医学 图像融合技术逐渐成为当代医学图像领域的前沿课题，对医学影像技术的进步发 挥了深远的影像，很多融合方法开始陆续被提出，例如：b u r t 提出了l a p l a c i a n 金 字塔法【7 j 、a k e r m a n 提出了g a u s s i a n 金字塔分解法【8 】、t o e t 提出的低通比率金字塔 法【9 】以及多分辨率形态滤波法和小波变化法 1 0 - 1 4 】等，带来了医学图像融合技术的 飞速发展。 医学图像融合技术自9 0 年代快速发展起来后，很快成为当前国内外研究的热 点。例如美国的e d i d a m e 研究小组开发了颅脑外科计算机虚拟可视化系统，将c t 、 m r 图像刚性、非刚性配准，进行计算机图形建模和融合；新加坡国立大学和美国 j o h n s h o p k i n s 大学共同开发了一个交互式大脑图谱系统，用以寻找m r c t 图像中 第一章绪论 7 的相应目标，进行图像可视化和实时处理。 早期对影像的处理多采用模拟方法，精度和灵活性很差、应用不方便。以计 算机为基础的数字图像处理与模拟方法相比，具有精度高、适应性强、重复性好、 处理功能强等优点。随着远程医疗技术的蓬勃发展，对医学图像处理提出的要求 也越来越高，各个学科的交叉渗透已是发展的必然趋势，其中还有很多需要解决 的问题。针对医学图像融合技术及其效果评价，国内外科学家做了大量的研究工 作。随着研究的深入和技术上的不断成熟，医学图像融合技术将被广泛应用于临 床诊断和治疗中，在辅助计算机诊断和治疗计划制定等方面也将起到更加重要的 作用。 1 4 论文的内容安排 本论文以c t 和m 对切片图像为标本，主要在小波和c u r v e l e t 框架下研究了 这两种医学图像的图像融合。主要内容安排如下： 第二章概述了医学图像融合的基本概念和原理。主要包括数据融合、图像融 合的概念，以及医学图像融合的分类和方法，给出了c t 和m 图像融合模型， 最后介绍了目前图像融合的客观评价标准。 第三章首先介绍了医学图像处理的多分辨分析的理论，分析了小波理论的发 展、b r u s h l e t 和r i d g e l e t 变换、c u r v e l e t 变换，最后用c u r v e l e t 数据结构对c t 和 m 图像进行了分析，证明图像的各个尺度和各个方向上所包含的信息均不相同， 所以各个尺度和各个方向上的融合规则的选取都很重要。 第四章，首先分析了现有的两类医学图像融合的融合规则，并分别用小波和 c u r v e l e t 变换作为融合算子，对c t 和m 对图像进行融合仿真，分析其优缺点和互 补性，提出了基于p c n n ( 脉冲耦合神经网络) 的融合规则，并对p c n n 的模型、 工作原理和特性进行了介绍，最后提出了基于c u r v e l e t 和p c n n 的融合算法，并 且利用m a t l a b 编程，针对实际图像进行了融合实验。实验结果证明，该算法能 很好地融合图像的边缘，并且获得较好的视觉效果。 第五章对本论文的工作做了一个整体的总结，阐述了图像融合进一步的研究 方向和工作目标。 第二章医学图像融合的基础 9 第二章医学图像融合的基础 在本章节中主要介绍数据融合和医学图像融合的基础，包括融合技术的介绍、 医学图像融合的分类、方法、图像融合的一般模型和步骤，以及目前的分类和方 法，最后介绍了医学图像融合的评价标准。 2 1 1 数据融合 2 1 融合技术概述 2 0 世纪8 0 年代以后，传感器技术以及现代军事和民用多传感器系统的发展， 使得传感器能从各个方面获取系统或对象的特性。同时，其他相关学科( 数学、 军事科学、计算机科学、自动控制理论、图形图像处理、人工智能、通信技术、 管理科学等) 的发展，使我们能够对不同传感器提供的信息( 信息的时间、地点、 位置、表达形式等) 加以综合利用，提取出对象的融合信息，给出j 下确的估计、 识别和决策。这种传统学科和新兴学科的交叉与应用就形成了一种自动化信息综 合技术一融合，当时称之为多源相关、多传感器融合和数据融合【l5 。1 6 j 。后来数据 融合技术得到迅速发展，对它的称谓亦渐趋于统一，称之为数据融合或信息融合。 多传感器数据融合的基本原理源于人脑对信息的综合处理l l7 。人类可以自然 地把来自人体各个器官( 眼、耳、鼻、四肢，相当于各个传感器) 的各种信息( 景 物图像、声音、震动、气味、触觉等) 以及人脑中的各种记忆、知识、经验等综 合起来，以指导我们的行动或达到对环境的准确认识。同样，多传感器数据融合 充分利用多个传感器资源，通过对这些传感器及其观测信息的合理支配和使用， 把多个传感器在空间和时间上的冗余或互补信息一句某种准则来进行组合，从而 最大限度的获取目标或场景的信息数据。 e d w a r dw a l t z 和j a m e sl l i n a s 对数据融合给出了如下定义【l8 j ：数据融合是一 种多层次、多方面的处理过程，这个过程是对多源数据( 信息) 进行自动检测 ( d e t e c t i o n ) 、结合( a s s o c i a t i o n ) 、相关( c o r r e l a t i o n ) 、估计( e s t i m a t i o n ) 和组合( c o m b i n a t i o n ) 以达到精确的状态估计和身份估计，以及完整、及时的态势评估和威胁评估。它 强调信息融合三个核心方面： 第一，信息融合是在几个层次上完成对多源信息的处理过程，其中每一层次 都表示不同级别的信息抽象； 1 0 医学图像融合算法研究与应用 第二，信息融合包括探测、互联、相关、估计以及信息组合； 第三，信息融合的结果包括较低层次上的状态和身份估计，以及较高层次上 的整个战术态势突击。 概括的说，融合即是将来自多传感器或多源的信息和数据进行综合处理，提 取有用信息，剔除冗余，从而得出更为可靠、准确的结论。融合的目的是得到更 高质量和挖掘更多的信息。 2 1 2 图像融合介绍 ( 1 ) 图像融合的概念 p o h l 和g e n d e r n 于1 9 9 8 年指出图像融合是通过一定的算法将像数据结合在 一起生成一个新的影像。m a n g o l i n i 于1 9 9 6 年将融合定义为“一种方法、工具和手 段的集合”，这个集合可以利用来自不同传感器的图像来增加所需信息的质量。这 些定义虽然在一定程度上指出了信息质量的重要性，但是却过于强调融合中技术 方法的重要性。l i 于1 9 9 3 年将融合定义为“将一组图像数据结合并生成单一图像 的过程，该数据与原始数据相比应具有更好的质量和可靠性( g r e a t e rq u a l i t ya n d r e l i a b i l i t y ) ”。在这一定义中，首次引入了“质量和可靠性指标”来衡量融合的效果 1 9 - 2 0 1 o 由以上的各种定义我们可以看出，图像融合是指将多源信道所采集到的关于 同一目标的图像或同一信道中不同时刻获得的同一目标的图像经过一定的图像处 理，提取各自信道的信息，最后综合成一个图像以供观察或迸一步处理的过程。 ( 2 ) 图像融合的优点 图像融合有以下明显的优点： a ) 可以减少数据的冗余。由于对同一目标观察到的图像数据之间具有很强的 相关性，因此从不同的传感器获得的图像数据具有很大的冗余性。融合处理消除 了冗余信息，可以减少对系统传输、存储的压力，改善系统的性能。 b ) 图像融合处理能够取长补短，提高信息的时间或空间的分辨率，降低图像 信息的不确定性，改善图像信息的置信度。 c ) 利用多传感器进行多源融合分析，能够更好的利用图像的各自的特点，对 不同影像信息进行适当的集成从而提供更丰富全面的信息。 ( 3 ) 图像融合的各种应用和医学研究前景【2 l j 图像融合的应用很广泛，主要包括： a ) 多源遥感图像融合； b ) 多聚焦图像融合； 第二章医学图像融合的基础 c ) 在军事领域，将可见光与红外图像进行融合处理，从而克服可见光图像中 的缺点，使得作战时更容易对战场形势加以把握： d ) 作为导航辅助设备，可将c c d 低光级电视、彩色c c d 热成像图像加以融 合，从而提高导航精度； o ) 在安全检查领域，用热红外、毫米波、x 光图像进行融合处理，可确定藏 在衣服下面的枪支的大致部位与形状，从而防止犯罪发生； f ) 在医学方面。例如：在临床上，c t 图像和m 砌图像的融合应用于颅脑放射 治疗、颅脑手术可视化中，起到了很好的辅助作用。另外，脑的s p e c t 或p e t 图 像与c t 或m 甜图像的融合在研究血流、代谢、受体分布，以及原发或复发肿瘤 的探察等方面均起到了重要作用。医学图像融合是一个正在快速发展的技术，目 前的应用还不够广泛，很多方法还限于对几个或几十个病人的研究阶段，随着研 究的深入和技术上的不断成熟，医学图像融合将广泛用于临床诊断和治疗中，在 计算机辅助诊断和治疗中起到重要作用【2 2 1 。 2 1 3 图像融合的一般模型和步骤 图像融合的一般模型由图2 1 所示。 图2 1 多源影像融合的一般模型 其中，空间配准是图像融合中很重要的一部分，通常配准方法根据不同传感 器采集图像的差异自行选取。本章选取的实验图像是已经配准好的图像，本章主 要研究信息融合部分。 多传感器图像融合的步骤如下： 第一步：对不同传感器采集的图像进行空间配准； 第二步：对配准后图像进行融合操作； 1 2 医学图像融合算法研究与应用 第三步：融合结果图像的分析与理解。 2 2 医学图像融合的分类 医学图像融合的分类方法有很多，具体介绍如下： 1 按照融合处理的数据类型和应用场合分类 根据融合处理的数据类型和应用场合，图像融合系统可以分为以下三种形式： ( 1 ) 时间融合：指对来自同一传感器的、对同一目标或场景中不同时间的一系 列图像进行融合处理。 ( 2 ) 空间融合：指在同一时刻，对来自多个相同( 空间位置不同) 或不同传感 器的图像进行融合处理。 ( 3 ) 时空融合：指在一段时间内，对来自多个相同( 空间位置不同) 或不同传 感器的图像进行融合处理。 2 按照图像维数分类 按照图像维数分，可分为仅考虑空间维数的图像融合跚与考虑空间维数的时 间序列图像融合1 2 4 1 两大类。 3 按照成像设备的组成分类 按照成像设备的组成，可以将系统分成同类多源融合系统与异类多源融合系 统。 同类多源图像融合系统如：s p e c t 图像融合系统，m r j 图像融合系统等等； 一类多源融合系统如：s p e c t 与m 刚图像融合系统，c t 与m 对图像融合系 统。 4 按照融合对象分类 按照融合对象分，有单样本时间融合系统、单样本空间融合系统以及模版融 合系统。 单样本时间融合： 查图像进行融合； 单样本空间融合： 像进行融合； 跟踪某个病人，将其一段时间内对同一脏器所做的同种检 将某个病人在同一时期内对同一脏器所做的几种检查的图 模版融合：从许多健康人的研究中建立一系列横版，将病人的图像与模版图 像融合，有助于研究某种疾病的病理和诊断标准。 5 按照图像类型分类 按照图像类型分，可以分为断层图像间相互融合，断层图像与投影图像融合 以及结构图像与功能图像融合三类。 第二章医学图像融合的基础 6 按照处理方法分类 按照处理方法，有数值融合法和智能融合法。 7 按照图像融合信息抽象层次的分类 一般多传感器图像融合在以下三个不同层次上进行：像素级融合、特征级融 合和决策级融合。 ( 1 ) 像素级图像融合方法 像素级融合是最低层次的融合，是在各种传感器的原始信息未经估计、识别 之前就进行信息的综合与分析。 像素级图像融合系统的一般过程如图2 2 所示： 目 二= = 割成像传感器1 二令 象特 厶素 卜征卜辨卜结 标口级 提 口 果桫、 = = 刮成像传感器2 = 令 融取 图2 2 像素级图像融合 像素级多传感器图像融合的步骤如下：首先对各图像传感器的数据预处理， 然后对图像数据进行时间和空间上的配准，再将配准的图像送到融合中心，按照 一定的融合算法进行融合处理，从而得出对目标属性的说明。 它的主要优点是保留了尽可能多的信息，能够提供其它层次上的融合所不具 有的细节信息，精度高。但由于它要处理的传感数据量较大，所以处理代价较高。 ( 2 ) 特征级图像融合方法 特征级融合是在信息的中问层进行融合，它是对预处理及特征提取后获得的 特征信息( 如：边缘、形状、轮廓、方向、距离、区域等) 进行综合分析和处理。 特征级图像融合系统的一般过程如图2 3 所示： 目 剖成像传感器l 刨特征提取目 特 征 辨 卜、 结 标 级 卜、 刮成像传感器2 刨特征提取b 融 识 果 a 口 图2 3 特征级图像融合 特征级多传感器图像融合的步骤如下：首先对来自不同传感器的原始信息进 行特征提取，然后再对从多传感器获得的多个特征信息进行综合分析和处理，以 实现对多传感器数据的分类、汇集和综合，特征级图像融合可分为两大类： a ) 目标状态数据融合，主要应用于多传感器目标跟踪领域，其融合处理主要 实现参数相关和状态矢量估计； 1 4 医学图像融合算法研究与应用 b ) 目标特性融合，就是特征层联合识别，也就是采用模式识别等相关技术， 在融合前对特征进行相关处理，从而把特征矢量分类成有意义的组合。 它的特点是保留了足够数量的重要信息，实现了可观的信息压缩，有利于实 时处理，同时又保留了一定的融合精度，具有较大的灵活性。 ( 3 ) 决策级图像融合方法 决策级图像融合方法决策级的图像融合是在信息表示的最高层次上进行的融 合处理。 决策级图像融合系统的般过程如图2 4 所示： 目 刮黼目恒鸯剖辨识睁 决 策 皓 级 卜、 多口 标 剖觥黼目恒鸯剖辨识b 融 果 厶 口 图2 4 决策级图像融合 决策级多传感器图像融合的步骤如下：在进行融合处理前，先对从各个传感 器获得的图像分别地进行了预处理、特征提取、识别或判决，建立了对同一目标 的初步判决和结论；然后，对来自各传感器的决策进行相关处理；最后，进行决 策级的融合处理从而获得最终的联合判决【2 5 1 。多种逻辑推理方法、统计方法、信 息论方法都可用于决策级的图像融合，例如贝叶斯推理、d s 证据推理、表决法等 等。 决策级图像融合具有实时性好、良好的容错性的优点。但是在该层次融合之 前，首先要对各数据进行独立的预处理，以获得各自独立的决策结果，因此预处 理花费较大，同时也有信息损失。 像素级的图像融合，无论作为直接观察，还是作为进一步处理的输入，都是 最基本的处理手段。因此，在图像融合研究中像素级图像融合是最活跃，研究成 果也是最丰富的。 2 3 医学图像融合的方法 医学图像融合方法可粗略分为空间域融合法和变换域融合法。 2 3 1 空间域图像融合法 空间域图像融合法主要包括： 第二章医学图像融合的基础 ( 1 ) 逻辑滤波器法 最直观的融合方法是对两个像素的值进行逻辑运算，如：两个像素的值均大 于特定的门限值，进行“与”运算。来自“与”运算的特征认为对应了环境的主 要方面。同样，“或”滤波用来分割图像，因为所有大于特定门限值的传感信息都 可用来进行图像分割。两个像素的值均小于特定门限值时，用“或非”运算。在 融合处理时，比较源图像彳，b 中对应位置处像素的灰度值大小，其中灰度值大的 像素作为融合图像f 在该位置的像素，或者选取值小的像素作为融合后图像的像 素，该融合方法的适用场合非常有限【2 6 】。 ( 2 ) 线性加权法 线性加权法是一种最简单的图像融合方法，它直接对多幅原图像的对应像素 点进行加权叠加。如果a k ( f ，j ) 为第k 幅图像4 ( | | = 1 2 ，疗) 在对应位置的( f ，) 灰度 值，那么融合后的图像反( f ，) 可通过下式得n - b ( f ，) = 畋( f ，) 4 ( f ，) ( 2 1 ) ( f ，) = 1 ( 2 - 2 ) = l 由于人眼对对比度非常敏感，所以一般采用基于局部区域对比度的加权选择 法，从多幅源图像中选择对比度最大的像素点作为融合图像的像素点，形成新的 图像，但该方法融合图像含有很强的噪声。可采用平均方法，当两幅图像很相似 时，融合图像就采用两幅图的平均值；当两幅图像差异很大时，则赋予对比度大 的那幅图像以比较大的权值，从而在一定程度上抑止噪声。线性加权法的优点在 于概念简单，计算量小，适合实时处理；缺点是融合后的图像包含很强的噪声。 特别是当融合图像的灰度差异很大时，就会出现明显的拼接痕迹，视觉效果差。 ( 3 ) 对比度调制融合【2 7 j 调制是通信术语，指一种信号的某项参数( 例如强度、频率等) 随另一种信 号的变化而变化。调制技术在二维信号的图像融合处理上也有应用，在图像融合 上的调制方法一般适用于两幅图像的融合处理。具体操作一般是将一幅图像进行 归一化处理，然后将归一化结果与另一幅图像相乘，最后重新量化后进行显示。 这种处理方法相当于调幅，一幅数字图像的灰度大小就相当于无线电波的幅度大 小。例如，基于对比度归一化处理的对比度调制技术用来融合可见图像和红外图 像，根据可见光包含较为丰富的细节信息，摄取其对比度以此调制长波红外图像 的灰度分布，从而达到融合的目的。 ( 4 ) 基于神经网络的图像融合1 2 8 j 人工神经网络是一种试图仿效生物神经系统信息处理方式的新型计算处理模 型。一个神经网络由多层处理单元或节点组成，可以采用各种方法进行互联。有 1 6医学图像融合算法研究与应用 些学者已应用人工神经网络来进行多源图像融合。神经网络的输入向量经过一个 非线性变换，可得到一个输出向量，这样的变换能够产生从输入数据到输出数据 的映射，从而使神经网络能够把多个传感器数据变换为一个数据来进行说明表示。 由此可见，神经网络以其特有的并行性和学习方式，提供了一种完全不同的数据 融合方法。然而，要将神经网络方法应用到实际的融合系统中，无论是网络结构 设计还是算法规则方面，许多基础工作有待解决，如网络模型、网络的层次和每 一层的节点数、网络学习策略、神经网络方法与传统的分类方法的关系和综合应 用等。 2 3 2 变换域图像融合法 尽管空间域图像融合方法具有算法简单、融合速度快的优点，但在多数应用 场合，空间域图像融合方法难以取得满意的融合结果。简单的像素灰度值加权平 均往往会带来融合图像对比度下降等副作用，而像素灰度值的简单选择( 选大或 选小) 只能应用于极少场合，同时其融合过程往往需要人工干预，不利于机器视 觉及其目标的自动识别。为此，提出了变换域的图像融合算法，其信息模型如图 2 5 n 示： a 图像h 数学变换 爿 变换域 图像组 数学反a ，b 融 h 变换 合图像 b 图像h 数学变换 爿 合规则 图2 5 图像数据层变换域融合处理的信息模型 变换域的图像融合算法，常用方法有： ( 1 ) 多分辨金字塔型式图像融合法 图像融合的金字塔算法是2 0 世纪8 0 年代应用较广泛的融合算法，主要包括 l a p l a c i a n 金字塔算法、对比度金字塔算法和梯度金字塔算法。这些金字塔算法都 是在g a u s s i a n 金字塔算法的基础上发展起来的，目前已经被小波融合算法所取代。 每一种金字塔算法的融合过程都是相同的。首先每一层图像的数据量只是上 一层图像的1 4 ，这样形成了一个多分辨的塔型结构。然后在每一层都按照一种融 合规则对多源数据进行融合，从而形成一个合成的金字塔。最后对金字塔进行重 构，得到融合图像。其中，g a u s s i a n 金字塔是按照低通滤波算法，l a p l a c i a n 金字塔 是按照带通滤波算法。对比度金字塔和梯度金字塔算法类似于l a p l a c i a n 金字塔， 第二章医学图像融合的基础 1 7 只不过滤波的对象是对比度，而梯度金字塔是对梯度进行滤波。一个通用的基于 金字塔形分解的融合算法框架如图2 6 所示。 金字塔融合算法的优点是：能够提取图像的多分辨信息，通过选择适当的融 合规则，较好的实现了图像融合的目的。它的缺点是：不同层次图像之间的数据 具有很强的相关性，而难以确定这种相关性是图像自身的特点还是来源于冗余性； 金字塔算法不能保证不同层次间信息损失最小；当多源图像数据存在较大差异时， 融合图像会出现斑块效应。 塔形分解 图2 6 基于塔型分解的图像融合示意图 ( 2 ) 小波变换的图像融合法 小波变换融合增强【2 9 。3 0 1 方法是直接利用经小波分解的具有高空间分辨率的图 像的细节分量替换图像细节分量，然后进行小波反变换从而得到增强后的图像。 基于小波多尺度分解的图像融合的方案如图2 7 所示： 小波多尺度分解 图2 7 基于小波的图像融合 由于直接舍弃了图像的低频分量，因此在增强结果中容易出现分块效应。 基于小波变换的图像融合算法： 医学图像融合算法研究与应用 第一步：对高、低分辨率图像进行配准。 第二步：对高分辨率的图像向低分辨率图像进行灰度调整。 第三步：分别对高、低分辨率图像进行n 次小波变换( n 通常取2 或者3 ) ， 以得到各自相应的低频轮廓图像和高频细节纹理图像。 第四步：用低分辨率图像的低频部分来代替高分辨率图像的低频部分。 第五步：对替换后的图像进行逆小波变换，得到最终融合结果图像。 小波变换进行融合有两个缺点，一是小波变换进行融合容易产生较为明显的 分块效应；二是直接用低分辨率图像的低频部分去替代高分辨率的低频部分，这 样在一定程度上损失了高分辨率图像的细节信息。由于小波分析在表示具有点奇 异性的目标时是最优基，而在表示图像边缘的线奇异性时，小波基并不是最优基。 因此，这种方法使得融合后的图像中的细节成分比较模糊，边缘有毛刺现象，所 以基于小波变换的图像融合方法并不能很好地挖掘图像的边缘性质和细节信息。 2 3 3 智能图像融合方法 目前，一些智能方法也被广泛应用于图像融合，例如粒子群算法( p s o ) 和神经 网络。p s o 是一种基于迭代的优化工具，系统初始化为一组随机解，通过迭代搜 寻最优值。应用p s o 解决优化问题的过程中有两个重要步骤：问题解的编码和适 应度函数。在运用线性加权运算进行像素级图像融合时，把融合图像与原始图像 的偏差作为适应度函数，因为权系数取值不同导致偏差不同，所以把权系数作为 问题解进行编码，通过p s o 找寻最优解，使得偏差最小【3 1 1 。神经网络具有非线性、 并行过程、知识的分布存储、容错性