（生物医学工程专业论文）医学图像融合算法研究.pdf

a b s t r a c t m e d i c a li m a g i n gt e c h n o l o g yi sam e t h o dw h i c hu t i l i z e sa l lk i n d so fi m a g i n g d e v i c e st oo b s e m et h ei n t e r n a lo r g a n i z a t i o n ，v i s c e r a ls h a p ea n df u n c t i o n a lc h a g eo f t h eh u m a nb o d y d i f f e r e n tm e d i c a l i m a g i n gd e v i c e so f f e r d i f f e r e n tm e d i c a l i n f o r m a t i o n ，a n dp l a yd i f f e r e n tr o l e si nc l i n i c a ld i a g n o s i sa n dt h e r a p y m e d i c a li m a g e f u s i o nc a ns y n t h e s i z et h ec o m p l e m e n t a r yi n f o r m a t i o ni n s i d et h o s et w o p r o c e s s e s ，g a i n a l li m a g ew i t hb e r e re f f e c ti n c l u d i n gm o r ec o m p l e t ei n f o r m a t i o n ，a n ds u p p l ym o r e a c c u r a t ed a t af o rc l i n i c a ld i a g n o s i sa n dt h e r a p y t h i st h e s i se x p l o r e sa n dr e s e a r c h e s w a v e l e t s - b a s e df u s i o nm e t h o da n di n t e l l i g e n t i z e df u s i o nm e t h o dw i t ht h ed i s c u s s i n g o f t h e i rt h e o r i e sa n da l g o r i t h m s w a v e l e t s - b a s e df u s i o nm e t h o di sar e l a t i v eb e t t e rm e t h o df r o mm a t h e m a t i c a l t h e o r yt oa r i t h m e t i cm o d e l i nt h i sp a r to fr e s e a r c h ，an e wf u s i o na l g o r i t h mu s e dt of u s e a n a t o m i c a li m a g e ss u c h 嬲c ta n dm r ii sp u tf o r w a r df i r s t t h ep o i n to ft h i sm g o f i t h r ni sa r l o p t i m i z a t i o no fr e g i s t r a t i o np r o c e s st o e a r nt w oi m a g e sw h i c ha r eb e n e rr e g i s t e r e dw i t ht h e i m p r o v e m e n to fc r o s sc o r r e l a t i o nm e t h o d t h e ng a i na n o t h e rf u s i o nm e t h o da p p l i e di n m m t o m i c a li m a g ea n df u n c t i o n a li m a g eb ye x p a n d i n ga n di m p r o v i n gt h i sn e wf u s i o n i ta i m sa tt h en o t e q u a lr e s o l u t i o no fa na n a t o m i c a li m a g ea n daf u n c t i o n a li m a g et a k e n f r o mt h es a m es c e n e ，f u s e st h ef u n c t i o n a li m a g ew i t ht h ea p p r o x i m a t ei n f o r m a t i o no f t h ed e c o m p o s e da n a t o m i c a l i m a g ew h i c hi st o t a l l y d i f f e r e n tf r o mt h eu s u a l i n t e r p o h j t i o nm e t h o d i n a c c u r a t ei n f o r m a t i o nc a l lb ea v o i d e d i nt h i sa l g o r i t h ma n dt h e e x e c u t i o ns p e e dr i s e s i n t e l l i g e n t i z e df u s i o nm e t h o di so n eo ft h em e t h o d st h a t i sa te a r l ys t a g eo f d e v e l o p m e n t ，b u th a ss u p e r p e r f o r m a n c ea n dg r e a tp o t e n t i a ld e v e l o p m e n t i nt h e e x p l o r a t i o nt ot h i sk i n do fm e t h o d ，i tf o c u s e so nt h ef u s i o nm e t h o db a s e do nt h ef u z z y l o g i c ，a p p l i e so n ef u z z ya l g o r i t h mo nt h eb a s i so fs i m p l er u l e s ，s e p a r a t e sb a c k g r o u n d s ， o u t l i n e sa n dd e t a i l si ni m a g e st h r o u g ht h ed e f i n i t i o no fm e m b e r s h i pf u n c t i o n s ， r e p l a c e st h es t r i c tc l a s s i f i c a t i o nw i t hf u z z yc l u s t e r i n g ，s i m u l a t e sb yu s i n gt h em a f l a b f u z z y - l o g i ct o o lb o x ，a n dg e t st h eb e s tf u s i o ni m a g et h r o u g ht h em o d i f i c a t i o no f m e m b e r s h i pf u n c t i o na n d r u l e s t h e na t t a i no n en e u r a l - f u z z ym e t h o db yc o n n e c t i n gt o t h en e u r a ln e t w o r k ，u s e sb o t ht h el e a r n i n gc a p a b i l i t yo fn e u r a ln e t w o r ka n dt h e 西北工业大学硕士学位论文 摘要 _ i i i ii ii i ii,ii _ - - _ _ _ - _ d e c i s i o n - m a k i n gc a p a b i l i t yo ff u z z yl o g i c t h ct r a i n i n go fm e m b e r s h i pf u n c t i o n si s b a s e do nl e a s ts q u a r em e t h o da n db a c kp r o p a g a t i o na s s o c i a t e dw i t hg r a d i e n td e s c e n t m e t h o d f i n a l l yt h ea n a l y s i sa n ds i m u l a t i o na ! ec a r r i e dt h r o u 曲 a tt h ee n do f t h i s 也e s i s ，i ta n a l y z e sa n dc o m p a r e st h e s et w of u s i o nm e t h o d s ，a n d s u r t m a a d z e st h ea d v a n t a g e sa n dd i s a d v a n t a g e sr e s p e c t i v e l y i ta l s op r e d i c t st h ef u t u r e t r e n do f d e v e l o p m e n ta n dd i r e c t i o no f m e d i c a li m a g ef u s i o nt e c h n o l o g y k e yw o r d s ：m e d i c a li m a g ef u s i o n ，w a v e l e tt r a n s f o r m , f u z z yl o g i c ，n e u r a l - f e z 甜 1 i i 堕北工业大学硕士学位论文 第一章绪论 第一章绪论 本章首先概述了医学图像的特性和图像融合的基本概念，然后介绍了医学图 像融合的发展及国内外研究现状，最后阐明了本文的研究目的与意义、主要工作 和内容安排。 1 i 概述 随着医学成像技术的飞速发展，用于诊断和治疗的医学成像设备也越来越 多。这些医学成像设备在对相同区域成像时，可以提供互补的医学信息。如果我 们能把这些互补信息综合在一起，作为一个整体来表达，那么就能为医学诊断、 人体的功能和结构的研究提供更充分的信息。这个综合的过程就是医学图像信息 融合，简称医学图像融合。 1 1 1 医学成像技术 医学成像技术是一个综合多种学科成果与先进技术的综合性，实用性学科领 域。包括x 射线、超声、计算机断层成像( c t ) 、磁共振成像( m r i ) 、单光子发射 断层成像( s p e c t ) 、正电子发射断层成像( p e t ) 、红外线图像、数字减影( d s a ) 、 荧光造影等多种成像方式。各种模式的医学图像从视觉角度为医生及研究人员 提供了丰富、直观、定性及定量的人体生理信息，成为诊断各种疾病的重要技术 手段。由于不同模式的设备对人体内大到组织小到分子原子有不同的灵敏度和分 辨率，因而有它们各自的适用范围和局限性。 c t 是利用x 射线提供的原始信息进行从一维到二维的图像重建，可以对人 体作多层横断面扫描。c t 具有较强的空间分辨率( 3 m m ) 和几何特性，对人体软 组织对比度较低，对骨骼反映清晰。 m m 利用人体组织中氢质子在磁场消失后驰豫时间差成像。可得到多种角 度、方位的断层图像，空间分辨率小于3 m m ，可清晰反映软组织、器官、血管 等的解剖结构，但对钙化点不敏感，且受到磁干扰会发生几何失真。 s p e c t 、p e t 是以放射性核素及其标记物在脏器中的浓度差为基础的显像方 西北工业大学硕士学位论文 第一章绪论 一i i _ - _ _ _ - _ - _ _ _ _ _ _ - _ - l _ - _ _ - l - l e _ - - _ _ _ _ - _ _ - _ - - _ _ _ 法，能得到人体任意角度断层面的放射性浓度分布。可反映组织、器官的代谢水 平、血流状况，对肿瘤病变呈现“热点”。p e t 尤其适于对神经系统功能的研究。 但p e t 图像的分辨率往往很差( 约5 r a m ) ，难以得到精确的解剖结构和立体定位， 也不易分辨组织、器官的边界。 d s a 是一种投影图像，由注入造影剂前后的x 光投影图相减而得到。可清 晰反映人体心、脑血管分布情况，对诊断各种动、静脉畸形及血管瘤等有重要价 值。但它不能显示周围结构以及病灶的空间位鼹。 各种模态的医学图像从不同角度反映人体信息，单独从某一种图像中无法得 到全面的诊断信息。需要将不同模态图像信息综合在一起，得到更丰富的信息， 以便了解病变组织或器官的更多数据，从而做出准确的诊断或制定出合适的治疗 方著。而多种图像又必须借助医生的空问构想和推测去综合判定他们所要的信 息，其准确性受到主观影响，更主要的是一些信息将可能被忽视。医学图像融合 技术以计算机图像处理方法代替了医生的人工综合方式，可以提高诊断效率和可 靠性，并精确指导神经外科手术及放射治疗等。 1 1 , 2 医学图像融合 图像融合是指将2 个或2 个以上的传感器在同一时间( 或不同时间) 获取的关 于某个具体场景的图像或者图像序列信息加以综合，生成一个新的关于这一场景 的解释，这一解释是从单一传感器获得的信息中无法得到的。有时，图像融合也 可以是单一传感器在不同时间获取的图像数据的综合【2 j 。因此，医学图像融合一 般指的是对2 个或2 个以上不同医学成像设备获得的同一病灶区域的图像进行匹 曩己和迭合，从而获得互补信息，增加信息量，使临床诊断和治疗更加准确和完善。 图像融合技术根据处理图像的表征层不同，可以分为四种类型：信号级、像 素级、特征级和决策级融合。信号级融合是指合成一组传感器信号，目的是提供 与原始信号形式相同但品质更高的信号。像素级融合是在图像严格配准的条件 下，直接进行像素关联融合处理。特征级融合是在像素级融合的基础上，使用模 式相关、统计分析的方法进行目标识别、特征提取，并得到融合结果。决策级融 合则是在上述几种处理的基础上，采用大型数据库和专家决策系统模拟人的分 析、推理过程，以增加判决的智能化和可靠性。在医学图像融合中，目前一般使 用的是像素级融合方法。 2 西北工业大学硕士学位论文 第一章绪论 1 2 医学图像融合技术的发展及研究现状 8 0 年代开始，医学图像融合开始逐渐引起临床医学界的关注，当时的一些 研究采用的一般是比较直观和简单的融合方法，如逐像素加权求平均，利用逻辑 运算符进行滤波等等，效果往往并不理想。 到了9 0 年代，医学图像融合技术成为当代医学图像领域的前沿课题，对未 来医学影像技术的进步发挥深远的影响。在这一阶段，其他融合方法开始陆续被 提出，例如，b u r t 提出了l a p l a c i a n 金字塔法、a k e r m a n 提出了g a u s s i a n 金字塔 分解法、t o o t 提出的低通比率金字塔法以及多分辨率形态滤波法和小波变换法等 【3 】。带来了医学图像融合技术的飞速发展。 小波变换可以将图像分解成逼近图像和细节图像之和，分别代表了图像的不 同结构，便于提取原始图像的结构信息和细节信息，并具有完善的重构能力，很 快成为医学图像融合技术研究的热点，并一直延续至今。 小波变换被认为是傅立叶分析方法的突破性进展。它在空间和频率域上都具 有局域性，从而能通过伸缩平移等运算功能对信息进行多尺度的细化分析1 4 ，因 而有“数学显微镜”的美誉。最早小波变换在图像融合中的应用研究多是热图像 和可视图像的融合，现在在医学图像融合方面也有了很多应用。 随着三维重建显示技术的发展，三维图像融合技术的研究也越来越受到重 视，三维图像的融合和信息表达，也将是图像融合研究的一个重点。同样，作为 图像融合的先决条件，三维图像的配准也是研究的新重点，尤其是基于有限元 分析的非线性配准是一个方向p j 。 另夕 ，神经网络、模糊逻辑、语义学等人工智能技术也被应用到图像融合中 来，这些技术能够模拟人类智能处理方法，根据不同需要对图像进行自动的分割 和融合处理，虽然发展不够完善，却是融合研究的一个新方向，有着无穷的潜力。 医学图像融合是一个正快速发展的技术，但由于应用图像融合的相关设备的 价格很高，融合过程又要耗费不短的时间等等原因目前的应用还不很广泛，很多 方法也还限于对几个或几十个病人的研究阶段。随着研究的深入和技术上的不断 成熟，医学图像融合将被广泛用于临床诊断和治疗中，在辅助计算机诊断和治疗 计划制定等方面起到重要作用。 西北工业大学硕七学位论文 第一章绪论 - _ _ i ii i l l | i i _ 1 3 研究目的与意义 论文研究了针对医学图像的信息融合方法。首先研究了小波变换融合方法， 分别对同一大脑区域的不同解剖成像c t 与m r j 图像以及解剖成像和功能成 像m r i 和p e t 图像的小波变换融合进行了讨论；然后对智能域融合方法中 的模糊逻辑与神经网络算法进行了探讨，最后以颅脑图像为例进行仿真和结果分 析。 在l 晦床诊断和治疗计划制定中，经常要比较患者同一颅脑区域的c t 和m r j 图像，通过对骨骼信息和软组织信息的综合和对照来提高诊断的准确性。对c t 与m r i 图像进行融合，能综合骨骼信息和软组织信息并获得相对位置明确的新 的融合图像，从而方便直观的进行观察和诊断。 医学图像分为解剖结构图像，如c t 、m r i 、b 超等和功能图像如s p e c t 、 p e t 等。这两类图像各有其优缺点：功能图像分辨率较差，但它提供的脏器功能 代谢信息是解剖图像所不能替代的；解剖图像以较高的分辨率提供了脏器的解剖 形态信息( 功能图像无法提供脏器或病灶的解剖细节) ，但无法反映脏器的功能情 况目前这两类成像设备的研究都已取得了很大的进步，图像的空间分辨率和图 像质量有很大的提高，但由成像原理不同所造成的图像信息局限性，使得单独使 用某一类图像的效果并不理想。所以将解剖成像和功能成像进行融合就显得尤为 重要。p e t 图像的分辨率较低，是同区域所成m i u 图像分辨率的二分之一。一 般的基于小波变换的医学图像融合是针对分辨率相同的已对准的图像，本文针对 解剖成像和功能成像融合采用的这种改进的小波变化算法可以解决这问题，融 合两幅不同分辨率的图像，获得既具有高分辨率，又同时具有解剖信息和功能信 息的新图像，可以提供多重、全面、准确的信息，对于提高诊断精度制定准确 的治疗计划有着十分重要的意义。 智能域方法虽然还在发展初期，很多方面都不完善，但是已经展现出很多优 异的性能，表现了巨大的潜力。如果医学图像的获取和分析都能模仿人类的思维 方式，根据不同应用进行相应的智能融合与分析，对于医学成像和融合领域，其 意义是无法估量的。对这一领域的方法进行初步的探讨和研究对于我国医学成像 领域来说，也是向国际最高水平和发展趋势看齐、势在必行的。 西北工业大学硬士学位论文 第一章绪论 1 4 主要工作和章节安排 论文主要完成的工作有： ( 1 )对医学图像融合的研究和发展情况进行了总结和评述，阐明了进行 医学图像融合的目的和意义。 ( 2 )全面而系统的对医学图像融合的几种方法进行了深入的剖析和叙 述，并对其发展趋势遴行了探讨。 ( 3 )基于小波变换方法提出了一种对分辨率相同的不同解剖成像进行融 合的算法，其中对互相关配准方法进行了改进，得到一种新的配准 方法，使两幅源图像无论大小和相对位置如何，都可以进行准确的 配准，从而使后续融合过程更加精确和方便。再针对不同分辨率的 功能成像和解剖成像图像融合，改进了小波变换方法的多分辨分解 过程，得到另一种融合算法，算法采用一步分解后的解剖成像近似 系数与功能成像进行综合，作为融合结果图像的近似系数，可以最 大限度的利用所给信息，并避寅虚假信息的引入，优于一般使用的 插值放大法。 ( 4 )对智能型方法中的神经网络和模糊逻辑方法进行了探讨，提出了一 种基于模糊逻辑的融合算法。算法主要通过对隶属函数和推理规则 的设定来使输出和输入建立更为简单的映射关系，用模糊的隶属度 来代替严格的分类，简单的推理规则代替复杂的数字运算，能够获 得更好的适应性，得到更普遍的法则。在模糊逻辑融合算法的基础 上，结合神经网络的优点，获得了种模糊神经网络算法。算法用 一种基于最小二乘法和后向传播梯度下降法结合的方法来训练隶属 度函数，并返回训练后的结果。将训练结果再用于对输入图像的模 糊推理。这一算法能够综合神经网络的学习能力和模糊逻辑的推理 功能，提供更为丰富的融合算子和决策规则。 ( 5 )对( 3 ) 、( 4 ) 中采用的四种算法分别用m a t l a b 进行了仿真，证明了算法 的可行性，优化了参数的设置。并对两类方法小波变换法和智 能型方法进行了比较和分析。 论文的章节安排如下： 第一章简要介绍了医学图像融合的概念和应用医学图像融合的必要性，即 根据医学图像的特性，需要两种或多种图像的综合和对照来达到更 好的诊断和治疗效果。 西北工业大学硕士学位论文 第一章绪论 第二章介绍了医学图像融合的基本步骤和方法，并对代表性的方法进行了 详细的论述，从而奠定了下文研究的基础。 第三章深入研究了一种小波变换融合算法并用c t 与m r i 进行了验证， 并将其拓展和改进后，获得另一种小波变换算法，用来进行不同分 辨率的p e t 和m r j 图像的融合，给出了仿真结果与讨论。 第四章对智能域的方法进行了初步的探讨和介绍，着重研究了模糊逻辑和 模糊神经网络方法，并对这两种方法分别进行了仿真验证。并对智 能域方法与小波变换方法的不同进行了比较和讨论。 第五章对所做工作和取得的成果进行了总结和分析，并对将来研究的发展 趋势进行了讨论和展望。 6 西北工业大学硕士学位论文 第二章医学图像融合的基本方法 - _ _ - _ - _ _ - _ _ _ _ ii ih i i _ - _ _ - _ - 第二章医学图像融合的基本方法 在临床诊断和治疗中，利用图像融合，可以得到包含更多信息且更为清晰 的图像，对诊断分析、病灶定位、治疗方案制定、病理研究都有着极为重要的 意义。因此图像融合自提出以来，就是医学成像界研究和探讨的热点。 在融合方法的选取上，最早采用的一般是比较直观和简单的空闯域融合方 法，如逐像素加权求平均，利用逻辑运算符进行滤波等等，效果往往并不理想。 到了九十年代，随着金字塔和小波等方法的提出，变换域方法开始投入使用， 并取得很好的效果。尤其是小波分析被引入图像融合领域，被认为是傅立叶分 析方法的突破性进展。近几年对图像融合的研究开始多元化，除了对经典变换 域方法的改进外，还出现了神经网络、语义谓词等智能域方法。 本章介绍了医学图像融合方法的基本步骤，对医学图像融合的几类方法进 行了全面的概括和叙述，并选取每类方法中的代表性方法进行了深入分析，最 后探讨了医学图像融合方法的发展趋势。 2 1 图像融合的基本步骤 医学图像融合的基本步骤可以分为图像的获取和预处理，图像配准和图像 信息的综合。图像的获取是通过医学成像仪器，如c t 、m r i 、p e t 、s p e c t 等 得到患者某个区域的医学图像，使人体内部的结构、功能等多方面的状况通 过影像反映出来，从而更加直观地提供了人体解剖、生理及病理等信息。为了 突出有用信息，抑制干扰信息，在获取图像后，往往耍进行图像的预处理，如 去除噪声、恢复图像失真、特征提取、对比度增强、图像分割等等。预处理之 后，就要对图像进行配准与信息综合。 2 1 1 医学图像的配准 医学图像配准指的是通过一系列坐标变换，使将要融合的两幅图像在空间 域达到几何位置的完全对应嘲。医学图像配准是医学图像融合的前提，也是目 前医学图像处理中的热点，具有重要的临床诊断和治疗价值。近几年医学图像 西北工业大学硕士学位论文第二章 医学图像融合的基本方法 配准技术发展迅速，为医学图像融合的研究提供了良好的基础。目前主要的配 准方法有以下几种 7 - 9 3 ： 1 、基于特征的配准方法 ( 1 ) 基于面的方法 基于面的配准方法中最典型的算法是头帽算法。即从幅图像中提取一个 表面模型称为“头”，从另外一幅图像中提取的轮廓点集称为“帽”。用刚体 变换或选择性的放射变换将“帽”的点集变换到“头”上，然后采用优化算法 使得“帽”的各点到“头”表面的均方根距离最小。 迭代最近点法是另一种典型算法。该算法首先计算一幅图像中到另一幅图 像中代表该特征表面的所有点的最近距离点，然后通过迭代变换来确定最终的 变换参数。 提取两幅图像中脑外表面轮廓特征可以采用分割的方法，或者用多尺度算 子提取脑内部几何特征，然后采用相关方法在多尺度空间结合外表面特征和内 部特征进行自动配准的方法。也可采用平面变形轮廓和样条插值提取手术前c t 图像的表面轮廓点集，通过最小化从二维轮廓到三维表面的投影线的能量而达 到与手术中所获得的脊椎点集配准的目的。 ( 2 ) 基于点的方法 与基于面的配准方法相比，基于点的方法主要差别在于特征点的选取。这 些特征点包括外特征点、内特征点和立体定位框架标记点。常用的奇异值分解 方法将体素点的平移和旋转解耦，通过计算两点集中标记点中心的距离来计算 平移向量，而旋转矩阵则通过计算两个空间中标记中心位置差的协方差矩阵的 奇异值分解得到。 ( 3 ) 基于点和面特征结合的方法 这种方法是在改善迭代最近点法、面和特征点法的基础上所提出的一种方 法，该方法用表面点集和特征点集的加权来计算两幅图像间的相关点集的距离， 可以减少所使用的特征点。 2 、基于灰度的配准方法 基于灰度的配准方法包括像素方法和体素方法。这类方法是目前研究得较 多的一种方法，基于灰度的方法直接利用图像的灰度数据进行配准，从而避免 了因分割而带来的误差，因而具有精度较高、稳健性强、不需要预处理而能实 现自动配准的特点。 ( 1 ) 主轴算法 主轴法是一种自动配准算法，根据体素的密度和空间位置将待配准图像等 西北工业大学硕士学位论文 第二章医学图像融合的基本方法 价为3 d 椭体，计算椭体的二价矩以得到其质心和主轴。使待配准图像的质心 重合，然后以质心为旋转中心，使主轴的方向对齐、主轴的长度相等，得出空 间变换参数。 ( 2 ) 相关性算法 同样的成像模式下得到图像，对应像素的密度值线性相关，可以用密度比 值的方差度量相关性。互相关值的大小反映了配准的效果。找到使图像之间相 关性最大的空间变换参数，就实现了图像配准。由于同一器官在不同模态图像 中表现出非线性差异，因此该算法较少用于多模图像配准。 ( 3 ) 互信息算法 最大互信息算法是近来的研究热点。通过计算待配准图像的熵以及联合熵， 得到互信息值。根据定义，图像的熵与图像的位置无关，图像配准时，联合熵 的值最小，互信息值最大。可用于多模态图像配准，鲁棒性强，但计算量比较 大，需要有高效的优化算法。 配准的步骤分为特征空间、搜索空间、搜索算法和相似性测度四个组成部 分。特征空间是对待配准的图像的特征信息的提取；搜索空甘j 足进行变换的方 式及变换范围：搜索算法决定下一步变换的具体方法以得到最优的变换参数； 相似性测度是用来度量图像间相似性的一种标准。 l 、特征空间 图像的特征信息的提取一般来说有两种不同的方法。第一种方法是直接依 据图像感兴趣区域中的生理特征进行分析，将这些特征与图像中的边、轮廓、 表面，或跳跃性特征如角落、线的交叉点、高曲率点，或统计性特征如力矩常 量或中心相互对应，然后根据先验知识选择一定的分割阂值对图像进行自动、 半自动或手动的分割，从而得出图像的几何特征。另一种方法是采用特征点的 方法。特征点一般包括外特征点和内特征点。外特征点一般是立体定位框架上 的标记点、加在病人皮肤上的标记点或其它在两幅图像中都可检测到的附加标 记物。内特征点般选取相对运动较小的解剖标记点如血管的分叉点或相交点、 耳蜗尖端拐点。 2 、搜索空间 经过图像分割后，配准问题就转换为求解两幅图像中对应点的变换问题， 即将一幅图像中的坐标点变换到另一幅图像的坐标系中。根据图像中目标的变 形形式不同，变换也有线性变换和非线性变换两种形式。线性变换包括剐体变 换、仿射交换、投影变换。刚体变换使得一幅图像中任意两点间的距离变换到 另一幅图像中后仍然保持不变；仿射变换使得一幅图像中的直线经过变换后仍 9 西北工业大学硕士学位论文 第二章医学图像融合的基本方法 保持直线，并且平行线仍保持平行；投影变换是从三维图像n - - - 维平面的投影。 非线性变换把一条直线变换为一条曲线，这种变换所反映的是图像中组织或器 官的严重变形或位移，一般用代数多项式来表达。 3 、搜索算法 经过坐标变换后，两幅图像中相关点的几何关系已经一一对应，进一步的 工作需要找到一种相似性测度来衡量两幅图像的相似程度，并且通过不断地改 变变换参数，使得相似性测度达到最优，即最终转化为多参数多峰值离散最优 化问题。 4 、相似性侧度 目前经常采用的相似性测度有均方根距离、相关性、归一化互相关、梯度 互相关、梯度差、模式灰度、图像差熵、互信息、归一互信息等。所常用的优 化算法有穷尽搜索法、最速梯度下降法、单纯形法、共轭梯度法、模拟退火法、 遗传算法。 当然，配准的过程并不绝对按上述步骤进行，像些自动配准方法，如 s t u d h o l m e 等、m a e s 等所采用的基于体素的配准方法，它们的配准过程中一般 都不包括分割步骤。此外，坐标变换和寻优过程在实际计算过程中是彼此交叉 进行的。 2 1 2 医学图像的信息综合 我们常常把医学图像的信息综合这一步直接称为融合。这说明了这一步正 是整个医学图像融合过程中最核心的部分。 医学图像融合根据成像设备，可以分为同类多源融合系统和异类多源融合 系统。同类多源图像融合系统是指待融合的两幅或多幅图像是由同一种设备获 取的，如ts p e c t 图像融合系统，m 图像融合系统等等：异类多源融合系统 指两幅或多幅图像来源于不同类的成像设备，如：s p e c t 与m r j 图像融合系 统，s p e c t 与c t 图像融合系统，c t 与m r i 图像融合系统等等。 按照融合对象分，有单样本时间融合系统、单样本空间融合系统以及模板 融合系统。单样本时间融合：跟踪某个病人，将其一段时间内对同一脏器所做 的同种检查图像进行融合，以助于跟踪病理发展和研究该检查对该疾病诊断的 特异t ! 。单样本空间融合；将某个病人在同一时期内( 临床上视1 以周内的时间 为同时) 对同一脏器所做的几种检查的图像进行融合，以便综合利用这几种检查 提供的信息( 如m r i c t 可以提供脏器的结构信息，e c t 可以提供脏器的功能信 西北工业大学硕士学位论文 第二章医学图像融合的基本方法 _ _ _ - _ _ l _ _ _ - - _ - _ n in llli n l li i - - _ _ _ _ _ _ _ _ _ _ l _ - _ - _ _ _ _ 息) ，对病情做出更准确的诊断。模板融合：从许多健康人的研究中建立一系列 模板，将病人的图像与模板图像融合，有助于研究某种疾病的病理和诊断标准。 按照处理方法，则有数值融合法和智能融合法。数值融合法：将来源于不 同成像设备的图像做空间归一化处理( 确保不同图像中的像素表达同样大小的 空间区域) 。获得一致性描述后，直接应用。智能融合法：将来源于不同成像设 备的图像做空间归一化处理，根据研究的需要，选择不同图像中的所需信息进 行融合。如：提取m r i 的颅骨轮廓作为先验知识用于s p e c t 脑的重建。 在节1 1 2 中已经提到，图像融合根据不同的层次可分为信号级、像素级、 特征级和决策级。信号级融合提供与原始信号形式相同但品质更高的信号，研 究较少，这里不再介绍。对其他级别的融合，这里将作进一步的介绍： 像素级图像融合属于较低层次的融合，目前大部分研究集中在该层次上。 像素层图像融合一般要求原始图像在宅间上精确配准，如果图像具有不同分辨 率在融合前需作映射处理。 特征级图像融合是指从各个传感器图像中提取特征信息并将其进行综合分 析和处理的过程，提取的特征信息应是像素信息的充分表示量或充分统计量， 典型的特征信息有边缘、形状、轮廓、角、纹理、相似亮度区域、相似景深区 域等。在进行融合处理时，所关心的主要特征信息的具体形式和内容与多传感 嚣图像融合的应用目的和场合密切相关。通过特征级图像融合可以在原始图像 中挖掘相关征信息，增加特征信息的可信度，排除虚假特征，建立新的复合特 征等。特征级图像融合是中间层次上的融合，为决策级融合做准备。特征级融 合对传感器对准要求不如信号级和像素级要求严格，因此图像传感器可分布于 不同平台上。特征级融合的优点在于实现了可观的信息压缩，便于实时处理。 决策级图像融合是指对每个图像的特征信息进行分类和识别等处理，形成 了相应的结果后，进行进一步的融合过程。最终的决策结果是全局最优决簸。 决策级融合是一种更高层次的信息融合，其结果将为各种控制或决策提供依据。 为此，决策级融合必须结合具体的应用及需求特点，有选择地利用特征级融合 所抽取或测量的有关目标的各类特征信息，才能实现决策级融合的目的。其结 果将直接影响最后的决策水平。由于输入为各种特征信息而结果为决策描述， 因此决策级融合数据量最小。抗干扰能力强。但对特征抽取和预处理要求很高。 对目前的医学图像处理水平来说，进行精确的特征抽取和预处理都很难做 到，因此，像素级融合方法是目前普遍研究的一类方法，下文所谈到的一系列 医学图像融合方法都是在建立在像素级方法基础上的。 圈2 1 是不同层次图像融合方法的步骤框图l lu j ： 西j b 工业大学硕士学位论文 第二二章医学图像融合的基本方法 2 2 常见融合方法 图2 - 1 医学圈像融合方法步骤框圈 医学图像融合在选取融合方法时，最早采用的一般是比较直观和简单的空 间域融合方法，如逐像素加权求平均，利用逻辑运算符进行滤波等等。到了9 0 年代，随着金字塔方法和小波方法的提出，变换域方法开始投入使用。近几年 对图像融合的研究开始多元化，除了对经典变换域方法的改进外，还出现了神 经网络、语义谓词等智能域方法。本节将对这三类方法分别的代表算法进行具 体的分析和论述。 2 2 1 空间域1 1 _ 7 i 空间域的方法是将两幅或多幅图像在空间坐标下直接进行运算和叠加。运 西北工业大学硕士学位论文 第二章医学图像融合的基本方法 算的方法有图像分割、逻辑运算、加权平均、形态运算、图像代数运算、t o e t 算法、对比度调制等。这些方法操作简单，过程直观，但精度往往不高，因此 常用于临床治疗计划制定，或其他对精度要求较低的场合。其中基于图像分割 的融合方法自动化程度高，易于计算机实现，具有很好的临床实用性。 l 、基于图像分割的融合方法 基于图像分割的融合方法是将从一幅图像中分割出感兴趣的部分嵌入到另 一幅图像中，即将病灶轮廓与其他图像进行叠加，得到具有病灶轮廓的融合图 像。首先对图像进行边缘提取，利用构造边缘检测算子的方法，几种常用的边 缘算子包括：r o b e r t s 、s o b e l 、p r e w i t t 、c a n n y 等。其中c a n n y 算予使用较多。 为了获得抗噪声干扰和边缘精确定位的最佳折衷方案，并突出病灶的特征，可 以采用改进后的c a n n y 算法。步骤为： ( 1 ) 用g u a s s 滤波器对图像进行平滑 ( 2 ) 选择感兴趣区域 ( 3 ) 计算感兴趣区的直方图 ( 4 ) 用一阶偏导的有限差分计算梯度幅值和方向 ( 5 ) 对采样幅度进行非极大值抑制，即只保留幅值局部变化最大的点 ( 6 ) 根据灰度直方图确定非目标边缘对应的图像值，对( 3 ) 求出的最大点进 行进一步抑制 ( 7 ) 用双阙值算法检测边缘。 边缘提取后用空间映射法实现图像的融合：在三维空间中建立两种成像系 统的右手单位正交标架，由两个标架的基求出标架间的转换矩阵，则一幅图像 上的任一个点可通过转换矩阵映射到另幅图像上。 这种方法操作简便易行，可以用于临床治疗计划设汁时对病灶部位的确定。 在实际操作中，经过诊断确定病灶区域，然后对患者注射显影增强剂来提高边 缘显示精度，能够得到较好的效果。而对于临床诊断来说，由于精确的边缘提 取是目前医学成像技术的难点，因此一般不采用这种方法。 2 、逻辑滤波法 这是一种简单直观的算法。具体步骤为：设定一定的门限值，如果两个像 素的值均大于特定的门限值，则进行“与”运算；任一个大于，进行“或”运 算；来自“与”运算的特征认为对应了环境的：均小于，用“或非”运算。 3 、加权平均法 是将源图像之间对应的每个像素加权平均。 西北工业大学硕士学位论文 第二章医学图像融合的基本方法 i l l _ _ - _ ii i i _ - _ 0 = a g ( 2 1 ) ，- i a = 1 i 】 ( 2 2 ) 式中tl j 为融合图像的第j 个像素灰度值，g j i 为参加融合的第i 幅图像第j 个像 素灰度值，a i i 为参加融合的第i 幅图像第j 个像素的权值。当权值相等时，则 退化为逐像素求平均值的最简单图像融合方法。 4 、数学形态法 使用一套形态学基本算子，如膨胀、腐蚀等等从两个特征集中提取出高置 信度的“核”特征集和“潜在”特征集。用条件膨胀和条件腐蚀的形态运算来 融合“核”与“潜在”特征集。条件膨胀用来提取“潜在”特征集的连接分量， 可用来抑制杂波；条件腐蚀可用来填入在“核”特征集中丢失的分量边界元素。 5 、图像代数法 图像代数法有四种基本的图像代数操作数：坐标集、值域、图像模板。其 中“坐标集”用来表示不同方格和分辨率图像的相干关系；“值域”定义算术 和逻辑运算的数集；“图像”定义为从坐标集到值集函数的图；“模板”和模 板算子将模板、掩膜、窗口、数学形态的构成元素、定义在邻域像素上的其他 函数，统一、概括成数学实体。模扳操作可通过在全局和局部卷积来改变维数、 太小和图像形状。 6 、模拟退火法 模拟退火法是以张驰为基础的最优化技术。用于图像处理时，相当于把像 素值以驻留的领域视为物理系统中的原子或分子的状态。将能量函数分配给物 理系统并确定其g i b b s 分布。因为g i b b s 分布与马尔可夫随机场等价，所以如 果图像可以表示为马尔可夫随机场，则能量函数就决定了图像模型。能量函数 的温度降低，将物理系统退火到全局能量最小状态，则对应于加有噪声的初始 图像对真实图像的最大后验估计。模拟退火法用来进行像素级的融合，就是找 到可恰当地描述对最终的融合图像约束能量函数。 7 、t o e t 算法 该算法一般分为五步： ( 1 ) 先求两幅图像g 1 和g 2 中对应像素值较小的部分 ( 2 ) 再求两个图像的特征成分 ( 3 】从g 1 中扣除g 2 的特征成分，g 2 中扣除g l 的特征成分 1 4 西北工业大学硕士学位论文 第二二章医学图像融合的基本方法 ( 4 ) 求g l 、g 2 的不同部分 ( 5 ) 将上两步的结果，按不同权重相加计算出融合图像的像素值 8 对比度调制 这种方法是利用一幅中包含的图像细节特点，提取其对比度，用以调制另 幅图像的灰度分布。这种方法经改进之后，形成了下面要提的变换域中的金 字塔方法。 2 2 2 变换域1 舡舶l 变换域方法，顾名思义，就是将交换后的两个或多个图像进行融合，再通 过反变换得到融合后图像的方法。代表性的变换域方法是多分辨金字塔和小波 变换。在金字塔方法中，原图像不断地被滤波，形成一个塔状结构。在塔的每 一层都用一种算法对这一层的数据进行融合，从而得到一个合成的塔式结构。 然后对合成的塔式结构进行重构，最后得到合成的图像，合成图像包含了原圈 像的所有重要信息。 l 、金字塔方法 高斯金字塔、拉普拉斯金字塔、梯度金字塔、比率低通金字塔、形态学金 字塔被统称为多分辨金字塔。多分辨金字塔是目前较为常用的图像融合方法。 在这类算法中，原图像不断地被滤波，形成个塔状结构。图2 2 给出了多分 辨金字塔融合过程的数据流图。圈中a o 、b o 是原图像；a i 和b j 是对a o 和b o 进行滤波的结果；a 2 和b 2 是对a l 和b i 进行滤波的结果。这样就形成了一个塔 式结构。在塔的每一层都用种算法对这一层的数据进行融合，从而得到一个 合成的塔式结构。然后对合成的塔式结构进行重构，最后得到合成的图像，合 成图像包含了原图像的所有重要信息。 合 ( i ) 高斯金字塔 图2 - 2 多分辨金字塔融合过程的数据流程图 西北工业大学硕士学位论文 第二章医学图像融合的基本方法 对于图像i 的高斯金字塔，假设塔的第k 层为g i k ，塔的最底层为g i o ，也 就是i 。于是，可用下式产生高斯金字塔 g i k = w + g i k - i n 2 ， k 0 ( 2 3 ) 式中：i 】i k 二抽取；卷积算子；w 高斯核。w 矩阵中各元素的 和必须等于l 。 在高斯金字塔中，求两层图像之间的差异可得到拉普拉斯金字塔。依次比 较两个拉普拉斯金字塔a 和b 的每一层，取绝对值较大的那个作为新金字塔c 这一层的值。 ( 2 ) 比率低通( r o l p ) 金字塔 基于拉营拉斯的图像融合方法实际上是选取了局部亮度差异较大的点，这 一过程粗略地模拟了人眼双目观察事物的过程。但是，更准确地说，人眼对局 部亮度对比度较为敏感，而不是对局部亮度差异敏感，所以用拉普拉斯金字塔 得到的融合图像并不能很好地满足人类的视觉心理。 比