（生物医学工程专业论文）多模态医学图像配准与融合算法的研究.pdf

山东大学硕士学位论文 ( 2 ) 论文在医学图像配准研究的基础上，对多模态医学图像的融合问 题进行了较为细致的研究。提出了基于小波包交换和自适应算子的医学图 像融合方法。该方法首先对图像进行小波包分解，然后采用自适应算子对 分解后的子图像进行处理，最后经过小波包重建，得到融合图像。小波包 变换能够将图像频带进行多层次划分，并且对小波变换没有细分的高频部 分进一步分解，从而提高了频率分辨率；自适应算子可以根据图像的具体 情况自动调整融合规则的权重系数，避免了设置固定权重系数所造成的误 差在m a t l a b 环境下，采用拉普拉斯金字塔变换、小波变换、小波包 变换三种融合方法进行仿真实验，并采用平均梯度、均值、标准差、信息 熵和相关系数作为评价标准对三种融合方法进行综合评价。结果表明：本 文提出的基于小波包变换和自适应算子的医学图像融合方法所得到的图 像融合效果，明显优于拉普拉斯金字塔变换和小波变换等图像融合方法。 论文最后对全文进行了总结，并对下一步的研究工作进行了展望 关键词：医学图像配准；形态学梯度；互信息；医学图像融合；小波包变换 山东大学硕士学位论文 a b s t r a c t w i t ht l a ed e v e l o p m e n to fm e d i c a li m s g ce n g i n e , e r i n ga n dc o m p u t e rt e e l m o l o g y , m e d i c a li m a g i n gh a sb c c o l l a o0 1 1 0o ft l a em o s ti m p o r t a n tp a r t si ni l l o d c mm e d i c a l t r e a t m e n t t h e r ea 托m e d i c a li m a g e so fm u l l j - m o d a l i t yi nc l i n i c a ld i a g n o s e sw h i e l a o b t a i n e db yd i f f e r e n ti m a g i n gp r i n c i p l e s , s u c h 硒c o m p u t e r i z e dt o m o g r a p h y ( c r ) ， m a g n e t i c r c s o n 衄e oi m a g i n g ，s i n g l ep h o t o ne m i s s i o n c o m p u t e d t o m o g r a p h y ( s l e c r ) o t e t h e s ei m a g e sc o n t a i nd i f f e r e n ti n f o r m a t i o na b o u th u m a n v i s c e r aa n dp a t h o l o g i c a lt i s s u e i nt h e8 1 e ao fi m a g ep r o c e s s i n g , i m a g ef u s i o ni st o m 廿伊m e d i c a li m a g e so f d i f f e r e n tm o d a l i t yi n t oo i m a g ei ni m a g ep r o e 嚣s i n g t h e f u s e di m a g oc a l li n t e g r a t ea l lk i n d so f i m a g ei n f o r m a t i o n , p r e c i s e l ya n d r o u n d l ys h o w t h el i s s u oa n da p p a r a t u ss l n 嵋慨f u n c t i o na n dt h ep a t h o l o g i c a lc h a n g e s , a n d i n t c g r a t oa n a t o m i c a li n f o r m a t i o n 锄df t m e t i o n a li n f o r m a t i o n i ti sc o n v e n i e n tf o r d o c t o l 3t oo b t a i ns y n t h e s i si n f o r m a t i o no fp a t h o l o g i c a lt i s s u oa n da p p a r a t u s , a n d m a k em o l t 硷o x a e td i a g n o s i sa n de l a o o s ot h eb e s tt a e a t m c n t w on e e dt os o l v et h ep r o b l e mo fi m a g er e g i s t r a t i o nb e f o r et h eq u a n t i t a t i v e a n a l y s i so fd i f f e r e n ti m a g e s t h et a s ko fm e d i c a li m a g er e g i s t r a t i o ni st of i n da g e o m e t r i cr e l a t i o no rt r a n s f o r m a t i o na m o n gt h es a m el e g i o l l so fi n t e r e s ti nt w o0 1 m o l ei m a g e s t h ee f l e e to fi m a g er e g i s t r a t i o nd i r e c t l ya f f e c t st h eq u a l i t i e so ff u s i o n i m a g e , s ob o t ht h ee x a c tr e g i s t r a t i o na n dp r o p e l f u s i o nl n on e c e s s a r yf o rd o c t o n tt o o b t a i nt h ee x a c td i a g n o s i sr e s u l t s b a s e do nt h et h e o r i e so fm o r p h o l o g yg r a d i e n t , n o r m a lm u t u a li n f o r m a t i o n , w a v e l e tp a c k e ta n ds o i l - a d a p t i v eo p e r a t o r , t h i st h e s i sm a k e sad e e p e rr c a r e l a 衄 m u l t i m o d a l i t ym o d i e a li m a g er e g i s t r a t i o na n df u s i o n t h em a i nc o n t e n t so ft h i s t h e s i sa r et a k e n 黔f o l l o w s ： f i r s t l y , m e d i c a li m a g er c g i s t r a t i o ni ss t u d i e di nt h i st h e s i s i nt h er e s e 狮l l , 缸 i m p r o v e dm e t h o do fm e d i c a li m a g er e g i s t r a t i o nb a s o do nm o r p h o l o g yg r a d i e n ta n d m u t u a li n f o r m a t i o ni sp r o v i d e d t h en 州m e t h o dc 锄s h o r t e nt h er u n n i n gt i m ea n d h i 山东大学硕士学位论文 a m e n dt h et r a d i t i o n a ll o c a lm a x i m u mp r o b l e mb yu s i n gi n t e n s i t yi n f o r m a t i o na n d s p a c eg e o m e t r i cf i g u r e c t , m r ia n ds p e c t - t h r e em o d a l i t i e sm e d i c a li m a g c 8a r e s i m u l a t e di nm a t l a b t h er e s u l t so fe x p e r i m e n ts h o wt h a tt h ea c c u r a c ya n d r u n n i n gs p e e do f n e wm e t h o d i ss u p e r i o rt ot h a to f t h et r a d i t i o n a lm u t u a li n f o r m a t i o n m e t h o d , a n dt h ee f f e c to f n o i s ei so b v i o u s l y w e a k e n e d s e c o n d l y , t h i st h e s i sg i v e sad e t a i l e dr e s e a r c ha b o u tm u l t i - m o d a l i t ym e d i c a l i m a g ef u s i o n0 1 1t h eb a s i so fi m a g er e s i s u a t i o n i nt h er e s e a r c ho fm e d i c a li m a g e f u s i o n , t h i st h e s i sp r o v i d e sas e l f - a d a p t i v em e d i c a li m a g ef u s i o na l g o r i t l m lb a s e d w a v e l e tp a c k e t f i r s t l yd e c o m p o s em e d i c a li m a g e sb yw a v e l e tp a c k e t , a n dt h e n p r o c e s st h es u b - i m a g e st h r o u g ht h ea d a p t i v eo p e r a t o r s , f i n a l l yg e tt h ef u s i o ni m a g ob y w a v e l e tp a c k e tr e c o n s t r u c t i o nw a v e l e tp a c k e tc 缸d o c o m s et h ei m a g e sf r e q u 雠y b a u di nd i f f e r e n tl e v e l ，a n dc a nd e c o m p o s eh i g hf r e q u e n c yb a n di na h i g h e rs c a l e w h i c ht h ew a v e l e td e c o m p o s i t i o nc o u l d n t s ot h ew a v e l e tp a c k e tc 姐i m p r o v ot h e f r e q u e n c yr e s o l u t i o n s e l f - a d a p t i v eo p e r a t o rc a na d j u s tt h ep o w d e rw e i g h tc o e f f i c i e n t a u t o m a t i c a l l ya c c o r d i n g t ot h ei m a g e si n f o r m a t i o n , s oi tc a na v o i dt h ee r r o rb r o u g h t b ys e t t i n gf a s t n e s sp o w d e rw e i g h tc o e f f i c i e n t t h r e ef u s i o nm e t h o d sw h i c ha r e l a p l a c i a np y r a m i dw a n s f o r m , w a v e l e tt r a n s f o r ma n dw a v e l e tp a c k e tw a n s f o r ma l e s i m u l a t e di nm a t l a b w ec h o o s ea v e r a g eg r a d i e n t , m e a n , s t a n d a r dd e v i a t i o n , i n f o r m a t i o ne n t r o p ya n dc o r r e l a t i o nc o e f f i c i e n ta sc r i t e r i o n st oe v a l u a t et h eq u a l i f i e s o ff u s e di m a g e si nt h et h e s i s w e 啪鲥t h er e s u l t sb yc o m p a r i n gt h ee v a l u a t e p a r a m e t e m ，a n dt h er e s u l t so fc x p e r i m e n ts h o wt h a tt h es e l f - a d a p t i v em e d i c a li m a g o f u s i o na l g o r i t h mb a s e do nw a v e l e tp a c k e ti so b v i o u s l yb e t t e rt h a nt h et w oo t h e r s f i n a l l y , w em a k eac o n c l u s i o na n dp r o p o s et h ef u t u r er e s e a r c hd i r e c t i o n si nt h i s 五e l d k e yw o r d s ：m e d i c a li m a g er e g i s u a t i o n ；m o r p h o l o g yg r a d i e n t ；m u t u a l i n f o r m a t i o n ；m e d i c a li m a g ef u s i o n ；w a v e l e tp a c k e tt r a n s f o r m i v 山东大学硕士学位论文 c t 心 s p e ( 玎 p e t d s a e e g w p m l c e r r e p 缩略词注释表 c o m p u t e r i z e dt o m o g r a p h y m a g n e t i cr e s o n a n c ei m a g i n g s i n g l ep h o t o ne m i s s i o nc o m p u t e d t o m o g r a p h y p o s i t r o ne m i s s i o nt o m o g r a p h y d i g i t a ls u b t r a c t i o n a n g i o g r a p h y e l e c t r o e n c e p h a l o g r a p h y w a v e l e tp a c k e t m u t u a li n f o r m a t i o n c r o s se n t r o p y r e t r o s p e c t i v er e g l s t r a t i o n e v a l u a t i o np r o j e c t l a p l a c i a np y r a m i d o b ( i j 3 p p ( a ，6 ) 刚) 月“固 掣固 置 c e ( a , a ) 计算机x 射线断层造影成像 核磁共振成像 单光子发射型计算机断层成像 正电子发射型断层成像 数字减影血管造影 脑电图 小波包 互信息 交叉熵 回顾性配准评估项目 拉普拉斯金字塔 符号说明 数学形态学中为膨胀；小波包理论中为正交和 数学形态学中的腐蚀 结构元素 图像彳的边缘概率密度 图像a 和毋的联合概率密度 图像彳的熵 图像一和曰的联合熵 图像彳和口的互信息 自适应算子 图像彳和口的交叉熵 v 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导 下，独立进行研究所取得的成果。除文中已经注明引用的内容 外，本论文不包含任何其他个人或集体已经发表或撰写过的科 研成果。对本文的研究作出重要贡献的个人和集体，均已在文 中以明确方式标明。本声明的法律责任由本人承担。 论文作者签名：j 嶂 日 期： 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定， 同意学校保留或向国家有关部门或机构送交论文的复印件和 电子版，允许论文被查阅和借阅；本人授权山东大学可以将本 学位论文的全部或部分内容编入有关数据库进行检索，可以采 用影印、缩印或其他复制手段保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：翅u 睥导师签名：辛耄主聋日 期。 山东大学硕士学位论文 第一章绪论 本章对论文涉及的研究领域进行了较为详细的综述简要介绍了医学 图像配准与融合的研究目的和意义，给出了医学图像配准与融合的基本概 念和分类方法。在对医学图像配准与融合问题的起源、发展和研究现状进 行简要综述的基础上，分析了该领域存在的主要问题，进而引出了论文的 主要研究内容，最后对论文的章节安掉作了介绍。 1 1 课题研究的目的和意义 医学图像配准是将来自相同或不同成像方式的医学图像进行一定的变 换处理，使它们之间的空间位置、空间坐标达到匹配。配准的结果是使两 幅图像上所有的解剖点，或者至少是所有具有诊断意义的点及手术感兴趣 的点都达到匹配。医学图像融合就是将相同或不同成像设备所采集到的关 于同一部位的多幅医学图像，经过一定的处理，使它们的优点综合成一幅 图像。 随着医学影像工程和计算机技术的发展，医学成像已经成为现代医疗 不可或缺的一部分，其应用贯穿于整个临床工作，不仅广泛的应用于疾病 的诊断，而且在外科手术和放射治疗的计划设计、方案实施以及疗效评估 等方面都发挥着重要的作用。 由于不同设备的成像原理不同，i 临床诊断上出现了多种模态的医学图 像，这些图像反映了关于人体脏器和病变组织的不同信息。根据医学图像 所提供的信息内涵，可将医学图像分为两大类：解剖图像和功能图像。解 剖图像包括计算机x 射线断层造影成像( c o m p u t e r i z e dt o m o g r a p h y , c t ) 、核磁 共振成像( m a g n e t i cr e s o n f m c ei m a g i n g , m r i ) 和b 超等；功能图像包括单光子 发射型计算机断层成像( s i n g l ep h o t o ne m i s s i o nc o m p u t e dt o m o g r a p h y , s p e c t ) 和正电子发射型断层成像( p o s i t r o ne m i s s i o nt o m o g r a p h y , p e t ) 等。这两类图像 各有其优缺点：解剖图像以高分辨率提供了脏器的解剖形态信息，但无法 反映脏器的功能情况；功能图像可以提供脏器的代谢信息，可是图像的分 山东大学硕士学位论文 辨率较差。由此可见，不同成像技术对人体同一解剖结构所得到的形态和 功能信息是互不相同、互为补充的 在临床诊断中，单一模态的图像往往不能提供医生所需要的足够信息， 因此，需要将不同模态的医学图像进行适当的融合，使解剖信息和功能信 息有机地结合起来，在一幅图像上同时表达来自多种成像源的信息，以便 医生了解病变组织或器官的综合情况，并做出更加准确的诊断或制定出更 加合适的治疗方案而对几幅不同图像进行定量分析，首先要解决的就是 图像的严格对齐，即图像配准问题图像配准的效果直接影响着图像融合 的质量，因此只有准确的配准加上合适的融合处理才能为医生提供准确的 诊断依据 1 2 医学图像配准与融合的起源及发展 2 0 世纪8 0 年代初，随着c t 和m r i 等成像设备在临床诊断中的逐步 应用，在医学图像分析时常需要将不同模态的图像综合起来，进行临床分 析与判断。但是由于在医学成像时病人体位的差异以及图像特征的差别， 往往会造成判断误差。由此，人们开始寻求可以匹配各种模态医学图像的 技术和方法，即医学图像的配准医学图像配准的发展可以分为四个阶段： ( 1 ) 2 0 世纪8 0 年代初，医学图像配准主要是应用在数字减影血管造影 ( d i g i t a ls u b t r a c t i o n a n g i o g r a p h y , d s a ) 方面。采用基于图像灰度的方法，通过 检测相关性和灰度值的差异来决定刚性变换的参数。以上这些工作都是针 对二维图像，但是这种基于图像灰度的方法在关于三维图像的配准中仍是 一个研究的主要内容。 ( 2 ) 2 0 世纪8 0 年代中后期到9 0 年代初，临床医师和图像处理领域的专 业人员开始认识到可以对不同模态的图像进行信息融合，从而组建一个更 加简单实用的显示与分析平台。要达到这一目的，首先要处理的是将不同 模态图像上的点一一对应起来，也就是进行图像配准。这一阶段提出了一 些基于边界特征的配准方法，但主要还是采用刚性变换，范围也主要集中 在二维领域。 ( 3 ) 2 0 世纪9 0 年代，计算机硬件的飞速发展推动了图像配准在三维领域 2 山东大学硕士学位论文 的研究，主要采用的方法仍然是刚性变换的方法( 如采用欧氏距离最小化或 c h 锄断距离最小化的方法) 。同时在二维领域，单纯的刚性变换方法已经不 能满足人们的需求，特别是不同病人图像之间的配准以及病人图像和图谱 图像之间的配准，这就推动了人们对于非刚性变换方法的研究从仿射变 换开始，人们陆续推出了一些非线性的方法，如样条方法、弹性形变的方 法等等，并取得了一定的效果。 ( 4 ) 2 0 0 0 年，l i k a r 将互信息应用于弹性形变模型来配准肌纤维图像。 由于互信息配准方法不需要对不同成像模式下的图像灰度问的关系作任何 假设，也不需要对图像进行分割或任何预处理，因此它在医学图像配准领 域得到了普遍关注和广泛应用 近年来，针对医学图像的配准，国内外学者提出了很多算法，其中比 较有效的是基于最大互信息的医学图像配准方法该方法具有不需要对图 像进行预处理，自动化程度高等优点，被广泛应用于图像配准领域，但是 它有一个缺点就是易陷入局部极值。针对这一缺点，目前有一种新的研究 方向，就是试图将其他算法与互信息结合起来对图像进行配准，如基于最 大互信息与梯度信息的图像配准方法，基于最大互信息与边缘互方差的医 学图像配准方法等等。国内对医学图像配准的研究起步较晚，但近年来也 有了较大的进展。如中科院自动化研究所蒋田仔教授率领的研究队伍致力 于非刚体配准的研究，已有相当不错的研究成果【l 】，首都医科大学罗述谦教 授率领的研究队伍参加了r r e p ( r e t r o s p e c t i v er e g i s t r a t i o ne v a l u a t i o n p r o j e c t ) 项目，报道的配准精度相当高【2 1 ，其他从事相应研究的还有武汉大 学、华中科技大学、上海交通大学、东南大学和南方医科大学等多家研究 机构和高校 与医学图像配准技术相比，医学图像融合技术起步较晚。医学图像融 合的研究起始于2 0 世纪9 0 年。由于多模态医学图像融合的困难性，目前 医学图像融合仍然是国内外医学图像处理领域的研究热点。美国的e d i d a m e 研究小组开发了颅脑外科计算机虚拟可视化系统，将c t 和m r i 图像的刚 性、非刚性配准，进行了计算机图形建模；新加坡国立大学和美国j o h n s h o p k i l l 8 大学共同开发了一个交互式大脑图谱系统，用以寻找m i u 和c t 3 山东大学硕士学位论文 图像中的相应目标，进行图像可视化和实时处理 经过l o 多年的研究，医学图像融合技术已经应用到影像，诊断和临床 治疗中，并出现了商品化的融合软件系统和相应的机器设备。国外已经有 了产品化的融合软件系统，例如在临床上，将c t 图像和m r i 图像的融合应 用于颅脑手术可视化、颅脑放射治疗中【引，起到了很好的辅助作用；而将 脑电图( e l e c t r o e n c e p h a l o g r a p h y , e e g ) 图像与m i u 图像这种一、二维图像之间 的融合，应用于癫痫病的辅助治疗【4 】，也起到了较好的效果。 目前，图像融合主要用于体层成像，随着融合技术不断进步，在非体 层成像，如x 线平片、超声等二维图像，甚至三维重建的图像中的应用也会 逐渐增多另外，在医学图像的压缩、计算机辅助科学、图像存档及通信 系统、远程医疗等方面，图像融合技术都有巨大的发展空间。在图像融合 研究中，不断有新的方法出现，小波分析是近几年出现的一个新的研究热 点，它被认为是傅立叶分析方法的突破性进展。小波变换在空间和频率域 上都具有局域性，从而能通过伸缩平移等运算功能对信息进行多尺度的细 化分析，因而有“数学显微镜”的美誉小波变换在图像融合中的应用已有 不少报道【5 1 ，但大多是热图像和可视图像的融合，而在医学图像融合方面的 研究还比较少。小波变换用于图像融合有不少优点：图像经小波分解后， 不同分辨率的细节信息互不相关，这样可以将不同频率范围内的信息分别 组合，产生多种具有不同特征的融合图像；图像在不同分辨率水平上的能 量和噪声互不干扰；融合图像的块状伪影容易消除等基于这些优点，小 波变换在医学图像融合中的应用已经受到普遍重视，将是图像融合研究领 域的一个新热点。随着三维重建显示技术的发展，三维图像融合技术的研 究也越来越受到重视，三维图像的融合和信息表达，也将是图像融合研究 的一个重点同样，作为图像融合的先决条件，三维图像的配准也是研究 的新重点，尤其是基于有限元分析的非线性配准另外，神经网络和人工 智能技术也逐渐被应用到图像融合中来，利用人工智能，能够对图像进行 自动的分割和融合处理【6 ，7 1 ，这也是图像融合研究的一个新方向医学图像 融合是一个快速发展的应用技术，目前很多融合方法还仅限于对几个或几 十个病人的研究阶段，应用范围不是很广泛。随着理论研究的深入和技术 4 山东大学硕士学位论文 上的不断成熟，医学图像融合将会在计算机辅助诊断和治疗中起重要作用 1 3 医学图像配准与融合的分类 为了更好的实现医学图像的配准与融合，需要从不同的角度对医学图 像的配准与融合进行分类。根据划分标准的不同，医学图像配准方法有不 同的分类方式。常见的分类方式有以下几种： ( 1 ) 根据配准依据的不同，医学图像配准方法可分为基于外部特征的图 像配准( 有框架) 和基于图像内部特征的图像配准( 无框架) 。其中基于外部特 征的图像配准首先是在研究对象上设置标记点，并使这些标记点在不同的 影像模式中显示，然后再用自动、半自动或交互式的方法通过标记点将图 像配准。基于外部特征的图像配准，简单易行，易于实现自动化，能够获 得较高的精度，可以作为评估无框架配准算法的标准，但是对标记物的放 置要求很高，只能用于同一患者不同模态图像之间的配准，而不适用于不 同患者图像之间或患者图像与图谱之间的配准，不能对历史图像做回溯性 研究基于内部特征的方法是根据用户能够识别出的解剖点、医学图像中 相对运动较小的结构及图像内部体素的灰度信息进行配准。基于内部特征 的配准方法包括手工交互法、对应点配准法、结构配准法、矩配准法及相 关配准法基于内部特征的图像配准是一种交互性方法，可以进行回顾性 研究，不会造成患者的不适，所以基于内部特征的图像配准成为研究的重 点。 ( 2 ) 根据成像模式的不同，医学图像配准可以分为单模态配准和多模态 配准。单模态配准是指待配准的多幅图像是由同一种成像设备获取的，多 用于治疗前后的对比、疾病( 如癫痫) 发作期与发作问期的对比以及肿瘤或骨 骼的生长监测：多模态配准是指待配准的多幅图像是由不同成像设备获取 的，主要应用于神经外科的诊断，手术定位及放疗计划设计等。比如将m r i 、 c t 、d s a 等解剖图像与s p e c t 、p e t 和e e g 等功能图像进行配准，对癫 痫进行手术定位。 ( 3 ) 根据待配准图像维数的不同，医学图像配准可分为二维- - 维配准， 二维，三维配准，三维三维配准。二维z 维配准是两个断层层面图像间的 5 山东大学硕士学位论文 配准；二维三维配准是投影图像( 或者是单独的一个层面) 和空间图像间的 直接配准；三维，三维配准是两幅三维空间图像间的配准。 ( 4 ) 根据空间变换特性不同，医学图像配准可分为刚体变换、仿射变换、 投影变换、非线性变换刚体变换是指图像中任意两点间的距离在变换前 后保持不变，只发生了坐标轴的平移和旋转：仿射变换是指直线映射成直 线后，只保持了平行性而没有保持垂直性；投影变换是指直线映射成直线 后，既不保持平行性也不保持垂直性；非线性交换则是把直线映射成了曲 线。 与医学图像配准类似，医学图像融合也有不同的分类方式。常见的医 学图像融合分类方式有以下几种： ( 1 ) 根据融合级别的不同，图像融合可分为像素级、特征级和决策级三 种融合方法。像素级融合是在图像严格配准的基础上，直接进行像素关联 融合处理。特征级融合是在像素级融合的基础上，使用模式相关和统计分 析的方法进行目标识别、特征提取，得到融合结果。决策级融合则是在上 述两种处理的基础上，采用大型数据库和专家决策系统，模拟人的分析推 理过程，以增加判决的智能化和可靠性。 ( 2 ) 根据被融合图像成像模式的不同，医学图像融合可分为单模态融合 和多模态融合单模态融合是指同一成像方式的图像融合，如c t 图像与 c t 图像融合，m r i 图像与m r i 图像融合等；多模态融合是指不同成像方 式的图像融合，如s p e c t 与m r i 图像融合，p e t 与c t 图像融合等。 ( 3 ) 根据融合对象不同，医学图像融合可分为单样本时问融合、单样本 空间融合以及模板融合。单样本时间融合是指在一段时间内跟踪某一病人， 对其同一脏器所做的同种检查图像进行融合，可用于跟踪病情发展和确定 该检查对该疾病的特异性；单样本空间融合是指将某个病人在同一时间内 ( 临床上将一周左右的时间视为同时) 对同一脏器所做几种检查的图像进行 融合，有助于综合利用多种信息，对病情做出更确切的诊断；模板融合是 指将病人的检查图像与电子图谱或模板图像进行融合，有助于研究某些疾 病的诊断标准 ( 4 ) 另外，根据融合图像成像时间间隔不同，医学图像融合可分为短期 6 山东大学硕士学位论文 图像融合和长期图像融合例如为了跟踪肿瘤的发展情况，对某一病人l 一 3 个月内做的检查图像进行融合，就是短期图像融合；而对治疗效果进行评 估时，将治疗后2 3 年的图像与治疗当时的图像进行融合则属于长期融合 1 4 医学图像配准与融合存在的问题 由于医学图像配准具有一定的复杂性和困难性，尽管目前提出了许多 算法，但并没有一种配准方法能在各个方面都达到理想要求，在图像配准 上没有一个金标准。随着生物医学工程和计算技术的发展，医生迫切希望 对不同模态图像信息进行适当的集成，然而不同模态的医学图像成像原理 不同、分辨率不同、成像参数不同，如何使两幅图像上所有的解剖点，或 者至少是所有具有诊断意义的点都达到匹配仍是具有挑战性的研究课题。 另外，如何使配准具有更快的速度、更灵活的方法、更动态的跟踪以及更 广泛的应用等，也都是医学图像配准领域目前所面临的困难问题【鲥 同样，医学图像融合技术中也存在许多尚未解决的技术难题f 们首先， 由于各种成像系统的成像原理不同，其图像采集方式、格式以及图像的大 小、质量、空间与时间特性都有很大差别，因此研究稳定且精度较高的全 自动医学图像配准与融合方法是图像融合技术的难点之一；其次，图像理 解是医学图像融合的最终目的，图像融合的潜力在于综合处理各种成像设 备所得的信息以获得新的有助于临床诊断的信息由于图像融合技术目前 还是一个全新的研究领域，因此如何理解和利用这些新的综合信息，还需 要不断地试验和证明；最后，由于在实际图像融合时，许多差异都是未知 的，因此不可能达到绝对的最优。到目前为止，在多种多样的图像融合优 化准则中，很难说某一种准则一定比另一种好，特别是不存在一种绝对完 美的融合图像作为参考，因此进一步研究能够客观比较和评价不同方法融 合性能的标准也是亟需解决的问题之一。 目前多模态医学图像配准与融合方法中存在一些需要突破的难点： ( 1 ) 通用性相对较弱国外在多模态医学图像融合方面的研究较多，不 过大多数也还只是以少数病例为试验对象，并没有真正的普及到临床诊断 中 t o 1 2 】； 7 山东大学硕士学位论文 ( 2 ) 现有的配准方法，大多数只是针对刚体配准，涉及到软组织变形或 位移的图像配准方法还很少； ( 3 ) 建立切实可行的评估标准。由于配准采用的多幅图像基本上都是在 不同条件下获得的，所以没有绝对的评估标准，这使得配准方法之间的优 劣评估存在一定的困难【i3 1 。 1 5 论文的立题依据及主要内容 随着c t ，m r i ，s p e c t , b 藐像技术的不断发展和在临床上的应用，多模态医 学图像处理技术，特别是图像配准与融合技术，正越来越受到人们的重视。在 临床应用上，医生通常需要将同一个病人不同模态的成像结果综合起来进行分 析，以提高医学诊断和治疗的水平本课题基于目前医学图像配准与融合领域 存在的主要问题，结合临床辅助诊断的实际需要，对多模态医学图像的配准与 融合方法进行较为深入细致的研究和探讨，主要研究内容如下： ( 1 ) 研究了常用的医学图像配准方法，并在此基础上进行改进，提出了 基于形态学梯度和互信息的医学图像配准方法。在m a t l a b 环境下，采用 改进的方法对c t ，m r i ，s p e c t 等多模态医学图像进行配准，仿真结果表 明：采用本文改进的配准方法，可以明显地提高配准速度，且有效改善了 互信息配准中存在的局部极值问题，从而提高了配准精度 ( 2 ) 研究了常用的医学图像融合方法，在吸取小波融合优点的基础上， 提出了基于小波包和自适应算子的医学图像融合方法，并用此方法对两组 医学图像c o t 和m r i ，m r i 和s p e c t ) 进行融合。小波包分析继承了小波分 析的所有优点，同时在一定程度上还克服了小波分析不能兼顾信号高频部 分的弱点；白适应算子可以根据图像的具体情况自动调整权重系数，从而 避免了设置固定权重系数所造成的误差。 ( 3 ) 分别采用拉普拉斯金字塔变换、小波变换及小波包变换对两组医学 图像进行融合，并采用平均梯度、标准差、信息熵等评价准则对三种融合 方法的融合效果进行评估。结果表明：采用小波包分解的医学图像融合方 法，可以取得比其他两种方法更好的融合效果。 8 山东大学硕士学位论文 1 6 论文的结构安排 本文的内容分为六章，具体的章节安排如下： 第一章绪论：介绍医学图像配准与融合的研究意义、起源与发展以及 存在的问题；概括介绍了图像配准与融合的概念、分类以及论文涉及的主 要研究内容和工作。 第二章数学形态学与小波包理论基础：介绍数学形态学和小波包的定 义、运算等基本理论知识，为医学图像配准与融合的研究奠定理论基础。 第三章基于形态学梯度和互信息的医学图像配准方法：简单介绍了基 于互信息的图像配准方法，主要阐述了改进的医学图像配准方法，并按照 改进方法在m a t l a b 环境下进行仿真实验，对不同模态的医学图像进行配 准 第四章基于小波包变换和自适应算子的医学图像融合方法：简单介绍 了基于小波变换的医学图像融合方法，主要阐述了基于小波包变换和自适 应算子的医学图像融合方法，并对本文采用的融合方法进行仿真实验。 第五章实验结果分析与评估：介绍医学图像配准与融合的评价标准， 利用这些标准对本文所采用的配准与融合方法进行评价，并采用三种不同 的融合方法进行仿真实验，比较三种融合方法的融合效果。 第六章总结与展望：对论文的研究工作及取得的研究成果进行总结， 并展望了课题迸一步的研究方向。 9 山东大学硕士学位论文 第二章数学形态学与小波包理论基础 本章介绍医学图像配准与融合研究中用到的数学基础：数学形态学与 小波包理论 2 1 数学形态学 数学形态学是以形态为基础对图像进行分析的数学工具，其基本思想 是利用具有一定形态的结构元素去度量和提取图像中的对应形状，以达到 对图像进行分析和识别的目的i 。数学形态学是一种非线性变换，它是根 据图像处理的几何特点，通过选取结构元素实现图像的变换，这与傅立叶 变换、统计处理及卷积等传统方法相比，能够更好的提取反映图像结构方 面的一些特征。与其他方法相比，数学形态学的最大优点是能够将大量复 杂的图像处理运算转化成最基本的位移和逻辑运算的组合，便于并行处理 和硬件实现，使算法设计灵活，并大大提高图像处理的速度。 数学形态学研究图像几何结构的基本思想是利用一个结构元素去探测 一幅图像1 1 卯，看是否能将这个结构元素很好地填放在图像的内部，同时验 证填放结构元素的方法是否有效其基本思想可由图2 1 表示。结构元素的 选择与从图像中抽取何种信息有密切的关系，构造不同的结构元素，可以 完成不同的图像分析，得到不同的分析结果。 1 0 图2 1 数学形态学的基本思想 山东大学硕士学位论文 2 1 1 二值形态学 数学形态学首先处理的是二值图像，称为二值形态学。它将二值图像 看成是集合，并用结构元素来探察。二值形态学研究的对象是黑白图像， 所谓二值图像是指灰度只取两个可能值的图像，这两个灰度值通常取为0 和 1 。习惯上认为取值为1 的点集，对应于景物中的物体，而取值为0 的点集， 对应于背景f 1 6 l 。 二值腐蚀和膨胀是最基本的数学形态学运算，它们的定义如下： 用占表示结构元素，表示被处理的图像，则腐蚀和膨胀的定义分别为： 腐蚀： a o b = 协i ( 研，三田 ( 2 - 1 ) 上式表明彳用口腐蚀的结果是所有石的集合，其中口平移工后仍在彳中换 句话说，用b 来腐蚀4 得到的集合是曰完全包含在a 中时口的原点位置的集合 膨胀： a b = 仁i ( 曰l n 彳妒 ( 2 2 ) 上式表明用b 膨胀a 的过程是，先对0 作关于原点的映射( 功，再将其映 像平移工，这里a 与曰映像的交集不为空集。也就是说，用口来膨胀a 得到的 集合是p ) 的位移与4 至少有一个非零元素相交时占的原点位置的集合。 腐蚀具有使目标缩小、目标内孔增大以及外部孤立噪声消除的效果； 膨胀是将图像中与目标物体接触的所有背景点合并到物体中的过程，结果 是使目标增大、孔洞缩小、可填补目标中的空洞，使其形成连通域。 2 1 2 灰值形态学 灰值形态学是二值形态学的自然扩展，它将二值形态学中所用到的交、 并运算分别用最大、最小极值运算代替。灰值形态学可以通过本影变换与 二值形态学联系起来。 在灰度图像空间中，设4 ( x 是输入图像，6 ( f 力是结构元素，则灰度腐 蚀和灰度膨胀的定义分别为： 山东大学硕士学位论文 ( 1 ) 灰度腐蚀 o 旧6 ) 瓴) ，) = r a i n a ( x + f ，) ，+ d 一6 ( f ，力i 一o + y + j ) 彳，6 ( f ，力毋 ( 2 - 3 ) ( 2 ) 灰度膨胀 ( 彳。撇，力= m a x a ( x - i , y - d + b 0 ，d 1 4 0 - i , y - j ) e 助( f ，d e 毋 ( 2 4 ) 下面分别用灰度腐蚀和灰度膨胀对m r i ，c t 图像进行处理，观看它们 的作用效果。灰度腐蚀的作用效果如图2 2 所示，其中( a ) ，( b ) 的结构元素如 图2 3 所示 m r i 图像 腐蚀( a )腐蚀( b ) c t 图像腐蚀( a )腐蚀( b ) 图2 2 两组医学图像的灰度腐蚀 lll lll lll ll ll l lllll lllll lllll lllll 图2 3 结构元素 山东大学硕士学位论文 比较上面的图像，可以看到，腐蚀的结果与结构元素的选取有关，如 果结构元素选的足够大，那么腐蚀的时候可以将浅色背景上的杂质全部去 掉，然而由于腐蚀对整幅图像的灰度值都进行改变，因此如果结构元素选 得过大，那么图像的灰度失真将会非常严重。所以应当选择合适的结构元 素对图像进行处理，既不能过大，也不能过小具体的选择要根据抽取图 像的何种信息而定