（通信与信息系统专业论文）基于小波包变换的医学ct和mri图像融合研究.pdfVIP

学位论文主要创新点 1 本文针对小波包变换相比小波变换的优势，对基于小波变换的 医学图像融合进行改进，实现了基于自适应算法和小波包变换的医学 图像融合。 2 如果对于融合的结果不满意，传统方法缺少改进的过程。本文 采用主观客观评价方法，实现基于小波包变换的医学图像融合的反馈 系统。 摘要 医学图像已成为诊断各种疾病重要的技术手段，它从视觉角度为医生及研究 人员提供了丰富、直观、定性及定量的人体生理信息。医学图像信息融合是当代 信息科学、计算机技术和医学影像科学相结合的一个研究课题。 目前，基于小波变换的图像融合已经有了深入的研究，小波包变换是基于小 波变换的进一步发展，能够提供比小波变换更高的分辨率。小波包分解与小波分 解相比，是一种更精细的分解方法，它不仅对图像的低频部分进行分解，还要对 图像的高频部分进行分解。 为了满足医学研究、诊断和治疗需求，本文采用基于小波包变换和主观客观 评价标准的医学图像融合算法。在医学图像融合应用中，最终的受益者是人，医 学融合图像的结果的判断最终是由人根据医学上诊断及治疗需求来决定。因此， 人眼的视觉特性是极为重要的考虑因素。主观评价方法就是依靠人眼对融合图像 效果进行主观判断，从临床诊断角度来分析融合结果。由于主观评价的重要性， 本研究加入了用户自主选择是否满意及改进方向的选择，形成了基于小波包变换 的主观客观评价标准的系统。实验结果表明，基于小波包和主观客观评价标准的 医学图像融合系统各个参数明显优于小波变换，具有实用性和准确性。 关键词：医学图像融合；小波包；主观评价；反馈系统 a b s t r a c t t h em e d i c a li m a g eh a sb e e na ni m p o r t a n tt e c h n o l o g yf o rd i s e a s ed i a g n o s e s i t p r o v i d e sw i t hr i c h ，v i s u a l i z e d ，q u a l i t a t i v ea n dq u a n t i t a t i v ei n f o r m a t i o no nh u m a n p h y s i o l o g yf o rd o c t o r sa n dr e s e a r c h e r sf r o mt h ea n g l eo fv i s i o n t h em e d i c a li m a g e f u s i o ni sar e s e a r c hs u b j e c tc r o s s i n gc u r r e n ti n f o r m a t i o ns c i e n c e ，c o m p u t e rt e c h n o l o g y a n dm e d i c a li m a g i n gs c i e n c e n o w a d a y s ，t h ei m a g ef u s i o nb a s e do nt h ew a v e l e tt r a n s f o r mh a sb e e nd e e p l y s t u d i e d t h ew a v e l e tp a c k e tt r a n s f o r mi st h ed e v e l o p m e n to f w a v e l e tt r a n s f o r m ，w h i c h i sa b l et oo f f e rt h er e s o l u t i o nb e t t e rt h a nt h el a t t e r c o m p a r e dw i t ht h ew a v e l e t d e c o m p o s i t i o n ，t h ew a v e l e tp a c k e td e c o m p o s i t i o ni sam o r ei n t r i c a t ed e c o m p o s i t i o n m e t h o d , w h i c hc o n d u c t st h ed e c o m p o s i t i o nn o to n l yo nt h el o w - f r e q u e n c yp a r to f i m a g eb u ta l s oo nt h eh i g h f r e q u e n c yp a n i no r d e rt om e e tt h er e q u i r e m e n t so ft h em e d i c a lr e s e a r c h ，d i a g n o s i sa n d t r e a t m e n t , an e wa l g o r i t h mf o rt h ei m a g ef u s i o nb a s e do nt h ew a v e l e tp a c k e t t r a n s f o r mc o m b i n e dw i t hb o t hs u b j e c t i v ea n do b j e c t i v ea s s e s s m e n t si sp u tf o r w a r di n t h ep a p e r i nt h ea p p l i c a t i o no ft h em e d i c a li m a g ef u s i o n ，p e o p l eb e n e f i tf r o mi t u l t i m a t e l y t h ej u d g m e n to nr e s u l t so f t h em e d i c a li m a g ef u s i o ni sd e t e r m i n e df m a l l y b yh u m a n ，a c c o r d i n gt ot h em e d i c a ld i a g n o s i sa n d d e m a n df o rt r e a t m e n t s a sar e s u l t , t h ev i s u a lc h a r a c t e r i s t i co fn a k e de y eo fh u m a nb e i n gi sav i t a lc o n s i d e r a t i o n n e s u b j e c t i v ea s s e s s m e n ti st oa n a l y z er e s u l t so ft h ef u s i o nf r o mt h ea n g l eo fc l i n i c a l d i a g n o s i sb a s e do nt h es u b j e c t i v ej u d g m e n to nt h ee f f e c to ft h ef u s e di m a g eb y m a c r o g r a p h y i nc o n s i d e r a t i o no ft h ei m p o r t a n c eo ft h es u b j e c t i v ea s s e s s m e n t , t h e s a t i s f a c t i o no fu s e r si n d e p e n d e n tc h o i c ea n ds e l e c t i o no ft h ei m p r o v e m e n td i r e c t i o n a r ea d d e dt ot h es t u d ya n dt h u sac l o s e df e e d b a c ks y s t e mi se s t a b l i s h e dw i t ha n i n t e g r a t i o n o ft h e s u b j e c t i v ea n do b j e c t i v e a s s e s s m e n t a si n d i c a t e db yt h e e x p e r i m e n t a lr e s u l t , p a r a m e t e r so ff e e d b a c ks y s t e mf o rt h em e d i c a li m a g ef u s i o n b a s e do nt h ew a v e l e tp a c k e tc o m b i n e dw i t ht h es u b j e c t i v ea n do b j e c t i v ea s s e s s m e n t s i ss i g n i f i c a n t l ys u p e r i o rt o t h a to ft h ew a v e l e tt r a n s f o r m ，w i t hp r a c t i c a b i l i t ya n d a c c u r a c y k e yw o r d s ：m e d i c a li m a g ef u s i o n ；w a v e l e tp a c k e t ；s u b j e c t i v ea s s e s s m e n t ； f e e d b a c ks y s t e m 目录 第一章绪论1 1 1 课题研究背景、意义和出发点l 1 2 国内外研究现状。1 1 3 本文的研究内容简介2 第二章医学图像融合5 2 1 图像融合的简介。5 2 2 图像融合系统的分类5 2 3 医学图像成像原理及显像的特点。7 2 4 医学图像融合简介9 2 5 医学图像融合的分类。9 2 6 图像融合的重大意义1 0 2 7 本章小结1 1 第三章医学图像融合的步骤和配准技术1 3 3 1 医学图像融合的一般步骤1 3 3 2 图像配准1 4 3 2 1 配准的基本框架1 4 3 2 2 常用的图像配准技术1 6 3 3 医学图像的配准1 6 3 3 1 互信息定义1 6 3 3 2 图像互信息计算1 7 3 3 3 最大互信息理论1 7 3 3 4 图像配准的步骤。19 3 4 本章小结2 l 第四章图像融合效果质量评估2 3 4 1 主观评价方法2 3 4 2 客观评价方法2 4 4 2 1 基于信息量的客观评价方法2 4 4 2 2 基于统计特性的客观评价方法2 5 4 2 3 基于信噪比的客观评价方法2 6 4 2 4 基于梯度值的客观评价方法2 7 4 3 本章小结2 7 第五章基于小波包变换的医学图像融合2 9 5 1 小波变换2 9 5 1 1 窗口傅里叶变换2 9 5 1 2 基础小波3 0 5 1 3 连续小波变换3 l 5 1 4 离散小波变换。3 2 5 2 多分辨率分析与m a l l a t 算法3 2 5 3 常用的几种小波基函数3 4 5 4 紧支撑双正交小波基的构造3 5 5 5 小波包的基本理论3 9 5 6 小波变换和小波包变换图像融合分析4 0 5 7 基于自适应算子的医学图像融合4 3 5 7 1 权重系数的设定4 3 5 7 2 常见的低频系数融合规则4 3 5 7 3 常见的高频系数融合规则。4 4 5 7 4 融合规则的设计4 4 5 8 实验结果4 6 5 9 本章小结4 8 第六章基于小波包的医学图像融合的反馈系统4 9 6 1 基于自适应算子医学图像融合的局限性4 9 6 2 图像融合的反馈系统4 9 6 2 1 改进方法。4 9 6 2 2 基于主观客观评价标准的图像融合系统5 0 6 3 基于小波包变换的医学图像融合步骤5 l 6 4 实验结果5 2 6 5 本章小结。5 8 第七章工作总结与展望5 9 7 1 工作总结5 9 7 2 进一步工作及展望5 9 参考文献。6 1 硕士期间发表论文6 5 致谢6 7 2 第一章绪论 第一章绪论 1 1 课题研究背景、意义和出发点 小波变换被誉为数学显微镜【l 】，小波理论被认为是对傅里叶分析的重大突 破，它已成为从应用数学到信号与图像处理等众多领域的研究热点。而小波包变 换是基于小波变换的迸一步发展【2 l ，小波包分解与小波分解相比，是一种更精细 的分解方法，它不仅对图像的低频部分进行分解，还要对图像的高频部分进行分 解【3 】，因此成为研究领域的研究重点。 随着医学成像技术的迅猛发展，医学图像已成为诊断各种疾病重要的技术手 段，它从视觉角度为医生及研究人员提供了丰富、直观、定性及定量的人体生理 信息【4 】 而医学图像融合技术可以更准确地、有效地确定病灶部位。 医学图像信息融合是将当代信息科学、计算机技术和医学影像科学相结合的 一个研究课题，也成为医学图像处理学科的新的研究热点。目前这些影像学的检 查己是疾病诊疗中重要的不可缺少的手段与工具。若将两种成像类型组合，各取 其长、互补其短，这将更为完善，大大提高其准确性，这就是医学图像融合的根 本出发点。 本文从这种背景出发，对医学图像融合的相关问题进行研究，针对现行算法 存在的不足，探讨更为有效、便捷、人性化的算法，具体思路如下g ( 1 ) 分析医学图像的成像机理，得知源图像的特点和物理意义； ( 2 ) 分析融合目的； ( 3 ) 利用多尺度变换工具分析源图像空间分布情况； ( 4 ) 根据源图像的信息和融合目的，确定处理方法； ( 5 ) 利用提出的算法对源图像进行融合处理； ( 6 ) 对融合图像进行评价。 1 2 国内外研究现状 图像融合技术早期被应用于多光谱卫星遥感图像的分析和处理中。2 0 世纪 8 0 年代初期，d a i l y 、l a n e r 和t o d d 进行了雷达图像、l a n d s a t - m s s 图像的融合 实验。到8 0 年代后期，图像融合技术开始引起人们的关注，并应用于地质、气 候等遥感光谱图像的合成中。9 0 年代后，随着多颗遥感卫星j e r s 1 、e r s 1 、 r a d a r s a t 等的出现，图像融合技术成为遥感图像处理研究的热点，除遥感图像的 天津工业大学硕士学位论文 融合外，图像融合也应用于医学图像融合等领域。近年来，图像融合技术已经成 为计算机视觉、自动控制、机器人、目标识别跟踪、军事应用等领域的关键技术 之一。 在国外，i 也a n u t p l 【5 提出应用f f t 算法计算互信息值进行图像配准技术； d i b a m e a 等提出了用模板差值测量相似度的图像配准方法，相比f f t 算法计算互 信息值的技术具有更好的性能：b a r r o w 等提出应用距离变换与c h a m f e i 匹配技术 确定图像配准的控制点；h m a i t r e l e l 6 】等提出基于自回归模型的设计方法，适用 于几何畸变大的图像；f l u s s r 针对变形图像的配准又提出了一种自适应的映射方 法，自动分割两幅图像，使得分割后的两幅图像相应子块间有较大的相似度，再 从子块之间的空间位置关系来进行源图像的配准。在医学图像融合技术方面，美 国的研究小组e d i d a m e 开发了颅脑外科计算机虚拟可视化系统；新加坡国立大学 和美国j o h n sh o p k i n s 大学合作开发了交互式大脑图谱系统。在国内，图像处理技 术起步较晚，但近几年也取得了显著地进步。例如郭海涛等人提出的将遗传算法 【7 】用于图像配准的算法。 现有的图像融合方法中，大部分都是对图像的成像机理和具体的融合目的进 行综合分析，仅仅从图像本身入手，并没有根据具体需求得到更有针对性的算法。 因此，这些算法不能满足实际需求，解决实际问题。 1 3 本文的研究内容简介 本文共八章，组织结构如下： 第一章简单地介绍了图像融合的发展情况。介绍国内外图像融合的研究现状 及他们所取得的成绩；介绍本文的主要研究内容和安排。 第二章进行医学图像融合的综述，包括图像融合和医学图像融合的概念、意 义和分类，以及医学图像成像原理及显像的特点。 第三章综述医学图像融合的一般步骤，着重讲述配准技术，包括配准的基本 框架：特征空间、搜索空间、搜索策略和相似性度量；最大互信息理论的图像配 准技术；并介绍一种基于最大互信息理论的配准算法。 第四章介绍图像融合效果质量评估方法，包括主观评价方法和客观评价方 法，并将客观评价方法分为：基于信息量的评价、基于统计特性的评价、基于信 噪比的评价和基于梯度值的评价。 第五章对小波变换和小波包变换的基本理论进行详细的阐述，包括各种小波 基的优劣和紧支撑双正交小波基的构造。分析基于小波变换和小波包变换的医学 图像融合基本步骤；引入自适应算子，介绍常见的高频、低频系数融合规则；选 取适合的融合原则，设计基于自适应算子的小波和小波包融合算法；运用前文中 2 第一章绪论 设计的算法进行小波和小波包算法的对比实验，分析实验结果。 第六章设计基于小波包的医学图像融合的反馈系统。包括分析基于自适应算 子融合的局限性；设计基于小波包变换的医学图像融合反馈系统的具体步骤；进 行反馈算法的实验，分析实验结果。 第七章为研究工作的总结和展望，总结本文完成的主要工作和取得的成果， 并提出进一步工作及展望。 3 天津工业大学硕士学位论文 第二章医学图像融合 第二章医学图像融合 在医学图像领域，根据不同的诊断部位和诊断要求，出现了多种医学影像 成像系统，不同的成像系统可以提供不同的医学信息。如何充分利用这些不同的 信息，并为医生提供更有效、准确的信息，成为一个重要的研究领域。 2 1 图像融合的简介 通常，图像融合是指将来自不同探测器的多特征图像进行合并，除去图像 间的冗余信息，保留不同图像的有用信息，从而得到一个包含被测物体更完整信 息的图像8 1 。它使得新图像更加适合人的视觉感知，或者满足诸如图像处理中的 分割、特征提取、目标识别的需要【9 1 3 】。图像融合与其他融合相比，处理方法上 更具有特殊性。 2 2 图像融合系统的分类 按照图像融合信息抽象层次的分类，图像融合的处理通常可在以下三个不同 层次上进得1 5 j 。 1 像素级融合 基于像素的图像融合称为像素级图像融合，是底层的图像融合方法，它可以 尽可能多地保留源图像的场景信息。通过多幅图像的像素级图像融合，像素级融 合可以提供特征级融合和决策级融合所不具有的细节信息，达到增加图像中像素 级的信息的目的。参与融合的各组图像既可能来自多个不同类型的图像传感器， 也可能来自同一图像传感器。单一图像传感器提供的各个图像也有可能来自于不 同观测时间或空间( 视角) ，或是空间不同、时间相同光谱特性的图像。与单一传 感器获得的图像相比，像素级图像融合后的图像包含的信息不仅丰富、精确、可 靠、全面，而且更有利于图像的进一步分析、处理与理解。像素级图像融合可以 为图像融合工作提供最优决策及识别性能。在某些情况下，如对于由不同成像模 式得到的医学图像进行像素级图像融合之前，则可能需要先对参加融合的各个源 图像进行图像预处理，比如图像的配准、增强、去噪和彩色空间变换等，其目的 是保证图像的可融合性和融合后的效果。其中图像的降噪、增强并非必需的，但 对源图像的配准以及彩色空间变换( 对于彩色图像融合而言) 是往往是必不可少 的。像素级图像融合过程如图2 1 所示。 5 天津工业大学硕士学位论文 j 图像卜 i 图像2 卜 预 图像 像素 特征分类 处 级别 提取 - - - i , ,_ 结果 理 配准 融合 决策 l 图像n 卜 图2 1 像素级图像融合过程 2 特征级融合 特征级图像融合是中间层次的图像融合，它是利用从各个传感器图像的原始 信息中提取出的特征信息进行综合分析和融合处理。通过特征级图像融合既可以 增加从图像中提取的特征信息，还可能获取有益的复合特征。在图像的像素信息 中抽象、提取出的特征信息中，可用于图像融合的特征有边缘、角、纹理等。在 特征级图像融合过程中，图像配准的不要求如同像素级图像融合那样严格。特征 级融合的优势在于实现了相当数量的信息压缩，提高了实时性。由于提取的特征 与 息 据 网 t ai - - ：j ，卜7 孓j j7 i , i1 4 - 、, 、1 47 队i ? 1 厶、y 气n i 刀il up lt 厶、低1 人l j - 1 匕 z 凡1 t ：王 ：级图像融合过程如图2 2 所示。 图像l 图像特征 i 图像2 - 结果 预 特征 配准融合 处 理 提取 圃傣一 i 司1 拳1 1 图2 2 特征级图像融合过程 6 第二章医学图像融合 3 决策级融合 决策级图像融合是最高层次的融合处理。在进行融合处理前，先分别对从各 个传感器获得的源图像进行预处理、特征识别及判决，对同一目标建立初步的判 决和结论；再对来自各个传感器的决策进行处理；最终，从决策级的融合处理中 得到最后的联合判决。决策级融合充分利用了来自各个图像的首次决策，直接针 对具体的决策目标。由于各传感器的决策只是符号或者数据，因此，决策级图像 融合与前两种融合方法相比，对图像的配准要求很低。由于对预处理及特征抽取 要求较高，因此决策级融合的代价也相应较高。决策级图像融合有容错性好和实 时性好的优点，当一个或几个传感器同时失效时，一般仍能给出最终的正确决策。 决策级图像融合过程如图2 3 所示。 i 图像1 - _ l 图讹卜 预 图像决策 处 特征 特征配准 - 结果 融合 理 提取分类 。擒 e 基琢n 图2 3 决策级图像融合过程 表2 1 为三种像素级层次、特征级层级和决策级层次各方面性能的比较。 表2 - 1 三种融合层次对比 2 3 医学图像成像原理及显像的特点 医学图像从视觉角度为医生及研究人员提供了丰富、直观、定性及定量的人 体生理信息，成为诊断各种疾病重要的技术手段。因为不同模式的设备对人体内 组织、分子、原子灵敏度和分辨率都不同，所以它们有各自的优势和局限性。各 7 天津工业大学硕士学位论文 类医学成像的成像原理及特点如表2 2 所示。 表2 2 各种医学图像成像原理及特点 名称成像原理 成像特点 单光子发使用核素9 9 t c ”的标记物注入人体，人体各器s p e c t 可反映组织、器官的血 射式计算官对标记物摄取量不同，放出粒子，当退 流状况、代谢水平，对肿瘤病 机断层图 回到基态时发射的) ，光子不同，探测器探出不变呈现“热点”。在脑功能、 像s p e c t同的) ，光子而进行结构功能成像，是当前较为心功能、肿瘤诊断，骨转移诊 成熟的一种核素成像技术。断上都有显著的优势。 正电子发 当前应用最多的1 8 f 标记的脱氧葡萄糖即p e t 适于对神经系统功能的研 射式计算博f f d g 。1 8 f 放出的正电子与组织中的究，但图像的分辨率往往很差 机断层图电子湮没辐射产生的两个5 1i k e v 的y 光子， ( 约5 m m ) ，难以得到精确的 像p e t 测出5 1 1 k e v 的1 ，光子多少而成像。解剖结构和立体定位，也不易 分辨组织、器官的边界。 在给病人注射血管成像剂之前获得一副图像d s a 可清晰反映人体心、脑血 a ，注射成像剂之后，再获得一副图片b ，这 管分布情况，对诊断各种动、 数字血管时的血管成像和图像a 不一样，两幅图片相 静脉畸形及血管瘤等有重要 剪影d s a减，图像相同的部分就会完全消失，剩下不 价值。但它不能显示周围结构 同的部分即血管，这样就达到了血管成像的以及病灶的空间位置。 目的。 c t 用很细的x 线束检测人体的横断面，透过c t 图像的最大特性是由图像 人体的x 线束的强度是与沿射束的人体吸收重建算法算出的各像素的密 c t 图像系数的积分值的指数成反比的。所以，对透 度分解能力很高。骨骼组织与 射x 线的强度取对数，就可以求得吸收系数的 软组织的差别较大，在c t 图 线积分值f 1 6 1 。 中骨骼组织图像清晰明亮。 对热平衡状态下的自旋集团加一共振频率的 在核磁共振成像中，质子是生 电磁波，在自旋方向反转的同时，各个自旋 物组织中含量最丰富的一种 m r i 图像 由于经典力学式的共振，其相位与电磁波的核，容易产生较强的核磁共振 相位一致，成为集束状，会产生宏观上的磁信号，所以目前主要用质子来 化矢量，其放出的信号是宏观上的，可以利实现生物活体的成像。由于骨 用通常的检测方法进行测量。若切断电磁波， 骼组织中的质子密度较低，所 被激励起来的自旋集团，由于自旋之间以及以获得的m 图像中软组织 与周围的作用，逐渐返回到原来的热平衡状明亮清晰，而骨骼组织不清 态中去。在这种场合，将会发生如下所述的晰。 8 第二章医学图像融合 两种现象，也就是：一个是由于自旋方向反 转而引起的所谓纵向弛豫现象；另一个是当 由于共振现象而集束起来的自旋束，从取向 整齐变到七零八落状态时产生的所谓横向弛 豫现象。核磁共振图像法是以横向弛豫的特 征时间较大，纵向弛豫的特征时间较小的液 体状态下的质子自旋为对象的。实际应用中， 是靠测定共振谱来进行的。 2 4 医学图像融合简介 如今影像学的检查己是疾病诊疗中非常重要的手段与工具，如果将两种不同 的成像类型组合，取长补短，这将使检查结果更为完善，大大提高诊断准确性， 这便是医学图像融合的根本目的和出发点。 医学图像融合主要有三个步骤：第一步，源图像要经过一系列必要的转换处 理；第二步，进行图像配准，使它们的空间位置和坐标达到匹配，为融合做准备； 第三步，信息综合显示即实现融合。医学图像融合可以更为合理地利用医学信息 资源，可以通过弥补医学图像信息不完整、部分信息不准确所引起的缺陷，使医 生在临床诊断和治疗、放疗及外科手术的定位和计划设计、疗效评估等方面更加 全面和精确。由此，通过提高影像诊断的准确性，便可以增强临床治疗水平，另 外还可以合理利用各种成像方法进行配合，达到节约医疗资源，降低医疗成本， 提高诊疗效率和准确率，实现医患双赢的目标。除此以外，医学图像还可以提高 图像置信度，提高清晰度，改善监测性能和空间分辨的能力，最大限度发掘医学 图像的信息资源，满足医生和患者的需要，同时也有利于分析和判断其生物机理 和含义，更能为研究人体的功能和结构等方面提供充分的信息。 2 5 医学图像融合的分类 医学图像融合按照不同的图像成像模式可以将分成三种，即单模融合、多模 融合和模板融合。 1 单模融合 由相同成像方式所获得的图像进行融合称为称单模融合，也可以称为同类方 式融合。所谓的相同成像方式是指待融合的两幅源图像是由同一成像设备获得 的。单模融合主要应用领域有对同一患者治疗进度的判断、疾病发作期和未发作 间期的对比、肿瘤是否恶化、转移等。例如，可以通过将不同系数设定得到的多 9 天津工业大学硕士学位论文 张m r i 图像融合用来区分不同组织，通过图像序列的融合可以得到微生物、细 胞及亚细胞粒子的形态、运动等信息，另外将m r i 图像序列融合可以达到测试 脑功能的效果。将一个病人的同一器官在治疗的各个阶段进行的同种检查图像融 合，便可以跟踪病情的发展，确定此项检查对该疾病诊断的特异性，并确定治疗 方案。在肿瘤诊治中单模融合也十分重要，它可以分析不同时间的p e t 图像分 判断新生肿物、经放射治疗后纤维化的肿瘤及转移灶。 2 多模融合 由多个成像设备得到的两幅或是多幅医学图像进行融合称为多模融合，或是 交互融合。多模融合主要应用于病灶的诊断、定位和手术的设计等等。 常见的有c t 图像和m 砌图像的融合，它们利用不同的成像原理得到同一 病灶的图像，经过融合后弥补了仅仅一种图像的不足，提供了更全面、准确的信 息。 3 模板融合 将病人的医学成像和模板进行融合的过程称为模板融合。这种融合方法同样 适用于不同患者间的融合。模板可以是采集的图像，也可以是解剖或是生理图谱 甚至为病人本身的图像。比如，在确定待诊断者某一处是否正常时，可以将待诊 断的医学成像与典型正常人的成像进行比对。如果发现异常，还可以进一步将该 病人的图像与疑似疾病的典型图像对比，确定患者是否患有与模板图片相同的病 症。 2 6 图像融合的重大意义 虽然各种模态的医学图像是可以从不同角度反映人体信息，但是单独从某一 种医学图像中无法得知全面的诊断信息。不同的成像系统成像原理不同，因此它 们的采集方式、分辨率、图像的大小、层面厚度及图像清晰度、空间与时间特征 差别较大。例如，c t 、m r i 等形态医学图像的空间分辨率达到毫米级，而p e t 、 s p e c t 等功能图像分辨率为厘米级的。因此图像融合的工作就是要综合处理应 用各种成像设备所得信息。 对于同一器官各种成像设备会得到不同的信息，但是从这些图像中可以观察 到数据之间存在冗余性与互补性。数据之间具有很强的相关性，称为图像的冗余 性，由不同的成像设备观测同一目标获得的图像数据之间具有很大的冗余性：由 于不同成像设备成像原理不同，因此得到的图像数据各有特点，称为互补性。 图像融合就是减少图像数据间的冗余性，增加图像数据间的互补性。优势在 于可以减少分析数据的复杂度，充分利用图像间的互补性，更充分完整地反映人 体信息。 l o 第二章医学图像融合 以c t 与m 刚的医学图像融合为例，分别分析c t 图像和m 图像的特点： c t 体现人体组织对x 线的吸收，其中骨骼组织的吸收系数最大，因此c t 中骨 骼组织最为清晰。m 刚体现人体组织的质子密度，因此m 对中软组织的信息最 清晰。 c t 图像虽然可以反映人体中的骨骼信息，但是从单独一种c t 图像中无法 得到软组织信息，因而得到无法全面地诊断；而m 刚图像可以清晰地反映人体 中的软组织信息。如果将这两种图像信息综合表征在一起，去除由同一部分所带 来的冗余性，充分利用这两种图像的互补性，便可以从更全面的信息中了解病变 组织或器官的数据，从而做出准确的诊断或制定出合适的治疗方案。 对c t 与m r i 图像进行融合处理，可以在一副完整的图像中，获得骨骼组织 和软组织均清晰的图像1 7 。2 0 】。所以对c t 与m r i 图像进行图像融合处理可以为临 床提供更有效的辅助诊断手段，这就是融合的意义。 2 7 本章小结 本章介绍图像融合的概念，图像融合的三个不同层次：像素级融合、特征级 融合和决策级融合，以及它们各自的特点和对比。介绍各种医学图像的成像原理， 医学图像融合的步骤、分类及研究意义。 本章通过对各种融合层次的介绍和各类医学图像的成像原理及意义等，为后 文的研究选取了融合层级和对象。像素级图像融合可以提供特征级融合和决策级 融合所不具有的细节信息，达到增强图像中像素级信息的目的。在众多医学图像 中，c t 图像中骨骼组织信息最清晰，m r i 图像中软组织信息最清晰，很适合称 为一组图像融合的原图像。因此，本文选取在像素级融合下进行c t 图像和m 刚 图像的融合研究。 天津工业大学硕士学位论文 第三章医学图像的步骤和配准技术 第三章医学图像融合的步骤和配准技术 图像配准的定义为2 1 】：对从不同传感器、不同时间、不同角度所获得的多 幅图像进行最佳匹配的处理过程。 图像配准是医学图像、三维重构、机器人视觉、目标识别、遥感图像处理的 基本组成部分，也是信息融合首先要解决的问题。 3 1 医学图像融合的一般步骤 将聊个源图像分别进一些预处理和图像配准后，进行相应的特征变换( 如 小波变换等) ，然后对获得的每一幅原始图像的特征( 即小波系数等) 采用合适 的方法进行融合得到融合后图像的特征，最后对所得到的融合图像的特征进行逆 变换，就得到了融合结果。 预处理是图像配准的准备工作，主要包括对一些常见的图像去噪、图像增强 等图像平滑处理。如果每次对同一探测器官图像得到的总灰度值是相同的，则认 为图像是理想的，但是在现实中，噪声是不可避免的，它或多或少都对图像有影 响，而图像平滑处理则是要处理掉这些孤立的噪声。为了使图像更加平滑，一般 采用的方法是领域平均法。邻域平均法是利用图像信息间的相关性和噪声间的不 相关性，用相邻像素值的平均值来定义每一点的像素值，具体来说，就是不考虑 每个像素点是否存在噪声，总是将前一行的扫描与本行扫描得到的灰度值求平均 值。另外，图像的预处理还要统一图像的格式、大小以及分辨率，对断层图像进 行三维重建并显示，建立数学模型。 进行图像处理前一个重要步骤就是进行图像分割，图像分割就是将图像中感 兴趣的部分提取处理的过程，它也是图像处理的基础，图像分割的优劣直接影响 图像处理的结果。医学图像的图像分割一般是指将病灶等感兴趣的部分提取出 来，便于医生诊断和治疗。它一般分为两个步骤：一是分割，即将图像分解成多 个小区域；二是标注，即区分各个区域的生理意义。在三维重建中，图像分割也 是提高准确率的关键技术。特征提取是图像分割的关键，也是进行图像分析的关 键。特征提取可以看作是对图像的某一属性进行数学建模的过程，它可以将图像 问题定量分析处理，这样便可以更加精确地、客观地、高速地描述目标的特征及 特征值的变化。 有两种不同的方法可以对图像进行分割。一种方法是直接分析图像感兴趣 区域( r o i ) 中生理特征，图像中的轮廓、边、表面，或统计性特征如中心或力 天津工业大学硕士学位论文 矩常量，或跳跃性特征如高曲率点、角落、线的交叉点与这些特性相互对应，然 后利用先验知识选择一定的分割阈值的方法，采取手动、半自动或自动的方式对 图像进行分割，这样图像的几何特征即可得出，即目标轮廓信息，这就是大家所 熟知的目标性状分析。第二种方法是采用特征点。所谓特征点一般包括内特征点 和外特征点。内特征点一般选取如耳蜗尖端拐点，血管的相交点或分叉点等一些 相对运动较小的解剖标记点即目标内部的分布( 纹理) 特征及其光密度。外特征点 一般是由附加标记物( 在两幅图像中都可检测到的) 和标记点( 加在病人皮肤上 的和立体定位框架上的) 。 3 2 图像配准 图像配准技术是图像融合的基础，也是公认难度较大的技术。医学图像配准 是指通过空间变换，使得待配准的图像对应点处空间及解剖结构完全一致。 图像图像配准的方法有两种：第一种是有框架的，即基于外部特征的图像配 准：第二种是无框架的，即基于基于图像内部特征的图像配准，这种方法如今成 为配准算法的研究重点。 依据匹配特征的选取方法和层次的不同，匹配方法大致可以分为三类： 1 充分利用图像信息直接用源图像进行像素值匹配。这种方法的缺点是信 息量大，从而引起计算量大、复杂度高；对图像间的微小变化都很敏感，从而对 结果产生很大的影响，即抗干扰和噪声的能力很差。因此，这样方法只适用于具 有完全相同的外界条件下得到的图像进行精准的配准【2 2 】。 2 利用图像的特征进行匹配。这些特征包括边缘、角点、骨架等进行匹配。 这种方法的关键是寻找一些适合的特征【2 3 】，因此适应能力相比第一种方法更强， 对细微 3 度优先 则是对 于辨认 3 2 1 1 特 度的配 法中， 第三章医学图像的步骤和配准技术 特征空间的选取对图像配准有着重要的意义，因为特征空间不仅直接关系到 图像中的哪些特征对配准算法敏感和哪些特征被匹配，而且大体上决定了配准算 法的运算速度和鲁棒性等。 理想的特征空间应满足以下条件： 1 ) 特征提取简单快捷； 2 ) 特征匹配运算量小； 3 ) 特征数据量合适； 4 ) 不受噪声、光照度等因素影响； 5 ) 对各种图像均能适用。 2 搜索空间 搜索空间是指在配准过程中对图像进行变换的范围及变换的方式。图像的变 换范围可以分为三类：全局的、局部的和位移场的。全局变换是指整幅图像的空 间变换都可以用相同的变换参数表示。局部变换是指在图像的不同区域可以有不 同的变换参数，通常的做法是在局域的关键点位置上进行变换参数，在其他位置 上进行插值处理。位移场变换是指对图像中的每一像素点独立地进行参数变换， 通常使用一个连续函数来实现优化和约束。 图像的变换方式可以分为线性变换和非线性变换两种形式。线性变换又可以 分为刚体变换( r i g i db o d yt r a n s f o r m a t i o n ) 、仿射变换( a f f i n et r a n s f o r m a t i o n ) 和投射变换( p r o j e c t i v et r a n s f o r m a t i o n ) 。非线性变换一般使用多项式函数，如二 次、三次函数及薄板样条函数，有时也使用指数函数。 3 相似度度量 相似性度量是衡量每次变换结果优劣的准则，用来对变换结果进行评估，为 搜索策略的下一步动作提供依据。 相似性度量和特征空间、搜索空间紧密相关，不同的特征空间往往对应不同 的相似性度量；而相似性度量的值将直接决定配准变换的选择，以及判断在当前 所取的变换模型下图像是否被正确匹配了。通常配准算法抗干扰的能力是由特征 提取和相似性度量共同决定的。 常用的相似性度量有互信息、归一化互信息、联合熵、相关性、欧氏距离、 梯度互相关等。 4 搜索策略 搜索策略的任务是在搜索空间中找到最优的配准参数在搜索过程中以相似 性度量的值作为判优依据。 由于配准算法往往需要大量的运算，而常规的贪婪搜索法在实践中是无法接 受的，因此设计一个有效地搜索策略显得尤为重要。搜索策略将直接关系到配准 天津工业大学硕士学位论文 进程的快慢，而搜索空间和相似性度量也在一定程度上影响了搜索策略的性能。 常用的搜索策略有黄金分割法、b r e n t 法、抛物线法、三次插值法、p o w e l l 法、遗传算法、蚁群算法、牛顿法、梯度下降法等。 3 2 2 常用的图像配准技术 基于图像特征的配准方法中，常用的图像特征包括点特征、直线段、边缘、 轮廓、闭合区域以及统计矩等。特征提取方法可分为点特征提取算子( 如h a r r i s 算子、s u s a n 算子) 、线特征提取算子( 如l o g 算子、c a n n y 算子和面特征提 取算子，主要通过区域分割) 。随着图像分割、边缘检测等技术的发展，基于边 缘，轮廓和区域的图像配准方法逐渐成为研究热点。一般来说，基于特征的方法 往往具有操作简单、配准速度较快、精度较高等优点，但同时具有需要人工干预、 特征点难获取等缺点。由于图像分割的精度和评价都没有确切的标准，加上医生 会有主观因素的影响，所以通过图像分割技术来最终确定图像特征存在较大的问 题。 基于灰度的配准方法是利用整幅图像的灰度值来度量两幅图像之间的相似 性。然后，通过搜索方法寻找使相似性度量最大或最小值点，从而确定两幅图像 之间的变换模型参数。常见的算法有最大互信息法、相关法、条件熵法、联合熵 法等。相对于图像分割的方法，对图像的灰度进行处理的灰度的配准方法，可以 避免主观因素所带来的影响，也可以避免由图像分割引起的误差，配准结果只取 决于配准方法本身。由于这些优点，这种方法已经广泛应用到多模的图像配准中， 成为医学图像配准的重要研究方法。但基于灰度的配准方法也存在一些缺点，如 计算量大、配准时间长、对缩放旋转和扭曲等较敏感、忽略了图像的空间相关信 息等。 3 3 医学图像的配准 3 3 1 互信息定义