（计算机应用技术专业论文）多模态医学影像融合技术的研究和应用.pdf

多模态医学影像融合技术的研究和应用摘要 【摘要】 近年来，信息融合已经在多个应用领域得到了关注，而作为信息融合的一个 分支，医学图像融合技术也被广泛应用在影像诊断、临床治疗中。在临床上， c t 图像和m r i 图像的融合应用于颅脑放射治疗、颅脑手术可视化中，起到了很 好的辅助作用。另外，脑的s p e c t 或p e t 图像与c t 或m r i 图像的融合在研究 血流、代谢、受体分布，以及原发或复发肿瘤的探察等方面均起到了重要作用。 在图像融合的研究中，不断有新方法出现，但是并没有统一有效的方法适用于人 部分的临床案例。本文从图像对齐技术分类、处理过程、案例实施以及融合流程 等几个方面进行了研究，主要工作成果为： 首先，本文对医学影像融合技术进行分析、总结；对图像对齐的主要技术、 算法进行归纳、分类；并通过分解图像对齐的基本处理过程，逐步分析了数据准 备、误差修正、基本变换处理以及准确度评估等方面的问题，总结并提出了相应 的解决方案。 其次，考虑到图像对齐是医学图像融合的最重要的环节之一，通过对典型的 网0 体对齐案例进行分析，其中包括功能磁共振图像对齐，p e t 与m i u 图像对齐， m r i 与c t 图像进行对齐，提出了实施对齐的有效技术路线和方案；之后分析了 月前尚未成熟的非刚性目标对齐技术，进行了初步的总结。 最后，本文提出了一套清晰、可行的融合流程方案。这个方案建立在小波多 层分解的理论基础上，结合特征分类、自组织神经网络分类，以及模糊聚类等多 方面技术，尝试建立了人脑信息融合的模拟框架，并结合理论与临床的双方面需 求，引入融合效果评估准则。通过对一个典型的医学影像融合案例实施过程进行 分析，并进行对齐和融合效果评估，本文提出的方案的可行性最终得到了验证。 关键词：医学影像；图像对齐；图像融合；相关相位法；小波变换 中图法分类号：t p 3 9 1 4 童塑查堕兰丝垡墅鱼垫查盟型塑塑! 兰旦 垒! ! ! ! ! ! ! a b s t r a c t i nr e c e n ty e a r s ，i n f o r m a t i o nf u s i o nh a so b t a i n e dw i d ea t t e n t i o ni nm a n ya p p l i c a t i o n f i e l d s ，w h a t sm o r e ，a sab r a n c ho fi n f o r m a t i o nf u s i o n ，w i t hr e c e n tm a n yy e a r s r e s e a r c h ，m e d i c a l i m a g i n gf u s i o nt e c h n i q u e sh a sb e e nw i d e l ya d o p t e di nt h ef i e l d so fi m a g i n gd i a g n o s i sa n dc l i n i c a l t h e r a p y i nt h ec l i n i c a la s p e c t ，c t - m r if u s i o ni m a g e sh a db e e na p p l i e di nt h es k u l lb r a i nr a d i a t i o n t h e r a p ya n ds u r g e r yv i s u a l i z a t i o n t h e r ea l ee m e r g i n gm a n yn o v e lm e t h o d o l o g i e si nt h er e s e a r c h f i e l do fi m a g ef u s i o n ；h o w e v e r , n o n ec a l lb et a k e na su n i f ya n de f f e c t i v em e a n st h a tf i tf o rt h e m a j o r i t yo fc l i n i c a lc a s e s t h i sp a p e rp e r f o r m e dr e s e a r c hi n s e v e r a la s p e c t s ，i n c l u d i n gi m a g e r e g i s t r a t i o nt e c h n i q u e s ，p r o c e s s i n gp r o c e d u r e ，c a s ei m p l e m e n t a t i o n ，a n df u s i o nw o r k f i o w , a n dt h e m a j o rr e s e a r c ha c h i e v e m e n ti sl i s t e da sb e l o w ： f i r s t l y , t h r o u g ht h es u m m a r i z i n ga n da n a l y s i so nm e d i c a li m a g i n gf u s i o nt e c h n i q u e s 、 c l a s s i f i c a t i o no fm a j o ra l g o r i t h ma n dt e c h n i q u eo fi m a g er e g i s t r a t i o nh a sb e e nd o n e i nt h em e a n t i m e ，t h r o u g hd e c o m p o s i n gt h eb a s i ci m a g er e g i s t r a t i o np r o c e s s i n gp r o c e d u r e ，s e v e r a la s p e c t s ， i n c l u d i n gd a t ap r e p a r i n g ，e r r o rv e r i f i c a t i o n ，b a s i ct r a n s f o r m a t i o na n dp r e c i s i o ne v a l u a t i o n ，h a v e b e e nc a r r i e do u ts u b s e q u e n t l y , w h i l ec o r r e s p o n d i n gs o l u t i o nw e r ep u tf o r w a r d s e c o n d l y , c o n s i d e r i n gt h a ti m a g er e g i s t r a t i o ni so n eo f t h ei m p o r t a n tk e yt e c h n i c a ln o d e s o fm e d i c a li m a g ef u s i o n ，e f f e c t i v et e c h n i c a ls o l u t i o n sa n ds c h e m e sw e r ep r o p o s e d ，b a s e do nt h e a n a l y s i so nc l a s s i c a l c l i n i c a l r i g i dr e g i s t r a t i o nc a s e s ，w h i c hi n c l u d e s f u n c t i o n a lm a g n e t i c r e s o n a n c e ( f m r i ) i m a g er e g i s t r a t i o n ，p e t - m r ii m a g er e g i s t r a t i o n ，a n d m r i c ti m a g e r e g i s t r a t i o n s u b s e q u e n t l y , t h r o u g ha n a l y z i n gt h ei m m a t u r en o n - r i g i do b j e c tr e g i s t r a t i o nt e c h n i q u e ， l o n g - t e r ms i g h t i n gs u m m a r yw e r eg i v e n f i n a l l y ，as e to fc l e a rm a de f f e c t i v ef u s i o nw o r k f l o ws o l u t i o nw e r ep r o p o s e d ，w h i c hw a s b u i l to nt h eb a s i so fw a v e l e tm u l t i - l a y e rd e c o m p o s i t i o nt h e o r y , w h i l s ti n t e g r a t es e v e r a lo t h e r a s p e c t so f t e c h n i q u e s ，i n c l u d i n gf e a t u l eb a s e dc l a s s i f i c a t i o n ，s e l f - o r g a n i z i n gn e u r a ln e t w o r k sb a s e d c l a s s i f i c a t i o na n df u z z yc l u s t e r i n g ，e t e ，t h ef r a m e w o r ka t t e m p t st oe s t a b l i s ht h es i m u l a t i o no f h u m a nb r a i n si n f o r m a t i o nf u s i o np r o c e d u r e ；w h i l er e f e r r i n gt ot h e o r e t i c a la n dc l i n i c a ld u a l r e q u i r e m e n t ，f u s i o ne f f e c te v a l u a t i o nr u l ew e r ei n t r o d u c e d a tl a s t ，a n a l y s i sa n de v a l u a t i o no ft h e e f f e c to fr e g i s t r a t i o na n df u s i o nh a sb e e nd o n e ，i nt h ei m p l e m e n t a t i o np r o c e d u r eo fac l a s s i c a l m e d i c a li m a g i n gf u s i o nc a s e ，w h i c hv a l i d a t e st h ef e a s i b i l i t yo fp r o p o s e ds o l u t i o na n dw o r k f l o w k e yw o r d s ：m e d i c a li m a g i n g ，i m a g er e g i s t r a t i o n ，i m a g ef u s i o n ，p h a s er e l a t e dm e t h o d o l o g y w a v e l e tt r a n s f o r a m t i o n 多模态医学影像融合技术的研究和应用 第1 章引苦 1 1 研究背景 第1 章引言 从1 9 世纪术期伦琴发现x 线以来，已经历了三个世纪的影像医学一直是临 床诊断信息的重要来源之一。根据医学图像所提供的信息内涵，可将这些信息分 为两大类：解剖结构图像( c t 、m r i 、b 超等) 和功能图像( s p e c t 、p e t 等) 。 这两类图像各有其优缺点，由成像原理不同所造成的图像信息局限性，使得单独 使用某一类图像的效果并不理想，医学影像学对这个问题的解决方案有两个：其 一是研制一种新的成像设备；其二是研究一种新的影像处理方法，图像融合技术 就是这个需求的产物。 最初图像融合是指相同或不同成像模式( i m a g i n gm o d a l i t y ) 所得图像经过必 要的几何变换，空间分辨率统- - f n 位置匹配后，进行叠加获得互补信息，增加信 息量。而现在图像融合的研究范围包括：图像对齐、融合图像的显示和分析，利 用从对应解剖结构图像( m r i ，c t ) 获取的先验信息对放射型数据( s p e c t , p e t ) 做 有效的衰减校正、数据重建等。 据文献报道，针对临床应用，在图像对齐技术上目前尚未找到一种确保完全 通用有效的方法。为使医学图像融合对齐更精确，生产厂商将功能性成像系统和 结构性成像系统设计在同一套系统上。通用电器公司( g e ) 的h a w k e y e 将c t 球管 安装在双探头具有符合探测功能的s p e c t 系统中，x c t 球管、探测器及放射性 核素探头装在同一旋转机架上，患者可同时进行c t 和e c t 检查。得到的x 线 图像不仅可以用来与s p e c t 图像进行融合，还可以通过不同软组织及骨骼对x 线与y 光子的不同衰减比例因子，由c t 值计算线性衰减系数，进行s p e c t 的 衰减校正。相比于此，图像融合的研究设想由来已久，但真正开始入手是从九卜 年代以来随着计算机技术、通讯技术、传感器技术、材料技术等的飞速发展而起 步和发展起来的，取得一些突破性的成果只是近几年的事。 1 2 研究意义 图像融合技术是影像医学的又一次飞跃和革命，它通过电子计算机的处理， 将不同的图像相加、重叠，互相融合在一起，形成一幅新的图像。融合过程不是 简单的图像叠加，而是通过不同的软件、硬件进行数据转换、进行像素大小和分 多模态医学影像融台技术的研究和应用 第1 审引言 层的匹配，进行图像空间对齐与配准等，从而使不同影像相互完善和优势互补， 增加信息量，形成全新的影像资料，称为解剖一功能影像。对于能同机采集不同 影像和进行图像融合的新型显像仪器，称为功能分子影像设备或多功能影像系 统，如c t s p e c t 、p e t c t 、p e t m r i 设备。通用电气( g e ) 公司在1 9 9 9 年首先 将c t 球管安装在双探头具有符合探测功能的s p e c t 系统中，x c t 成像元件和 放射性核素探头装在同一旋转机架上，在一次检查中患者可同时进行c t 和 s p e c t 检查。 由于不同医学成像设备的成像机理不同，其图像质量、空间与时问特性有很 大的差别。因此，要实现医学图像的融合，图像数据转换、图像数据相关、图像 数据库和数据理解都是要解决的关键技术。 图像融合中的重要一环是相关图像的对齐，也称图像配准。理想情况下，图 像融合应能够实现所研究图像精确的点到点对应，然而在实际应用中，图像分辨 率越高，图像细节越多，实现点到点的一一对应也就越困难；并且，事实e 由于 各种客观或人为因素，用医学图像获得1 0 0 真实的脏器信息是不可能的，医学 图像设备总是在不断地完善以求所得图像能更接近脏器的真实情况。图像数据库 完成典型病例和典型图像数据的建档、管理和信息提取，它是图像融合的数据支 持。数据理解是医学图像融合的最终目的。图像融合的潜力在于综合处理应用各 种成像设备所得信息以获得新的有助于临床诊断的信息。由于图像融合技术目前 还是一个全新的研究领域，因此，如何理解和利用这些新的综合信息，还需要不 断的实验和证明。 图像对齐是公认难度较大的图像处理技术，也是制约着医学图像融合技术的 发展和医学图像融合软件实用化的技术难关。近年来，医学界和影响学界发展或 衍生出了许多图像对齐方法，其中： 在外部定位装置方面，s h u k l a 等【8 ”。w 9 2 和m a l i s o n 等【m m 。m + 9 3 1 分别通过在目 标体上覆盖可检测到的附加标记物，利用不同的手段，并辅以计算机程序确定出 配对层面。原则上外部定位法可用于对齐任何模式的图像，而且对齐精度很高， 在c t m r i 中，定位精度大约在1 2 m m 以内，缺点是在使用这些标志时，受试 者都要在扫描装置内严格保持不动，有些还是介入性的，对患者带来一定的痛苦。 在曲线法方面，b a t l e r t b p c 9 2 1 对二维投影放射照片首先用人工的方法在两幅图 像中寻找对应的开曲线以及一组对应点来匹配来幅图像。g u e z i e c 和 a y a c h e a g t g 9 3 】对齐c t 体积图像系列时，用图像强度的导数自动提取脊线，然后 用连续的样条近似这些离散的曲线并计算瞌率和扭矩。 p e l i z z a r i 和c h e n 研究的“头帽法”是基于表面的对齐技术典型的例子，p o w e l l 探索算法被用来寻求所需的几何变换，许多学者对该算法作了重要改进，例如用 多模态医学影像融合技术的研究和麻用 第1 章引言 多分辨金字塔技术克服局部极值问题；用距离变换拟合两幅图像的边缘点的斜面 匹配技术可有效地计算距离变换。 借用经典力学中物体质量分布的概念，汪家旺等w 8 l w 0 1 1 用基于l e g e n d r e 矩 的方法融合c t 和m r 医学图像。该方法对数据的缺失较敏感，即要求整个物体 必须完整的出现在两幅图像中，所以多用于作粗对齐，使两幅图像初步对齐，可 以减少后续主要对齐方法的搜索步骤。 图像间相似性最大化的原理也可以用来实现图像问的对齐，其中相似性测度 可以是多种多样的，例如相关函数、相关系数、差值的平方和或差的绝对值和等。 由于要对每种变换参数可能的取值都要计算一次相似性测度，相关法的计算量十 分庞大，一些学者在这方面做出了努力。例如，用相位相关傅里叶法估算平移和 旋转参数；用遗传算法和模拟退火技术减少搜索时间和克服局部极值问题，及用 傅里叶不变性和对数变换分解变量的互相关技术。 在应用最大互信息法对齐的研究中，w o o d s l w m c 9 3 】使用给出参考像后测试图 像的条件熵作为对齐的测度，c o l l i g n o n t c ”o ”+ 9 5 、s t u d h o l m e l 8 “h 9 6 1 等人用互信息 作为多模医学图像的对齐的测度，如果两幅图像几何上对齐的话，它们对应体素 对的强度值的互信息最大。由于该方法不需要对两种成像模式中图像强度间关系 的性质作任何假设，也不需要对图像作分割或任何预处理，所以被广泛地用于 c t m r 、p e t m r 等多种对齐工作。 图谱方法作为图像匹配的一个重要应用，特别是对研究工作而占，对来自不 同个体的图像进行匹配是有重要意义的。而通过医学图像和医学图谱之间的匹 配，可以把来自医学图谱的语法的和或语义的信息映射到不同患者个体的图像 上去。图谱匹配方法的一个直接的应用就是实现医学图像的自动识别和正确地分 割。 图像对齐以后，还要进行图像的融合，在进行医学图像信息融合之前，一般 要根据医学专家的意见，对已对齐的图像进行预处理，分别从两幅图像中提取所 需信息而融合得到一幅新图像。融合目的和成像设备不同，融合方式都不太一样。 l ：kt 女h 文献 w s l w 0 1 1 在c t 图像中显示m r 病灶，其方法是：根据m r 图像中病 变区域的灰度范围与正常组织的灰度范围的不一致，首先采用狄度阈值分割技术 进行闽值处理；再对经过闽值处理后的图像进行中值滤波，以消除边缘附近的噪 音；再用边缘追踪技术提取出病变的边缘，将病变部分识别出来，然后在c t 图 像上融合显示。 理论上，图像融合的步骤大致为：特征提取，设计误差评估方法，对图像数 据进行处理使误差最小，将变换后的图像数据进行对齐和综合显示，分析综合数 据。其中对齐技术是图像融合的关键和难点，也是医学影响学图像数据融合中亟 多模态医学影像融合技术的研究和应用 待解决的问题；而且当前的融合流程纷繁复杂，研究出一套清晰、有效的流程， 对图像融合的理论研究是具有一定意义的。 在实际应用中，在医学影像设备的发展中，功能图像和解剖图像的结合是一 个发展趋势，图像融合将得到进一步的发展，势必给临床诊断带来一场新的变革。 因此，图像融合技术水平、精准度的提高是追不及待的。而且对于不同模式的医 学影像的对齐案例，对齐方法也应该是有针对性的；除此以外，提供一个比较有 效的融合流程对于对齐后图像的处理、融合图像的展示也是十分必要的。 针对图像对齐以及数据融合在医学影像学领域应用过程遇到的种种问题，通 过大量的实验数据，本文提出了典型对齐案例的实施策略，以及一个清晰、有效 的对齐后图像融合流程，以期能够实现一个可行的医学影像融合框架，在临床中 实时地为医学专家提供计算机辅助诊断任务。本文所涉猎到的典型对齐技术路 线、标准融合流程几乎涵盖了当前已有的绝大部分医学影像融合算法、系统所涉 猎的模型和思想，并有一定程度的总结、创新，具体的模型设计在第四、五章都 有详细的描述。 1 3 本文的研究工作 伴随着医学影响融合技术研究、应用的不断深入，相关于图像对齐、融合的 新方法也层出不穷，但是迄今为止尚未有一种统一有效的方法适用于大部分的临 床案例，本文从图像对齐技术分类、处理过程、案例实施以及融合流程等几个方 面进行了研究。主要研究工作为： 1 ) 通过对医学影像融合技术进行的总结、分析，针对图像对齐的主要技术、 算法进行分类；并通过分解图像对齐的处理基本过程，逐个分析了数据准备、误 差修丁f 、基本变换处理以及准确度评估等方面的问题，总结并提出了相应的见解 和解决方案。 2 ) 考虑到图像对齐是医学图像融合的最重要的环节之一，通过对典型刚体 案例目标的特点分析，包括功能磁共振图像对齐，p e t 与m r i 图像对齐，m r i 与c t 图像进行对齐，提出了实施的有效技术路线和方案；之后分析了目前尚未 成熟的非刚性目标对齐技术，进行了初步总结 3 ) 提出了一套清晰、可行的融合流程方案，这个方案建立在小波多层分解 的基础上，并结合了特征匹配、自组织神经网络分类以及模糊聚类等多方面技术， 尝试模拟了人脑信息融合的框架，并结合理论与临床的双方面需求，引入融合效 果评估准则。最后对一个典型的医学影像融合案例实施过程进行分析，通过对齐、 融合效果准确度评估，本文提出的方案的可行性得到了最终的验证。 4 多模态医学影像融台技术的研究和应用 第l 章弓【茸 1 4 论文结构 本文共分为六章，每章的主要内容介绍如下。 第1 章简要地论述了本文的立论意义、医学影像学的发展背景、挑战、研究 方向；然后，介绍了本文主要的研究内容及成果；最后，给出了本文的整体组织 结构。 第2 章介绍了医学影像融合技术。论述了影像融合的研究对象、基本方法和 主要技术；其中分类详细说明现今融合技术的各项技术要点。第2 章是第3 、4 、 5 章的研究基础。 第3 章针对影像融合技术中的重要一环对齐技术的算法的研究和实际 应用做了总结、归纳，提出了几个在实施过程中常见问题的解决方案和基本策略， 总结了对齐技术的基本概念、技术分类、数据获取、图像展示以及算法评估等方 面的问题；对一些关键处理技术做了详细的阐述。 第4 章讨论了图像对齐在具体实施过程所可能遇到的典型案例，针对刚性目 标对齐应用中常见的f m r i 序列图像、p e t - m r 图像对齐、m r j c t 图像对齐等 实施案例进行分析，并提出有针对性的解决方案和技术路线；接下来对融合技术 的难点非刚体目标对齐进行了讨论。 第5 章提出了一个图像融合处理流程，分别介绍了特征级别的融合、基于自 组织神经网络、小波分解技术、模糊融合等主要技术环节，并对融合效果评估准 则进行讨论，阐述了医学融合的前景；最后通过对一个实际的医学影像融合案例 进行分析，对实验数据获取、预处理、处理流程的分段叙述以及与其他方法的对 比验证，对本文提出的实施方案、融合流程做出评估。 第6 章是讨论与小结部分，进行本文工作总结并指出了未来的研究方向。 多模态医学影像融台技术的研究和应用 第2 章医学影像融合技术 第2 章医学影像融合技术 医学影像学从诞生之同起就是临床诊断信息的重要来源之。随着医学影像 学蓬勃发展，它能够为临床提供更多、更全面的有助于诊断的信息。根据医学图 像所提供的信息内涵，解剖结构图像( c t 、m 融、b 超等) 和功能图像( s p e c t 、 p e t 等) 这两类图像各有其优缺点：功能图像分辨率较差，但它提供的脏器功能 代谢信息是解剖图像所不能替代的；解剖图像以较高的分辨率提供了脏器的解剖 形态信息，但无法反映脏器的功能情况。目前这两类成像设备的研究都己取得了 很大的进步，图像的空间分辨率和图像质量有很大的提高，但由成像原理不同所 造成的图像信息局限性，使得单独使用某一类图像的效果并不理想，需要研究一 种新的影像处理方法，图像融合技术就是这个需求的产物。 2 1 图像融合的研究对象 最初图像融合是指相同或不同成像模式( i m a g i n gm o d a l i t y ) 所得图像经过必 要的几何变换，空间分辨率统一和位置匹配后，进行叠加获得互补信息，增加信 息量。而现在图像融合的研究范围包括：图像对位、融合图像的显示和分析，利 用从对应解剖结构图像( m r i ，c t ) 获取的先验信息对发射型数据( 8 p e c t , p e t ) 做 有效的衰减校正、数据重建等。 2 2 图像融合的基本方法 按图像融合对象的来源可分为同类图像融合( h m e r - m o d a l i t y ，如 s p e c t - s p e c t ，c t - c t 等等) 和异类图像融合( i n t e r - m o d a l i t y ，如s p e c t - c t ， p e t - m r i 等等) ，对多种来自不同类别的医学图像进行融合的技术通常成为多类 融合，或多模念医学图像融合技术( m u l t i m o d a l i t ym e d i c a li m a g i n gf u s i o n ) 。 按图像融合的分析方法可分为同一患者的图像融合、不同患者问的图像融合 和患者图像与模板图像融合。 按图像融合对象的获取时间可分为短期图像融合( 如跟踪肿瘤的发展情况时 存1 3 个月内做的图像进行融合) 和长期图像融合( 如进彳亍治疗效果评估时进行 的治疗后2 3 年的图像与治疗后当时的图像进行融合) 。 临床工作人员根据自己的研究目的不断设计出更多的融合方式。 6 多模态医学影像融合技术的研究和应用第2 章医学影像醢| ! 台技术 2 3 图像融合的主要技术 图像融合的步骤大致为：特征提取，设计误差评估方法，对图像数掘进行处 理使误差最小，将变换后的图像数据进行对位和综合显示，分析综合数据。其中 对位技术是图像融合的关键和难点，而且，融合的步骤会困相关算法的侧重点不 问而有些不同，譬如侧重基于概率、模糊的后期融合阶段的研究方式，会将对齐 处理作为默认已经完成的步骤而不予考虑，特别是在影像采集条件较为完善、目 标稳定的条件下，后期融合处理的步骤也是十分关键的。 2 3 1 特征提取 特征提取可分为内部特征提取和外部特征提取。内部特征主要是人体解剖结 构特征，如颅骨、脊柱、胸骨、肋骨、关节；膈下软组织，如脾、肝、肾等等。 外部特征是为进行融合处理而特制在两幅图像上均可见的体表标记物。据文献报 道使用的外标志物有进行脑图像融合的头罩、牙环，胸部、腹部图像融合采用的 背带，四肢图像融合采用的支架，甚至颅骨嵌入螺钉等等。 采用内部特征的优点是不需要对患者做预处理，可进行多次融合方法分析， 缺点是难以实现融合自动化处理，需要人工干预，融合的精确性往往与经验有关。 外部特征的优点是特征明确，易于进行计算机自动处理，缺点是预处理复杂，并 且由于体位而引起的脏器与体表标记之间的位移误差难以避免。 另外，在基于内部特征提取的研究过程中，因为可以理解为针对图像的处理， 一些经典的图像特征匹配、抽取算法可以加以应用，譬如模板匹配、轮廓跟踪、 神经网络训i 练等。 2 3 2 误差评估方法 对于医学图像融合的误差，其来源可分为两部分，其一是扫描误差，由于仪 器本身固有的偏差，或是扫描目标的位置偏差两造成的融合原始误差；另一方面 是由于融合流程中由于对齐过程、特征提取以及模糊加合等算法本身的缺陷引入 的误差，对于后一种误差的处理方式，常用的有基于相似度的误差评估方法( 以 相似度最大为最优) 和基于距离的误差评估方法( 以距离最小为最优) 。关于误 差的分析解决策略将在第3 章中予以阐述。 多模态医学影像融合技术的研究和应用第2 章医学影像融合技术 2 3 3 图像处理 图像预处理包括图像格式处理，滤波处理，亮度处理，原始误差矫正，几何 变换校正( 主要包括尺度变换、平移、旋转等) ，以及对于有条件的图像( 数据 量丰富的三维图像或是分辨率高的二维平面图像) 进行重新断层分层( r e s l i c e ) 以 确保图像在空间分辨率和空间方位上的大体接近等。 2 3 4 图像的对位 图像对齐是从空间坐标、位置、尺寸角度考虑将两幅或多幅待对齐图像进行 空间的对齐，它也是图像融合过程中十分重要的一环。其主要过程可以描述为： 将经过预处理的图像以误差最小的原则进行对位。以外部特征进行对位的方法以 两幅图像上的特征点对齐为对位成功。以内部特征进行图像对位法主要有两种： 图像分割对齐和像素特征对齐。 1 图像分割对齐法分为曲线法和表面法，在目前实际应用中较多采用。因 分割算法通常是半自动的，需人为参与，其对齐的精度受限于分割的精度。理论 上此法可以用于全身各部位的对齐，但通常用于神经系统成像和矫形外科成像。 a ) 、曲线法是将一些具有几何特征的线条( 如脊线) 或栅格提取出来进行对 齐，曲线法要求图像有较高分辨率，以便提取几何特征。 b ) 、表面法的代表算法是“头帽法”：从一幅图中提取一组轮廓点作为“帽 子”，从另一幅图中提取表面模型作为“头”，然后使用p o w e l l 搜索算法( 使帽 点和头表面间的距离平均平方和最小) 来确定变换关系。采用表面匹配技术可以 对s p e c t 和p e t 的心脏图像进行对位融合。 2 像素特征对齐法：像素特征对齐法与其它内部特征对齐方法不同之处在 于它是以图像狄度为对齐依据，不需要对图像原始数据进行预归纳或预分割。其 常用算法有主轴矩对齐、全图像信息对齐和图谱法对齐。 a ) 、主轴矩对齐是将图像灰度内容转换为数量和方向的几何表示。目前大多 是从零阶及一阶矩中计算出图像的质心及主轴，再通过平移和旋转使两幅图像的 质心和主轴对齐，达到对齐目的。此法对于数据缺失比较敏感，细节丢失或形状 的病理性改变均会影响对齐结果。但此法实现了自动化，且十分快捷，易于移植， 目前多用于粗对齐。 b ) 、全图像信息对齐是在对齐全过程中使用全部图像信息，使用的算法有区 域相似性测量法、最大互信息法、相关法、联合熵法、条件熵法等。此方法适用 性最广，它不象其它内部特征法那样需先进行灰度图像的信息压缩提取，而是在 多模态医学影像融合技术的研究和应用 第2 章医学影像融合技术 对齐过程中利用所有可获得的信息。 c 1 、图谱法用于患者间的图像对齐。同一解剖结构的形状、大小、位置都会 因解剖和生理上的个体差异有很大不同，这就使患者间的图像对齐问题成为当今 医学图像分析中的最大难题。因此就要有一个详细标记人体各个解剖位置的标准 化图谱。用图谱法对两个患者的p e t 或m r i 图像进行比较时，首先把二者的图 像都映射到一个标准化的图谱空间去，然后在此空间中进行比较。使用内部特征 定位不需外加定位装置，但要求两副图像要有相似结构或共同体位特征才可进行 匹配。定位的精确度是由具体的算法来决定的。 2 3 5 融合数据的分析 图像融合的最终目的是要将单模多幅或多模图像以统一空间、特征位置角度 更明确、综合的展示给使用者或机器，可以将这个过程简要描述为以某种算法将 融合图像数据综合显示并做定量分析。融合图像有多种直观的显示方法。常用的 有断层显示法和三维显示法。融合图像的显示往往以某个图像为基准，该图像用 灰度色阶显示，另一个图像迭加在基准图像上，用彩色色阶显示，此外还有 1 ) 断层显示法：对于某些( 得到原始数据) 图像融合，可以将融合的三维 数据以横断面、冠状面和矢状面断层图像同步地显示，便于观察者进行诊断。这 是融合图像最常用的显示方法。这种显示要求观察者对于图像三维层面的特征有 丰富的经验。 2 ) 三维显示法：将融合的三维数据以三维图像的形式显示使观察者可更加 直观地观察病灶的解剖位置，在外科手术设计和放疗计划制定中有重要的意义。 对于融合数据的分析和展示将在第3 章详细讨论。 2 3 6 小结 图像融合的现状迄今为止尚未找到一种确保完全通用有效的方法、框架，但 是相关应用已经比较普遍，主要是对于目前较成熟的刚性组织处理，以及相对挑 战性和实效性并重的的非刚性组织( 如腹部) 对位。为使医学图像融合对齐更精 确，生产厂商将功能性成像系统和结构性成像系统设计在同一套系统上。患者可 同时进行解剖图像和功能图像仪器的检查。 在医学影像设备的发展中，功能图像和解剖图像的结合是一个发展趋势，在 肿瘤的精确定位、癌症的早期检测和珍断中发挥重要的作用。随着功能成像设备 和解剖成像设备杂交技术的出现，图像融合将得到进一步的发展，势必给临床渗 断带来一场新的变革。 多模态医学影像融合技术的研究和应用 第3 章图像对齐的研究 第3 章图像对齐的研究 利用c t 、m r i 、s p e c t 以及p e t 等成像设备能获取人体内部形态和功能的 图像信息，为临床诊断和治疗提供了可靠的依据。 不同成像模式具有高度的特异性，将不同模式的图像，通过空间变换映射到 同一坐标系中，使相应器官地影像在空间中地位置一致，可以同时反映形态和功 能信息。而求解空间变换参数的过程就是图像对齐，也是一个多参数优化过程。 图像对齐在病灶定位、p a c s 系统、放射治疗计划、知道神经手术以及检查治疗 效果上有着重要的应用价值 w a n 鲥j 。 近年来随着医学成像技术的发展，医学影像技术越来越多地为临床医学提供 各种服务，它的应用不再仅局限于医学诊断设备，更涉及到从手术方案的确定、 手术结果的分析和放射科治疗方案的制订等各个方面。数字化医学影像技术的发 展，进一步丰富了医学图像处理理论，图像对齐也在医学图像处理领域中得到越 来越多的应用，其中主要包括以下几个方面： 1 、信息的综合：医学影成像可以分为解剖成像和功能成像。前者主要描述 人体形态信息；后者主要描述人体代谢信息，如果能够将多种模态的图像融合在 一幅图像中，综合人体的解剖信息和功能信息，将会为诊断和治疗方案的制订提 供更加全面的信息。 2 、特征比较：在临床应用中，病情的发展情况是非常有价值的信息。无论 是对个体患者的诊断治疗还是对医学经验的积累，知道病情的发展规律都有着极 其重要意义。这种情况下，往往需要准确对不同时期采集的图像进行比较。如观 察骨骼、肿瘤的生长过程，观察手术前后人体的功能特征，也都是图像对齐的重 要应用。 3 、三维重建：传统医学图像的三维重建数据源是断层扫描的图像序列，即 通过层面的编号反映三维信息。这种情况下，扫描的分辨率将直接影响到重建的 效果。如果通过有视角变化的二维图像获得三维信息，则能够通过更少的图像得 到较好的重建效果，如x a ( x 射线造影成像) 、平板c t 等，在该类图像的三维重 建中图像对齐技术也起到至关重要的作用。 4 、模式识别：模式识别是图像对齐在医学诊断中的又一个重要应用，通过 将病变个体的图像与正常个体的图像进行对齐，或者通过将患者图像与人造的标 准图像模板进行对齐，可以辅助医生进行诊断。 1 0 多模态医学影像融合技术的研究和应用 第3 章图像刘齐的研究 3 1 对齐的基本概念 图像对齐可以定义为寻求两幅图像之间空间或灰度域的某种映射关系。将两 幅图像定义为两个大小分别为1 1 ，1 2 的二维数组，其中1 1 ( x ，y ) 和1 2 ( x ，y ) 是每幅图 像中单个像素灰度值，则图像之间的映射关系可以表示如下 w a “9 0 2 1 ： l ( x ，y ) = g ( i l ( ，( x ，y ) ) ( 3 1 1 ) 这里f 是二维空间坐标变换关系，g 是一维灰度变换。 图像对齐问题就是力求找到最理想的空间或灰度变换式，使得两幅图像中的 像素点可以达到匹配。在精确匹配的图像中寻找空问或几何变换关系是大部分对 齐问题的一般做法。下面通过两个单值函数f x ，f y 的参数表达式来更加自然的表 示这种变换： 厶( x ，y ) = ( 六( x ，y ) ，兀( x ，y ) )( 3 1 2 ) 图像对齐首先是基于某一个对齐准则，它是判断两幅图像达到对齐的衡量标 准。即在什么意义下，认为达到图像的对齐。按式( 3 1 1 ) 定义的图像对齐在本质 上基于狭义的图像匹配概念。这种图像对齐依据的准则，可以表示为找f 和g ， 使得最小化下列距离度量： m i n l l l 2 ( x ，y ) 一g ( ，2 ( ，( x ，y ) ) ) 旷 ( 3 1 3 ) 然而这种准则不适合于处理一般的图像对齐问题，在文献中已报道过的多种 图像对齐方法中，分别依据了多种对齐准则，比如基于互相关和相关系数的方法、 整合平方误差的最小化法【t 8 “9 鄹、交互信息的最大化法”w 9 5 1 等等。基于控制点的 对齐方法，在全局来说依据的是控制点的均方误差最小化，在众多的基于特征的 图像对齐方法中，特征控制点的确立过程，也体现了该方法在特征点附近的局部 图像的匹对齐则。比如说图像中的边缘轮廓经编码后的最小匹配误差、闭合区域 形状的相似度量 f s 9 4 l 、特征的结构相似度量等等。 可以看到各个对齐准则的侧重点是不同的但都力求符合人们某种视觉习惯 或要求，同时各准则也必然暴露出其它方面的不足，因此对于对齐准则的衡量也 是有针对性的，尚不能以一个单一的标准来评判，实际应用中一般是针对不同的 实际问题和采用的方法来选择相应的对齐准则。 3 2 对齐的分类 针对国内外的图像处理研究领域所报道的图像对齐研究工作，总的来说，各 种方法都是面向一定范围的应用领域，也具有各自的特点。比如计算机视觉中的 景物匹配和飞行器定位系统中的地图匹配，依据其完成的主要功能而被称为目标 多模态医学影像融合技术的研究和应用 笫3 章图像对齐的研究 检测与定位，根据其所采用的算法称之为图像相关等。 图像对齐的方式可以概括为相对对齐和绝对对齐两种：相对对齐是指选择多 图像中的一张图像作为参考图像，将其它的相关图像与之对齐，其坐标系统是任 意的。绝对对齐是指先定义一个控制网格，所有的图像相对于这个网格来进行对 齐，也就是分别完成各分量图像的j l 何校正来实现坐标系的统一。 通常通过一个适当的多项式来拟合两图像之间的平移、旋转和仿射变换，由 此将图像对齐函数映射关系转化为如何确定多项式的系数，最终转化为如何确定 对齐控制点。目前，根据如何确定控制点的方法和图像对齐中利用的图像信息区 别可将图像对齐方法分为三个主要类别：基于灰度信息法、变换域法和基于特征 法 w a n g + 0 2 1 ，其中基于特征法又可以根据所用的特征属性的不同而细分为若干类 别。 3 2 1 基于灰度信息的方法 基于灰度信息的图像对齐方法一般不需要对图像进行复杂的预先处理，而是 利用图像本身具有灰度的一些统计信息来度量图像的相似程度。主要特点是实现 简单，但应用范围较窄，不能直接用于校正图像的非线性形变，在最优变换的搜 索过程中袄往需要巨大的运算量。经过几十年的发展，人们提出了许多基于灰度 信息的图像对齐力法，大致可以分为三类：互相关法( 也称模板匹配法1 、序列相 似度检测匹配法、交互信息法。 1 、互相关法 互相关法是最基本的基于灰度统计的图像对齐的方法，通常被用于进行模板 匹配和模式识别。它是一种匹配度量，通过计算模板图像和搜索窗口之间的互相 关值，来确定匹配的程度，互相关值最大时的搜索窗口位置决定了模板图像在待 对齐图像中的位置。 两幅图像之间的相似度评测标准，可以采用不同的方法，主要有下面- - 9 0 ： a 均方和 d ( 厂，g ) 2 赤善丢i ，( f - g ( 删，州) i 2 ( 3 圳 b 兰氏距离 批，= 击m 蔷- 1 吾n - 1 黔糯筹高 z 固 c 归一化标准相关系数 多模态f 爰学影像融台技术的研究和应用第3 章蚓像对齐的研究 d ( f ，g ) = m - 1 一】 ( 厂( f ，) f t ) ( g ( m + i ，n + ，) 一蚕) ( 3 2 3 1 其中，在定义式中， i ，( f ，- ，) 表示的是模板子图像中第i 行和第i 列的像素的灰度值；g + f ，n + ，) 是匹配图像中参考点( m ，n ) 处的参考子图像上的第i 行和第j 列的像素的灰度值： ，和g 分别代表两个子图像内像素灰度的均值；而定义式的左边各自代表模板予 图像f 和另一个图像中的参考点( m ，n ) 处的子图像g 的相似性测度。这三个公式中， 前两个的极小值代表了可能的匹配位置，后一个公式的极大值代表了可能的匹配 位置。其它的一些评测标准都是由这些基本的评测标准引中出来的。如相关系数 和标准相关系数都是归一化标准相关系数的简化形式，从本质上都是相同的。 2 、序列相似度检测匹配法 序列相似度检测匹配法( s e q u e n t i a ls i m i l a r i t yd e t e c t i o na l g o r i t h m s ，s s d a ) 最 主要的特点是处理速度快，方法先选择一个简单的固定门限t ，若在某点上计