（电路与系统专业论文）基于模糊逻辑及神经网络的医学图像融合研究.pdf

摘要 本论文研究了基于模糊逻辑和r b f 模糊神经网络的医学图像融合算法。 首先，本文提出了一种基于t - s 模糊推理系统的医学图像融合算法。该算法利 用t - s 模糊推理系统与神经网络的等价性原理，做出一个与之相等价的r b f 模糊 神经网络，根据误差反向传播算法以及一阶梯度修正算法，通过r b f 神经网络的 训练得到其各项参数，进而得到t - s 模糊推理系统。将c t 图像与m 对图像作为 t - s 模糊推理系统的输入，则输出就是融合结果。 其次，本文还提出了一种基于r b f 模糊神经网络的融合方法，该方法简化了 网络结构与训练算法，同时提高了融合性能。最后本文还将图像的区域方差引入， 与模糊神经网络融合算法相结合，能够显著改善融合图像软组织部分的融合性能。 通过主观上的观察以及客观的评价指标，与传统的融合方法进行比较分析， 本文的两种方法较好的综合了两种医学图像的信息。而通过对噪声污染图像的融 合进行实验和对比分析，这两种方法对噪声也具有很好的适应性。 关键词：医学图像融合模糊逻辑模糊神经网络 a b s t r a c t t h em e d i c a li m a g ef u s i o na l g o r i t h m sb a s e do nf u z z yl o g i ca n df u z z yn e u r a l n e t w o r k si sp r o p o s e di nt h ep a p e r f i r s t l v an e wm e t h o df o rm u l t i m o d a lm e d i c a li m a g ef u s i o nb a s e do nt - sf u z z y i n f e r e n c es y s t e mi sp u tf o r w a r di nt h ep a p e r a c c o r d i n gt ot h ee q u i v a l e n c ep r i n c i p l eo f t - sf u z z yi n f e r e n c es y s t e ma n dr b fn e u r a ln e t w o r k s ，t h ep a r a m e t e r so ft h et - sf u z z y i n f e r e n c es y s t e mc a l lb eo b t a i n e dt h r o u g ht h et r a i n i n go ft h er b f n e u r a ln e t w o r k t h e i n p u to ft h et - sf u z z yi n f e r e n c es y s t e mi sc ti m a g e sa n d m r i i m a g e s ，a n dt h eo u t p u t i s t h ef u s i o ni m a g e s e c o n d l y , a l li m a g ef u s i o nm e t h o d b a s e do nr b ff u z z yn e u r a ln e t w o r k si sp r o p o s e d i nt h ep a p e r i ts i m p l i f i e st h en e t w o r ks t r u c t u r ea n dt r a i n i n ga l g o r i t h m s ，a n di m p r o v e s t h ep e r f o r m a n c eo ft h ef u s i o n f i n a l l y , t h ea r e av a r i a n c ei si n t r o d u c e di nt h i sp a p e r , a n d c o m b i n e dw i t ht h ea l g o r i t h m sb a s e do nf u z z yn e u r a ln e t w o r k ，t h ef u s i o ni m a g e sq u a l i t y i si m p r o v e ds i g n i f i c a n t l y s i m u l a t i o ne x p e r i m e n t ss h o wt h a tt h ep r o p o s e dm e t h o di sf e a s i b l ea n de f f e c t i v e c o m p a r e dw i t ht h et r a d i t i o n a lm e t h o d s ，t h ep r o p o s e dm e t h o d s h a v eag o o dp e r f o r m a n c e ， e s p e c i a l l yi nd e a l i n gw i t ht h en o i s ep o l l u t i o ni m a g e s k e y w o r d ：m e d i c a li m a g ef u s i o n f u z z yl o g i cf u z z yn e u r a ln e t w o r k s 西安电子科技大学 学位论文独创性( 或创新性) 声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在导师指导下 进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内 容以外，论文中不包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技 大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名： 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生在校攻读 学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保留送交论文的复印件， 允许查阅和借阅论文：学校可以公布论文的全部或部分内容，可以允许采用影印、缩印或其 它复制手段保存论文。同时本人保证，毕业后结合学位论文研究课题再撰写的文章一律署名 单位为西安电子科技大学。 本人签名： 导师签名： 日期园里：坚：垃 一 一 缉纽盘墨羟 第一章绪论 第一章绪论 本章首先讲述了医学图像的特性及图像融合的概念，然后介绍了目前医学图 像的发展及研究现状，最后阐明了本文的研究目的、主要内容及工作安排。 1 1 医学图像概述 随着生物医学工程和计算机技术的发展，医学影像学为临床诊断提供了多种 模态的医学图像，如x 线断层成像、m 对、s p e t 、p e t 、d s a 、超声成像、脑磁 图等。不同的医学影像可以提供人体相关脏器和组织的不同信息。如c t 具有较高 的空间分辨率，有利于定位病灶，m 对软组织成像清晰，有利于确定病灶范剧。 1 1 1c t 成像机理及图像特点 1 c t 成像机理 c t 是用x 线束对人体某部一定厚度的层面进行扫描，由探测器接收透过该层 面的x 线，转变为可见光后，由光电转换变为电信号，再经模拟数字转换器 ( a n a l o g d i g i t a lc o n v e r t e r ) 转为数字，输入计算机处理。图像实际上包含有人体某一 部位的一定厚度，我们将其代表一定厚度的三维空间的体积单元，称之为体素 ( v o x e l ) 。扫描所得信息经计算而获得每个体素的x 线衰减系数或吸收系数，再排 列成矩阵，即数字矩阵( d i g i t a lm a t r i x ) ，数字矩阵可存贮于磁盘或光盘中。经数字 模拟转换器( d i g i t a l a n a l o gc o n v e r t e r ) 把数字矩阵中的每个数字转为由黑到白不等灰 度的小方块，即象素( p i x e l ) ，并按矩阵排列，即构成c t 图像【2 】。 2 c t 图像特点 c t 图像是由一定数目由黑到白不同灰度的象素按矩阵排列所构成。这些象素 反映的是相应体素的x 线吸收系数。不同c t 装置所得图像的象素大小及数目不 同。大小可以是1 0 1 0 r a m ，0 5 0 5 m m 不等；数目可以是2 5 6 2 5 6 ，即6 5 5 3 6 个，或5 1 2 5 1 2 ，即2 6 2 1 4 4 个不等。显然，象素越小，数目越多，构成图像越细 致，即空间分辨力( s p a t i a lr e s o l u t i o n ) 越高。c t 图像的空间分辨力不如x 线图像高。 c t 图像是以不同的灰度来表示，反映器官和组织对x 线的吸收程度。因此， 与x 线图像所示的黑白影像一样，黑影表示低吸收区，即低密度区，如含气体多 的肺部；白影表示高吸收区，即高密度区，如骨骼。但是c t 与x 线图像相比， c t 的密度分辨力高，即有高的密度分辨力( d e n s i t yr e s o l u t i o n ) 。因此，人体软组织 的密度差别虽小，吸收系数虽多接近于水，也能形成对比而成像。这是c t 的突出 2 基于模糊逻辑及神经网络的医学图像融合研究 优点。所以，c t 可以更好地显示由软组织构成的器官，如脑、脊髓、纵隔、肺、 肝、胆、胰以及臀部器官等，并在良好的解剖图像背景上显示出病变的影像。 x 线图像可反映正常与病变组织的密度，如高密度和低密度，但没有量的概 念。c t 图像不仅以不同灰度显示其密度的高低，还可用组织对x 线的吸收系数说 明其密度高低的程度，具有一个量的概念。实际工作中，不用吸收系数，而换算 成c t 值，用c t 值说明密度。单位为h u 。 水的吸收系数为1 0 ，c t 值定为0 h u ，人体中密度最高的骨皮质吸收系数最高， c t 值定为+ 1 0 0 0 h u ，而空气密度最低，定为1 0 0 0 h u 。人体中密度不同和各种组织 的c t 值则居于1 0 0 0 h u 至u + 1 0 0 0 h u 的2 0 0 0 个分度之间。 c t 图像是层面图像，常用的是横断面。为了显示整个器官，需要多个连续的 层面图像。通过c t 设备上图像的重建程序的使用，还可重建冠状面和矢状面的层 面图像，可以多角度查看器官和病变的关系。 1 1 2m 砒成像机理及图像特点 1 m 成像机理 核磁共振成像是随着计算机技术、电子电路技术、超导体技术的发展而迅速 发展起来的一种生物磁学核自旋成像技术。m r i ( 核磁共振图像) 成像是利用原子 核在磁场内共振所产生信号经重建成像的一种成像技术。人体组织中大量存在并 能产生较强信号的氢原子核( h ) 或称质子，具有自旋及磁矩的物理性能。在外加磁 场的作用下，质子以一种特定方式绕磁场方向旋转。在经受一个频率与质子自旋 频率相同的射频脉冲激发，便引起质子共振，即所谓核磁共振，并发生质子相位 与能级变化。在射频脉冲停止激发后，质子的相位和能级又由非平衡状态转入平 衡状态，亦即由激发后状态转变为激发前状态。这个过程称为弛豫过程，经历的 时间称为弛豫时间，它反映质子的运动特征。这些能级变化和相位变化所产生的 信号均能为位于身体附近的接受器所测得，经过电子计算机的运算处理转变成图 像 2 1 。 2 m r j 图像特点 由于骨骼组织中的质子密度较低，因此获得的m r i 图像中软组织明亮清晰， 而骨骼组织则不清晰。m 砒可对人体各部位多角度、多平面成像，其分辨力高， 能更客观更具体地显示人体内的解剖组织及相邻关系，对病灶能更好地进行定位 定性。m 对可清晰反映软组织、器官、血管等的解剖结构，有利于病灶范围确定， 但对钙化点不敏感，且受到磁干扰会发生几何失真对全身各系统疾病的诊断，尤 其是早期肿瘤的诊断有很大的价值。 第一章绪论 1 2 医学图像融合技术的发展及研究现状 8 0 年代开始，医学图像融合技术开始逐渐引起临床医学界的注意，当时在这 方面的研究一般采用的是比较直观和简单的融合方法，比如像素加权求平均，利 用逻辑运算符进行滤波等等，效果往往不理想。 到了9 0 年代，医学图像融合成为当代医学图像领域的前沿课题，对以后医学 影像技术的进一步进步将发挥深远的影响。在这阶段，其他融合方法陆续提出， 例如，b u t t 提出的l p a l a c i n a 金字塔法、a k e m r n a 提出的g u a s s i n a 金字塔分解法、 t o e t 提出的低通比率金字塔法以及多分辨率形态滤波法和小波变换法等【3 j 。 随着三维重建显示技术的发展，三维图像融合技术的研究也越来越受到关注， 三维图像的融合，也将是图像融合研究的又一个重点。作为图像融合的第一步， 三维医学图像的配准也将是研究的新重点。 此外，神经网络、模糊逻辑、语义学等人工智能理论也均被应用到图像融合 中，这些理论模拟人类智能处理方法，能够根据不同需要对图像进行自动的分割 和融合处理，尽管发展不够完善，却是融合研究的一个新方向，具有无穷的潜力。 医学图像融合技术是一个快速发展的技术，但由于图像融合的相关设备的价 格昂贵，融合过程又要耗费比较长的时间等等，所以目前的应用还不广泛，很爹 方法也还限于对几个或几十个病人的研究阶段。相信随着研究上的深入和技术上 的不断成熟，医学图像融合将会广泛用于临床诊断和治疗中，在辅助计算机诊断 和治疗计划制定等方面将会起到重要作用。 1 3c t 与m r i 图像融合的临床意义 由于c t 图像反映的是人体组织的x 线吸收系数，而骨骼组织的吸收系数最 大，因此c t 图像中骨骼组织最清晰。由于m r i 图像反映的是人体组织的质子密 度，而软组织的质子密度最高，因此在m 图像中软组织最清晰【4 】。将c t 与m r 图像进行融合处理，可在一幅完整的图像中获得骨骼组织与软组织均清晰的图像， 从而为临床提供更为有效的辅助诊断手段，主要有以下几方面的临床应用。 1 图像融合在颅脑成像中的应用。由于脑组织有颅骨的界定，相对固定，且 容易确定标志进行准确配准。目前，临床主要进行颅脑的图像融合。融合图像有 助于精确定位颅内的病变，提高诊断的准确性。 2 图像融合在放射治疗中的应用。靶器官和非靶器官的三维准确定位是制定 放疗计划的前提，放疗前必须利用影像学技术确定靶区以及靶区与周围正常组织 的空间关系，进而提高靶区的照射剂量，减少对周围正常组织的放射性损伤。在 4 基于模糊逻辑及神经网络的医学图像融合研究 放疗中，先应用m 砌图像勾画肿瘤轮廓，再应用c t 图像计算出放射剂量大小以 及分布，把经c t 得到的剂量分布投射到显示软组织的m 图像中，直接进行靶 器官与非靶器官的定量和定性分析，来调整治疗方案。 1 4 论文主要内容及章节安排 本论文主要研究了基于模糊逻辑和r b f 模糊神经网络的医学图像融合算法。 本文首先提出了一种基于t - s 模糊推理系统的医学图像融合算法。该算法利用t - s 模糊推理系统与神经网络的等价性原理，做出一个与之相等价的r b f 模糊神经网 络，根据误差反向传播算法以及一阶梯度修正算法，通过r b f 神经网络的训练得 到其各项参数，进而得到t - s 模糊推理系统。将c t 图像与m 砌图像作为t - s 模 糊推理系统的输入，则输出就是融合结果。其次，本文还提出了一种基于r b f 模 糊神经网络的融合方法，该方法简化了网络结构与训练算法，同时提高了融合性 能。最后本文还将图像的区域方差引入，与模糊神经网络融合算法相结合，能够 显著改善融合图像软组织部分的融合性能。 本文分为五章，具体安排如下： 第一章对医学图像成像原理、图像特点和医学图像融合的发展情况进行了总 结和评述，阐明进行医学图像融合的目的和意义。 第二章讨论了医学图像融合中图像配准的基本方法，以及现代医学图像融合 常用的方法，并对其发展趋势进行了探讨。此外还介绍了模糊数学以及神经网络 方面的基本理论。 第三章详细的介绍了基于t a k a g i s u g e u o ( t - s ) 型模糊推理系统的融合方法。利 用t - s 模糊推理系统与r b f 神经网络的等价性，构造一个r b f 神经网络，通过神 经网络的训练得到t - s 模糊推理系统的参数并构造t - s 模糊推理系统做图像融合。 第四章基于t - s 模糊推理融合方法做了融合实验仿真。通过主观上的观察以 及客观评价指标的对比，该方法较好的综合了c t 图像与m r i 图像的信息。而通 过对噪声污染图像的融合进行实验和对比分析，该方法对噪声具有很好的适应性。 第五章提出了基于r b f 神经网络的融合方法。将r b f 模糊神经网络分为前 件网络和后件网络，分别负责网络的模糊集合部分和权值调整部分，相比较来说， 该网络结构比较简单，学习性更强。最后，还将图像的区域方差考虑进去，做出 了一种基于图像区域特征的修正方法，该方法可以使得融合图像能够最大程度上 保留m 图像软组织部分的细节信息。 第二章医学图像融及相关理论 第二章医学图像融合及相关理论 由于不同医学成像设备的成像机理不同，图像的质量、空间与时间特性均有 很大差别。因此，要实现医学图像融合，图像配准和图像信息综合都是必须解决 的问题。 本章中介绍了医学图像处理的基本步骤，主要包括医学图像配准以及c t 图像 与m 鼬图像的信息综合。给出了目前常用的医学图像融合方法，并对这些方法进 行了深入的分析。 2 1 医学图像的配准【5 】 医学图像配准是通过一系列坐标变换，使待融合的两幅图像在空间域达到几 何位置上的完全对应。医学图像配准是医学图像融合的前提，也是目前医学图像 处理中的热点，具有重要的临床诊断价值。近几年医学图像配准技术发展迅速， 为医学图像融合研究提供了良好的基础。 2 1 1 基于特征的医学图像配准方法 1 基于点的方法 基于点的方法主要在于特征点的选取，这些特征点分为外特征点、内特征点 和立体定位框架标记点。常用的奇异值分解方法是将体素点的平移和旋转解耦， 通过计算两点集中标记点中心的距离来计算平移向量，而旋转矩阵则通过计算两 个空间中标记中心位置差的协方差矩阵奇异值分解得到。基于内特征点的方法和 基于框架的方法使用的算法与基于外特征点的算法基本一致。基于力矩和主轴的 方法可用于体、面和分散点的配准，但它的本质是根据动量矩的计算使目标的质 心重合，因而也可认定这种方法是基于点的方法。这种方法对数据的变异性很敏 感，当图像中有细节丢失或者病变时会严重影响配准的精度。因而它主要用于图 像的先期配准，以减少后续精确配准时优化算法的搜索区间和计算时间 6 11 7 1 。 2 基于面的方法 基于面的配准技术典型的例子是p e l i z z a r i 和c h e n 研究的“头帽法”。从一幅 图像轮廓提取的表面模型称为“帽 ，从另一幅图像轮廓提取的表面模型成为“头 。 一般用体积较大的病人图像，或在图像体积大小差不多时用分辨率较高的图像来 产生头表面模型。 p o w e l l 探索算法用来寻求所需的几何变换，使帽点和头表面间的距离平均平 方值最小。许多学者对该算法作了重要的改进，例如用多分辨金字塔技术克服局 6 基于模糊逻辑及神经网络的医学图像融合研究 部极值问题；用距离变换拟合两幅医学图像的边缘点，斜面匹配技术可以有效地 计算距离变换。 迭代最近点法是另外一种典型算法。该算法首先计算一幅图像中到另一幅图 像中代表该特征表面的所有点的最近距离点，然后通过迭代变换来确定最终的变 换参数。 3 基于线的方法 b a t l e r 对二维投影放射照片首先用人工方法在2 幅图像中寻找对应的开曲线， 再在2 条曲线局部曲率最佳拟合的线段用相同的采样速率找出一组对应点来，然 后用对应点来匹配2 幅图像。g u e z i e c 和a y a c h e 配准c t 图像系列时，用图像强 度的导数自动提取脊线。然后，用连续的样条近似这些离散的曲线并计算曲率和 扭矩。曲线的对应关系是由几何散列表检索和表决技术确定的。对应曲线及图像 间的配准是通过刚体变换实现的【8 1 【9 1 。 2 1 2 基于灰度的配准方法 基于灰度的配准方法包括像素方法和体素方法。这类方法是目前研究比较多的 一种方法，基于灰度的方法直接利用医学图像的灰度数据进行配准，从而避免了 因分割而带来的误差，因此具有精度较高、稳健性强、无需预处理就能实现自动 配准的特点1 1 0 j 。 1 相关法配准 对于同一物体由于图像获取条件的差异或物体自身发生小的改变而产生的图 像序列，采用使图像间相似性最大化原理实现图像间的配准，通过优化2 幅图像 间相似性准则来估计变换参数，主要是刚体的平移和旋转。对照相序列，考虑到 棱镜系统的使用，还需要作必要的尺度变换，还需要对曝光时间不同引起的强度 差异作修正。对核医学图像也要作强度换算来修正因获取时间、注入活性以及背 景等因素产生的影响。其所使用的相似性测度可以是多种多样的，例如相关函数、 相关系数、差值的平方和或差的绝对值等。由于要对每种变换参数可能的取值计 算一次相似性测度，相关法的计算量十分庞大，一些学者在这方面做出了很多努 力。例如，用相位相关傅里叶法估算平移和旋转参数；用遗传算法和模拟退火技 术减少搜索时间和克服局部极值问题，用傅里叶不变性和对数变换分解变量的互 相关技术。值得注意的是，由于同一器官在不同模态图像中表现出的非线性差异， 相关法主要限于单模态图像配准，通过改进算法，也可用于多模图像配准。 2 主轴法 主轴法是一种自动配准方法，根据体素的密度和空间位置将待配准图像等价 为一个3 d 椭圆体，计算椭圆体的二阶矩得到其质心和主轴。使待配准图像的质心 第二章医学图像融及相关理论 7 重合，然后以质心为旋转中心，使主轴的方向对齐、主轴的长度相等，得出空间 变换参数。 3 互信息配准 最大互信息算法是近来的研究热点。通过计算待配准图像的熵和联合熵，得 到互信息值。根据定义，图像的熵与图像的位置无关，图像配准时，联合熵的值 最小，互信息值最大。w o o d s 在给出参考像后使用测试图像的条件熵作为配准的 测度。他研究的a i r 算法是一种广泛应用于p e t 到m r i 图像配准的算法，但缺点 是依赖于m 刚图像的预处理，这通常涉及到很费功夫的剔除非脑组织的手工编辑 工作。c o l l i g n o n 、v i o l a 和w e l l s 、s t u d h o l m e 等人用互信息作为多模医学图像配准 的测度，如果两幅图像几何上对齐的话，则它们对应体素对的强度值的互信息最 大。由于该方法无需对两种成像模式中图像强度间关系的性质作任何假设，也无 需对图像作分割或任何预处理，所以被广泛地用于c t m 、p e t m r 等多种配准 工作中。最大互信息法几乎可以用于任何不同模式图像的配准，特别是当其中一 个图像的数据部分缺损时也能得到很好的效果。 2 2 医学图像信息综合 我们常常把医学图像的信息综合这一步直接称为融合。这说明了这一步正是 整个医学图像融合过程中的核心部分。图像融合就是要将同一对象的2 个或更多 的图像合成到一幅图像中，以便它比任何原来的一幅都更容易被人们所理解。因 此，图像配准以后，还要进行图像信息综合。 图像融合根据不同的层次可分为像素级、特征级和决策级融合。这里将作进 一步的介绍。 像素级图像融合是在严格配准的条件下，对各传感器输出的图像，直接进行 信息的综合与分析。像素级的图像融合是在基础层面上进行的信息融合，其主要 任务是对多传感器目标和背景要素的测量结果进行融合处理。像素级图像融合直 接在原始数据层上进行融合，该层次的融合准确性最高，能够提供其它层次上的 融合处理所不具备的更丰富、更精确、更可靠的细节信息，有利于图像的进一步 分析、处理和理解。像素级图像融合是目前在实际中应用最为广泛的图像融合方 式，也是特征级图像融合和决策级图像融合的基础。但是与其它两个层次的融合 相比，像素级融合需要处理的信息量最大，处理时间很长，对设备的要求也很高。 在进行像素级图像融合之前，必须对参与融合的各图像进行精确的配准，其配准 的精度一般应达到像素级。因此，像素级的融合是图像融合中最为复杂且实施难 度最大的融合i i l j i l 2 j 。 特征级图像融合是从各个传感器图像中提取特征信息并将其进行综合分析和 8 基于模糊逻辑及神经网络的医学图像融合研究 处理的过程，提取的特征信息应该是像素信息的充分表示量或充分统计量，典型 的特征信息有边缘、形状、轮廓、角、纹理、相似亮度区域等。在进行融合处理 时，所关心的主要特征信息的具体形式和内容和多传感器图像融合的应用目的和 场合密切相关。通过特征级图像融合可以在原始图像中挖掘相关的特征信息，增 加特征信息的可信度，排除虚假特征，建立新的复合特征等等。特征级图像融合 是中间层次上的融合，为决策级融合做准备。特征级融合对传感器的配准要求不 如信号级和像素级那么严格，因此图像传感器可分布予不同的平台上。特征级融 合的优点是实现了可观的信息压缩，便于实时处理【b 】【1 4 】。 决策级图像融合是对每个图像的特征信息进行分类和识别处理，形成了相应 的结果后，进行的进一步融合过程。最终的决策结果是全局最优决策。决策级融 合是一种更高层次的图像融合，其结果将为各种控制或决策提供依据。因此，决 策级融合必须结合具体的应用及需求特点，有选择地利用特征级融合所抽取或测 量的有关目标的各类特征信息，才能实现决策级融合的目的。其结果将直接影响 最后的决策水平。由于输入为各种特征信息而结果为决策描述，因此决策级融合 数据量最小，抗干扰能力最强，但对特征抽取和预处理要求很高。就目前的医学 图像处理水平来说，进行精确的特征抽取和预处理都很难做到。因此，像素级融 合方法是目前普遍研究的一类方法，下文所谈到的一系列医学图像融合方法都是 在建立在像素级方法基础上的。 2 3 医学图像融合现有方法介绍 关于医学图像融合的研究，目前主要采用两大类融合：空间域融合和变换域 融合。本文中介绍的基于模糊推理系统以及模糊神经网络的融合方法实际上可归 结为空间域的融合方法。 2 3 1 空间域融合方法 空间域医学图像融合方法主要包括：逻辑滤波法、加权平均法、数学形态法、 图像代数法以及模拟退火法。下面主要简单的介绍几种空间域图像融合方法。 最直接的融合方法是对源图像进行加权平均作为融合的结果。加权平均运算 提高了融合图像的信噪比，但减弱了图像的对比度，在一定程度上使得图像中的 边缘、轮廓变模糊了。加权平均图像融合方法具有算法简单、融合速度快的优点， 但是在多数的应用场合该图像融合方法往往难以取得满意的融合效果。 主成分分析的图像融合方法就是把多波段的图像信息综合在一幅图像上，而 且对融合图像来说，各波段的信息所做出的贡献能最大限度地表现出来，为此必 第二章医学图像融及相关理论 9 须对源图像各波段像素值进行加权线性变换，以产生新的像素值。 数学形态法，有些类似于中值滤波，是一种非线性的表示方法，要求数学模 型精确，最好有一定先验知识。 基于马尔可夫随机场的图像融合，是把融合任务表示成适当的代价函数来表 示融合结果，输入图像作为一个随机场集，然后进行全局寻优。在不同图像的对 应区域，用回归分析方法分别提取一组统计参数，这些参数表征了图像的局部结 构特征，通过计算其相似性测度，最后由输入图像及其相似性矩阵生成融合后的 边缘图像。这种图像融合方法具有较强的适应性和可靠性，即使在图像信噪比较 低的情况下，也能取得较好的融合效果。 2 3 2 变换域融合方法 变换域方法，就是将变换后的两个或多个图像进行融合，再通过反变换得到 融合图像的方法。变换域医学图像融合方法中最具代表性的融合算法主要包括： 金字塔图像融合法和小波变换图像融合法。 1 金字塔法 主要包括高斯金字塔、拉普拉斯金字塔、梯度金字塔、比率低通金字塔、形 态学金字塔。多分辨金字塔法是目前最为常用的图像融合方法。在这类算法中， 原图像不断地被滤波，形成一个塔状结构。 2 小波变化法 随着小波变换理论的兴起和完善，小波变换在图像处理领域得到了非常广泛 的应用。基于小波变换的图像融合，就是对待融合图像进行小波变换，将其分解 在不同频段的不同特征域上，然后在不同的特征域内进行融合，构成新的小波金 字塔结构，再用小波逆变换得到融合图像的过程【i 卯。 m a l l a t 算法的提出使小波变换能够更方便的用于图像融合，这种算法不需要知 道具体的小波函数和尺度函数，可以通过小波系数来实现快速运算。 根据分解形式不同，小波融合方法可分为金字塔形小波、树状小波和小波标 架。金字塔形小波利用正交小波变换对待融合图像进行正交小波分解，得到表示 低频信息、水平方向信息、垂直方向信息和对角方向信息的4 个子图像，再将低 频子图像进一步分解成4 个子图像，依次递推。 树状小波分解不仅仅将低频的信息进行分解，而是根据图像特征，按子带图像 的能量自适应地对各子带信息进行分解，使用某种准则来确定对一个子带信号是 否继续进行分解，当图像间的校准不准确时，小波变换的移位变性会引起很大的 误差。小波标架是小波基的过完备表示，具有移位不变性。与一般的离散小波变 换不同，离散小波标架没有对图像进行下采样( 下采样：对列滤波时，两列去一 1 0 基于模糊逻辑及神经网络的医学图像融合研究 列，对行滤波时，两行去一行) ，而是对滤波器进行了插值操作。因此，每层中每 个频段的图像尺寸都与原图像一致【1 6 1 。 比较变换域图像融合方法中的两种方法可以得出，小波变换法相比金字塔图 像融合法具有一定的优势，其优点主要表现在： a ( 1 ) 小波变换的大小与图像相同，而金字塔的大小为图像的三，故金字塔法 j 加大了数据量，小波变换更为紧凑。 ( 2 ) 小波表达式提供了方向信息，而金字塔表达式未将图像的空间方向信息 选择性引入分解过程。 ( 3 ) 金字塔的重构过程可能具有不稳定性，尤其是两幅图像存在明显的差异 区域时，而小波变化图像融合没有类似的问题。 2 3 模糊数学理论基础【1 7 1 模糊数学是有关模糊集合、模糊逻辑等的数学理论，它为模糊推理系统的应 用奠定了理论基础，并为其分析和设计提供理论上的指导。自从1 9 6 5 年z a d e h 首 次提出模糊集合的概念以来，模糊数学正式成为- f - j 理论并取得了一系列的研究 成果，这也是模糊系统被广泛应用的一大重要前提。 2 3 1 模糊集合及其隶属度函数 用经典集合定义所表达的概念及其内涵和外延都是明确的，但是人们在许多 事物的表达中，存在大量没有明确外延的概念，这就是模糊概念。例如“多、“少” 这类的概念，很难也不可能给出一些确切的定量的定义。人们为了研究这类具有 模糊概念的事物的理论，就引入了模糊集合的概念。对于模糊集合来说，它与经 典集合的根本区别在于一个元素可以是既属于又不属于某一模糊集合，亦此亦彼， 界限模糊【1 8 】。1 9 6 5 年，z a d e h 在其注明的论文“f u z z ys e t s 中最早提出了模糊 集合的概念并给出其定义。 定义3 1 - 给定论域u ，u ! s 0 o ，1 闭区间的任一映射j l i 。： u a ：u 专 0 , 1 1 式( 2 1 ) ”- 9 , 心( ) 都确定u 的一个模糊子集，映射如( u ) 称为模糊子集彳的隶属度函数，心( “) 成 为“对于模糊集合彳的隶属度。在不引起混淆的情况下，模糊子集也称为模糊集 厶【1 9 】 口 。 上述定义表明，论域【厂上的模糊子集4 由隶属度函数儿( 甜) 来表征，儿( “) 的 第二章医学图像融及相关理论 取值范围为闭区间【o ，1 1 ，心( ) 的大小反映了甜对于模糊子集彳的隶属程度。若 儿( 甜) 接近1 ，表示“属于a 的程度高，若心( “) 接近0 ，表示“属于彳的程度低。 2 3 2 “如果贝u ”推理规则 1 语言变量 语言变量是指自然语句中的词或句，它的值不是通常的数，而是用模糊语言 表示的模糊集合。z a d e h 对语言变量定义如下： 语言变量是由一个五元组 ，砸) ，以g ，胸来表征的。其中，x 是变量的名称； u 是x 的论域；撒) 是语言变量值的集合，每个语言变量值是定义在论域u 上的一 个模糊集合；g 是语法规则，用来产生变量x 的值的名称；m 是语义规则，用于 产生模糊集合的隶属度函数。以“温度”语言变量为例，及水温) 可以根据要求设 为如下集合：玎水温) = 冷，适中，热，稍微热，稍微冷，很热，很冷) 。 2 “如果则”规贝0 “如果- 贝l j 规则又称为“i f - t h e n ”规则。一个最简单的“i f - t h e n ”规则具有如 下形式： i f xi s at h e n yi sb ( 如果x 是么，则y 是占) 其中a 和b 是分别定义在论域x 和y 上的模糊语言变量。规则的“如果部分 i s 么) ”被称作前提部分，规则的“那么部分0i s 占) ”被称作结论部分。 3 基于模糊规则库的模糊推理 连接词“a n d ”、“o r 和“a l s o ”在多输入多输出( m i m o ) 的模糊逻辑系统中， 常常可能会有很多条规则，而且这些规则的前提条件部分和结论部分也可以是由 许多部分组成。前面提到的i f - t h e n 规则只是最简单的形式，是最基本的模糊系统 单元。对于复杂的模糊推理系统，如果满足“输出输入是解耦的，各输入间、各 输出间分别是独立的”，就可以用连接词“a n d ”、“o r ”和“a l s o 连接的一系列简 单的模糊规则组成的模糊规则库来表示。其中，“a n d 和“o r 用来连接同一规则 的多个输入或多个输出，“a l s o ”用来连接多条不同的模糊规则。比如下面的模糊 推理规则： r i i f xi sa ，a n d yi sb ，t h e nzi sc 在实际的模糊推理系统中，通常会存在多条这样的推理规则。 2 3 3 推理系统的反模糊化 反模糊化的输入是模糊集合( 即模糊推理系统的总体输出模糊集合) ，输出是 一个数值。最后对实际有用的每一个变量的输出结果通常要求是一个确定的数值。 由于经过模糊推理后所得到的是输出变量的一个范围上的隶属度函数，因此必须 1 2基于模糊逻辑及神经网络的医学图像融合研究 进行反模糊化以将输出变为确定的值。最通常的反模糊化的方法是面积中心法( 返 回曲线面积的质心) 。 1 c e n t r o i d ( 面积中心法) 面积中心法又成为重心法，或者质心法，即计算隶属度函数曲线包围区域的 重心。对于连续论域的情形，设们是某一变量u 在论域u 上的模糊集合，则去 模糊化的结果为 “。：1 ，u u l ( 一u ) u d u 式( 2 2 ) i ( ，u l ( u ) d u 2 b i s e c t o r ( 面积平分法) 所谓面积平分法，即计算出将隶属度函数曲线包围面积平分为两部分的某一 点，并取该点为反模糊化的结果。 3 m o m ( 平均最大隶属度方法) 所谓平均最大隶属度法，即取模糊集合中具有最大隶属度点的平均值作为反 模糊化的结果。 4 s o m ( 最大隶属度取最小值方法) 所谓最大隶属度取最小值方法，即取模糊集合中具有最大隶属度的所有点中 的最小的一个作为反模糊化的结果。 5 1 0 m ( 最大隶属度取最大值方法) 所谓最大隶属度取最小值方法，即取模糊集合中具有最大隶属度的所有点中 的最大的一个作为反模糊化的结果。 2 3 4 常用的模糊推理方法 1 m a m d a n i 型模糊推理 m a m d a n i 型模糊推理算法常用极小运算规则定义模糊蕴含表达的模糊关系， 例如规则 r ：i f x i s a ，t h e n y i s b 同样的，b 也是一个模糊集合，而最终我们想得到的结果通常是一个精确值，所以 还要经过反模糊化。 2 t a k a g i s u g e n o 型模糊推理 与其他类型的模糊推理方法不同，t a k a g i - s u g e n o 型模糊推理将反模糊化也结 合到模糊推理中，其输出为精确量。这是由t a k a g i - s u g e n o 型模糊规则的形式所决 定的，在t a k a g i s u g e n o 型模糊规则的后件部分将输出量表示为输入量的线性组合， 零阶s u g e n o 型模糊规则具有如下形式【2 0 】： i f x i s a a n d y i s b ，t h e n z i s k 第二章医学图像融及相关理论 其中，k 为常数。而一阶s u g e n o 型模糊推理规则的形式如下： i f xi sa ，a n d yi set h e nz = p * x + q 节+ ， 上式中，办g 、，均为常数。对于一个由玎条规则组成的s u g e n o 型模糊推理 系统，设每条规则具有下面的形式： r t ：i f xi s a i ，a n d yi sb j ，t h e n z = 勿( f = 1 ，2 ，刀) 则系统总的输出用下式计算： w k z k y = 上1 _ 式( 2 - 3 ) w k k 二一 j - l 其中，心为每条模糊推理的输出所对应的权系数。 2 4 人工神经网络基础1 2 1 】 人脑是产生自然智能的源泉，是真正出色的并行计算机。人工神经网络 ( a r t i f i c i a ln e u r a ln e t w o r k s ，简称a n n ) 是在人类对其大脑神经网络认识理解的 基础上人工构造的能够实现某种功能的神经网络，它是理论化的人脑神经网络的 数学模型，是基于模仿大脑神经网络结构和功能而建立的一种非算法的信息处理 系统。 人工神经网络吸取了生物神经网络的许多优点，因而有其固有的特点： 1 高度并行性：人工神经网络是由许多相同的简单处理单元并联组合而成，使其 对信息的处理能力与效果惊人。 2 高度非线性全局作用：人工神经网络每个神经元接受大量其它神经元的输入， 并通过并行网络产生输出，影响其它神经元。网络之间的这种相互制约和相互 影响，实现了从输入状态到输出状态空间的非线性映射。从全局的观点来看， 网络整体性能不是网络局部性能的简单迭加，而表现出某种集体性的行为。 3 良好的容错性与联想记忆功能：人工神经网络通过自身的网络结构能够实现对 信息的记忆，而所记忆的信息是存储在神经元之间的权值中。从单个权值中看 不出所存储的信息内容，因而是分布式的存储方式，这使得网络具有良好的容 错性，既能进行模式信息处理工作，有能进行模式联想等的模式信息处理工作， 又能进行模式识别工作。 4 十分强的自适应、自学习功能：人工神经网络可以通过训练和学习来获得网络 的权值与结构，呈现出很强的自学习能力和对环境的适应能力。 1 4基于模糊逻辑及神经网络的医学图像融合研究 2 4 1 人工神经网络的发展与应用 1 人工神经网络发展的回顾 一般认为，最早用数学模型对神经系统中的神经元进行理论建模的是美国心 理学家麦卡洛克( w m c c u l l o c h ) 和数学家皮茨( w p i t t s ) 。他们于1 9 4 3 年建立了m p 神经元模型。m p 神经元模型首次简单的数学模型模仿出生物神经元活动功能，并 揭示了通过神经元的相互连接和简单的数学计算，可以进行相当复杂的逻辑运算 这一令人兴奋的事实1 9 5 7 年，美国计算机学家罗森布拉特( e r o s e n b l a t t ) 提出了著 名的感知器( p e r c e p t r o n ) 模型。它是一个具有连续可调权值矢量的m p 神经网络模 型，经过训练可达到对一定输入矢量模式进行识别的目的。1 9 5 9 年，当时的另外 两位美国工程师威德罗( b w i d r o w ) 和霍夫( m h o f f ) 提出了自适应线性元件 ( a d a p t i v el i n e a re l e m e n t ，简称a d a l i n e ) 。它是感知器的变化形式，尤其在权矢量的 算法上进行了改进，提高了训练收敛速度和精度。他们从工程实际出发，不仅在 计算机上模拟了这种神经网络，而且还做成了硬件，并将训练后的人工神经网络 成功地用于抑制通讯中的回波和噪声，成为第一个用于解决实际问题的人工神经 网络。1 9 6 9 年，人工智能的创始人之一明斯基( m m i n s k y ) 和帕伯特( s p a p e r t ) 在合 著的感知器一书中对以单层感知器为代表的简单人工神经网络的功能及局限 性进行了深入分析。他们指出，单层感知器只能进行线性分类，对线性不可分的 输入模式无能为力，而其解决的办法是设计出具有隐含层的多层神经网络，但是 要找到一个有效修正权矢量的学习算法并不容易。这一结论使得当时许多神经网 络研究者感到前途渺茫，客观上对神经网络理论的发展起了一定的消极作用。 美国学者霍普菲尔德( j h o p f i e l d ) 对人工神经网络研究的复苏起到了关键性的 作用。1 9 8 2 年，他提出了霍普菲尔的网络模型，将能量函数引入到对称反馈网络 中，是网络稳定性有了明显的判据，并利用提出的网络的神经计算能力来解决条 件优化问题。另外，霍普菲尔德网络模型可以用电子模拟线路来实现，从而由此 还兴起了对新一代电子神经计算机的研究。 另一个突破性的研究成果是儒默哈特( d e r u m e l h a r t ) 等人在1 9 8 6 年提出的解 决多层神经网络权值修正的算法一误差反向传播法，简称b p 算法，找到了解决 明斯基和帕伯特提出的问题的办法，从而给人工神经网络增添了活力。 2 人工神经网络的应用 人工神经网络的实质反映了输入转化为输出的一种数学表达式，这种数学关 系是由网络的结构确定的，网络的结构必须根据具体问题进行设计和训练。学习 人工神经网络的关键在于掌握生物神经网络与人工神经网络建模的联系，人工神 经网络的数学基础，以及人工神经网络的应用。以下根据一些文献的介绍，列出 神经网络在一些主要领域的应用情况。 第二章医学图像融及相关理论