多模态医学影像配准与融合技术的研究（葛雯）.ppt

1、多模态医学图像配准与融合技术研究，导师：高立群教授学生：戈文，主要内容，基于PCNN的图像融合算法，总结与展望，基于小波变换的图像融合算法，基于BP的特征级图像融合算法，医学图像配准算法，学科背景，1。受试者背景：由于医学成像仪器的成像机理不同，不同模式下的不同医学图像反映的人体信息也不同。图像配准和融合可以补充多模态图像信息，融合成新的图像。目前，医学图像融合技术还处于起步阶段，因此本文重点研究了多模态医学图像融合方法和配准算法。第二，医学图像配准算法，医学图像配准的定义是寻求两幅图像之间的几何变换关系，通过这种几何变换，两幅医学图像上的对应点在空间上是一致的，这意味着人体上的同一解剖点在两

2、幅匹配图像上具有相同的空间位置。最大互信息配准方法的基本思想在多模式医学图像配准中，当两幅图像中的同一目标在空间上对齐时，相关性最强，对应像素灰度的互信息达到最大，因此可以根据最大互信息的位置找到最佳配准。缺点：互信息函数不是分布良好的凸函数，导致配准错误。同时，它需要很长时间来计算。输入图像，提取图像的边缘特征信息，计算特征点集的互信息，归一化，配准提取的特征图像，优化搜索，根据配准参数配准原始图像，采用基于Canny算子和小波提升变换的边缘检测方法，采用归一化互信息作为度量，采用改进的Powell算法，找到最大归一化互信息的位置，改进算法流程图，改进仿真实验(a)CT图像，(b)磁共振图像

3、，(c)最大互信息配准方法， (3)基于小波变换的图像融合算法具有良好的时频局部化特性和多尺度分析能力，非常适合图像处理。 基于小波变换的图像融合算法广泛应用于图像融合处理中，其性能优于传统的图像融合方法。(1)基于可分离小波变换的图像融合算法，包括以下步骤：对待融合的医学源图像进行小波变换分解；对于尺度系数，医学源图像对应的尺度系数通过以下公式组合：(3.1)对于小波系数，首先通过以下公式确定医学源图像高频分量的边缘点和非边缘点，保护边缘点对应的小波系数；(3.2)、(3.3)、(3.4)和非边缘点通过使用公式(3.5)来融合。然后，通过公式(3.6)获得融合图像的小波系数。(3.5)、(3

4、.6)。通过对融合图像的小波系数和尺度系数进行逆小波变换，可以得到重建的医学融合图像。仿真实验，(a) CT图像，(b) MRI图像，(c)拉普拉斯金字塔融合算法，(d)梯度金字塔融合，(e)形态金字塔融合，(f)小波变换融合算法，(g)提出的算法，(c)CT/MRI实验结果的质量评估，(d)低频分量的融合规则，(3.7)、(3.7) (2)基于不可分小波变换的图像融合算法，高频分量的融合规则是亮度信息细节，(3.10)、(3.11)、或，当，其中，调整CT/MRI图像的优势比，() 为了获得强调不同特征信息的图像，医生可以根据上述公式计算它们，或者根据经验手动设置这些参数。、决定图像边缘的因

5、素、(3.19)、仿真实验、(a) CT图像、(b) MRI图像、(c)对比度金字塔融合算法、(d)基于像素的融合算法、(e)基于区域的融合算法、(f)提出的算法、CT/MRI实验结果质量评价、基于区域模糊熵和区域亮度细节优势度的融合算法设计等。仿真实验，(a) CT图像，(b) MRI图像，(c)对比金字塔融合算法，(d)基于像素融合算法，(g)提出的算法，(e)基于区域融合算法，(f)模糊集和小波变换融合算法，对CT/MRI实验结果进行质量评价，(4)基于PCNN的图像融合算法和小波变换方法是有针对性的。不同类型图像基于神经网络的融合结果差别不大，且融合规则往往简单易行，因此基于神经网络的

6、融合算法具有较好的适应性。因此，将具有生物背景的PCNN神经网络应用于医学图像融合。具体融合步骤：1 .对每幅医学图像进行两层小波提升分解，提取图像的近似细节、水平、垂直和对角小波系数矩阵。2.改进的PCNN网络用于低频和高频子图像。PCNN网络的大小与相应子图像的大小相同，每个PCNN中的所有神经元由8个邻域连接。3.将医学图像A和B的子图像分别输入到相应的PCNN网络中，按照以下步骤进行融合处理：和初始化。让sum分别表示第k个子图像中像素(I，j)的灰度值，并将其归一化为01，这样内部链接输入矩阵、内部行为矩阵和阈值矩阵的初始值分别为：此时，所有神经元都处于熄火状态：Nmax是最大迭代次

7、数，与点火时间记录矩阵一致；(2)根据下式，和；其中：或，(4.1)，(3)累加网络：的每次迭代操作的输出(4)重复步骤(2)和(3)，直到网络的迭代操作停止；(5)根据以下公式选择融合图像的小波系数：(4.2)、(4.3)和(6)。为了避免某个区域及其相邻区域分别来自不同的输入源图像的情况，通过一致性检测来检查步骤(5)中获得的结果。也就是说，如果神经网络确定某个区域来自计算机断层扫描图像，而周围区域来自磁共振成像图像，则该区域将被磁共振成像图像中相应的区域像素替换。(7)最后，利用小波提升逆变换得到最终的融合图像。仿真实验，(a) CT图像，(b) MRI图像，(c)梯度金字塔融合算法，(

8、d)基于区域融合的算法，(e) PCNN (f)，(a) CT图像，(b) MRI图像，(c)梯度金字塔(d)基于区域融合的融合算法，(e)模糊集和小波(f) PCNN变换的融合算法，CT1/MRI1实验结果的质量评价，以及CT2/MRI2实验结果的质量评价。基于像素级的医学图像融合可以使融合后的图像包含更全面、更准确的信息，但需要处理的图像数据量大，因此融合速度慢，配准精度很高。基于特征级的医学图像融合由于融合了从多模态医学图像中提取的特征信息，对图像配准的要求不如像素级严格，因此可以大大加快融合速度，但其融合精度不如像素级融合。5.基于神经网络的特征级图像融合算法。将像素级和特征级融合方法

9、有效结合，利用神经网络的优势，提出了一种基于神经网络的特征级图像融合方法。具体步骤如下：1 .对两幅图像进行分割，得到一组分割区域，分别用Ai和Bi表示第I对区域。2.根据灰度共生矩阵，从每个区域提取反映图像纹理的五个特征。Ai和Bi的特征向量分别表示为()和()。训练一个神经网络来判断和分析铝和铋区域的纹理特征。神经网络的输入是差向量()，网络的输出如下：4 .使用经过训练的神经网络来检测和判断所有分割区域(在第一步中获得)。融合图像的第I区域根据以下公式构造：(5.1)、(5.2)和(5)。一致性检测用于验证步骤(4)中获得的结果。如果神经网络确定某个区域来自图像1，而周围区域来自图像2，则该区域将被图像2中的相应区域像素替换。以这种方式，确保了在合成复合系数时，邻域中系数的选择基于相同的规则。仿真实验，(a) CT图像，(b) MRI图像，(c)基于像素融合算法，(d)小波变换融合算法，(e)基于区域融合算法(f)，CT/MRI质量评价实验结果，结论，1。提出了一种基于边缘特征点的互信息配准方法。2.提出了一种基于可分离小波变换的像素级医学图像融合算法。3.提出了一种基于不可分小波变换的医学图像融合方法。4.提出了