教学材料《数字图像》-第9章

9.1图像配准9.1.1概述9.1.1.1基本概念图像配准是指对于一幅图像寻求一种（或一系列）空间变换，使它与另一幅图像上的对应点达到空间上的一致。这种一致是指同一标志点在两张匹配图像上有相同的空间位置（位置一致，角度一致、大小一致）。配准的结果应使两幅图像上至少是所有感兴趣的点都达到匹配。图像配准是图像分析和处理的基本问题。它在航空影像自动制图、图像三维重构、计算机视觉、遥感融合、模式识别、医学图像处理、影像分析等领域都有重要应用。下一页返回9.1图像配准图9.1为图像配准的示意图。同一个人从不同角度、不同位置拍摄的两张照片由于拍摄条件不同，每张照片只反映某些方面的特征。要将这两张照片一起分析，就要将其中的一张中的人像做移动和旋转，使它与另一幅对齐。保持不动的叫做参考图像，做变换的称作浮动图像。经配准和融合后的图像反映人的全貌。上一页下一页返回9.1图像配准9.1.1.2图像配准的分类一般来说，待配准图像在图像来源、成像方式、空间结构等方面都可能存在差异，在融合之前需要将图像在空间上对齐。根据不同的分类依据，图像配准可以有多种不同的分类方法。（1）从成像方式上看，分为单模态图像配准和多模态图像配准。①单模态图像配准：是指待配准的两幅图像是用同一种成像设备获取的同一类型的序列图像，由于人为或机器的原因发生了相对的缩放、平移或旋转而出现了对不齐的现象，这种配准叫单模配准。一般用在生长监控、减影成像等。②多模态图像配准：是指待配准的两幅图像来源于不同的成像设备，如医学上同一个人的CT和MRI或SPECT和PET的配准，叫做多模配准。主要应用于神经外科的诊断、手术定位及放疗计划设计等。

上一页下一页返回9.1图像配准（2）从图像性质上看，分为刚性配准和非刚性配准。①刚性配准认为配准对象具有刚体性质，配准过程中只考虑平移、旋转等刚性变换。②非刚性配准认为配准对象具有非刚性形变，如软组织图像通常需要非刚性形变，以获得像素的精确对应。（3）从配准依据上看，分为基于特征的配准和基于灰度的配准。①基于特征的配准包括基于特征点集的配准和基于线特征（图像中边缘信息）的配准算法，通常需要一个分割过程，从图像中提取出对应的解剖结构特征，在空间上对齐。②基于灰度的配准主要是模板匹配和最大互信息法，直接利用图像的灰度信息进行配准，精度高。上一页下一页返回9.1图像配准（4）根据空间变换性质分类。①刚性变换：指物体内部任意两点间的距离保持不变，只包括平移和旋转变换。②仿射变换：将平行线变换为平行线。③投影变换：与仿射变换相似，将直线映射为直线，但不再保持平行性质。④曲线（非线性）变换：将直线映射为曲线。（5）根据配准主体不同分类。①同一患者的配准：指将来自同一个病人的待配准图像，用于任何种类的诊断中。②不同患者或患者与图谱的配准：指待配准图像来自不同病人或一幅来自病人，一幅来自图谱，主要用在医学三维头部图像(MR、CT)的配准中。

上一页下一页返回9.1图像配准9.1.2图像配准的理论基础9.1.2.1图像配准原理对于在不同时间或不同条件下获取的两幅图像A(x)和B(x)的配准，就是要定义一个相似性测度并寻找一个空间变换关系，使得经过该空间变换后两幅图像间的相似性达到最大（或者差异性最小）。即使图像A上的每一个点在图像B上都有唯一的点与之对应，并且这两点应对应同一解剖位置。配准的过程归结为寻求最佳空间变换的过程。由于空间变换包含多个参数，是一个多参数最优化问题，一般由迭代过程实现。上一页下一页返回9.1图像配准9.1.2.2图像配准的基本过程图像配准的基本过程包括以下四个方面：特征空间、空间变换、搜索策略和相似性度量。配准流程图见图9.2。（1）特征空间：根据待配准图像I2与参考图像I1，提取出图像的特征信息组成特征空间。（2）空间变换：根据提取出的特征空间确定出一种空间变换，即对图像进行变换的范围及方式，使待配准图像I2经过该变换后与参考图像I1能够达到所定义的相似性测度。上一页下一页返回9.1图像配准（3）相似性度量：衡量每次变换结果优劣的准则，用来对变换结果进行评估，为搜索策略的下一步动作提供依据。通常配准算法抗干扰的能力是由特征提取和相似性度量共同决定的。（4）搜索策略：在搜索空间中找到最佳的配准参数，在搜索过程中以相似性度量的值作为判优依据。在确定变换的过程中，还需采取一定的搜索策略也就是优化措施以使相似性测度更快更好地达到最优值。上一页下一页返回9.1图像配准9.1.2.3图像空间变换对于在不同时间或不同条件下获取的两幅图像I1(x1,y1,

z1)和I2(x2,y2,z2)配准，就是寻找一个映射关系

：(x1,y1,z1)→(x2,y2,z2)，使I1

的每一个点在I2上都有唯一的点与之相对应，并且这两点应对应同一解剖位置。映射关系

表现为一组连续的空间变换。如整幅图像应用相同的空间变换，则称之为全局变换（GlobalTransformation），否则，称之为局部变换（LocalTransformation）。常用的空间几何变换有刚体变换（RigidBodyTransformation）、仿射变换（AffineTransformation）、透视或投影变换（PerspectiveorPROJECTIVETransformation）和非线性变换（NonlinearTransformation），见图9.3示意。上一页下一页返回9.1图像配准（1）刚体变换：使得一幅图像中任意两点间的距离在变换前后保持不变。例如：人体的头部由坚硬的颅骨支撑，在处理时通常忽略头部皮肤的微小变形，将整个人脑看作是一个刚体。处理人脑图像，对不同方向成像的图像配准常使用刚体变换。刚体变换可以分解为旋转、平移和（镜像）反转。在2-D中，点(x,y)经刚体变换到点(x',y')的变换公式为

（9.5）上一页下一页返回9.1图像配准（2）仿射变换：它将直线映射为直线，并保持平行性。具体表现可以是各个方向尺度变换系数一致的均匀尺度变换或变换系数不一致的非均匀尺度变换及剪切变换等。均匀尺度变换多用于使用透镜系统的照相图像，在这种情况下，物体的图像和该物体与成像的光学仪器间的距离有直接的关系。一般的仿射变换可用于校正由CT台架倾斜引起的剪切或MR梯度线圈不完善产生的畸变。仿射变换可以分解为线性（矩阵）变换和平移变换。在2-D中，变换公式为

（9.6）式中，

为实矩阵。上一页下一页返回9.1图像配准（3）投影变换：与仿射变换相似,投影变换将直线映射为直线，但不再保持平行性质。投影变换可用高维空间上的线性（矩阵）变换来表示。变换公式为（9.7）（4）非线性变换：非线性变换也称做弯曲变换（CurvedTransformation），它把直线变换为曲线。在2-D中，可以用以下公式表示：

（9.8）式中，F表示把第一幅图像映射到第二幅图像上的任意一种函数形式。典型的非线性变换是多项式变换，如二次、三次函数及薄板样条函数，有时也使用指数函数。

上一页下一页返回9.1图像配准在2-D中，二次多项式函数可写成如下形式。

（9.9）

（9.10）薄板样条变换：可以表示为仿射变换与径向基函数的线性组合。

（9.11）式中，x是坐标向量；A与B定义一个仿射变换；U是径向基函数。

上一页下一页返回9.1图像配准在2-D中，有

（9.12）

（9.13）在3-D中，有

（9.14）

（9.15）

上一页下一页返回9.1图像配准9.1.2.4参数的优化搜索图像配准问题本质上是多参数优化问题，优化算法的选择至关重要。常用的优化算法有

Powell法、梯度下降法、遗传算法、模拟退火法等。最常用的为Powell法。Powell法是一种传统的确定性优化方法，又称为方向加速法。其基本思想是：对于n维极值问题，首先沿着n个坐标方向求极小，经多n次之后得到n个共轭方向，然后沿n个共轭方向求极小，经过多次迭代后便可求得极小值。即把整个计算过程分成若干轮迭代，每轮迭代由n+1次一维搜索组成。在每轮迭代中，从初始点x0出发一次沿着已知的n个方向进行n次以为搜索，得到一个最好点x；接着从点x出发沿x0与x连线方向进行1次一维搜索，得到本轮的最好点；然后改变初始点，构造新的搜索方向，开始新一轮迭代。

上一页下一页返回9.1图像配准Powell算法的原理：对于某一问题，将其归结为求取某一目标函数的极小值。其中Y为一个向量设置一个满秩的步长矩阵：

（9.16）对于某一初始值，

，迭代过程如下。

上一页下一页返回9.1图像配准

上一页下一页返回9.1图像配准9.1.2.5相似性测度配准过程在得到几何变换后，进一步的工作就是要找到一种合适、最优的描述量，用以表征相似或者差异，称这种描述量为相似性测度。常用的相似性测度函数以下几种。1）灰度均方差设

和

分别表示参考图像和浮动图像中的数据，两幅图像像素值的均方差可以表示为

（9.17）式中，V为参与计算的图像区域；

为参与计算的像素总量；

为对图像数据的变换。

上一页下一页返回9.1图像配准2）归一化互相关

（9.18）式中，

分别是参考图和浮动图在

区域内的像素灰度平均值，R为相关系数。

上一页下一页返回9.1图像配准3）互信息互信息（MutualInformation，MI）是信息论中的一个基本概念，用于描述两个系统间的统计相关性，或者是在一个系统中包含的另一个系统的信息的多少，一般用熵来表示，表达的是一个系统的复杂性或不确定性。如果两幅图像已经配准，则他们的互信息达到极大值。令图像A和B的互信息为I(A,B)，可得到图像互信息的计算公式为

（9.19）式中，P为对应的概率密度。

上一页下一页返回9.1图像配准9.1.3图像配准的主要算法按照配准算法所利用的图像信息，可以分为基于灰度的方法和基于特征的方法。基于灰度的配准主要是模板配准和最大互信息配准方法；基于特征的配准包括基于特征点集的配准和基于线特征（图像中边缘信息）的配准算法。9.1.3.1基于灰度的图像配准基于灰度的配准方法是目前研究较多的一种方法，它直接利用图像的灰度信息进行配准，从而避免了因分割带来的误差，因而具有精度较高、稳健性强、不需要预处理而能实现自动配准的特点。常用模板匹配法和最大互信息法。

上一页下一页返回9.1图像配准1）模板匹配法模板匹配法是在一幅图像中选取一个窗口作模板，大小通常为5×5或7×7，即模板与源图像进行比较，然后通过相关函数的计算来找到它在搜索图中的坐标位置。以确定在源图像中是否存在与该模板相同或相似的区域，若该区域存在，还可确定其位置并提取该区域。设模板T放在搜索图S上平移，模板覆盖下的那块搜索图叫做子图Si,j，子图的中心点在S图中的坐标(i,j)，叫参考点。模板匹配示意图如图9.4所示。模板匹配常用的一种测度为模板与原图像对应区域的归一化互相关，见式（9.17）。R(x,y)的最大值便指出了与图像匹配的最佳位置，若从该位置开始在原图像中取出与模板大小相同的一个区域，便可得到匹配图像。

上一页下一页返回9.1图像配准2）最大互信息配准法同一场景的多模态图像是场景中目标的不同特性的度量。一般来说，不同模态图像中，同一目标有着极为不同的亮度值，如图9.5（a）和图9.5（b）所示。骨骼在CT中是高亮区，在MR中对应是暗区域。因此，图像之间的灰度值并不是一些独立的量，而是统计意义上度量相关的。假设R是参考图像，F是浮动图像。Ta是将浮动图像F映射到参考图像R上的空间变换，其中a是变换参数。若p是参考图像R中的一个体素，p点上的灰度值为r，则与之相对应的浮动图像上的体素为Ta(p)，Ta(p)位置上的图像灰度值为f。图像灰度r和f之间的统计依赖性或者说r中包含f的信息可以由变量R(r)和变量F(f)之间的互信息MI(R,F)来度量。

上一页下一页返回9.1图像配准

上一页下一页返回9.1图像配准

上一页下一页返回9.1图像配准例9.1图像配准示例。以医学CT和MR脑部图像为例，图9.5（a）和图9.5（b）分别是同一个病人的CT和MRI两幅图像，图9.5（c）为采用最大互信息配准后的MR图像，图9.5（d）为将CT中的病变区域叠加到配准后的MR图像上的效果图。9.1.3.2基于图像特征的图像配准在图像中选取表示某些特征的像素点，提取图像特征，包括特征点、直线段、目标边缘、地形特征线轮廓、闭合区域、特征结构以及统计特征如矩不变量、重心等，利用这些特征计算空间变换参数，然后利用提取到的特征完成两幅图像特征之间的匹配。具体方法见相关书籍。

上一页返回9.2图像融合9.2.1概述图像融合，是指将由多源图像传感器所采集到的、关于同一目标的图像，经过一定的图像处理，获取对同一目标的更为精确、更为全面、更为可靠的新的图像描述，以供观察或进一步处理。

根据不同的用途、特征可对图像融合进行不同的分类，具体见图9.6。图像的融合过程是一个渐进的过程，一般都要经过3个主要的步骤来完成，分别是图像预处理、图像配准和图像融合。第一步：图像预处理是指对获取的各模态图像数据做去除噪声、感兴趣区域分割、对比度增强等处理，统一各图像数据的格式、图像大小和分辨率等。

下一页返回9.2图像融合第二步：图像配准是指对于一幅图像寻求一种或一系列空间变换，使它与另一幅图像上的对应点达到空间上的一致。配准的结果应使所有具有诊断意义的点达到空间上的匹配。图像配准是图像融合的先决条件与关键，图像配准精度的高低直接决定着融合结果的质量。第三步：图像的数据融合，是指将图像融合技术应用于具体图像，即将来源于不同成像设备的图像，经过一系列变换处理，得到包含有目标对象更多病理信息的新图像。

上一页下一页返回9.2图像融合9.2.2图像融合算法常用的图像融合算法主要有空域法和变换域法。其中，空域法主要有加权平均法、形态学法、图像代数法；变换域法主要有金字塔法、PCA法、小波变换法等。下面介绍几种主要的方法。9.2.2.1加权平均法1）加权平均法原理加权融合是一种最简单的算法，其关键为计算各融合图像的权值。计算权值常用方法有SVR法、相关系数法、全局法、局部加权法、能量法等。常常与其他算法结合使用。

上一页下一页返回9.2图像融合

上一页下一页返回9.2图像融合

上一页下一页返回9.2图像融合

上一页下一页返回9.2图像融合3）加权平均法的特点加权平均融合是最简单的融合算法，适用于实时处理，当用于多图像融合时，可以提高融合图像信噪比，在源图像包含大量冗余信息且互相差异不大的情况下，可以得到更丰富的信息。加权平均融合本质上是对图像的平滑处理，往往会造成图像中边缘和轮廓模糊，降低视觉信息对比度；而且当源图像的灰度差异较大时，融合图像中会出现明显的拼接痕迹，不利于视觉观察和后续的目标识别。

上一页下一页返回9.2图像融合

上一页下一页返回9.2图像融合

上一页下一页返回9.2图像融合

上一页下一页返回9.2图像融合

上一页下一页返回9.2图像融合

上一页下一页返回9.2图像融合

上一页下一页返回9.2图像融合2）运用PCA进行图像融合方法首先对多幅源图像数据进行PCA变换，然后用一幅高分辨率图像替代其中某个主成分，来提高多元图像的空间分辨率，步骤如下。（1）将n个波段的低分辨率源图像进行PCA变换。（2）将高分辨率图像与PCA变换的第一主成分量图像进行直方图匹配，使他们的直方图接近。（3）用匹配处理后的高分辨率图像同和第一主成分量图像。（4）用所有主成分量进行PCA逆变换。

上一页下一页返回9.2图像融合3）基于PCA变换融合方法的特点基于PCA变换的融合图像包括了源图像高空间分辨率与高光谱分辨特性，图像特征更加清晰，光谱信息更加丰富，去相关性好，可用于数据的压缩和图像旋转。但是不足之处是：算法主要针对多源图像的融合，且要求源图像间或源图像与某些主成分间有较大的相关性，这样PCA变换使多个源图像信息集中于前几个主分量上，而其他分量信息相对较少。

上一页下一页返回9.2图像融合9.2.2.3基于小波变换的融合小波分析是近几年出现的一个新的研究热点，具有良好的空间和频率域上的局域性，能通过伸缩平移等运算功能对信息进行多尺度的细化分析。1）基于小波变换的融合方法小波融合的方法是基于小波分析理论，将原图像进行小波分解，得到一系列子图像，在变换域上使用相应的算法进行小波系数的融合，创建融合图像，最后通过逆变换重建融合图像。其图像融合示意图如图9.7所示。

上一页下一页返回9.2图像融合以两幅图像的融合为例，小波融合基本步骤如下。（1）对每一源图像分别进行小波变换，建立图像的小波塔形分解。（2）对个分解层分别进行融合处理，各分解层上利用不同的融合算子进行融合处理，最终得到融合后的小波金字塔。（3）对融合后所得小波金字塔进行小波逆变换，所得到的重构图像为融合图像。2）基于小波变化图像融合的特点图像经小波分解后，由于不同分辨率的细节信息互不相关，可以将不同频率范围内的信号分别组合，产生多种具有不同特征的融合图像；图像在不同分辨率水平上的能量和噪声不会互相干扰，块状伪影容易消除；是层层细化、逐步逼近的方法，有较强鲁棒性，且融合速度快。