医学图像配准.ppt

医学图像配准,图像配准定义,医学图像配准指对于一幅医学图像寻求一种（或一系列）空间变换，使它与另一幅医学图像上的对应点达到空间上的一致。这种一致是指人体上的同一解剖点在两张匹配图像上有相同的空间位置（位置一致，角度一致、大小一致）。,源图像,目标图像,图像模态举例,CT,血管造影,MRI,超声,SPECT,PET,配准实现过程：获得特征图像：不同角度、不同条件图像配准：通过空间变换（移动和旋转），使两幅图像对齐图像融合：得到整体特征图像,图像配准的应用,相同模态，相同病人monitoringandquantifyingdiseaseprogressionovertime,evaluationofintra-operativebraindeformation,etc不同模态,相同病人correctionfordifferentpatientpositionbetweenscans,linkingbetweenstructuralandfunctionalimages,etc相同模态，不同病人atlasconstructionstudiesofvariabilitybetweensubjects,etc,1.同一对象的图像配准,单模图像配准：相同的成像设备，不同角度或时间或不同成像条件多模图像配准：不同的成像设备,单模配准的典型应用：,（1）不同MR加权像间的配准,（2）电镜图像序列的配准,单模配准的典型应用：,（3）fMRI图像序列的配准,（4）胸腹部脏器的图像配准,时间序列图像，大脑活动会产生氧摄取量和血流间的不平衡,MRI图像测得信号的改变,解决：参考点位置确定（定位问题）运动过程中的局部变形和噪声问题,多模医学图像配准：,待配准的两幅图像来源于不同的成像设备。,解剖图像：,CT：对密度差异较大的组织效果好MRI：可识别软组织,较高的空间分辨率,功能图像：SPECT/PET：能反映人体的功能和代谢信息,空间分辨率差,一般临床上的应用：CT（或MRI）和SPECT（或PET）的综合分析，同时提供功能和解剖信息,多模医学图像配准：,人脑MR/PET图像配准上排：轴向图；中间：矢状图；下排：冠壮图左：PET图像；中：MRI图像；右：融合图像,难点：由于扫描设备的原理不同，两种断层图像间并不存在简单的一一对应关系,2.不同对象的图像配准,难点：不同对象形状、大小、位置差异,方法：1）确定一个共同的标准。要求有一个详细标记人体各个解剖位置的计算机化标准图谱，如Talairach标准空间，把两幅图像分别映射到图谱，再比较,Talairach人脑图谱,对两个病人的PET或MR图象进行比较，首先把二者的图像都映射到这个共同的参考空间，然后再比较,不同对象的图像配准方法：,胼胝体,用非线性变换法配准不同人脑表面沟回,2）非线性形变法将三维图像逐渐变形，最终较好的与另一个三维图像匹配,不同对象的图像配准方法：,时间配准,PET,图像融合,MRI,CT,伪彩色,PET-CT,解剖和功能图像的融合,感兴趣区域的选取和彩色显示,图像融合,甲状腺CT扫描,SPECT的CT融合,蛋白质定位,不同光谱波段的光学生物标志,图像融合,概率图映射,图像融合,功能磁共振成像磁共振解剖图,fMRI,图像融合,结合加权强度,CT,MRI,Alsopossiblewithintermittendpresentation(flicker)？,图像融合,Checkerboardfusion,图像融合,Linkedcursor,图像融合,Radiotherapyplanning,Iso-dosiscontoursonCT,图像融合,配准方法的分类,图像维数2D,3D,时间,.配准的基础点集,标记,表面,.几何变换仿射变换,透视变换,.交互度用户初始化,自动优化过程最大距离,梯度下降模态多模态,intra-modal,.Subjectinter-patient,atlas,.对象头,脊椎,肝,.,CT图像,动态系列,工作站,灌注图像,CT灌注：随着时间的推移匹配,梗塞肿瘤特性血液灌流,CT灌注,CT图像,动态系列,工作站,灌注图像,梗塞肿瘤特性血液灌流,血管容积,血管流,时间最大值,平均通流时间,功能灌注图像,配准,配准方法的分类,图像维数2D,3D,时间,.配准的基础点集,标记,表面,.几何变换仿射变换,透视变换,.交互度用户初始化,自动优化过程最大距离,梯度下降模态多模态,内模态,.主题内部,图谱,.对象头,脊椎,肝,.,（1）点法,先寻找两幅图像之间的标志点（相同的点），然后通过对对应点集的刚体变换，将标志点对准，实现图像配准,标志点可以分为：内部点和外部点两种,内部点：是从与病人相关的图像性质中得到解剖标志点，如耳蜗尖端拐角、血管分叉或拐角处等。内部点寻找困难、费时,外部点：采集图像前，在病人的特定部位添加标记，使得两幅图像都能检测到标记点，如螺钉、记号外部点容易识别，但受试者需要严格保持不动,图像1,图像2,确定标志点,几何变换,配准图像,寻找对应点,确定对应关系,（2）曲线法,用人工的方法寻找两幅图像对应的开曲线，在两条曲线对应最佳的线段找出一组对应点，再用点法配准,“帽子”从一幅图像轮廓提取的点集,头表面模型另一幅图像表面,（3）表面法,配准原则：寻找到的几何变换使得点与表面间的距离平均平方值最小,（4）矩和主轴法,计算两幅图像像素点的质心和主轴，通过平移和旋转使质心和主轴对齐，实现配准,缺点：1.对数据的缺失敏感，整个物体必须完整的出现在两幅图像中2.对准效果不是很好，只能做前期配准，减少后续主要配准方法的搜索步骤,（5）相关法,适用于同一个物体由于图像获取条件的差异或物体自身发生的微小变化而产生的图像序列的配准，从而发现物体的改变,采用使图像间相似性最大化的原理，估计变换参数，利用刚体的平移与旋转，实现配准,缺点：每种变换参数可能的取值都要计算相似性，相关法计算代价十分庞大,相似性：相关函数、相关系数、差值的平方、差的绝对值等,配准实例（1）：点法,脑部冠状图像,脑部3D解剖图像,传统的解剖图像,配准实例（2）：相关性,1）图像中心对准2）表面法配准,图像标志,1.5Tesla,0.15Tesla,比对术前MRI(1.5T)onto术中MRI(0.15T),互操作影像引导操纵立体定向设备,配准方法的分类,图像维数2D,3D,时间,.配准的基础点集,标记,表面,.几何变换仿射变换,透视变换,.交互度用户初始化,自动优化过程最大距离,梯度下降模态多模态,内模态,.主体内部,图谱,.对象头,脊椎,肝,.,几何变换的种类：,刚体变换仿射变换投影变换弯曲变换,刚体变换：指物体内部任意两点间的距离及平行关系保持不变（处理人脑图像，对不同方向成像的图像配准常使用刚体变换）仿射变换：保持平行性，但距离发生变化，直线还是直线（校正成像设备的误差产生的畸变）投影变换：直线映射成直线，平行性和两点间的距离变化（二维投影图像与三维图像的配准）弯曲变换：直线变成曲线(解剖图谱变形拟合图像数据),医学图像配准在大多数情况下是采用刚体变换模型。人体的很多组织可以近似为刚体，如骨头、由颅骨固定的大脑等,刚体变换：平移、旋转,（1）刚体变换,物体内部两点间的距离和角度保持不变,二维刚体变换：沿x轴平移：,向右平移p为正向左平移p为负,矩阵公式：,变换公式：,其中x与y是平移后的结果,从（x,y)变到新坐标系（x,y),沿y轴平移：,向上平移q为正向下平移q为负,矩阵公式：,变换公式：,其中x与y是平移后的结果,绕坐标原点旋转：,矩阵公式：,变换公式：,复合变换：,不同顺序的变换得到的结果是不同。,先沿x轴平移，再沿y轴平移，最后绕原点旋转,先绕原点旋转，再沿y轴平移，最后沿x轴平移,举例：,设刚体变换先绕坐标原点旋转10，再沿x轴平移4个单位，然后沿y轴平移9个单位,设刚体变换先沿x轴平移4个单位，再沿y轴平移9个单位，然后绕坐标原点旋转10,对于一个给定的变换结果，可以有许多不同的变换途径,先沿X轴平移2.3764个单位再沿Y轴平移9，5579个单位最后绕坐标原点旋转10度,三维刚体变换：沿x轴平移,向右平移p为正向左平移p为负,矩阵公式：,变换公式：,其中x,y,z是平移后的结果,沿y轴平移：,向上平移q为正向下平移q为负,矩阵公式：,变换公式：,其中x,y,z是平移后的结果,沿z轴平移：,向前平移r为正向后平移r为负,矩阵公式：,变换公式：,其中x,y,z是平移后的结果,绕坐标轴旋转：,绕x轴旋转：,绕y轴旋转：,绕z轴旋转：,复合变换：,结合先旋转、后平移，及先平移后旋转，共有12种不同的组合顺序。对于先旋转后平移有：,与二维复合变换相同，不同顺序的变换得到的结果是不同;对于一个给定的变换结果，可以有许多不同的变换途径,图像的变换模型：,刚体变换（二维刚体变换、三维刚体变换）全局尺度变换仿射变换（9参数仿射变换、一般仿射变换）透视变换*非线性空间变换*,（2）全局尺度变换,在刚体变换基础上增加一个新参数m，使图像全局缩放m倍,注：尺度变换与平移变换的顺序有影响，但与旋转变换顺序无关。,图像的变换模型：,刚体变换（二维刚体变换、三维刚体变换）全局尺度变换仿射变换（9参数仿射变换、一般仿射变换）透视变换*非线性空间变换*,（3）仿射变换9参数仿射变换,各方向上尺度变换系数不同，,1）对于同一个人的图像配准，可以在做旋转变换之前做尺度缩放2）对于不同人的图像配准，可以先旋转对准图谱，然后做三个方向的尺度缩放,基本的二维仿射变换举例：,沿X轴,整体旋转,沿Y轴,沿X扩大,整体扩大/缩小,沿Y扩大,原图,不改变面积,改变面积,一般仿射变换,二维仿射变换：,三维仿射变换：,无需计算正弦和余弦，由变换参数决定变换结果,（4）透视变换,直线经变换后还是直线，但平行的直线经变换后可能相交。,（5）非线性变换,无线性约束，一般用于校正图像获取过程中由仪器设备引入的畸变,边界移除,边界移除,估计比对,y,固定图像,变换,x,y,移动图像,x,模板匹配,模板匹配法是在一幅影像中选取一个的影像窗口作模板，大小通常为55或77，然后通过相关函数的计算来找到它在搜索图中的坐标位置。设模板T放在搜索图S上平移，模板覆盖下的那块搜索图叫做子图Si,j，子图的中心点在S图中的坐标(i,j)，叫参考点。,相似性测度,用以下测度来衡量T和Si,j的相似程度：根据施瓦兹不等式，并且在比值为常数时取极大值为1。但实际上两幅不同图像的P值介于0和1之间，很难达到理想值。根据经验取某个阈值P0，如果PP0，则匹配成功；PP0，则匹配失败。,金字塔模板匹配,为了加快搜索速度，很多影像匹配方法使用金字塔影像。对影像进行一次采样率为1/n(n=2,3)的重采样，即把影像的每nn个像素变为一个像素，这样就得到一对长、宽都为原来1/n的影像，把它作为金字塔的第二层。再对第二层用同样方法进行一次采样率为1/n的重采样，又得到第三层（顶层）。原始影像作为金字塔影像的底层。,金字塔影像匹配的步骤,第一步：顶层的匹配，得到一个平移初始值。第二步：根据平移初始值乘以n得到第二层平移量初始值，在它mm个像元的邻域内进行模板匹配。第三步：根据第二层匹配值乘以n得到第三层平移量初始值，再进行一次模板匹配。如果影像尺寸不是特别大，可以只用两层金字塔。,基于特征的配准算法,基于特征的算法(feature-basedmatching)先提取图像显著特征，再进行特征匹配，大大压缩了图像信息的数据量，同时保持了图像的位移、旋转、比例方面的特征，故在配准时计算量小，速度较快、鲁棒性好。当两幅图像之间的线性位置关系不明确时，应使用基于特征的匹配。一般来说特征匹配算法可分为四步:1.特征提取;2.特征描述;3.特征匹配；4.非特征像素之间的匹配。,基于特征的配准步骤,在特征匹配前，首先要从两幅图像中提取灰度变化明显的点、线等特征形成特征集。在两幅图像对应的特征集中利用特征匹配算法尽可能的将存在匹配关系的特征对选择出来。通过特征建立两幅图像之间的多项式变换关系，达到以点代面的效果。对于非特征像素点，利用上述多项式变换关系来进行几何校正，从而实现两幅图像之间逐像素的配准。,人工匹配步骤,1.人工选取控制点2.多项式匹配,半自动匹配,1.用户先把主辅图像进行预处理，先进行重采样、旋转、去除噪声等，使两幅影像的分辨率、角度等基本一致后，再进行配准。2.用户先指定三个控制点，程序根据三个控制点算出主辅图像旋转、平移和尺度差异，再用金字塔模板匹配方法进行配准。,全自动匹配,不需要用户事先提供任何信息，单纯依据两幅图像自身的信息进行匹配计算。由于主辅图像之间存在旋转、平移和尺度差异，如何找到初始定位信息是其难点。方法多种多样。包括直方图匹配、Hu不变矩、金字塔模板匹配、小波Gabor算子、基于空间变换的方法等。将在后面特征点匹配部分讲述。,基于TIN的图像配准算法流程,特征类型,灰度特征点。Moravec算子、Forstner算子与Hannah算子。角点。SUSAN算子,Harris算子，王算子，沈俊算子。边缘特征（线型）。Canny算子,Marr算子。纹理特征。灰度共生矩阵，小波Gabor算子。,Moravec算子,Moravec算子是利用灰度方差提取特征点的算子，它在四个主要方向上，选择具有最大-最小灰度方差的点作为特征点。其步骤为：1计算各像元的兴趣值（InterestValue）。在以像素为中心ww的影像窗口中（如55的窗口），计算图中所示四个方向相邻像素灰度差的平方和：,Moravec算子,取其中最小者作为该像素的兴趣值：V=minV1，V2，V3，V4,给定一经验阈值，将兴趣值大于该阈值的点（即窗口的中心点）作为候选点。阈值的选择应以候选点中包括所需要的主要特征点而又不含过多的非特征点为原则。取候选点中的极值点作为特征点。在一定大小的窗口内,将候选点中兴趣值不是最大者均去掉，仅留下一个兴趣值最大者，该像素即为一个特征点。如果两个特征点之间的距离过短，则去掉其中一个。否则，在影像校正时，三角形边长过短将使解算出来的仿射变换参数出现错误。,角点提取-SUSAN算子,SUSAN算法是由英国牛津大学的S.M.Smith,J.M.Brady首先提出的,它主要是用来计算图像中的角点特征的。SUSAN算法的特点:1.对角点的检测比对边缘检测的效果要好,适用于基于角点匹配的图像配准;2.无需梯度运算,保证了算法的效率;3.具有积分特性(在一个模板内计算SUSAN面积),这样就使得SUSAN算法在抗噪和计算速度方面有较大的改进。,USAN原理（核同值区域）核同值区：相对于模板的核，模板中有一定的区域与它有相同(相近)的灰度,SUSAN检测算子,SUSAN检测算子,SUSAN检测算子,USAN原理检测模板的中心称为“核”原理：利用USAN的尺寸、中心等统计量可以帮助检测图像中的边缘或角点步骤：USAN面积较大（超过一半）时表明核像素处在图像中的灰度一致区域，在模板核接近边缘时该面积减少，而在接近角点时减少得更多，即在角点处面积取得最小值优势：可以不需要计算微分，因而对噪声不敏感,SUSAN检测算子,SUSAN原理,StephenM.SmithandJ.MichaelBrady发表(1997)USANUnivalueSegmentAssimilatingNucleus（最小核同值区）图像假定由特征点构成每一个特征点都是非同一亮度的像素USAN定义一个和中心模板相同的特征区域,阴影区域=USAN,SUSAN：最小（Smallest）核同值区设置检测模板：37个象素,半径为3.4象素SUSAN算子采用圆形模板来得到各向同性的响应。将模板内每个像素的灰度值与核的灰度值进行比较,SUSAN检测算子,SUSAN检测算子,式中,(x0,y0