医学图像配准.ppt

医学图像配准,MedicalImageRegistration,许向阳,医学图像处理专题讨论,2019年12月6日,医学图像信息研究中心,一、配准的基本概念二、配准的临床应用三、配准的核心框架四、医学图像配准的分类五、关键技术讨论,内容提要,一、配准的基本概念,医学图像配准是指对于一幅医学图像寻求一种或者一系列的空间变换，使它与另一幅医学图像上的对应点达到空间上的一致。一致是指人体上的同一解剖点或者至少是所有具有诊断意义的点及手术感兴趣的点都达到匹配。保持不动的图像叫参考图像；做变换的图像称作浮动图像。,一、Basicconceptionofregistration,Imageregistration,alsocalledimagematchingoralignment,isaprocesstoregisteroneimagetoothers,sothatthetransformationmatrixbetweentwoofthemaredeterminedsothattheyarecorrespondingeachotherinspace.Imageregistrationistheprocessofestimatinganoptimaltransformationbetweentwoimages.,一、配准的基本概念,q=T(p),R：参考图像，F：浮动图像，T:变换,T=argmaxS(R,T(F)T,一、配准的基本概念,第二幅图像中少了一部分，原因可能是：成像设备，成像模式差别病变组织发生变化（如术前，术后）不同对象的成像,一、配准的基本概念,四种基本的变换刚体变换仿射变换投影变换弯曲变换,二、配准的临床应用,两个时期的同种类图像比较,病灶生长情况；治疗效果分析；动静对比收缩舒张对比发作间歇对比,对某一病人,二、配准的临床应用,数字减影血管造影Digitalsubtractionangiography，DSA,1977年Nudelman成功地获得了第一张DSA影像,二、配准的临床应用,LiQiang,etc,Improvedcontralateralsubtractionimagesbyuseofelasticmatchingtechnique,Med.Phys.27.8.,August2000,(a)箭头所指为节结,二、配准的临床应用,于劲：基于特征的肝脏病理切片显微图像拼接（硕士论文）,二、配准的临床应用,多模态图像融合,疾病诊断放射治疗计划外科手术导航系统,对某一病人,图像与物理世界配准,2005年，北美核医学年会的最佳图像奖：三维立体图像融合图像,二、配准的临床应用,PET显示食道癌,二、配准的临床应用,罗述谦，医学图像处理与分析,二、配准的临床应用,二、配准的临床应用,图像与图谱的比较,不同人,被试图像与典型正常人相同部位的图像比较：确定是否正常被试图像与一些疾病的典型图像对比：确定患者是否同类,Talairach脑图谱Ono脑沟回图谱哈佛全脑图谱,二、配准的临床应用,三维重建虚拟数字人,三、配准的核心框架,变换：Transform度量：Metric优化:Optimizer插值：Interpolator,Registrationistreatedasanoptimizationproblemwiththegoaloffindingthespatialmappingthatwillbringthemovingimageintoalignmentwiththefixedimage.,三、配准的核心框架,3.1变换,刚性变换仿射变换透视或投影变换非线性变换（弯曲变换）,三、配准的核心框架,3.2插值,插值的原因：分辨率不同图像变换引起的像素点不对应,三、配准的核心框架,3.2插值,插值方法：最近邻插值线性插值B样条插值WindowedSinc插值,三、配准的核心框架,3.3配准程度的度量,可能是配准框架中最关键的部分选择度量方法与要解决的配准问题有关,MeansquaresNormalizedcorrelationMeanreciprocalsquareddifferenceMutualinformationbyViolaandWellsMutualinformationbyMattesKullbackLieblerdistancemetricNormalizedmutualinformationMeansquareshistogramCorrelationcoefficienthistogramCardinalityMatchmetricKappaStatisticsmetricGradientDifferencemetric,三、配准的核心框架,3.3配准程度的度量,三、配准的核心框架,3.4优化,Amoeba:Nelder-Meadedownhillsimplex.ConjugateGradient:Fletcher-Reevesformoftheconjugategradientwithorwithoutpreconditioning.GradientDescent:Advancesparametersinthedirectionofthegradientwherethestepsizeisgovernedbyalearningrate。,三、配准的核心框架,3.4优化,Powell法下山单纯形法Arent法Levenberg-Marquadrt法Newton-Raphson迭代法随机搜索法梯度下降法遗传算法模拟退火法几何hash法半穷尽搜索法,四、医学图像配准的分类,4.1分类的依据图像的主体图像的模态图像的客体(人体的部位)图像空间的维数配准所基于的图像信息变换的模型变换参数的确定方式配准方法的交互性,四、医学图像配准的分类,4.2图像的主体（Subject）IntraSubjectInterSubjectAtlas,4.3图像的模态(Modalities)MonomodalMultimodalModalitytomodalPatienttomodality,4.3图像的模态,描述生理形态的解剖成像模式：,X光、CT(ComputedTomography)MRI(MagneticResonanceImaging)US(UltraSound)MRA(MagneticResonanceAngiography)DSA(DigitalSubtractionAngiography)光纤内窥镜,四、医学图像配准的分类,描述人体功能或代谢功能的成像模式：,SPECT(SinglePhotonEmissionComputedTomography，单光子发射断层扫描)PET(PositronEmissionTomography，正电子发射断层扫描)fMRI(functionalMRI，功能磁共振成像)EEG(Electro-EncephaloGraphy,脑电图)MEG(Magneto-EncephaloGraphy，脑磁图)光子内源成像,四、医学图像配准的分类,4.3图像的模态,4.5图像的维度二维，三维，时间维,4.4图像的客体（Object）Head(Brainorskull,Eye,Dental)Thorax(Entire,Caridac,Breast)Abdomen(General,Kidney,Liver)Limbs(General,Femur,Humerus,Hand)SpineandvertebratePelvisandperineum,四、医学图像配准的分类,无需图像信息,4.6配准中使用的信息,特征点,侵入性的非侵入性的,内部标志点,四、医学图像配准的分类,像素或体素,特征曲线或曲面,外部标志点,特征空间,蒋大介，实用神经外科手术学，第四章，定向手术,华工超星图书，以“神经外科”搜索，72本书,4.6配准中使用的信息外部标志点,立体框架,陈炳桓，立体定向放射神经外科学，r刀,4.6配准中使用的信息外部标志点,BrownRobertsWells(BRW)框架Cosman-Roberts-Wells(CRW)框架Gill-Thomas-Cosman（GTC）框架该类框架主要用于神经外科手术的定位和导航以及放射治疗随着计算机技术的快速发展，无框架立体定向在图像引导的颅内手术中使用得更加广泛,4.6配准中使用的信息外部标志点,韩锦华等，影像导航中的配准问题，国外医学耳鼻喉科学分册，2004.3,4.6配准中使用的信息外部标志点,外部标记物,MatthewY.Wang,AnAutomaticTechniqueforFindingandLocalizingExternallyAttachedMarkersinCTandMRVolumeImagesoftheHead,IEEEtransactionsonBiomedicalEngineering.Vol.43,No.6,1996,4.6配准中使用的信息外部标志点,外部标记点,周振环等，医学图像标志点的自动配准,中国生物医学工程学报，2003,No.5,4.6配准中使用的信息外部标志点,外部标记点,4.6配准中使用的信息外部标志点,外部标志点,它与图像本身无关。选用外部标志点的好处是简单快速，不需要复杂的优化算法，而且精度较高。只要图像中标志点能够被检测出来，任何模态的图像都能进行配准。确定外部标志点的位置要比确定内部标志点的位置容易得多，图像空间和物体空间的配准也很难用内部标志点来实现。,4.6配准中使用的信息外部标志点,外部标志点,会给病人带来很大不适；注入病人体内的外来元素往往对人体有些损害；完全无损的又很难达到满意的精度；这种方法不包括病人本身的相关图像信息，因而它的变换方式只限于刚性变换。,4.6配准中使用的信息内部标志点,内部标志点,解剖标志点(AnatomicLandmarks)几何极值点线的交点脐点(umbilicpoint)脊点灰度的极值点轮廓上曲率的极值点两个线形结构的交点某一封闭区域的质心形状特征点,4.6配准中使用的信息内部标志点,IgorD.Grachev,etc,AMethodforAssessingtheAccuracyofIntersubjectRegistrationoftheHumanBrainUsingAnatomicLandmarks，NeuroImage9,250268(1999),解剖标志点,4.6配准中使用的信息内部标志点,解剖标志点,4.6配准中使用的信息内部标志点,Detectedpointlandmarksina2DsagittalMRimageofahumanbrain,KarlRohr，On3Ddifferentialoperatorsfordetectingpointlandmarks，ImageandVisionComputing15(1997)219-233,角点,4.6配准中使用的信息内部标志点,周永新，罗述谦，基于形状特征点最大互信息的医学图像配准，计算机辅助设计与图形学学报，Vol.14,No.7，2002,形状特征点,4.6配准中使用的信息内部标志点,两幅图像中选取出的控制点应当具有唯一性。对于图像的局部失真有较好的鲁棒性。由于变换的确定依赖于这些控制点，因而控制点的数量不能太少；同时若控制点的数量太多，匹配又会比较困难。所以控制点的数量选择是一个很重要的问题，它将影响到配准的质量与效率。,内部控制点的选取原则,4.6配准中使用的信息内部标志点,选取内部控制点的好处是很灵活，从理论上说适用于任何模态的图像，而且对病人完全友好。控制点一般用来确定刚性变换或仿射变换，如果控制点数量足够多，也可用来确定其他一些更复杂的变换。这种方法的一个缺点是控制点的确定往往需要人工干预，很难实现完全自动。,内部控制点的优缺点,4.6配准中使用的信息表面,先进行图像分割，提取轮廓曲线、物体表面等内部特征。图像配准简化为曲线或曲面匹配。变换的形式既可以是刚体变换，也可以是形变变换最大缺点是配准精度受限于分割步骤的精度，除了分割阶段，整个算法可以做到全自动化，分割阶段经常也是半自动实现的。,4.6配准中使用的信息表面,阈值分割边缘检测区域增长聚类分割,轮廓表面的提取方法,边界跟踪曲面拟合,刚体变换,仿射变换,投影变换,4.7图像变换方法,非线性变换,四、医学图像配准的分类,交互的,半自动化,自动化,参数计算,参数搜索,4.9优化过程,4.8求解过程的交互性,四、医学图像配准的分类,5.1图像的基本变换,对于在不同时间或/和不同条件下获取的两幅图像I1(x1,y1,z1)和I2(x2,y2,z2)配准，就是寻找一个映射关系P：(x1,y1,z1)I2(x2,y2,z2)，使I1的每一个点在I2上都有唯一的点与之对应，并且这两点对应同一解剖位置。映射关系P表现为一组连续的空间变换。,五、配准的关键技术,5.1.1刚体变换,RigidBodyTransformation,刚体：指物体内部任意两点间的距离保持不变。刚体变换：旋转、平移,二维：沿x轴平移:x=x+p,y=y沿y轴平移:x=x,y=y+q绕坐标原点旋转:x=xcos+ysiny=-xsin+ycos,用矩阵的形式表达？,5.1图像的基本变换,5.1.1刚体变换,RigidBodyTransformation,5.1图像的基本变换,绕坐标原点顺时针旋转,沿x轴平移p,沿y轴平移q,5.1.1刚体变换,RigidBodyTransformation,5.1图像的基本变换,对一个点先沿x轴平移p,再沿y轴平移q,最后绕原点顺时针旋转,5.1.1刚体变换,RigidBodyTransformation,5.1图像的基本变换,对一个点先绕原点顺时针旋转,再沿x轴平移p,最后沿y轴平移q,5.1.1刚体变换,RigidBodyTransformation,5.1图像的基本变换,对于相同的变换参数p、q、,由于变换过程不同，变换的结果也不同。对于给定的变换结果，可以有不同的变换途径。使用矩阵表示，无需关心旋转与平移的顺序。应用逆矩阵运算或组合矩阵变换易于实现多种形式的图像配准。,结论：,5.1.1刚体变换,RigidBodyTransformation,5.1图像的基本变换,如何判定一个给定的矩阵是否为刚体变换矩阵？,问题：,5.1.1刚体变换,三维：（6个参数）沿x轴平移p沿y轴平移q沿z轴平移r绕x轴旋转绕y轴旋转绕z轴旋转,只考虑旋转，有六种不同的组合:结合先旋转、后平移，及先平移后旋转，有12种组合。,5.1图像的基本变换,5.1.1刚体变换,刚体变换矩阵的特性：P(u)=Au+BU=(x,y,z)是像素的空间位置；A是旋转变换矩阵B是平移向量矩阵A满足条件：ATA=IAT是矩阵A的转值，I是单位矩阵。,5.1图像的基本变换,5.1.2仿射变换,将直线映射成直线，并保持平行性。具体表现：各个方向尺度变换系数一致的均匀尺度变换；变换系数不一致的非均匀尺度变换；剪切变换。,AffineTransformation,应用：校正由物体与光学仪器间的距离引发的尺度变化；校正由CT台架倾斜引起的剪切；校正MR梯度线圈不完善产生的畸变。,5.1图像的基本变换,5.1.2仿射变换,三维：（9参数）沿x轴平移p沿y轴平移q沿z轴平移r绕x轴旋转绕y轴旋转绕z轴旋转,x轴向的尺度mxy轴向的尺度myz轴向的尺度mz,5.1图像的基本变换,5.1.2仿射变换,更一般的仿射变换，二维有6个独立参数，三维有12个独立参数。,xyz1,e11e12e13e14e21e22e23e24e31e32e33e340001,xyz1,=,对于eij，无小于1的约束。,5.1图像的基本变换,5.1.2仿射变换,5.1图像的基本变换,几种基本的二维仿射变换,变换矩阵的矩阵对数的对角元素对称时，产生全局尺度变换（6）；不对称时，产生相应轴的缩放尺度变换（5，7）。非对角元素对称，相当整体旋转(2)，不对称，产生沿某个轴的剪切(1,3),1,2,3,4,5,6,7,5.1.3透视或投影变换,特性：直线经变换后，仍然是直线，但是平行的直线经变换后却可能相交。应用：(1)点源与物体作用，在一个平面上产生投影图像的放射成像。(2)对于照片，采集光线全部通过透镜的焦点。对于断层成像数据处理一般不用透视变换。,PerspectiveorProjectiveTransformation,5.1图像的基本变换,5.1.3透视或投影变换,xy1,e11e12pe21e22qfg1,xy1,=,二维情况下的变换矩阵：,x=(e11*x+e12*y+p)/(f*x+g*y+1),5.1图像的基本变换,5.1.4非线性变换,NonlinearTransformation,又称：弯曲变换，curvedtransformation,特性：将直线变成曲线。变换方法：多项式函数（二次、三次、薄板样条函数）指数函数应用：多用于使解剖图谱变形来拟合图像数据；对有全局性形变的胸、腹部脏器图像的配准。,5.1图像的基本变换,5.1.4非线性变换,二阶多项式变形模型：x=e00+e01x+e02y+e03z+e04x2+e05xy+e06xz+e07y2+e08yz+e09z2y=e10+e11x+e12y+e13z+e14x2+e15xy+e16xz+e17y2+e18yz+e19z2z=e20+e21x+e22y+e23z+e24x2+e25xy+e26xz+e27y2+e28yz+e29z2,薄板样条函数变换：仿射变换与径向基函数的线性组合。nf(X)=AX+B+WiU(|Pi-X|)i=1,基于B样条的变换,5.1图像的基本变换,参见数值分析，有关样条插值,5.1.5基本变换的可视化,5.1图像的基本变换,平移,旋转,5.1.5基本变换的可视化,5.1图像的基本变换,5.1.5基本变换的可视化,5.1图像的基本变换,差绝对值和误差均方根误差马氏距离Hausdroff距离,基于距离的测度,优点：原理简单、实现方便缺点：速度较慢，精度较低应用：主要用于单模态图像配准,