七、算术逻辑运算

1、代数运算(Algebraic operation)n相加。n相减。n相乘。n相除n图像融合要点： 代数运算迭加相减：显示两幅图像的差异、运动物体检测。相乘：提取或删掉图象某部分。相除：遥感多光谱图象相除抵消入射分量i(x,y)。相加M=1M=2M=4M=16nAddition:qaveraging for noise reductionX-ray image obtained before and after injection of dye into arteries. Dye affects appearance of blood vessels but not surrounding t

2、issues. Subtracting pre- and post-injection images enhances blood vessels relative to tissues. (Image courtesy of D. W. Holdsworth, RRI.)相减DSA相减DSA相减：检测运动物体相乘相乘相乘nMultiplication:qmasking used to zero out areas that you dont want to use in calculationsx(a) Magnetic resonance velocity image through th

3、e human neck. Multiplying by the mask in (b) isolates pixels corresponding to one of the carotid arteries. Averaging pixel values inside the masked region and multiplying by the area of the mask yields the average blood flow. (Image courtesy of D. A. Steinman, RRI.)(a)(b)相除nDivision:qimage formation

4、 is often a multiplicative process:qneed to eliminate I(x, y) for better visualization and processing (e.g., thresholding)Black blood MR image through neck of a subject. The rolloff in image intensity can be modelled as a multiplicative process. (Image courtesy of D. A. Steinman, RRI.)相除(a) Black bl

5、ood MR image through neck of a subject. (b) Image after dividing out estimated rolloff function. (Image courtesy of D. A. Steinman, RRI.)(a)(b)nDivision (contd):qestimate I(x, y) and divide it outqmany procedures for estimating I(x, y); will cover one later (homomorphic filtering)Matlab中的实现nimadd(a,

6、b):两幅图像相加nimsubtract(a,b):两幅图像相减nimmultiply（a,b）:两幅图像相乘nimdivide(a,b)：两幅图像相除Medical Image Registration and Fusion2009年6月什么是图像配准?n图像配准是指对于一幅图像寻求一种空间变换，使该图像与另一幅图像中的对应点达到空间上的一致)()(/pTIq：I变换映射确定同一对象的不同视图中的对应点医学图像配准的分类n基于外部特征和基于内部特征q外部特征：标记物或标记点，侵入式q内部特征：体内特征点或表面n根据变换性质：刚体变换、仿射变换、投影变换及曲线变换n根据图像模态：单模、多模、患

7、者/模态间的配准n根据主体：intrasubject、intersubject和atlas （图谱）医学图像配准的应用n可以从不同图像的模式中得到相关信息，用于：q基于图像的诊断：解剖与功能图像的结合q手术计划/放疗计划的制定：肿瘤q病理变化的跟踪及疗效的评价q与图谱（如可视人）配准，用于确定特定区域及功能常用图像配准方法n基于特征点的配准方法q特征点的数目及位置对结果有影响n基于表面（分割）的配准方法q需要分割处理n基于象素（体素）的配准法q灵活，利用图像全部信息，但运算量大、速度慢基于特征点的配准方法发现所有对应的基准点发现所有对应的基准点变换变换视图视图2= “空间空间” 2视图视图1=

8、 “空间空间” 1对准相应基准点对准相应基准点目标点对准目标点对准(Fitzpatrick 2003)特征点法示例用词说明n各种图像配准的文献都会出现“配准、匹配、几何校正”三个词，它们的含义比较相似q一般两幅图像之间用配准(register, registration)q寻找同名特征(点) 的过程叫匹配（match, matching)q根据主辅图像之间的几何变换关系，对辅图像进行逐像素处理变为配准图像的过程叫做几何校正（geometric correction）基于表面（分割）法在待配准的表面上选点移去待配准表面，表面由所选点代表在参考平面上找到相应的最近点，计算总距离(Fitzpatri

9、ck 2003)基于表面（分割）法去掉参考表面，表面可由相应的点代替得到配准点集(刚体)，进行配准恢复参考表面发现新的最近点集去掉参考平面，得到新的配准点集继续上述过程，得到新的配准点集基于表面（分割）法-迭代最近点法基于像素/体素特征法基于体素特征法n三维图像中的每个体素对应一个相应的坐标和体素强度值n基于体素特征的方法就是将三维图像A（参考图）中的每个体素的坐标与三维图像B（浮动图）中的每个体素的坐标通过变换T建立映射关系,以达到两个图形的配准Xa=T(Xb)基于体素特征法例如：对于刚体变换，Mt 坐标表示平移，Mr坐标表示旋转Xa= MtMr Xb此时TMtMr ，即浮动图B中的体素坐标

10、经过一定角度的旋转和一定量的位移后对应到参考图A上配准框架及方法空间变换优化算法Image Similarity metric相似性测度Image Interpolator图像插值配准配准基本步骤n空间转换(Transform)q实现从一幅图像到另一幅图像的映射n图像插值(Interpolation)q确定不在网格位置上的点的灰度值n相似性测度(Similarity Metric, 配准标准)q对“完美匹配”进行定量分析n优化算法(Optimizer)q优化变换参数空间转换浮动图像 参考图像常见空间变换刚体变换),(zyxzyxtttp11zyxTzyxrigid旋转及平移参数：1000cos

11、coscossinsinsinsincoscossinsinsinsincoscoscoscoscossincossinsincossinsinsincoscoscoszyxyxyyzyxzxzyxzxzyxzyxzxzyxzxzyrigidtttT仿射变换尺度变换是刚性变换吗？尺度变换是刚性变换吗？投影变换n参数 p=(a11, a12, a13, a41, a42, a43, tx, ty, tz, )434241333231232221131211 1aaataaataaataaaTzyxTuzyxzyxprojprojNote: xi=xI / u, for i=1,2,3曲线变换n多

12、项式近似n样条函数q薄板样条(thin-plate spline)qB-样条(b-spline) n非刚体变换会较复杂，一般用于局部形变T=Tglobal+TlocalTglobal: rigid/affine transform(Trigid/Taffine)Tlocal: Non-rigid transform非刚体变换示例十分复杂！(Thompson, 1996)图像的插值n最近邻插值n线性插值n三次线性插值nB-样条插值n双线性插值法图像的插值没有灰度不连续性的缺点没有灰度不连续性的缺点具有低通滤波性质，图像轮具有低通滤波性质，图像轮廓有一定模糊廓有一定模糊2|02|1|5|841|0

13、|3|52)(3232xxxxxxxxxS(i-1,j-1)(i-1,j+2)(i+2,j-1)(i+2,j+2)(x,y)u v双三次内插法双三次内插法(bicubic interpolation)该方法利用三次多项式S(x)来逼近理论上的最佳插值函数sin(x)/x。其数学表达式为：R G Keys. IEEE Trans Acoustics, Speech, and Sig Process, 1981, 29( 6) : 1153602121,)(),(2 , 1 , 0 , 1, )(mmmkkkjmimvsFyxf，musfF：其中则有原始影像灰度表面 最近邻内插法双线性内插法 双三

14、次插值法像素灰度内插法效果比较像素灰度内插法效果比较相似性测度n均方值测度n归一化相关性测度n最小二乘测度NiiiBANBAMS2)(1),(NiiNiiNiiiBABABANC22)(),(互信息测度n信息测度：熵信息测度：熵系统的复杂性或不确定性系统的复杂性或不确定性熵熵联合熵联合熵互信息互信息标准化标准化互信息互信息二维灰度直方图CT Intensity互信息测度当两幅图像的空间位当两幅图像的空间位置达到一致时，其互置达到一致时，其互信息应为最大信息应为最大无需特征点提取及分无需特征点提取及分割割用于基于体素的配准方法优化n配准方法: n-维函数, 其中n为变换的自由度n通常不是平滑函数

15、n含有许多局部极值n可以通过数学优化实现n优化算法q梯度下降法qDownhill simplex 优化(amoeba)qPowells 算法qGenetic 算法q实例一：基于点的刚体变换配准算法最小二乘配准特征点的选取刚体变换的最小二乘解法共取N(N4)个特征点q浮动图像坐标系中，N个特征点的齐次坐标构成矩阵PCNX4；在参考空间坐标系中，对应点构成矩阵P CNX4假设配准矩阵TC4X4q则有P=P*T，对于T中任意列X，P中相应列B，则有B=P*X，故可将T的求解分解为四个列向量的求解最小二乘解法n算法原理:q用豪斯荷尔德变换将P进行QR分解，即P=QR，其中Q为nxn的正交矩阵，R为上三

16、角矩阵qMatlab实现：Q, R=qr(P);q设E=B-PX，用QT乘上式两端得因为QT为正交矩阵，所以:|E|2=| QT E |2= |QT B-RX |2若令其中C为4维列向量，D为n-4维列向量，R1为4x4上三角方阵,则上式中，当X满足R1X=C时， 将取最小值XRRXDCBQT0,12222122DXRCE22E最小二乘解法（矩阵求解）算法步骤：1、对P进行QR分解。即P=QR2、计算3、利用回代求解方程组R1X=C4、对P中每一列重复以上三步骤，即可得到4X4配准矩阵TDCBQT书中算法4-1（SVD分分解）nxi, yi分别为浮动图像和参考图像对应特征点（基准点）n配准误差

17、：Ei=T(xi)-yi, T为配准变换，则：n最小化E2，则有：n算法流程：NiiiiNiiiytRx/NE/NE1221222|)1 ()1 (TiNiiiiNiiNiiyxHyyyxxxyyxx . 3, . 2, . 1111基准协方差矩阵算法流程xRytUVUVdiagRdiagI，VVUUVUHTTTT . 6)det(, 1 , 1 ( . 5),( ：H . 4321其中的奇异值分解SVD分解的Matlab实现：)(,HsvdVU实例二: 脑PET和MR图像的快速鲁棒配准nNeuroImage论文材料和方法n图像来源：PET，MRn相似性测度：互信息n优化方法： downhil

18、l simplexn多分辨率方法：Multi-resolution coarse-to-fine optimizationq三种标准：4,4,1,2,2,1,1,1,1预处理(Preprocessing)n噪声去除及感兴趣区域的提取q门限处理和形态学操作：去除背景n比率q: 背景与整个图像的像素比n对于给定的扫描图像， q变化不大n进行腐蚀和膨胀等二值形态学操作“净化”背景区域并填补感兴趣区的“洞”qMR脑图像的提取：进一步节省时间n利用Brain Extraction Tool (BET) by SmithnBET 可以利用表面模型的方法在较短的时间内(大约1535 s)进行脑图像提取Dow

19、nhill simplex优化(amoeba)无须梯度计算无须梯度计算基于模糊边缘场的CT与MR刚性配准计算机辅助外科手术系统ncomputer aided surgery/image guided surgeryn立体定位技术与成像技术的结合：在手术过程中立体定位技术与成像技术的结合：在手术过程中，利用空间定位及配准技术使术前图像、手术台，利用空间定位及配准技术使术前图像、手术台上的病人和手术器械三者精确联系进行术中跟踪上的病人和手术器械三者精确联系进行术中跟踪导航导航n常用定位技术：光学定位法、机械定位法、超声常用定位技术：光学定位法、机械定位法、超声波定位法和电磁定位法波定位法和电磁定位

20、法n常用成像技术：常用成像技术：X-线成像线成像, CT, MRIn主要应用领域：神经外科手术，骨科（含脊椎、主要应用领域：神经外科手术，骨科（含脊椎、 关节）手术关节）手术Elekta公司公司Surgiscope机器人导航系统机器人导航系统 发展趋势及可能的解决方案n导航系统发展趋势：导航系统发展趋势：q实时术中影像导航实时术中影像导航: 开放式开放式CT/MRI术中导航系统术中导航系统q机器人手术系统机器人手术系统,以术中以术中“C”型臂型臂X 线机实时采集的图像进线机实时采集的图像进行导航行导航Oblique CT plane corresponding to ultrasound Im

21、age for feature identification与超声或腹腔镜与超声或腹腔镜超声探头的结合超声探头的结合什么是图像融合n在图像配准的基础上，将两种图像的信息结合起来，在一幅图像上同时表达来自人体的多方面的信息的过程图象融合 Image fusion按照不同的图像成像模式可将医学图像融合分为三类n单模融合:相同成像方式的图像融合称为称单模融合(mono一modaliyt)，也称为同类方式融合。n它是指待融合的两幅图像是由同一设备获取的。n用途：单模融合多用于治疗前后的对比、疾病(如癫痈)发作期与发作间期对比、肿瘤或骨骼的生长监测。多模融合n多模融合:不同成像方式的图像融合称为多模融合

22、(mutlit一mdealiy) ，也称为交互融合。它是指融合的两幅图像来源于不同的成像设备。n多模融合主要应用于神经外科的诊断、手术定位及放疗计划设计等。SPECT、PET能反映人体的功能和代谢信息，但其空间分辨率较低，致使解剖结构欠清晰。如果将CT或M班与SPECT或PET融合，就能利用解剖成像方式为功能图像提供充分的解剖信息，弥补后者的欠缺。模板融合n模板融合:将病人的图像与模板融合称为模板融合。这种方式也适用于不同患者间融合。模板可为采集的图像，也可为解剖或生理图谱甚至为病人本身。n比如，将待诊断的图像与典型正常人的图像比较，以确定被测试者是否正常;如果异常，也许还要与一些疾病的典型图

23、像对比，确定患者是否属于同类。医学图像融合方法概述n空间域图像融合方法q空间域融合方法包括加权平均融合方法、像素灰度值选择融合方法等，n变换域图像融合方法q金字塔图像融合法q小波变换图像融合法传统的医学图像融合的方法n加权平均融合法式中：i图像中像素的行号， i =1,2,.M； j图像中像素的列号， j =1,2,.N； 1加权系数1； 2加权系数2；通常， 1+2=1。),(),(),(21jiBwjiAwjif加权平均f1=imread(ronghe11.bmp);f2=imread(ronghe22.bmp);figure,imshow(f1),figure,imshow(f2)g=0.5*double(f1)+0.5*