（计算机应用技术专业论文）非刚性配准方法在气象云图中的研究与应用.pdf

硕上论文非刚性配准方法在气象云图中的研究1 引曼用 摘要 图像配准是计算机视觉和模式识别领域中的一项重要课题，在遥感探测、医学成像 和基于多传感器融合的目标识别等领域中都有着广泛的应用价值。气象云图非刚性配准 是校正其非刚性畸变的有效手段，配准效果的好坏直接影响到融合后的气象云图的效 果。 针对气象云图非刚性畸变产生的原因，本文深入的研究了医学图像非刚性配准算 法，在此基础上确立了采用基于灰度的d e m o n s 算法和基于b 样条f f d 模型的非刚性 配准算法来实现气象云图的非刚性配准，并对相关算法进行了一定的改进。 针对分时成像的气象云图在灰度上的连续性，本文采用了基于灰度的d e m o n s 算法 进行气象云图的非刚性配准的研究。针对d e m o n s 算法的不足，通过对已有文献资料的 研究，给出了一种改进的d e m o n s 算法。该算法利用参考图像的灰度梯度、浮动图像的 灰度梯度以及互信息梯度来决定浮动图像每个像素的移动，经过一系列的图像配准实 验，从主观上和客观参数评价上，证明了较原有的d e m o n s 配准算法，本文给出的改进 算法具有更高的配准精度。 针对气象云图局部非刚性形变的特点，本文采用了基于b 样条f f d 模型来模拟云 的扭曲，利用多级多分辨率方法和自适应网格细化方法来提高配准的速度和精度；为了 更好的保持图像的拓扑结构，引入了约束项对控制点网格的移动范围进行限制，并采用 了改进的梯度下降法完成代价函数的优化。经过一系列的图像配准实验，从主观上和客 观参数评价上证明了本文采用的一系列优化方法降低了配准时间，提高了配准的精度， 具有一定的可实施性。 关键词：非刚性配准、d e m o n s 算法、b 样条、f f d 模型、梯度下降法 a b s t r a c t 硕十论文 a b s t r a c t i m a g er e g i s t r a t i o ni sa ni m p o r t a n tt o p i ci nt h ef i e l do fc o m p u t e rv i s i o na n dp a t t e r n r e c o g n i t i o n ，h a v i n ge x t e n s i v ep r a c t i c a lv a l u e i nr e m o t e s e n s i n g ，m e d i c a li m a g i n g ， m u l t i - s e n s o rf u s i o n b a s e dt a r g e ti d e n t i f i c a t i o na n do t h e rr e s e a r c h m e t e o r o l o g i c a lc l o u d s n o n - r i g i dr e g i s t r a t i o ni st h ee f f e c t i v em e a n so fn o n - r i g i dd i s t o r t i o nc o r r e c t i o n ，t h em a t c h i n g r e s u l t sw i l ld i r e c t l ya f f e c tt h eq u a l i t yo ft h ef u s e di m a g eo ft h ew e a t h e re f f e c t s b a s e do nt h er e a s o no fn o n - r i g i di m a g ed i s t o r t i o nm e t e o r o l o g i c a l ，t h i sp a p e rs t u d i e dt h e n o n - r i g i dm e d i c a li m a g er e g i s t r a t i o na l g o r i t h m b a s e do ng r a y - s c a l ed e m o n sa l g o r i t h ma n d b a s e do nb - s p l i n e sf f dm o d e lo fn o n - r i g i dr e g i s t r a t i o na l g o r i t h mw a su s e dt oa c h i e v et h e n o n - r i g i dr e g i s t r a t i o n o fm e t e o r o l o g i c a lc l o u d i m a g e ，a n d i n t r o d u c e dac e r t a i no f i m p r o v e m e n t so nr e l a t e da l g o r i t h m a st i m e s h a r i n gi m a g i n go ft h em e t e o r o l o g i c a lc l o u di m a g eh a st h eg r a y s c a l e sc o n t i n u i t y , t h i sp a p e ru s e dt h eg r a y - s c a l ed e m o n sa l g o r i t h mt of i n i s ht h en o n - - r i g i dr e g i s t r a t i o ns t u d i e s o nm e t e o r o l o g i c a lc l o u di m a g e 。b a s e do nt h ei n a d e q u a c yo fd e m o n sa l g o r i t h ma n dt h r o u g h t h es t u d yo fl i t e r a t u r e s ，t h i sp a p e rh a sb e e ng i v e na ni m p r o v e da l g o r i t h mf o rt h ed e m o n s a l g o r i t h m t h ea l g o r i t h mu s e sg r a d i e n tg r a y s c a l eo fr e f e r e n c ei m a g ea n dt h ef l o a t i n gi m a g e ， a sw e l la st h eg r a yg r a d i e n to fm u t u a li n f o r m a t i o nt od e t e r m i n et h em o v e m e n to f e a c hp i x e l i nt h ef l o a t i n gi m a g e as i m u l a t i o ne x p e r i m e n tp r o v e dt h a tt h ei m p r o v e da l g o r i t h mi nt h i s p a p e rh a sm o r ea c c u r a t et h a nt h eo r i g i n a lr e g i s t r a t i o no ft h ed e m o n sa l g o r i t h m a sm e t e o r o l o g i c a lc l o u di m a g eh a sl o c a ln o n r i g i dd e f o r m a t i o nc h a r a c t e r i s t i c s ，t h i sp a p e r u s e db a s eo nt h eb s p l i n e sf f dm o d e lt os i m u l a t et h ec l o u d sd i s t o r t i o n s ，a n dm u l t i 1 e v e l m u l t i - r e s o l u t i o nm e t h o d sa n da d a p t i v em e s hr e f i n e m e n tm e t h o dt oi m p r o v et h em a t c h i n g s p e e da n da c c u r a c y i no r d e rt om a i n t a i nt h ei m a g et o p o l o g y , t h i sp a p e ri n t r o d u c e d t h e c o n s t r a i n t st or e s t r i c tt h em o v e m e n to ft h es c o p eo ft h ec o n t r o lp o i n t so ft h eg d da n d o p t i m i z e dt h ec o s tf u n c t i o nb yu s i n gt h ei m p r o v e dg r a d i e n td e s c e n tm e t h o d a f t e ras e r i e so f i m a g er e g i s t r a t i o ne x p e r i m e n t ，f r o ms u b j e c t i v ea n do b j e c t i v ee v a l u a t i o no ft h ep a r a m e t e r s ， i t sp r o v e dt h a tas e r i e so fo p t i m i z a t i o nm e t h o d si n t r o d u c e db yt h i sp a p e rc a nr e d u c et h e r e g i s t r a t i o nt i m e ，i n c r e a s ea c c u r a c yo fr e g i s t r a t i o n ，a n dh a v eac e r t a i nd e g r e eo f e n f o r c e a b i l i t y k e yw o r d ：n o n r i g i dr e g i s t r a t i o n ，d e m o n s ”a l g o r i t h m ，b s p l i n e ，f f dm o d e l ，s t e e p e s t g r a d i e n td e c e n t i i 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在 本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发 表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均 已在论文中作了明确的说明。 研究生签名： 趣! 丑宦啪q 7 年6 月 旧 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅 或上网公布本学位论文的部分或全部内容，可以向有关部门或机构送 交并授权其保存、借阅或上网公布本学位论文的部分或全部内容。对 于保密论文，按保密的有关规定和程序处理。 研究生签名：丝! 塾壅 砷年胗日 硕士论文 非刚性配准方法在气象云图中的研究与应用 1 绪论 本章主要介绍课题研究的背景和意义，分析与本文有关的前提研究，阐述了本文要 解决的问题以及取得的主要成果，并说明论文的组织结构。 1 1 课题研究背景和意义 气象卫星是对地球及其大气层进行气象观测的人造地球卫星，具有范围大、及时迅 速、连续完整的特点，并能把云图等气象信息发给地面用户。根据卫星运行轨道的不同， 气象卫星分为极轨气象卫星和静止气象卫星两种。一颗围绕地球两极运行的极轨气象卫 星每天对全球进行两次气象观测，可获取全球气象资料。一颗运行在地球赤道上空的静 止气象卫星则能对全球近三分之一的地区连续进行气象观测，在3 0 分钟或更短时间内 获取一幅全景圆盘图，实时将资料送回地面。气象卫星除对天气预报和气候预测有重要 作用外，在自然灾害和地球环境监测以及海洋、航空、航海和农业、渔业等方面都有着 广泛应用价值，是应用卫星中重要的多用途卫星，具有显著的社会和经济效益，而这些 应用与气象卫星所提供的气象云图质量有密切的关系。 气象卫星对同一个地区分时成像，即成像有一定的时间间隔，用于更换滤光镜、转 换压缩数据、传送数据给地面。分时成像的图像之间会存在着一定的形变，需要研究合 适的图像配准算法校正这些几何形变，消除像差对多光谱和全色图像的信息融合所产生 的影响，较好地将同一目标或区域的多个传感器的不同图像进行融合，从而提供能更真 实、更清晰地反映地物的遥感图像，为进一步的分析做准备。 如图1 1 所示，分别是对红( r ) 、绿( g ) 、蓝( b ) 三色滤光镜分时得到的一组r 、g 、b 三通道的灰度图像直接信息融合成的真彩色图像，以及对r 、g 、b 三通道的灰度图像 经过配准后，进行信息融合成的真彩色图像。在信息融合中，以其中一个g 通道图像 作为参考图像，将另外两个通道r 、b 图像为浮动图像分别与参考图像配准，然后将配 准好的三幅图像融合成一副真彩色图像。理论上经过融合后的图像应该是一幅灰度图， 不会出现伪彩色点，可以看出配准后的融合图像伪彩色点明显减少，而未经过配准就直 接进行数掘融合的图像则造成了比原图像像差更大的像差，由此可见配准工作的重要性 和必要性。 本课题是教研室与航天科技集团5 0 8 所共同研究开发，使用气象云图数据均由5 0 8 所提供。 绪论 日论文 曲术经配h e 直接融台的恻像( m 经过舀己准后融台的图像 目1 l 气象云酣融合幽像 1 2 图像配准综述 图像配准是图像处理的基本任务之一，是计多应用问题必须的预处理步骤，如多源 信息融合，时序图像的变化检测，成像系统和物体场景变化情况下获得的图像的三维信 息获取。这些问题遍及军事、遥感、医学、计算机视觉、模式识别等多个领域，对于部 分计算机视觉和模式识别任务而言，图像配准是其关键和先决条件。 图像配准的过程可以简单的认为是对同一场景的两幅或者多幅图像进行对齐或者 广义匹配的过程，包括像素扶度匹配和空问位置对齐。进行配准的图像必须是取自相同 或者不同传感器在不同时i q 或者不同视点的情况下拍摄的。这些图像般会或大或小 的存在一定的差异，丰要表现在：不同的灰度属性、不同的比例尺、币同的分辨率、不 同的位置( 旋转或者平移) 、不同的非刚性形变等。在对图像配准的研究过程中，大量 技术被应用于针对不同数据和问题的图像配准上作，产，e 了多种不同形式的图像配准技 术。 从图像奉身的畸变形式出发，可以把图像的配准工作归为两个大类：刚性配准和非 刚性配准。对于三维图像，刚性配准是寻找一个六自山度( 三个旋转，三个平移) 的变 换，使得浮动崩像中的点映射到参考图像中的对应点。非刚性配准用丁校下图像间复杂 的非刚性形变，其变换的自由度也随着配准算法的不同而异。经过多年的发展，刚性配 准算法已经成熟，可以达到很高的配准精度。然而，刚性配准在许多情况下不能满足实 际图像的需要，因为图像很多形变的性质是非刚性的，如：图像的扭曲变形，气象五图 中云的非规则运动引起的非刚性形变等。这些需要采用i t l d l 性配准方法进行配准，对于 气象云图非刚性配准方法的研究是本文的主要 作。 图像配准方法也可以分为基于罔像荻度统计特性和基于罔像特征”】两大类。 1 2 _ l 基于图像灰度的配准方法 基于图像灰度的配准方法不需要对图像做特征抽取，而是直接利用整幅图像的扶 度信息建立起两幅图像之间的相似性度量，然后采用某种优化算法，寻找使得相似性度 硕士论文非刚性配准方法在气象云图中的研究与应用 量值最大或最小的变换模型参数进行图像配准。基于图像灰度的配准方法的优点是能提 高配准的精度和鲁棒性，缺点是计算量很大，配准速度较慢。 基于图像灰度信息配准方法又分为基于空域和基于变换域两种方法。基于空域的 方法主要是交互相关法和交互信息法。基于变换域的方法主要就是傅立叶变换方法，该 算法有较为成熟的算法和易于硬件实现，对相关和依赖频域的噪声有良好的效果，然而 该方法只能用来配准灰度属性有线性正相关的图像，图像之间也必须是严格满足定义好 的变换关系，这也局限了该方法的应用。 1 2 2 基于图像特征的配准方法 基于图像特征的配准方法是目前有效方法之一，基于特征的配准方法提取了图像的 显著特征，如边缘点、闭区域的中心等，其优点是大大压缩了图像的信息量，使得其计 算量较小，速度较快，而且它对图像灰度的变化具有鲁棒性。但其不足之处在于，由于 只有- d , 部分的图像灰度信息被使用了，所以这种方法对特征提取和特征匹配的错误很 敏感，需要可靠的特征提取、匹配技术的支持。 基于特征的配准方法依据特征提取方法的不同也分为基于空域和基于变换域两种。 基于变换域的方法主要是小波变换的方法，基于空域的方法是以图像中某些特征( 点、 线、区域) 为配准基元，算法过程包括特征提取、特征匹配、选取变换模型及求取参数、 坐标变换与插值四个主要组成部分。 1 3 与本文相关的前期研究工作 本文主要对于云的非刚性形变进行校正，研究的内容是非刚性配准问题。非刚性配 准是当前的研究热点i l l ，其研究工作主要集中在医学图像处理领域，遥感图像的相关研 究相对较少。本文研究了大量的医学图像的非刚性配准文献资料，从中选取了合适的配 准方法来实现气象云图的非刚性配准。 文献 2 】最早将b 样条f f d 模型应用于医学领域，并且将归一化互信息作为相似性 测度。文献 3 】提出了序贯更新策略，分块计算代价函数对控制点的偏导数，提高了配 准的速度。文献 4 】使用非均匀有理b 样条( n u r b s ) 取代了均匀b 样条进行脑图像配准， 在准确性上有很大的提高，误配准大量减少，但是其在初始化控制点时考虑了人脑结构 的特点，不具有普遍性。文献 5 】提出了一种基于b 样条的医学图像塔式配准新算法， 即r e 配准模型。该配准算法体现了从整体到细节的匹配思想，计算速度有很大的提高， 并且具有很强的鲁棒性。文献 6 】提出了一种利用h a u s d o r f f 距离测度的弹性点配准方法。 该方法以b 样条为弹性形变模型，并具有较强的抵御杂点影响的能力，并采用了序贯 更新策略，提高了运算速度。文献【7 】提出了一种b 样条插值函数结合图像特征标记的 人脑m r 图像非刚体配准方法。该方法图像的特征标记选取图像的内外部轮廓来描述， l 绪论硕士论文 目标和源特征之间的对应关系通过距离图来自动获得，形变过程采用b 样条曲面函数 插值来完成。通过多级b 样条插值方法，即先全局计算后局部细化的方法来逐步优化 形变结果，该算法在不失准确度的前提下具有较快的配准速度。文献 8 】提出了基于b 样条函数的部分体积插值方法，并采用遗传算法和p o w e l l 相结合来优化互信息函数。 该算法能够避免局部收敛，具有较高的精确性和稳定性。文献【9 】提出了一种基于分层 互信息和薄板样条自动确定标记对应点的选取方法，但该算法由于依赖灰度统计相关 性，无法取得足够多的标记点。文献 1 0 提出了利用区域相似性自动提取标记点，并结 合多层次b 样条散乱数据插值方法进行医学图像配准，该方法能够提取大量均匀分布 的标记点，点对性有较高的准确度，并且利用层次b 样条散乱数据插值方法既能精确 逼近、又能获得平滑变换的性质，保证了局部变换的精确性、平滑性。但是其忽略了图 像的大部分信息，并且自动化程度低。文献 1 1 提出一种自动识别颈部p e t - c t 图像特 征点的算法，它应用f f d 方法以c t 图像的特征点为参考使p e t 图像产生变形，再结 合最大互信息法对颈部p e t 与c t 图像进行非刚性配准，最后用改进的小波图像融合法 把两者进行融合得出视觉效果比较理想的融合图像。 t h i r i o n 提出了基于扩散模型的d e m o n s 算法1 1 2 1 ，该算法具有较高的精度和较快的 速度，但是该算法不能处理形变较大的变形。w a n g t ”】在原始的d e m o n s 算法的基础上， 结合参考图像的梯度和浮动图像的梯度作为促使浮动图像向参考图像变形的内力，提出 了a c t i v ed e m o n s 算法，该算法不仅提高了配准的正确性和一致性，并且收敛速度更快， 能够完成变形较大的两幅图像之间的配准，在一定程度上克服了原始的d e m o n s 算法不 能处理较大图像变形配准问题的缺陷。文献 1 4 】为了将d e m o n s 算法应用到多模念图像， 引入了互信息梯度作为另一个变形力与参考图像的梯度一起促使浮动图像向参考图像 的变形。文献【1 5 】对w a n g 提出的a c t i v ed e m o n s 算法进行了研究分析，系统的分析了弹 性系数和力衰减系数对配准结果的影响。 本文分别采用了基于灰度的d e m o n s 算法和基于b 样条f f d 模型的算法来校正气 象云图的非刚性畸变。 1 4 气象云图形变原因分析 由于气象卫星是分时成像，在这个时间问隔内，相机处于一个非常复杂的运行状态， 而前后产生的多光谱图像之间也存在着各式各样的几何形变。因此要对得到的多光谱图 像进行配准，必须要清楚这个时间间隔内引起图像几何形变的原因。 图像的几何形变主要有刚性形变和非刚性形变。造成刚性形变的原因主要是遥感器 本身引起的形变和外部因素如地球的曲率、大气密度差引起的折光、地形起伏、地球自 转、遥感器轨道位置和姿态等。而由于不同通道的图像获取存在几秒甚至几十秒的间隔， 在此时间间隔内的大气云层在不断的移动和变化，有的云层在缩小，有的则在扩大，因 4 硕上论文 非刚性配准方法在气象云图中的研究与应用 而就造成了气象云图的非刚性形变。 对于气象云图刚性形变的校正，因为遥感器本身引起的形变可由改善硬件环境来调 节，而地球的曲率、地球自转等外部因素引起的形变在我们研究的r 、g 、b 三通道图 像中保持一致，从而只需要针对遥感器轨道位置和姿态变化引起的刚性形变进行校正。 对于刚性形变的校正并不是本文的重点，本文主要是在对已经经过刚性配准的气象云 图，研究合适的图像配准算法以校正云的扭曲等非刚性形变，从而实现多光谱图像的配 准。在下一节将概括的叙述一下已经实现了的气象云图刚性配准工作。 1 5 已实现的气象云图刚性配准工作 气象云图刚性配准采用的是基于特征点的刚性配准方法。刚性配准过程分为如下几 个步骤带征点的提取、特征点匹配、变换参数估计以及对变换后的图像进行重采样。 ( 1 ) 其中“特征点提取 采用基于熵理论的网格划分法对图像区域进行筛选，对图 像中信息熵较大的网格区域进行基于简化的f o r s t n e r 算子的特征点提取，这样保证了 提取的特征点数量适中且分布均匀，兼顾精度和实时性的要求。 ( 2 ) 为了确保特征点匹配的零误匹配率，匹配过程分为粗匹配和精匹配两个阶段。 首先运用相关系数法进行特征点的粗匹配，再利用距离约束条件进行精匹配，剔除伪匹 配点对。 图像粗匹配公式如式( 1 5 1 ) 所示： 地+ v + ) 一砸) 】 “+ f ，v t + ，) 一耳工明 p ( 五x ) = 三兰生三坠= = = = = = = = = = = = = = = = ；兰三兰= ；= = = = = = = = = = = = = = = = ，m + f ，v + ，) 一耳瑚2 m + v 。+ j ) - e ( x ) 】2 v 2 一”。2 一”t = - n j = - m ( 1 5 1 ) 其中， 。，、：一。：一，【，( 甜+ v + ) 】 e ( x ) ：鱼生鱼丝些二竺 ( 2 月+ 1 ) ( 2 m + i ) 图像精匹配公式如式( 1 5 2 ) 所示： scz，x，y，y)=里堕兰王蔓!芋睾丢篆兰笔掣 。5 2 ， 其中 m 上论i d ( j n ，：坐盟；! 监盟 f 二 5 ( t ； e 。，若r ( ， l o ，其它 式中 ，：堕! 塑二丝生 ( 3 ) 变换参数估计采用的是仿射变换，变换矩阵为3 x 3 矩阵，采用最小二乘法求得 参数值。仿射变换敛果如图( 13 ) 所示。 口 f 曲参考划像 ( b ) 浮动图像“) 变换后的国像 幽1 2 仿射变换效果幽 ( 4 ) 虽后权衡效率和精度，重采样通过双线性插值法来完成，配准结束。 奉史将在经过剐性配准的气象云图上研究和实现其非刚性配准，在f 一节将描述本文的 组织形式。 f 。r s m e r 算子提取特征点1 【f o r s t n e r 算子提取特征点l l 粗匹配：相似性原理 待址息匹配 t 精匹配：距离约束条件l 0 f变换参芦估计f h i3 气象云囝刚性配准流程 硕十论文非刚性配准方法在气象云图中的研究与应用 1 6 本文的组织形式 本文在阅读了大量非刚性配准文献后，针对于气象云图的形变特点，主要研究了基 于灰度的d e m o n s 非刚性配准算法和基于b 样条f f d 模型的非刚性配准算法，用以校 正云图的非刚性畸变，在实现相关算法的基础上又做了一定的改进，提高了配准的精度 和程序的执行速度。 本文共分为五章，其组织形式如下： 第一章：绪论 主要介绍了本文研究的背景和意义，与本文相关的非刚性配准的前期研究工作，并 分析了造成气象云图非刚性畸变的原因，对已经实现的气象云图的刚性配准进行了简要 的回顾，介绍了本文的组织形式。 第二章：非刚性配准关键技术 主要从空间变换、相似度测量以及优化算法三个方面对介绍了非刚性配准的关键技 术，并根据空间变换模型的不同，详细介绍了国内外主要的非刚性配准方法，并对归一 化互信息和遗传算法进行了描述。 第三章：基于d e m o n s 算法在气象云图中非刚性配准中的应用 主要研究了基于灰度的d e m o n s 非刚性配准算法。首先介绍了原始的d e m o n s 算法， 然后针对原始d e m o n s 算法的不足，分析了其他学者提出的改进的d e m o n s 算法，并将 这些改进的d e m o n s 算法的优点进行结合，给出了一种改进的d e m o n s 算法，通过一系 列的实验验证了本章给出的改进的d e m o n s 算法能较好较快的完成气象云图的非刚性配 准。 第四章：基于b 样条f f d 模型在气象云图非刚性配准中的应用 主要研究了基于b 样条f f d 模型的气象云图非刚性配准。首先介绍了b 样条f f d 变换模型，然后介绍了多级多分辨率方法来提高配准的精度和速度，为了保证图像拓扑 结构，引入了约束项，限制控制点移动的范围，并采用改进的梯度下降法最小化代价函 数，通过一系列的实验验证了本章采用的优化策略能够比较精确和快速的实现气象云图 的非刚性配准。 第五章：结束语 是对本文工作的总结和对算法中有待改进的展望。 7 21 f 刚性配准关键技术 硕l ：论文 2 非刚性配准关键技术 非刚性配准过程可以视为依据某种空间变换拟合浮动图像的变形，以得到与参考图 像差异最小的图像，即两幅图像相似性测度最优，是一个优化过程，最终配准的两幅图 像只能是差异很小，但不可能达到完全一样。目前，在医学图像领域，非刚性配准算法 被不断的提出【2 l 【1 2 3 8 - 4 4 j 。综观这些算法，可以得出非刚性配准算法之间的区别在于选取 了不同的空间变换或者相似性测度，因而非刚性配准关键技术主要包括三大步，即求取 浮动图像与参考图像之间的空间变换参数，求取浮动图像与参考图像之间相似性测度， 以及优化变换参数以使得相似性测度达到最优。其中，求取空间变换参数是非刚性配准 算法的基础，也是最重要的步骤。 在本章节中，将主要从空间变换参数的求取方法，相似度测量和优化算法三个方面 对非刚性配准关键技术进行介绍，并将着重介绍与本文采用算法相关的空间变换，相似 度测量以及优化算法。 2 1 空间变换参数求取方法 2 1 1 基于多项式和基函数的非刚性配准 基于二次多项式的空间变换模型可以定义为： r ( x ，y ，z ) = a o o a 0 9 a l o 0 1 9 a 2 0 a 2 0 0l x 2 y 2 1 ( 2 1 1 ) 也扩展为高次多项式如三次，四次，五次多项式。但是高次多项式只能模拟全局形 变，不能模拟局部形变，并且容易导致赝象如振动，因而非刚性配准中很少用高次多项 式来模拟非刚性形变。 基于函数配准的算法中，空间变换一般是使用正交基函数的线性组合来描述，例如 小波基函数和傅立叶( 三角化的) 基函数。 8 t ( x ，弘z ) = a 0 9 a l o 口1 9 a 2 0 口2 0 ol 0 l ( x ，y ，z ) 0 。( x ，y , z ) 1 ( 2 1 2 ) 文献 3 7 】提出了快速离散余弦变换( f d c t ) 进行m 刚图像非刚性配准的算法。离散 硕士论文 非刚性配准方法在气象云图中的研究1 引曼用 余弦变换的基函数的线性组合作为空间变换，相似性度量为两幅图像之间的距离，优化 算法采用的是共轭梯度法。 2 1 2 基于样条函数的非刚性配准 样条函数是一类分段( 片) 光滑、并且在各段交接处也有一定光滑性的函数。样条形 成的曲线在连接点处也具有连续的坡度与曲率，所以在图像配准领域有广泛的应用。 采用样条的配准方法大都是基于在浮动图像和参考图像之间能够确定一组对应的 标记点，然后通过将浮动图像上的标记点映射到参考图像上的对应点，最后通过样条函 数完成插值。 主要的样条函数有薄板样条函数和b 样条函数。薄板样条首先被b o o k s t e i n 5 2 1 应用 于点匹配的医学图像非刚性配准中，来描述二维平面内发生的形变。薄板样条模拟非刚 性形变有很多优点，如可以附加一些如线性或者方向约束到空间变换模型中，提高配准 的精度和速度。但是其缺点在于很多情况下，标记点的选取是人工手动选择的，这样比 较费时，而且选择难度大，不具有自动化配准的特点。冯林1 9 】提出了一种基于分层互信 息和薄板样条自动确定标记点的算法，在这种算法中，将图像按照由粗到精的原则，划 分为若干个对应子块进行配准，并且在每个子块中选取两个标记点，一个是子块的中心， 另一个是与中心点x 方向距离为子块宽度1 1 0 的点，再采用薄板样条函数插值的方法 对图像进行空间变换，完成图像的非刚性配准。r o h r 等人提出了薄板样条非刚性配准 的近似方法，通过采用近似的薄板样条，来克服标记点对之间的各向同性及异性误差。 基于薄板样条的配准模拟的是全局的非刚性变换，因为每一个控制点对整幅图像的 变换都有影响，难以模拟局部的非刚性变形。而b 样条函数则是种具有局部特性的样 条函数，控制点的改变只会影响到其周围的领域内的控制点，而不会影响整幅图像的变 形。例如三次b 样条函数，控制点只会影响其周围4 4 领域内的点。b 样条函数具有局 部支撑性、连续性、几何不变性以及造型的灵活性的特性。基于b 样条函数的非刚性 配准算法主要有两种方式，一种是以求得网格控制点的灰度值为主，通过调整网格控制 点的值来拟合已知的插值点。张红颖【l o 】提出了基于层次b 样条的医学图像弹性配准方 法，在该算法中，提出了基于区域相似性的标记点选取方法，并利用层次b 样条插值 来解决逼近精度和光滑性的平衡问题的特点。另一种则是本文采用的基于b 样条f f d 模型的非刚性配准算法，通过改变网格控制点的位置来模拟二维图像的非刚性形变，然 后通过优化算法来优化网格控制点来完成非刚性配准。r u o c k e r 等人2 0 】首次将基于b 样 条f f d 模型的配准算法应用于医学图像配准，并采用了归一化互信息作为相似度测量。 2 1 3 基于物理模型的非刚性配准 在基于物理模型的配准方法中，图像之间的差异被认为是由某种物理变形引起的， 基于物理模型的配准方法就是构造能够拟合这种变形的物理模型。主要的物理模型有弹 9 2 - 1 m u 性配准关键技术 硕十论文 性模型、粘性流体模型和光流场模型 2 0 1 。 1 基于弹性模型的非刚性配准 基于弹性物理模型的非刚性配准方法，假设浮动图像是一个各向同性同质的弹性 体，先建立该对象的物理模型，通过外力f 作用，使得该物理模型发生变形，来实现与 参考图像的配准，这种配准方法的优点是可以保持图像的拓扑不变性和平滑性。通常， 图像的形变满足对于弹性各向同性和均质物质成立的n a v i e r 线性偏微分方程： p v 2 u ( x ，y ，z ) + ( 九+ i t ) v ( v u ( x ，y ，z ) ) + f ( x ，y ，z ) = 0( 2 1 3 ) 这里f ( x ，y ，z ) 是使物体发生变形的外力，u ( x ，y ，z ) 是位移场，表示在外力作用下在 x ，y ，z 方向上的位移量，v 为梯度算子，v 2 为拉普拉斯算子，参数九和p 是描述弹性体 行为的l a m e 弹性常数。当外力和位移的关系满足这个方程时，求得的变换是平滑的，并 且能保持形变对象的拓扑关系。基于弹性变形的配准的缺点是，由于压力导致变形能量 随变形强度按比例增加，它不能模拟高度的局部变形，具有一定的局限性。 2 基于粘性流体模型的t h o u 性配准 c h r i s t e n s e n 等人提出了以粘性流体模型代替弹性模型的方法。在基于粘性流体模型 的配准中，浮动图像被建模为粘性流体，流体在内力的作用下去拟合参考图像。经过一 段时间后，内力消失，流体停止运动。内力在图像随着时间变形的过程中释放，使得能 够模拟包括转角的高度局部化变形。因此流体配准能够提供大变形和更大程度的可变 性，特别适合不同个体之间( 包括图谱匹配) 的配准。 流动变形用e u l e r i a n 坐标系来描述，流体配准的变形可以用n a v i e r - s t o k e s 偏微分方程 表示为1 4 7 ： u v 2 v ( x ，y ，z ) + ( 九+ r t ) v ( v v ( x ，y ，z ) ) + f ( x ，y ，z ) = 0( 2 1 4 ) 粘性流体模型与弹性模型的区别除了微分是作用于速度场1 ，而不是位移场“外， 方程( 2 2 2 ) 与方程( 2 2 1 ) 是类似的。在每一时间步长内，更新f ( x ，y ，z ) 来求解方程， c h r i s t e n s e n 等人采用逐次超松弛迭代法( s u e c e ss i v eo v e rr e l a x a t i o n ) 求解。v 同甜之间的 联系如下： 1 ，( x ，y ，z ，f ) ：a u ( x , - y , z , t ) - i - v ( x ，y ，z ，f ) v “( x ，y ，z ，f ) ( 2 1 5 ) 优 其中，u ( x ，y ，z ，) 表示形变在x ，y ，z 方向上t 时刻的位移；v ( x ，y ，z ) 表示位移的速度 场，f ( x ，y ，z ) 为作用在流体上的外力。 原始流体配准算法计算速度很慢，l e s t e r 等人1 4 9 1 提出了一种非均匀粘性流体模型来 适当地约束配准过程。b r o n i e l s e n 和g r a m k o w 等人【4 8 1 提出了利用快速卷积方法对粘流体 模型进行了改进，提高计算速度。 3 基于光流场模型的非刚性配准 光流场等价于物理学上不可压缩流运动等式的配准方法，光流的概念首先是在计算 1 0 硕j ：论文非刚性配准方法在气象云图中的研究与应用 机视觉中提出的，为t * b 偿时序图像的两幅连续帧之间物体和视点的相对运动。在光流 场模型中，浮动图像和参考图像被认为是图像序列i ( x ，y ，z ，t ) 的连续时间采样，假设是 短时问间隔运动前后特定空间点的图像灰度保持为常数，即： i ( x ，y ，z ，f ) = i ( x + f x ，y + s y ，z + f z ，+ f i t )( 2 1 6 ) 将等式右边使用泰勒展开，并忽略高次项，光流场方程可以写为： 罢鲁+ 等等+ 警妄+ 尝= o c 2 1 7 ， 瓠d t卸出a z 出a t 、 h e l l i e r 等人提出了一个基于光流场的算法1 5 0 ，该算法用一个包含相似性测度和平滑 项的代价函数作为健壮性估计量，自适应的分割算法应用其中。本文采用的基于灰度的 d e m o n s 配准算法也是采用的光流场模型。 2 1 4f e m 配准 弹性变形的偏微分方程可通过有限元方法( f e m ) 求解，e d w a r d s 等人吲1 提出了有限 元模型的一种简化形式，采用三要素模型来模拟刚性、弹性和流体结构的性质。做法是 将图像划分为有多个连通结点的三角形网格，根据先验知识为每个结点做标记，例如， 在医学解剖图像中将骨质标记为刚性，软组织标记为非刚性；在遥感图像中将地面物体 标记为刚性，将云层标记为非刚性。标记为非刚性的结点通过最小化能量函数变形，而 标记为刚性的结点保持不变。 2 2 相似性度量 为了确定配准后的浮动图像和参考图像之间的最佳匹配关系，必须定义一个相似性 度量来描述两幅图像的相似性程度。目前经常采用的相似性测度有均方根误差、相关系 数、梯度互相关、图像差熵、互信息和归一化互信息等。下面将主要介绍一下归一化互 信息。 2 2 1 归一化互信息 基于互信息( m u t u a li n f o r m a t i o n ) t 拘相似性测度是从图像的统计信息研究出发，不需 要对参与配准的图像问的灰度关系进行限制，所以在很多图像配准过程中，被认为是很 合适的相似性判断准则。 互信息( m i ) 是基于信息理论，它表示一幅图像尺中包含另一幅图像f 的总信息量。 如果两幅图像是完全一样的，则它们的互信息最大。互信息的公式如式( 2 2 1 ) 所示。 s 协= hr + hf hr ft 2 2 吣 其中，h r 表示参考图像尺的信息熵，以表示浮动图像f 的信息熵，表示两 幅图像r 和f 的联合信息熵。其中， 2 非刚性配准关键技术硕士论文 以= 一p 只( i ) l o g p r ( i ) ，r h f = 一p f ( i ) l o g p f ( f ) ，r ( 2 2 2 ) ( 2 2 3 ) = 一p 盯( f ，j ) l o g p 盯( f ，) ( 2 2 4 ) i r j f p ( f ) 是图像中像素灰度值为f 的概率，p r y ( f ，) 是两幅图像的联合概率密度，可由 两幅图像的联合直方图求得。为了简便的计算两幅图像的联合信息熵，式( 2 2 5 ) 可以写 成如下形式： 一二。昔1 0 9 p 盯( i ，) 5 ) i r ，| f i 、 f 和，分别表示参考图像和浮动图像的灰度，p r f ( f ，) 是狄度对( f ，) 的联合概率， ，是灰度对( ，) 出现的次数，n 是总共的灰度对数( 通常n 为图像的像素个数) 。我们 假设图像被分割成不重叠的小块，每一小块中m j 表示灰度对( f ，歹) 出现的次数，m ， 可以用下式表示。 f ，j = ( 2 2 6 ) 用式( 2 ，2 6 ) 替代( 2 2 5 ) 中的，得到： = 一等1 0 9 p 肼( f ，) ( 2 2 7 2 ) 如果图像被分割成单个像素p = ( x ，y ) ，那么 呢= 吧= 盅姜产以力 ( 2 2 8 ) 式( 2 2 9 ) 可以被简单的写成如下形式： 日盯一；专1 0 9 p = ；一n l o g o ( 2 2 9 ) 只是i = 尺( p ) ，= f ( p ) 的概率。通过式( 2 2 9 ) ，简化了联合信息熵的计算，提高了 归一化互信息的计算速度。 s t u d h o l m e 证明互信息依赖于两幅图像的重叠部分，如果两幅图像的重叠部分太小， 则基于互信息的相似性测度很难达到理想的配准效果。s t u d h o l m e 建议用归一化互信息 ( n o r m a l i z e dm u t u a li n f o r m a t i o n ) 代替互信息，归一化互信息( n m i ) i 拘公式如式( 2 2 1 0 ) 所 硕一l - 论文非刚性配准方法= f e 气象云l 玺i 中的研究与应用 不o = 警 ( 2 2 m ) 式中各项的计算与互信息公式中的相同。归一化互信息对图像大小以及图像重叠部 分的大小不再敏感，具有着更广泛的应用。 2 2 2 灰度差平方和 参考图像和待配准图像的灰度差平方并n ( s u mo f s q u a r e dd i f f e r e n c e ) ，如式( 2 2 1 1 ) 所 示。 跚= 【丁( f ( f ，j ) ) - r ( i ，朋2 ( 2 2 11 ) 其中，t ( f ( i ，) ) 表示经过空间变换后的浮动图像在位置为( f ，d 处的灰度值，而 r ( i ，j ) 表示参考图像在位置为( f ，) 处的灰度值。该相似性度量函数便于理解和操作，性 能较好，易于寻求极小值。 2 3 优化算法 变换参数的优化是通过不断的改变变换参数，使得配准图像间的相似性测度达到最 优。优化技术就是以相似性测度作为目标函数来计算转换的最优值，从而得到最佳的配 准效果。目前较常采用的优化技术有最速下降法、共轭梯度法、模拟退火算法、遗传算 法等。本文采用的最速下降法，由于比较简单，在此主要介绍一下遗传算法。 2 3 1 遗传算法 遗传算法( g e n e t i ca l g o r i t h m