（信号与信息处理专业论文）多模态和大型图像配准技术研究.pdf

摘要 图像配准足图像处理领域的 一 个基本问题，它是同场景的多图像分析的基 础。本论文对图像配准进行了创新性研究。 本文提出了 广义的图像匹配概念和一个新的图像配准准则对齐度。 广义 的图像匹配概念更符合人对于图像匹配的理解。 对齐度准则源自于人对于图像内 容对齐的认识，在数学上则基于方差 对图像的灰度属性之间没有苛刻的要 准则适用于一维至多维的多模态图像 。 c 准 则 能 够 有 效 地 衡 量 图 像 的 配 准 程 度 ， 像中的噪声也有很强的容忍性。 新 单模态和多模态的医学和遥感图像 实例充分证实了新准则的有效性。 图像配准问题归结为对齐度的最大化， 这成为 一 个典型的多维全局参数优化问题口本文使用 p o w e i i 方向族搜索法结合多分辨 率分析来最大化对齐度。 针 对基于特征点的图像配准， 本文提出了一种基于广义特征点的图像自 动配 准 方 法 ca 先 本 文 提 出 了 广 义 特 征 点 和 “ 义 ” 征 点 概 “ ， 将 特 征 点 从 单 纯 的 点 拓 展到特征区域。 基于广义特征点概念提出了一种新的特征点具体定义， 以多尺度 的小波变换结合其他特征约束条件来自 动地搜索广义特征点。 对两幅图像分别提 取广义特征点集之后， 提出一种基于对齐度准则和根均方误差的两步匹配算法完 成同名控制点的建立。 以一种叠代优化机制对控制点的位置进行精校正， 最后进 行图像的精确配准。 多种实验结果充分展示了本文基于广义特征点方法的配准效 用卜tr / 一 果犷 “ 在研究遥感图像特点和失配方式的基础上， 针对具有局部几何畸变和无限长 特点的遥感图像， 提出了一种持续地流水线式的配准方法。 只在配准的起始需要 人工的简单辅助就可以启动后续的自 动过程。 在图像的变形平缓的前提下， 通过 网格化的广义特征点自动搜索和匹配过程在全图中建立足够密度的均匀的控制 点 集 。 然 后 以 局 部 加 权 平 均 的 表 面 拟 和 方 法 对 失 配 图 像 做 几 何 校 正 冬 方 法 既 有 效地校 了 遥感图像中的局部几何畸变， 又适合于针对无限长图像进行数据流式 的 分 段 配 。，、。 模 拟 实 验 证 实 了 本 方 法 的 有 效 性 井 - 关键词:图像配准，配准准则，对齐度，特征点，1 l 何矫if a s t u d y o n r e g i s t r a t i o n o f m u l t i - m o d a l a n d h u g e - s i z e i ma g e s w a n g d o n g f e n g ( s i g n a l a n d i n f o r m a t i o n p r o c e s s i n g ) d i r e c t e d b y p r o f . z o u mo u y a n ab s t r a c t i m a g e r e g i s t r a t i o n i s a f u n d a m e n t a l t a s k i n i m a g e p r o c e s s i n g . i t i s t h e b a s i c s t e p f o r m u l t i - i m a g e a n a l y s i s o f t h e s a m e s c e n e . i n t h i s d i s s e r t a t i o n w e m a k e c r e a t i v e r e s e a r c h o n i m a g e r e g i s t r a t i o n . we s u g g e s t a b r o a d s e n s e c o n c e p t o f i m a g e m a t c h a n d i m a g e r e g i s t r a t i o n . n e w c o n c e p t o f i m a g e r e g i s t r a t i o n i s m o r e a c c o r d w i t h t h e c o m p r e h e n s i o n o f h u m a n b e i n g s o n i m a g e m a t c h . t h e n w e s u g g e s t a n e w m a t c h m e a s u r e : a m ( a l i g n m e n t me t r i c ) , w h i c h i s d e r i v e d f r o m t h e j u d g m e n t o f a l i g n m e n t o f a h u m a n s v i s i o n . ma t h e m a t i c a l l y i t i s b a s e d o n v a r i a n c e . t h e n e w m e a s u r e c a n e f f i c ie n t ly e v a l u a t e t h e m a t c h d e g r e e o f t w o i m a g e s , w i t h l i t t l e r e s t r i c t i o n o f t h e g r a y l e v e l p r o p e r t i e s . i t a l s o s u p p l i e s s t r o n g n o i s e t o l e r a n c e . n e w m e a s u r e c a n b e a p p l i e d t o o n e - d i m e n s i o n a l o r m u l t i - d i m e n s i o n a l m u l t i - m o d a l i m a g e r e g i s t r a t i o n . i m a g e r e g i s t r a t i o n t h e n c h a n g e s t o t h e m a x i m i z a t i o n o f a l i g n m e n t m e t r i c . t h i s i s a t y p i c a l m u lt i - d i m e n s i o n a l g l o b a l p a r a m e t e r o p t i m i z a t i o n p r o b le m . we u s e p o w e l l d i r e c t i o n s e t m e t h o d a n d m u l t i - r e s o l u t i o n a n a l y s i s t o m a x i m i z e a m. ma n y e x p e r i m e n t a l r e s u l t s d e m o n s t r a t e t h e e f f i c i e n c y a n d p e r f o r m a n c e o f t h e n e w m e t h o d . a i m i n g a t f e a t u r e p o i n t b a s e d i m a g e r e g i s t r a t i o n , w e s u g g e s t t h e c o n c e p t s o f b r o a d s e n s e f e a t u r e p o i n t a n d n a r r o w s e n s e f e a t u r e p o i n t . t h i s e x t e n d s t h e f e a t u r e p o i n t f r o m a s i m p l e x p o i n t t o a f e a t u r e r e g i o n . b a s e d o n t h e s e c o n c e p t s w e s u g g e s t a n e w k i n d o f b r o a d s e n s e f e a t u r e p o i n t d e f in e m e n t . t h i s k i n d o f b r o a d s e n s e f e a t u r e p o i n t s c a n b e d e t e c t e d a u t o m a t i c a l l y b y u s e o f m u l t i - s c a l e w a v e l e t t r a n s f o r m a n d o t h e r f e a t u r e r e s t r i c t i o n s . wh e n f e a t u r e p o i n t s e t s a r e e x t r a c t e d r e s p e c t i v e l y f r o m t h e tw o i m a g e s , c o r r e s p o n d e n c e b e t w e e n t h e p o i n t s e t s i s t h e n e s t a b l i s h e d b y a t w o - s t a g e m a t c h i n g a l g o r it h m . t h i s m a t c h i n g a l g o r i t h m i s b a s e d o n t h e a l i g n m e n t me t r i c a n d r ms e ( r o o t me a n s q u a r e e r r o r ) . f i n a l l y a n i t e r a t i v e o p t i m i z a t i o n m e c h a n i s m i s u s e d t o f i n d t h e p r e c i s e r e g i s t r a t i o n t r a n s f o r m o f t h e t w o i m a g e s , a n d t h e n t h e d e f o r m e d i m a g e i s r e g i s t e r e d . ma n y r e g i s t r a t i o n e x p e r i m e n t a l r e s u l t s c a n i l l u s t r a t e t h e p e r f o r ma n c e o f t h i s m e t h o d . we a l s o s t u d y o n t h e f e a t u r e a n d d e f o r m a t io n s o f r e m o t e s e n s i n g i m a g e s . a i m i n g a t i n f i n i t e l e n g t h i m a g e s w i t h l o c a l d i s t o r t i o n s , w e s u g g e s t a s e q u e n t i a l s t r e a m - l i k e r e g i s t r a t i o n m e t h o d . o n l y a v e r y s i m p le m a n u a l a s s i s t a n t i s n e e d e d t o s t a r t u p t h e s u b s e q u e n t a u t o m a t i c p r o c e s s . t h e p r e c o n d i t i o n o f t h i s m e t h o d i s t h e c o n t i n u i t y a n d s m o o t h n e s s o f l o c a l d i s t o rt i o n a l t e r a t i o n . b y s e t t i n g u p g r i d s o n t h e i m a g e , b r o a d s e n s e f e a t u r e p o i n t s a r e a u t o m a t i c a l l y d e t e c t e d i n t h e r e f e r e n c e i m a g e a n d m a t c h e d w i t h t h e d e f o r m e d i m a g e . t h i s p r o c e s s c a n s p r e a d t o t h e w h o l e i m a g e t o e v e n l y e s t a b l i s h c o n t r o l p o in t s w i t h e n o u g h d e n s it y . t h e n t h e lo c a l w e i g h t e d m e a n m e t h o d i s u s e d t o r e g i s t e r t h e i m a g e d i s t o rt i o n s . t h i s m e t h o d c a n n o t o n l y s u c c e s s i v e l y r e g i s t e r t h e l o c a l g e o m e t r i c d i s t o rt i o n s b u t a l s o f it f o r t h e i n f i n i t e l e n g t h i m a g e r e g i s t r a t i o n . i m a g e s a r e r e g i s t e r e d a n d e x p o rt e d w i t h s e q u e n t i a l s u b s e c t i o n s . e x p e r i m e n t s w i t h s i m u l a t e d d a t a d e m o n s t r a t e t h e e ff i c i e n c y o f t h i s m e t h o d . k e y w o r d s : i m a g e r e g i s t r a t i o n , m a t c h m e as u r e , a l i g n m e n t me t r i c , f e a t u r e p o i n t , g e o me t r i c r e c t i f i c a t i o n 第一章 图像配准综述 第一章 图像配准综述 夸 1 . 1 数字图像及图像处理 数字图像的分析和处理是从 6 0年代开始，伴随着计算机技术的发展而迅速 发展起来的学科。 它的主要目的是让计算机按照人类的视觉和理性要求对图像进 行处理或加工。 “ 图” 是物体透射光或反射光的分布， “ 像” 是人的视觉系统对图 的接收在大脑中形成的印象或认识。 前者是客观存在的， 而后者是人的感觉，图 像则应该是两者的结合。 如果把图像仅仅看成是二维平面上或三维立体空间中具 有暗亮或色彩变化的光的分布， 是不严格的， 它应当包含人的心理因素， 图像处 理 也应该 考虑这一点 1 。 人们可以 通过各 种 观测系统 从被观察的 场景取得图 像。 其中常用的有: 普通的照相、 摄像系统; 观察微小细胞的显微图像摄像系统; 考 察地球表面的卫星多光谱扫描成像系统; 在工业流水线上监控的工业机器人视觉 系统; 检查人体内部结构的超声、 x射线等医学成像系统; 工业检测材料内部结 构的断 层摄影系统 ( c t ) 等等. 观察系统 使用的 光 波段可以 从可见光、 红 外、 x射 线、微波、 超声到丫 射线，以 适应探测不同物理介质、材料和状态的场景。 从观测系统所取得的图像可以是静止的，如文字、照片、细胞切片等;也可 以是运动的， 如飞行物、 传送带上的工件、 心脏图像等; 物体还可以 是三维立体 的， 如机器零件、 建筑物、 山 脉等; 所成的图 像可以是黑白的， 也可以是彩色的。 图像处理就是对图像信息加工处理，以满足人的视觉、心理和实际应用的要 求。 人类获取外界信息可以 有视觉、 听觉、 触觉、 味觉等多种方法， 但绝大部分 ( 约8 0 %) 是来自 于视觉所接受的图 像信息. 图 像处理可以 应用光学方法， 也可 以应用电子学方法。 光学图像处理方法已 有很长的历史， 如光学滤波器等。 光学 图像处理是平行处理，处理速度快， 信息量大， 分辨率高，又很经济， 但处理精 度不高、灵活性差、设备笨重、操作不方便等原因限制了它的发展和应用。从 6 0年代开始，随着计算机技术的发展，数字图像处理获得了飞速的发展。数字 图像处理， 就是利用数字计算机或其它高速、 大规模集成数字硬件， 对从图像信 息转换来的数字信号进行某些数字运算或处理， 以期提高图像的质量或达到人们 所要求的某些预期的结果。 数字处理技术开辟了全新的和十分广阔的道路， 使得 多 鱼些星些鱼翌丝* ro 些一一一一 有可能根据人们的需要对图像进行各种各样的加工或从图像中提取各种不同的 信息 2 3 0 1 . 2图像配准 图像配准是图像处理的一个基础问题。它源自 于多个领域的很多实际问 题， 如不同 传感器获得的信息融合; 不同时间、 条件获得图 像的 差异监测; 成像系统 和物体场景变化情况下获得的图像的 三维信息获取; 图 像中的模式或目 标识别等 等。简单来说图像配准就是将同一场景的不同图像 “ 对齐” 或进行广义的匹配。 对同一场景使用相同或不同的传感器 ( 成像设备) ， 在不同条件下 ( 天候、 照度、 摄像位置和角度等) 获取的两个或多个图像一般说会有所不同。 同一场景的多 幅 图像的差别可以表现在: 不同的分辨率、 不同的灰度属性、 不同的位置 ( 平移和 旋转) 、不同的比 例尺、不同的非线性变形等等。多 种成像模式产生的图 像会表 现出 不同的分辨率、 不同的灰度属性等等差异， 它们通常被称为多 模态图 像。 为 了 对场景进行深入分析， 需要把两个或多个多模态图 像数据融合起来。 实现这些 图 像的配准，则是最基本的一步。 图 像配准的应用领域概括起来主要有以 下几个方面:计算机视觉和模式识 别， 服务于目 标识别、 形状重建、 运动监测和特征识别等等;医学图像分析，比 如肿瘤检测、 病变定位， 大脑或血管造影、 血细胞显微图像分类等等: 遥感数据 分析， 农业、 地理、 海洋、 石油、 地矿勘探、 污染、 城市森林等;目 标定位、 测 量、识别和分析等。 根据b r o w n 4 的总结，图像配准在应用上可以 粗略地归为四类: 1 )多模态配准 分类:同一场景上由不同传感方式获得的图像的配准。 典型应用:多传感器图像的信息融合。 方法特点:通常需要建立传感模型和变换模型;由于灰度属性或对比度可 能有很大的差异，有时需要灰度的预配准;利用物体形状和一 些基准标志可以简化问题。 应用例子 1 :医学图像领域，c t , mr i . p e t . s p e c t图像结构信a融 0. 第一章 图像配准综述 应用例子2 :遥感图像领域，多电磁波段图像信息融合，如:微波、雷达、 可视的或多谱段的等;场景分类，如分类建筑物、道路、车辆 植被等。 2 )模板配准 分类:在图像中为参考模板样式寻找最佳匹配。 典型应用: 在图像中识别和定位模板样式例如:地图、物体、目 标物等。 方法特征: 基于模式， 预先选定特征，已 知物体属性，高等级特征匹配。 应用例子1 :遥感数据处理，定位和识别定义好的或已知特征的场景如飞 机场、高速路、车站、停车场等。 应用例子2 :模式识别，字符识别，标志确认，波形分析等。 3 ) 观察点配准 分类:对从不同 观察点获得的图像进行配准。 典型应用:深度或形状重建。 方法特征:变形多为透视变换;常应用视觉几何和表面属性等的假设条件; 典型的方案是特征相关:必须考虑阻挡问题。 应用例子1 :计算机视觉，从视角差异中构建三维深度和形状信息。 应用例子2 :计算机视觉，目 标物运动跟踪，序列图像分析. 4 )时间序列配准 分类:对同一场景上不同时间或不同条件下获得的图像的配准。 典型应用:检测和监视变化或增长。 方法特征:需要容忍图像中部分内容的差异和形变对配准造成的影响;有 时需要建立传感噪声和视点变换的模型。 应用例子l :医学图像处理，数字剪影血管造影 ( d s a ) ，注射造影剂前后 的图像配准。肿瘤检测，白内障检测。 应用例子2 :遥感数据处理，自 然资源监控，核生长监控，市区增长检测. 可以 看到，图像配准具有非常广谱的方法论， 这使得对于图像配准技术的分 类和比较评判很困难。每一个配准技术通常是针对某一个具体的应用而设计的， 而对于那些特定的应用问题来说， 并没有哪一个技术是必须的和唯一的。 它们唯 多 禅 查 迎 鑫 型 里 鲤些丝壑竺上一一一一一一一一一一一 一的共性就是每一个配准问题最终都是要在变换空间中寻找一种特定的最优的 变换，使得其中一幅图像变换后与另一幅达到某种意义上的匹配。 1 . 3图像配准方法 迄今为止在国内外的图像处理研究领域， 己经报道了相当多的图像配准研究 ， 产生了不少图像配准方法。 总的来说， 各种方法都是面向一定范围的应用 也具有各 自的特点。 互 ， . 3 . 1图像配准方法分类 如何对各种配准方法进行分类， 人们也已经进行了一些探索， 并提出了不同 的 分 类方法 4 5 。 其中 在 b r o w n 4 的 文献中， 提出 可以以 三个主要的 范 畴 来进 行图像配准分类， 它们分别为:图像特征类别、 搜索空间 ( 或等价于应用的变换 类型) 、搜索策略。 a . 图像特征 图 像配准中使用的图 像特征有着重要的实际意义， 因为它们通常决定了 这个 方法适合于什么样的图像。 空间坐标 ( 地标点) 被有效应用于很多的同属性图像 的配准， 但地标控制点的选择是一个困难的过程， 不论是自 动的还是人工的确定。 对于很多图像来说， 图像配准精度直接受控制点选择精度的影响。 而实际中控制 点的数量和精度通常是很有限的。 相比 较而言， 基于初始灰度信息的配准方法充 分而又有效地利用所有已知的数据。 如果需要， 一些二值的掩模或者其他加权过 程可以用来强调某些特定的特征信息。 恰当的相似性准则的使用可以增加方法的 鲁棒性。 b . 搜索空间 图像的几何形变可以分为三类:全局的、局部的和位移场形式的。全局的变 换通常基于矩阵代数理论， 用一个参数矩阵来描述整个图像的变换。 典型的全局 几何变换包括以下的一种或几种: 平移、旋转、各向同性或各向异性的缩放、二 次或三次多项式变换等等。 局部变换有时候又被称为弹性映射， 允许变换参数有 第一章 图像配准综述 位置依赖性， 也就是说， 不同的位置具有不同的变换参数模型。 变换参数往往只 是定义在特定的关键点上，而在区域到区域之间进行插值。最后，位移场方法， 有时候又称为光流场法， 使用一个 ( 连续的)函数优化机制， 为图像中的每一点 计算出一个独立的位移量，并使用某种规整化机制进行约束。 c . 搜索策略 由于很多配准特征和准则伴随着庞大的计算量， 搜索策略成为一个不容忽视 的问题。 给定一组特征和参数化的形变， 优化准则和优化算法本身共同决定了搜 索策略。 控制点结合最小二乘准则是一个很通用的变换参数确定方法， 它通常用 在基于特征的配准方法上。此外，常用的搜索策略还有:松弛匹配、动态编程、 牛顿法、最速下降法、共扼梯度法等等。 本论文根据图像配准中利用的图像信息区别将图像配准方法分为三个主要 类别: 基于灰度信息法、 变换域法和基于特征法， 其中基于特征法又可以 根据所 用的特征属性的不同而细分为若千类别. 以下将根据这一分类原则来讨论目 前已 经报道的各种图像配准方法。一 芍 1 . 3 . 2基于灰度信息的图像配准方法 本类方法一般不需要对图像进行复杂的预先处理， 而是利用图像本身具有的 灰度的一些统计信息来度量图像的相似程度。 主要特点是实现简单， 但应用范围 较窄， 不能直接用于校正图像的非线性形变， 在最优变换的搜索过程中往往需要 巨大的运算量。 1 9 8 2 年r o s e n f e l d 6 提出 的 交 叉 相关 是 最 基 本的 基于 灰 度统 计的图 像 配 准 方 法。 它通常被用来进行模板匹配和模式识别。 它是一种匹配度量， 给出了一幅图 像和一个模板的相似程度。对于一幅图像1 和一个尺寸小于i 的模板t ，归一化 了的二维交叉相关函数表示了每一个位移位置的相似程度: c ( u , v ) = y s 瓦t (x ,y ) 1 ( x 一 u ,， 一 ， ) il s y y 1 2(一， 一 )聆 ( 1 . 1 ) 如果模板能够和图像恰当地匹配， 除了一个灰度比例因子， 在正好匹配的位移点 多 模态和人型图像配准技术胡究 ( i ,1 ) 卜 ， 交叉相关 将会出现它的峰值c ( ij ) o 应该 注意到必须对交叉相关进行归 化，否则局部灰度强弱将影响匹配度量。 j j, 个类似的度量方式，有时候可能史优越， c o r r ( i , t ) = c o v ( i , t ) i , i!八 : ， : ) 一 p i 就uh 相关系数1 71: i i ( x , y ) 一 p , i s , s , il - y- , ( i (x , y ) 一 、 ， )2 y , y , ( 1 . 2 ) 这 里u ， 和s ， 分 别 是 样本t 的 均 值 和方 差， p ， 和s ， 分 别 是图 像i 的 均值 和方 差， 并 假设i 和t 同大小。 相关系数的 特点是它是在一个绝对的尺度范围 - 1 , 1 内计 算相关性的， 并且给相似度给出了一个线性的指示。 对于大尺度的相关运算可以 通过快速傅里叶变换求得，使得它得到了更广泛的应用。 如果图像带有噪声， 则可能无法清楚地辨认相关运算的峰值。 如果噪声模型 容易建立， 或者更准确地说， 噪声是叠加型、 静态且无关于图像，并且已知其能 量谱密度， 利用匹配滤波技术 6 ,可以 在对图 像作抑制噪声的滤波处理后，再 进行相关运算。 另一类比传统的交叉相关更容易实现的算法，称为序贯相似检测算法 ( s e q u e n t i a l s i m i l a r i t y d e t e c t i o n a l g o r i t h m s , s s d a s ) 是由b a m e a 8 等人提出来 的。 s s d a方法的最主要特点是处理速度快。该方法主要提出了两个改进，首先 是建议了一个计算上更为简单的相似性准则e ( u , v ) : e ( u , v ) = 艺艺 i t ( x , y ) 一 i ( x 一 u y 一 v ) 1 ( 1 .3 ) 归 化 了的准则定义为: e ( u , v ) = 艺yi t ( x y ) 一 t 一 i ( x 一 u , ， 一 v ) + i ( u , v ) i ( 1 . 4 ) 这里t 和i 分别为模板和图像的均值。 即 便在非归 一 化的 情况下， 在匹配处该准 则也能获得一个极小值。而相关方法既需要归一 化又需要耗时的乘法运算。 b a r n e a 等人提出的另一个改进是提出了一个序贯的搜索策略。 山于该准则实 际1 是一个误差绝对值的累加和， 在图像不匹配的位置， 累加时e ( u , v ) 增长很快， 而 在图 像匹配位置上e ( u , v ) 随累加次数增长 缓慢。 如果选择 一 个简单的固定门限 t ,并规定累加误差一旦超过该门限t 就停止运算，则在各个不匹配位置 上 累加 第争 图像配准综述 运算将提前停止， 从而大大 节省运算量。而在匹配位置 匕 需经过很多点的累加 后才能达到固定门限 t 。因而可以把累加次数 n 作为匹配的判据，累加次数n 最 人的位置就是匹配位置。 这种方法称为固定门限的s s d a算法。 进一步的改进方 法可以根据局部灰度信息和匹配窗口的大小动态调整门限大小， 从而进一步提高 算法效率。 另 一 种非常类似的准则 称为整合平方误差 ( i n t e g r a t e d s q u a r e d i f f e r e n c e ) 9 1 , 有时也称为残差 ( r e s i d u e ) ，它的主要不同之处是以误差的平方来求累加和的。 设 待比 较的两个9 维信号分别为f l, 和f , ， 则它们之间的 整合平方误差定义为: “ 一 j f xlers (a (x ， 一 f , (x ) d x = !几 ( x ) 一 f ( x ) iiz ( 1 . 5 ) 对于图像 i 和模板 t 来说，参照以上的相同记号，整合平方误差可以写为: d ( u , v ) = yyt ( x , y ) 一 i ( x 一 u , y 一 o f ( 1 . 6 ) 以 卜 的相似准则方法都是比较传统的基于直接灰度信息的相关运算类或误 差运算类方法。 这些方法尽管各自具有一定的优点， 但总的来说有着共同的不足 之处，那就是对于噪声的影响和不同灰度属性或对比度差异的影响缺乏鲁棒性。 1 9 9 5 年， 出现了一个新的解决图像配准问 题的方向， 那就是基于信息理论的 交互 信息相似性准则。 交互 信息的 概 念 最早可以 追溯到1 9 4 8 年s h a n n o n 1 0 的 工 作。从此之后，交互信息在很多领域得到应用， 例如统计、 通信理论、复变分析 等 等。 1 9 9 5 年， v i o l a 等人 1 1 1 2 和c o l l i g n o n 等 人 1 3 1 4 分别 独立地把交互 信 息引入到图像配准领域，初衷是为了解决多模态医学配准问题。 交5 信息用来比较两幅图像的统计依赖性。 首先将图像的灰度视作具有独立 样本的空1 9 1 均匀随机过程，相关的随机场可以采用高斯一 马尔科夫随机场模型建 仅， 用统计特征及概率密度函数来描述图像的统计性质。 交互信息是两个随机变 量a和 b之间统计相关性的量度，或是一个变量包含另一个变量的信息量的量 c x o 交r信9 , 1 是用a和b的个体嫡i i ( a ) 和h ( b ) 和联合嫡h ( a , b ) 来表示的: i ( a , h ) 二 h( a ) + h( h ) 一 h ( a , b ) ( 1 . 7 ) 多模态和人吧图像配il t 技术胡究 1 中 h( a ) 一j p ( a ) in p ( a ) d a ( 1 . 8 ) t l ( b ) 一1 p ( b ) in p ( b ) d b ( 1 . 9 ) (ll0) h ( a ,b ) 一丁 p (a , b ) in p (a , b )d a d b 这i- p ( a ) 和p ( b ) 分别为随机变量a 和b 的 边缘概率密 度:p ( a , b ) 为两 个随 机变 73if1 的联合概率密度分布。 交互信息用于图像配准的关键思想是， 如果两幅图像达 到匹配， 则它们的交互信息达到极大值。 在图像配准的应用中， 通常联合概率密 度和边缘概率密度可以用两幅图像重叠部分的联合灰度直方图和边缘灰度直方 in 来估计 1 3 ， 或者用p a r z e n 窗概率密度估计法来估计 1 1 ， 从而计算交互信息。 交互信息图像配准方法一经提出，在图像配准领域尤其是医学图像配准领 域，引起了人们一定的研究兴趣，有不少基于此类的研究出现。比如:j o s i e n 等 人 1 5 提出将交互信息和图像的梯度信息结合起来以改善其极值性能; p h i l i p p e 1 6 1 等人采用一个多分辨率图像金字塔方法以 提高最大化交互信息的优 化速度; s k o u s o n 1 7 等人则推导出两幅图 像交互 信息的上界， 从而为交互信息的 属性提出了更深的认识， 并提出在一些情况下交互信息不一定能够得到最优化的 结果。 交互 信息是在概率密度估计的基础上建立的， 有时需要建立参数化的概率密 度模型， 它要求的计算量很大， 而且要求图像之间有较大的重叠区域。另外，函 数可能出现病态，且面临大量局部极值【 1 5 0 1 . 3 . 3变换域的图像配准方法 最主要的变换域方法就是傅氏变换方法。 傅氏变换拥有好几个性质可以被用 于 图像配准。图像的平移、 旋转、 镜像和缩放等变换在傅氏变换域都有相应的体 现。 利用变换域方法还有可能获得一定程度的抵抗噪声的鲁棒性。另外， 傅氏变 换山于 有成熟的快速算法和易于 硬件实现，因而在算法实现上也具有独特的优 协o 相位相关技术 1 8 是配准两幅图像的平移失配的最基本的傅氏 变换方法。相 第帝 划像配准综述 位 相 关 依 据的 是 傅氏 变 换的平 移 性 质。 给 定两 幅图 像i ， 和1 , ， 它 们 之间的 唯 一 区 别是 一 个平移量( d , d , ) ，即: i , ( x , y ) = i , ( x 一 d , , y 一 d , ) 则 创门 的 傅氏 变换f , 和f , 之间 将 有如 下的 关系: (li2) f ( co x , (o , ) = e - “ !“ 、口 口 f , ( (o . , co , ) 这就是说， 两幅图像拥有相同的傅氏变换幅度和不同的相位关系， 而相位区别是 山 创门 之间 的 平 移直 接决定的 。 写 成f , ( ) 引 万i e i m,(v ) , i 二 1 ,2 的 形式， 则 相 位差 山e i ( a - m s 1 给出。两幅图像的交又功率谱由下式给出: (1l3) f ( w x , (9 y ) f * ( co , co y ) if ( 。 二 ， (o y ) f ( co . , co y ) i =e c w , d , + . ,d ) 这里* 为共辘运算。可以看出两幅图像的相位差就等于它们交叉功率谱的相位。 对其进行傅早叶反变换我们会得到一个脉冲函数， 它在其他各处几乎为零， 只在 平移的位置上不为零， 这个位置正是我们要确定的配准位置。 因此， 相位相关技 术就是确定交叉功率谱相位的傅里叶反变换的峰值位置。 相位差对于所有的频率 的作用是相同的， 因此即便图像中混有窄带的噪声， 也不会使峰值的位置发生变 化。另外，待配准的图像还可以有不同的亮度，因为亮度的变化通常是缓慢的， 集中在低频部分，也不影响峰值的位置。 a l l i n e y等人【 1 9 2 0 致力于傅氏变换域方法的研究。他们提出一个改进的方 法， 只需要用一维的傅氏变换来计算相位相关。 这里的傅氏变换是用图像在x 和 y 方向的投影来做的。 尽管这个方法极大地节省了 计算量， 但它的鲁棒性也降 低 了 ，只适用于相对较小的平移量的配准。 旋转在傅氏变换中是一个不变量。 根据傅氏变换的旋转性质， 旋转一幅图像， 在 频 域 相当 于 对其 傅氏 变换 作相同 角 度的 旋 转。 两 幅图 像i , ( x , 力和h ( x , y ) ， 它 们 之 间 的 区 别 是 一 个 平 移 量( d x , d , ) 和一 个 旋 转 量汽， 则 它 们的 傅氏 变换f , 和f 2 的关系为: (l14) f , ( c )x , a ), ) 一 e - 田 、j . ,d , ) f ( (o x c o s o o + 。 ， s in 0 0 ，一 。 ， s in o , + 。 ， c o s oro ) 多 模态和人1 v 1 图像配准技术胡究 设f , 和f z 的 幅度分别 为m ， 和m 2 ， 则 有: m 2 ( c o 0 o ) = m , ( c ) , c o s 0 0 + w , s i n 残 ， - co , s i n 残+ a ) , c o s 九 )( 1 . 1 5 ) 容易石出，两个频谱的幅度是样的，只是有 一 个旋转关系。简单来说， 这个旋 转关系通过对其中一个频谱幅度进行旋转， 用最优化方法寻找最匹配的旋转角度 就可以确定。 l e e 2 1 等人f i t c a s t r o t 2 2 等人分别针对有旋转和平 移失配的图像配准成功地 应用了傅氏变换方法。 r e d d y 2 3 等人对相位相关技术进行了 扩展， 利用其进行有平移、 旋转和缩放 关 系的图 像的 配准。 他们将兀和凡的 幅 度谱m ， 和m2 的关系在极坐标下表 示为: m, ( p , b ) = mz ( p , b 一 b o )( 1 . 1 6 ) 则迪卡尔坐标下的旋转关系转化为极坐标下的平移关系， 可以利用前面的相位相 关技术确定旋转角度b o 0 对于有缩放的情况， 假设i , ( x , y ) 是1 , ( x , y ) 的 缩放结果， a 和b 分别为x 方 向和y 方向的缩放系数，即: 1 , ( x , y ) = / , ( a x , 勿)( 1 . 1 7 ) 则 根 据傅氏 变换的尺度性质，f , 和f z 的关 系表示为: (l8) 。，、1 。0 ) , m ,. 、 几l w . , w 尸=厂 万i f i t 一 下 ， 几 一 ) e a ua d 通过把坐标轴转换为对数尺度， 则图像尺度变换也可以转变成平移量 ( 这里忽略 了 * i 子磊的 影a m ) ， 即: (ii9) f 2 ( l o g o ) , , lo g co , ) = f , ( l o g to ， 一 l o g a , l o g o u ， 一 l o g b ) 为描述方便，经变量代换写成: 凡( u , v ) 二 石( 。 一 c , v 一 d )( 1 . 2 0 ) 这 !. u = lo g c o , , v = l o g c o , , c = to g a , d = lo g b 。 这样， 平移量。 和“ 也可以 通 过相位相关的技术求得，再通过指数运算获得尺度因子a 和 h o 第帝 图像k准练述 在常见的情况f ， x 方向和y 方向的尺度因子相等， 则对于同时有平移、旋 转 和 缩放失 配的 两 幅图 像1 , ( x , y ) 和i , ( x , y ) 来说 ， 它 们的 傅氏 变 换幅 度谱 在 极 坐 标卜 的关系为: (l2l) m ,( p , b ) 二 m z ( p , b 一 0 1 ) m, ( l o g p , b ) 二m, ( l o g p一 l o g a , b 一 b o )( 1 . 2 2 ) 变量代换后写为: m, ( u , b ) = mz ( u 一 c , o 一 0 1 ) ( 1 . 2 3 ) 这里u = l o g p，c = l o g a 。 这样， 通过相位相关技术， 可以一次求得缩放因子a 和旋转角度氏， 然后根据a 和b o 对原图 像进行缩放和旋转校正， 再利用相 位相关技术 求得平移量。 另外，一般意义的仿射变换在傅氏 变换域也有可见的表现。b r a c e w e l l 2 4 等 人 对傅氏 变换的 仿射理论进 行了 研究。 根 据他们的 研究， 给定两幅图 像z , “) 和 x , ( ) ，它们之间是仿射变换关系，即: x , ( e ) 一 二 , ( a - ( 一 b ) ) ( 1 .2 4 ) 这里a是一 个2 x 2 的可 逆矩阵， 代表 仿射变 换的 线 性变形， 石 是 一 个平 移向 量。 则 这两 幅图 像的 傅氏 变 换f , 和f 2 之间 的 关 系 为: 凡 ( w ) = 1 d e t a i e - 0 f , ( a 6 ) ( 1 .2 5 ) 这甩矛 是a的转置，d e t a是a的行列式， 表示向量的数积。 于是 k r u g e r i ri 的变换关系: 等人 2 5 2 6 1 根据这一关系， 建议以 三个步骤来确定两幅图 像之 通过它 们傅氏 变换幅度谱i f , ( ) 和 f , 动 之间的 关系 确定 线性变形 矩阵 2 、用变形 矩阵a对两 幅图 像的 频谱 进行变形， 即:抓 ( w ) = 石 ( a ) 3 、对 变形 后的频谱f , ( a ,d ) 进行 规整 化的 共 扼相关， 即: 多 模态和大v图 像配准技术 1 ,1 1 究 f , ( 6 ) = f , ( a (d ) 凡 ( 6 ) i ( e , e z ) ( i 2 6 ) 这 !1