（模式识别与智能系统专业论文）基于选择性关注和时空相关的数字图像匹配.pdf

i 海交通太学硕士学位论文 基于选择性关注和时空相关的 数字图像匹配 摘要 f 数字图像的匹配是计算机视觉研究的一个重要问题，也是一个很 有挑战性的难题。它在仿真设计、医学图像处理、数据融合和虚拟现 实技术中都有广泛的应用。本文所研究的主要内容，就是根据实时图 和参考图的相关信息，实现数字图像的实时精确匹配。 在一般情况下，用于匹配的几幅图像并不是同时获得的图像，或 者是由不同类的传感设备采集而成，这样就不可避免的由于各种成象 条件( 如参考图和实时图拍摄的季节、天气条件、植被、时间、光照 角度、辐射强度和距离等) 的变化而造成图像问的差异。这种待匹配 、 图像间的差异正是影响图像配准的主要原因式 1 本文通过对传统的各种相关算法的分析，提出了基于选择性关注 和时空相关的数字图像匹配方法。文章提出了按照人类认识事物的一 般方式，即由粗到细、由大至小的方法进行图像匹配的系统流程。这 样就把图像的匹配分解成粗匹配和精匹配两个部分。 在实现图像粗匹配的过程中，文章提出了利用流域( w a t e r s h e d ) 的 方法对待匹配的图像进行区域分割，实现图像的选择性关注。这样既 可以有效的提取图像的边缘，减少相关匹配的信息量，又可以避免由 于信息的过分丢失而造成的误匹配。然后再对分割后的进行相关性计 算，得到若干相关峰的极值点，把这些点及其邻域作为粗匹配的定位 i 海交通大学顿 学位论i 摘要 点。 在实现精匹配的过程中，文章针对已有的灰度积相关算法的缺 点，提出了融合时序图像的相关信息，引入累积矩阵，得到了新的相 关度量函数。 整个图像匹配系统正是通过粗匹配得到的粗定位点及其邻域作 为精匹配的累积点，通过叠加时序图像的相关峰极值得到最后的相关 峰平面，然后对新的相关峰平面进行搜索排序，从而得到最终的匹配 定位点。通过实验论证，这种方法在不增加算法时间复杂度的情况下， 有效的提高了匹配的准确性，可以实现精确匹配。 整个文章的创新之处是： 1 提出了采用基于人类认识规律，即由粗及精的方法认识事物 的图像匹配框架。 2 提出了借助数学形态学中流域的方法用于图像的选择性关 注。 3 提出了利用时序图像的关联信息实现图像的连续匹配。 最后，本文还对数字图像匹配的研究进行了展望。 关键词：图像匹配，数学形态学，流域弋分水岭l ! 予叫栩砖摊 赴。 时空相关，时序图像 i i e 海交通大学硕士学位论文 摘要 m a g er e g i s t r a t i o nb a s e do ns e l e c t l v ea t t e n t i o n a n ds p a t la l t e m p o r a lc r o s s c o r r e l a t io n a b s t r a c t d i g i t a li m a g er e g i s t r a t i o n i saf u n d a m e n t a lr e s e a r c ha sw e lla sa c h a l l e n g ei nc o m p u t e rv i s i o n t h i st e c h n i q u eh a ss e v e r a la p p l i c a t i o n si n s i m u l a t i o nd e s i g n ，m e d i c a li m a g ea n a l y s i s ，i n f o r m a t i o nf u s i o na n dv i r t u a l r e a l i t y i t sm a i nt a s ki st om a t c ht w oo rm o r ei m a g e st a k e na td i f f e r e n t t i m e s ，f r o md i f f e r e n ts e n s o r so rf r o md i f f e r e n tv i e w p o i n t s g e n e r a l l y ，t h ei m a g e s a r ed i f f e r e n tb e c a u s eo fs e a s o n ，w e a t h e r ， v e g e t a t i o n ，t i m e ，i l l u m i n a t i o n ，r a d i a n ti n t e n s i t ya n dd i s t a n c e a 1 lt h e f a c t o r sm e r i t i o n e da b o v ea f f e c ti m a g er e g i s t r a t i o n w i t hc o m p r e h e n s i v ea n a l y s i so ft h et r a d i t i o n a lc o r r e l a t i o na l g o r i t h m ， t h i sd i s s e r t a t i o nh a sm a d es o m ec o n t r i b u t i o n st oi m a g er e g i s t r a t i o nb a s e d o ns e l e c t i v ea t t e n t i o na n ds p a t i a l & t e m p o r a lc r o s s c o r r e l a t i o n i nt e r m s o fr u le sb yw h ic hh u m a nu n d e r s t a n dt h er e a lw o r l d ，w ep o i n to u tam e t h o d t o s e p a r a t ei m a g er e g i s t r a t i o n i n t ot w os t e p s t h ef o r m e ri s r o u g h r e g i s t r a t i o na n dt h el a t t e ri sa c c u r a t er e g i s t r a t i o n i nt h ep r o c e d u r eo fr o u g hr e g i s t r a t i o n ，w ep r o p o s et h ec o n c e p to f s e l e c t j v ea t t e n t i o n w h i c hf u l f i l l sr e g i o ns e g m e n t a t i o nu s i n gw a t e r s h e d t h i sm e t h o dc a n e f f e c t i v e l y e x t r a c t e d g e w i t h o u t m i s s i n g u s a b l e i n f o r m a t i o n w ec a ng a i nt h ee x t r e m u mp o i n t sf r o mt h ee d g ei m a g e t h e n t h e s ep o i n t sa n dt h e i rn e i g h b o rp o i n t sa r ea p p o i n t e da sr o u g hm a t c h i n g p o i n t s i no r d e rt os o l v et h ep r o b l e mo f i n a c c u r a t er e g i s t r a t i o nb a s e do n t r a d i t i o n a lg r a y 一1 e v e li n f o r m a t i o n ，w ep r o p o s ean e wm e t h o d ，w h i c hu s e s u n i t i z e dp r o d u c tc o r r e l a t i o nm a t r i x t h en o v e l t yo ft h i sm e t h o dl i e si n 1 1 1 上海交通大学硕士学位论文 摘要 t h a ti tc o m b i n e s s p a c e a n dt i m ec r o s s c o r r e l a t i o ni n f o r m a t i o no f s e q u e n t i a li m a g e s ，i n t r o d u c e s ac u m u l a t i v em a t r i x ，a n dg e l s an e w c o r r e l a t i o nm e a s u r ef u n c t i o n t h ew h o l es y s t e ma p p l i e sr o u g hm a t c h i n gp o i n t sa sc u m u l a t i v ep o i n t s f o ra c c u r a t er e g i s t r a t i o n ，f o r m sc o r r e l a t i o np e a kv a l u es u r f a c e ，a n d f i n a l l y1 0 c a t e st h em a t c h i n gp o i n t r e s u l t so ft h i sm e t h o di n d i c a t et h a t t h ed e s c r i b e dm e t h o dc a na c c o m p li s hm o r ea c c u r a t er e g i s t r a t i o nw i t h o u t i n c r e a s i n gc a l c u l a t i o nt i m e k e yw o r d s ：i m a g er e g i s t r a r i o n ，m a t h e m a t i c a lm o r p h o l o g y ，u n i t i z e dp r o d u c t c o r r e l a t i o n ，w a t e r s h e d ，s p a t i a l t e m p o r a lc r o s s c o r r e l a t i o n s e q u e n t i a l i m a g e 上海交通大学硕士学位论文 第一章绪论 第一章绪论 1 1 引言 图像图形是人类进行交流和认识客观世界的主要媒介。科学研究表明，视觉 系统可以帮助人类获得大于3 4 的信息量，而这一切正是依赖于图像图形。众所 周知，人类具有十分优秀的视觉系统，因此人可以在各种复杂的环境下，无论是 白昼、黑夜、晴天、雨季或是各种观察角度变化下，都能比较准确而稳定的识别 出确定的目标。但是，如何利用计算机帮助人类完成这个任务，帮助人类从单调 复杂甚至危险的工作中摆脱出来则是一个亟待解决的问题。 为了完成这些，许多科研人员进行了大量的工作，一般来说有两种途径可以 参考： 一、基于仿生学1 3 】的方法。就是从对人类视觉系统的工作过程着手， 利用人类自身的视觉系统建立相应的原理模型，然后借助计算机系统来完成。 二、基于工程的方法。就是脱离人类视觉系统的框架，利用各种工程和 技术手段实现。 由于仿生学方法进展的缓慢，本文所研究的就是利用工程的方法，进行数字 图像配准的问题。 本文所研究的是下视系统获取的图像。该系统依靠数字式场景块相关器( 存 在一定的滚动、俯仰、旋转) 获取实时图，再与预先拍摄好的存储在计算机里的 地面景物参考图像进行匹配来判别实时的目标，并修正误差，达到精确定位的目 的。 1 2 研究背景 在系统研究的过程中，由于参考图和实时图的灰度和位置分布可能存在较大 的差异，给图像的精确匹配带来了困难。导致这些差异的因素主要有以下一些： 参考图和实时图可能来自不同的传感器成像，而不同的成像机理将会导 致参考图和实时图的差异。例如，普通的一次成像摄像机有焦距变动、像主点偏 移、镜头的光学畸变等误差；m s s 多光谱扫描仪存在扫描线首末点成像时间差、 上海交通大学硕士学位论文 第一章绪论 不同波段相同扫描线的时间差、扫描镜旋转速度不均匀、扫描线的非直线性和非 平行性等误差。不过这些因传感器结构不同而造成的误差的规律可以通过校检的 方法来测定，这里就不予讨论。 即使是同类的传感器所拍摄的景物图像，也因为成像时刻环境和气候条 件的变化( 如太阳光强度、大气折射、云雾遮挡) 或是取景器的视角、距离的不 同导致不同性质的畸变。 目标的复杂性、背景的移动以及各种干扰因素的影响。 参考图和实时图的差异性( v a r i a t i o n s ) 的多样性使得图像匹配的方法也存 在着不确定性。一般来说，图像匹配5 1 的方法可以分为三类： 1 基于灰度的匹配方法。基于灰度的匹配方法就是逐像素的把一个以一定 大小的实时图像窗口的灰度矩阵与参考图像的所有可能的窗口灰度阵列按某种 相似性度量方法进行搜索并比较的匹配方法。它基本上是采用的图像的相关技 术。 2 基于特征的匹配方法。它首先提取反映图像重要信息的各种特征( 包括 点特征、线特征和结构特征) ，然后以这些特征为模型进行匹配。与基于灰度的 匹配方法比较，特征相对于几何图像和辐射度影响来说不易变化，但其匹配精度 受特征提取的准确度影响，噪声、遗漏等因素都会影响特征提取的完整性。 3 基于解释相似的匹配算法。该算法需要建立在图像理解的基础上，至今 未取得突破性的进展。 本文所研究的主要是基于灰度的匹配算法，重点是通过图像变换的方法消减 参考图与实时图成像的差异，建立合理的搜索方法，从而实现实时的图像精确配 准。 1 3 本文的主要内容 本文的内容是这样安排的： 第一章简要的介绍本文的研究背景、研究内容和所做的主要工作。 第二章系统的介绍数字图像匹配技术。包括它的定义、发展和数学描述，各 种误差因素对匹配性能的影响，同时还介绍了一些常见的图像匹配算法。 第三章主要介绍了利用分水岭算法以及时序图像的相关信息进行图像匹配 2 卜海交通大学硕i 。学位论文 第一章结论 的算法的实现过程，包括设计原理、系统描述、软件流程等。 第四章主要研究图像的选择性关注。首先介绍了一些背景知识，在介绍了灰 值形态学的基本原理后，重点提出了利用分水岭的算法对灰值图像进行处理后， 再进行匹配，缩小了匹配的搜索空间，为图像的精确匹配奠定了基础。 第五章主要研究基于时空相关的图像匹配。包括算法原理、算法流程、实验 结果的分析与讨论。 第六章总结全文的研究工作和创新，并对今后的研究方向进行了展望。 1 4 本文的主要工作 本文在对已有的一些图像匹配算法进行分析和比较的基础上，提出了一种可 以实现数字图像的实时匹配的方法。它的主要工作是先对灰度图像进行去均值的 预处理，然后通过滤波器降噪并对姿态做几何校正，处理后的图像首先进行选择 性关注( 即利用数学形态学的方法做预处理减少多余的图像信息) ，然后利用时 序图像的相关性进行匹配，从而达到实时、精确匹配的效果。 满足实时性的策略是首先，在匹配相关性计算时对算法进行优化，减少运算 数量，并尽量采用加减法代替乘除法，由于计算机进行计算时整型运算速度大大 优于浮点数，因此尽量采用整型运算。其次，采用由粗到精的匹配方法，即先进 行选择性关注，减少搜索空间，然后再在减小后的搜索空间内进行精匹配，最终 找到匹配位置。 满足精确匹配的策略是利用了时序图像的相关信息，从而减少了由于随机扰 动等不确定信息导致的单幅图像的误匹配概率，从而大大的提高了数字图像匹配 的准确率。 上海交通大学碗士学位论文 第二章数字强像匹配介绍 第二章数字图像匹配介绍 随着科学技术的发展，数字图像匹配技术已经成为现代信息处理领域里一项 十分基本和重要的技术。它的应用范围十分广泛，主要包括：导弹的地形和地图 匹配制导、光学和雷达的图像目标跟踪、资源分析、气象预报、医疗诊断、文字 读取和景物分析中的变化检测。本章将主要介绍数字图像匹配技术的一般理论和 发展。 2 1 数字图像匹配的概述 2 1 1 数字图像匹配的定义 在计算机视觉识别过程中，常常需要把不同的传感器或是同一传感器在不同 时间、不同成像条件下对同一景物获取的两幅或多幅图像，进行比较找到该组图 像中的公有景物，或是根据已知模式到另一幅图中寻找相应的模式，这就叫图像 匹配m 1 。所谓数字图像匹配，简单的说就是对数字图像，寻找出将一幅图像到 另一幅图像对应点的最佳变换。 一般来说，由于图像在不同时间、不同传感器、不同视角获得的成像条件不 同，因此即使是对同一物体，在图像中所表现出来的几何特性、光学特性、空间 位置都会有很大的不同，如果考虑到噪声、干扰等影响会使图像发生很大差异， 图像匹配就是通过这些不同之处找到它们的相同点。 2 1 2 数字图像匹配的发展过程 早期的图像匹配技术主要用于几何校正后的多波段遥感图像的套准，借助于 求互相关函数的极值来实现。如在遥感图像处理中把不同波段的传感器对同一景 物的多光谱图像按像点的性质进行对应套准，然后根据像点的性质进行地物分 类，如果利用在不同时间对同一地面拍摄的两幅照片，经套准后找出其中特征有 了变化的点，就可以用来分析图中哪些部分发生了变化。 从1 9 9 2 年以来图像匹配技术川【2 】川有了很大的发展，在对原有的模板匹配基 础上，发展成为包括最小伸展树( m i n i m u ms p a n n i n gt r e e ) ，聚类法，凸壳边缘， 上海交通大学碗i - 学位论文第二章数字氆像匹配开绍 分层匹配，连续松弛，有界排列( b o u n d e d a 1i g n m e n t ) ，线图匹配( g r a p h ) 等。 其中线图匹配的方法又包括概率松弛，离散松弛，l a g r a n g i a n 松弛，两步e m 法， 逐步赋值( g r a d u a t e da s s i g n m e n t ) ，神经网络，线性规划，对称多项式变化，特 征分解，遗传算法，图搜索等多种方法的技术。 2 2 图像匹配问题的数学描述 22 1 各种术语的定义 这里我们研究的对象是数字地图匹配定位系统。所谓地图匹配是指把两个不 同的传感器从同一景物录取下来的两幅图像在空间上进行对准，以便确定出这两 幅图像之间相对平移的过程。这个过程的数学描述如下： 首先在飞行器起飞之前，把预定飞行轨道下面实现拍摄的二维平面数字图像 进行网格化，把它分成m lx m 2 个方形的像元，并对每一个单元赋予一个表示一 定灰度等级的值x u v , 如图2 - 1 所示。这里o u m 1 1 ，0 v m 2 - 1 ：这样就构成 了一个用一定灰度值表示的数字化阵列x ，通常称之为数字化地图，并把它作为 图像匹配的参考图( 又称基准图) 。为了进行图像的比较和匹配，参考图应该预 先储存在飞行器计算机的存储器里。然后，让飞行器飞行到参考图地区的上空时， 它的传感器就实时的摄取一幅实时图，并按同样大小的网格将它分为n l n 2 个 方形的像元，并对它的每一个单元赋予一定的灰度值r ，这里0 i n 卜1 ，o j n 2 一l ，从而得到一幅数字化的实时图，它的尺寸的选取是由匹配的性能指标决 定的( 后面将会提到) 。 图2 d 数字化地图 f i s u r e2 1 ：d i g i t a lm a p i 海交通大学硕士学位论文 第二章数字凰像匹配介绍 通常情况下，参考图和实时图的尺寸是不等的，即有m i n 1 ，m 2 n 2 或者 m 1 n 1 ，m 2 n 2 两种情况。图2 一l 属于第一种情况。现在，为了确定出实时图在参 考图中的位置，就必须把实时图与参考图中尺寸大小相等，方向一致的部分，即 参考图的子图逐个进行匹配比较，以便找出与实时图匹配的那个参考子图。这可 以借助后面提到的各种相似性度量算法或是其他算法实现。一旦找到了，实时图 左上角的第一个像元在参考坐标( u ，v ) ( 它的原点设在参考图左上角的第一个 像元处) 中的位置( u 女，v ) ，或者实时图中心偏离参考图中心的偏移量( k ，l ) 也 就确定了。通常称这样的位置( u ，v $ ) 为匹配位置，即匹配点。从图2 2 可以 看出，匹配位置( u ，v ) 和偏移量( k ，l ) 有如下的代数关系 k = u 一1 2 ( m 1 - n 1 )( 2 - 1 ) 和 l = v 十一1 2 ( m 2 - n 2 )( 2 - 2 ) 其中m 1 、m 2 和n 1 、n 2 为已知图像的尺寸。 由此可见，只要知道了匹配位置( u ，v ) ，就可以计算出两幅图像中心之间 的偏移量( k ，l ) 。这个偏移量可以用来作为控制系统的校正信号。而且，因为参 考图中心的地理坐标位置是已知的，所以利用这个偏移量( k ，l ) 还可以计算出 飞行器在地理坐标中的实际位置，这种方法通常称为地图匹配定位技术。 图2 - 2 匹配位置与偏移量的关系 f i g u r e2 - 2 ：r e l a t i o n s h i pb e t w e e nr e g i s t r a t i o np o s i t i o na n do f f s e t t 海交通大学硕士学位论文 第二章数字强像匹配介绍 试验位置数 如前所述，为了在参考图中找出与实时图最相似的那个参考子图，必须把实 时图和参考图中的各个子图逐个进行匹配比较。从图2 一l 中可以看出，这样的子 图一共有( 1 1 - n i + i ) ( m 2 一n 2 + 1 ) 个。也就是说，为了寻找到匹配点，必须在 g = ( a ，l 一| v 1 + 1 ) c 1 一l + 1 ) ( 2 - 3 ) 个试验位置( u ，v ) 上匹配比较，并取出其中一个与实时图像匹配的子图位置( u + ， v + ) 作为匹配点。这个过程称之为搜索过程。从这个意义下说，试验位置又叫做 搜索位置。 因为在理想的情况下，匹配的位置只有一个，所以，不匹配的位置q 就有 ( g 一1 ) 个，即 q = ( m 1 一1 + 1 ) x ( m 2 一2 + 1 ) 一1 ( 2 4 ) 可见，搜索的过程是十分费时的。 2 22 描述图像匹配的几种方法 从2 _ 2 1 节的定义我们已经知道了描述图像匹配的一个方法，这里就不再重 复。本节介绍的是描述图像匹配的另一种方法。 首先观察图2 。3 的两个试验位置，一个是匹配位置，另一个是q 个不匹配位 置中的一个，然后把匹配中心到任意一个不匹配中心位置的偏移距离定义为一个 新的偏移量j ，从图2 3 中可以看到，当j = 0 时，实时图与某一参考子图处于匹配 状态，当j 0 时，则表示实时图与参考子图处于非匹配状态。因此，图像匹配 问题从这个意义上来讲可以归结为上述两种状态的判决问题，即判决j = 0 ( 匹配状 态) 还是j 0 ( 不匹配状态) 的问题。这个概念对于简化图像匹配的数学分析是 十分有利的。 图2 - 3 偏移量】的定叉 f i g u r e2 - 3 ：d e f i n i t i o no f o f f s e t j i 海交通大学硕士学位论文 2 23 相似性度量 由于飞行器所带的传感器拍摄实时图的过程中不可避免的存在测量误差、几 何失真、变换误差等误差，因此在参考图中一般无法找到一个与实时图完全一致 的子图，所以，两幅图像的匹配只能依靠相似度函数进行度量。 离散情况下，实时图和任意一个试验位置( u ，v ) 上的参考子图都可以表示 成n 。n ：x l 维向量，分别记为j 和x ，我们可以画出它们在欧几里德空间r 中的几何关系，如图2 - 4 所示。 图2 - 4 欧氏空间中的图像矢量 f i g u r e2 - 4 ：i m a g ev e c t o r s i ne u c l i d i a ns p a c e 从图2 - 4 可以看出，如果图像矢量j 和x 。之间的夹角0 或者它们矢端之间 的距离越小，则表明它们越趋向一致，即越相似，因此我们可以用j ，和x 。之间 的夹角0 或者它们矢端之间的距离来描述两幅图像的相似程度。下面介绍的就是 最小距离度量。 因为图像矢量j ，和x 矢端之间的距离可以用它们的差矢量 5 x 。- y ( 2 - 5 ) 的范数来表示，所以我们可以获得下列相似度度量： 绝对差算法( a b s o l u t ed i f f e r e n c ea l g o r i t h m ) 根据矢量e 的抽象范数忙8 定义的a d 度量算法为 d 0 ，v ) = 1 1 4 = l l x 。一y l i ( 2 - 6 ) 其中d ( u ，v ) 表示试验位置( u ，v ) 上的度量值，它是( u ，v ) 平面上的一个函数。 上鸯交通大学硕士学倥论文 第二章数字强像鞋配舟绍 由式( 2 6 ) 可知，当x 。j ，时，d ( u ，v ) o 。当且仅当。一，= ，时，才有 d ( u + ，v + ) = 0 ，因此，利用d ( u ，v ) 的极小值就可以找到匹配位置( u + ，v + ) 因为矢量e 的抽象范数忙0 等于其元素绝对值的和，所以式( 2 6 ) 可以改 写成 d ( u ，v ) = x ，+ 。，。+ 。一y n i ( 2 7 ) 其中z ，“。表示试验位置( u ，v ) 上的参考子图的第( j ，k ) 个像元值，且 0 u m 1 一n 1 0 v m 2 - n 2 平均绝对差算法( m e d i a n a b s o l u t e d i f f e r e n c e a l g o r i t h m ) m a d 算法定义为 脚朋= 志善n i 孙n 2 。仇i 沼s ， 模二加算法( x o r a l g o r i t h m ) 若把x ，“，和y 似分别量化为0 或1 的值，则由布尔代数得到 h n ，y 业i = h + 一y p + x j + u , k + v y 一一。 ( 2 圳 其中等号右边均为布尔代数表达式，“”和“+ ”分别表示“与和r 或”， 而顶部的“一”表示求反，o 是模二加算子。 由此刻定义x o r 算法为 d ( u ，= x j 。o ( 2 1 0 ) 这个距离d ( u ，v ) 通常称为二进制码的汉明( h a m m i n g ) 距离。 平方差算法( s q u a r e d i f f e r e n c e a l g o r i t h m ) 用矢量e 的欧氏范数的平方2 所定义的相似度度量算法，就称为s d 算法 d ( “，v ) = 2 - - i i 屯厂y r ( 2 1 1 ) 这里之所以用2 ，而不直接用来定义相似度度量，是因为用2 定义的度量 算法可以节省n 1 n 2 次平方根运算。 由于矢量e 的欧氏范数等于它的内积的平方根，所以，式( 2 1 1 ) 可以改为 = 圭耋型茎耋塑兰竺竺望墨：一塾至生鳖型塑丝! 墨：2 丝 d ( u ，v ) = 占0 = ( x 。，一y ) ( x 。，- y ) ( 2 1 2 ) 式中”表示矢量的转置。或者 ，。) ：”，+ 。，。+ ，一y 业) 213)d(u22(x(2-13，v ) =，+ 。，女+ ，一y 业尸 平均平方差算法( m e d i a ns q u a r e d i f f e r e n c ea l g o r i t h m ) 定义为 脚 v ) = 而1 备n i 善n 2 h 一一) 2 ( 2 - 1 4 ) 在本节中，我们所定义的各种相似度度量算法都具有极小值的性质，且只有 当两幅图像匹配的时候，度量值d ( u ，v ) 才会出现极小值。因此利用这种性质就 可以确定出匹配位置( u 十，v 十) 。 2 2 4 相关度量 正像上一节所讲的，图像矢量工。和y 之间的夹角0 可以用来度量两幅图像 之间的相似程度，为了便于计算。通常我们不是直接用角度0 ，而是用0 的某一 个合适的函数，例如c o s0 来定义相似度度量。 积相关算法( p r o d a l g o r i t h m ) n n 矢n x 。和y 的点积 石。y = t l x 。i t l y l l c o s o ( 2 1 5 ) 是角度0 的余弦三角函数，所以我们定义p r o d 算法为 g ( u ，v ) = 扎，j ，= k 。n e o s 0 ( 2 1 6 ) 由于两个矢量的点积等于它们的内积，即 x 。y = x 。y ( 2 1 7 ) 所以式( 2 2 1 6 ) 可以写成 r ( “，v ) = l l x , v l t l y l l c o s 0 = x 。y ( 2 - 1 8 ) 这样，利用许瓦尔兹不等式 x 。yc - i i x 。 i l l yl i ( 2 _ 1 9 ) 上海交通夫学颤士学位论文 第二章数字圜像匹配贫绍 可以看出，当且仅当0 = o ，即x ，= y 时，度量值r ( u ，v ) 爿甫极大值 反之则不然，因此利用这种性质就可以确定出匹配位置( u + ，v + ) 。 如果考虑到两个矢量的内积等于它们单元之积的总和，则式( 2 一1 8 ) 变为 通常情况下，常把p r o d 算法定义成如下形式 r 2 2 0 ) 脚，垆矗善鼽n 乩 陋z t ， 由此可见，r ( u ，v ) 实际上是截取互相关函数的一种离散形式，所以称为积相关算 法。它是一种非常经典的图像匹配算法。 这里需要指出的是，积相关算法即使是在理想的情况下，它的度量值的极大 值也不一定是唯一的。我们可以观察式( 2 2 0 ) 。显然，当两幅图像完全匹配时， 即。一= y 肚时，满足下式 p ( 矿，v + ) = y 一2 ( 2 2 2 ) ，= 1 = l 但是在不匹配的位置( u ，v ) 也可能出现下列情况 这样就得到 。n v2 絮”y 肚2 ( y j k ) m “ n in 2 r ( u ，v ) = ( y 业) 一r ( “+ ，v + ) ( 2 - 2 3 ) 由此可见，在这种情况下，最大的度量值不一定对应真正的匹配点( u + v + ) 。这 种情况称之为假匹配或者伪匹配。满足式( 2 2 3 ) 的r ( u ，v ) 称之为伪峰。为了改 进积相关算法，又提出了归一化积相关算法。 归一化积相关算法( n p r o da l g o r i t h m ) n p r o d 算法定义为 r ( “，v ) 2 币寿等兰而丽一 ( 2 2 4 ) j 蔷荟。二蚶j 蔷荟y 二 肚 y+ 女 x m 目 m 一 = ) v f ( 足 上海交通| 夫学颧i 学位论文第二章数字强橡匹配夼绍 用内积表示变为 脚) 2 瓦x i u , vy 瓦2 尚i x u , v l i l l y ( 2 _ 2 5 ) 、，。，y l j i 由式( 2 - 2 5 ) 和式( 2 - 1 5 ) 式( 2 1 7 ) 可知，n p r o d 算法实际上是按矢 量x 。和y 之间夹角的余弦c o s0 来定义的。当0 0 ，即x 。y 时，r ( u ，v ) l ， 当且仅当x 。= c y 时，才有r ( u ，v ) = 1 。这里c 为任意常数。因此n p r o d 算法不 受刻度因子误差的影响，不过这种算法需要较大的计算量。 除了上述的两种算法外还有许多度量算法，如德耳塔相关度量( 6 a l g o r i t h m ) ，“对函数”的度量算法( p fa l g o r i t h m ) ，它们都是采用满足下面条 件的函数作为度量函数。 这个函数或者其度量的极值性质能够把匹配点( u + ，v + ) 和其他所有的试验 点( u ，v ) 区别开来的话，那么这个函数或度量就可以定义为一种相似度度量。 2 3 二维系统的匹配定位分析 由于噪声和其他误差的影响，即使当两幅图像匹配时，用门限判决法估计出 来的匹配位置和真正的匹配位置是不相同的，换言之，估计匹配点和真正匹配点 之间存在一定的偏差，这种偏差是随机的，称为匹配误差。所以对一匹配定位系 统就存在着匹配定位精度的问题。显然，匹配误差的方差越小，定位精度越高， 反之越低。为了方便起见，这里假设原点为真正的匹配点。 2 3 1 匹配的误差表示形式 首先把x 方向上的相关函数( f 。，o ) 在真正的匹配位置( 0 ，o ) 边展开二阶 泰勒级数 妒( ，o ) “( o ，o ) + 以( o ，o ) f ，+ ；痧。( o ，o ) f ，2 ( 2 2 6 ) 其中 c a o , o ) ：! ! ! ；鱼i 。：。，：。 ( 2 2 7 ) d f r 海交通大学钡上学位论文第二章数字强像匹配介绍 妒。c 。，。，= 里：! ；孚i 。：。，。：。 因为( f ，0 ) 有极值的必要条件是 型玉! 虫：o 口f ( 2 2 8 ) ( 2 2 9 ) 对式( 2 2 6 ) 求微分得到 掣：o ：丸( o ，o ) + c x 。( o ，o ) t ( 2 - 3 0 ) d f r 由此解得 同理可以求出 t x = 一丸( o ，o ) 丸( o ，o ) ( 2 3 1 ) f ，= 一c y ( o ，o ) ( o ，o ) ( 2 - 3 2 ) 上述的式( 2 3 1 ) 和( 2 3 2 ) 就是所求得匹配误差的表达式。 2 3 2 匹配的方差表示形式 匹配的误差0 和f ，的表达式是类似的，所以只要导出。的方差就可以写出 f 。的方差了。 首先我们定义 其中 假设 g ( x ，y ) = x r = o = 一c x ( o ，0 ) y = 丸( o ，o ) ( 2 3 3 ) ( 2 3 4 ) ( 2 3 5 ) e 阢( o ，o ) 】= 顽丽= ( 0 ，0 ) = 0 ( 2 3 6 ) e k ( o ，o ) 1 = ( o ，o ) o ( 2 3 7 ) 1 3 t 海交通太学颀士学位论文 第二章数字图像匹配介绍 其中“”和“”分别表示妒( f ，0 ) 对r ，的一阶和二阶导数。这样根据式( 2 3 3 ) 显然可以得到z x 的方差盯i 为 盯；( x ，y ) = 口乏= ( - 云砺：之硼 2 e 西；( 。，。) 】( e 瞄，( 。，。) d 2 + 老器 2 毗 吼嘶o ，o 炒) 。， + z ( 网 蛊器 - e 阢( o ，o ) 丸( o ，o ) 】- e 阢( o ，o ) 】e 阢( o ，o ) b 根据假设e 眵：( o ，o ) 】= 0 ，上式简化为 。2 ：皇蝰业! 一。( e 阢( o ，o ) d 2 同理可得 夸若器 2 4 各种误差对匹配性能的影响 ( 2 - 3 9 ) ( 2 4 0 ) 在统计分析中，一般只考虑噪声对图像匹配系统的影响，但在实际图像匹配 时，除了噪声的影响，还有其他各种误差因素的影响，它们都或多或少影响到了 图像匹配的相关性。这些误差 j 2 l ”1 主要有： 1 图像的几何失真 2 图像的灰度等级及其偏差的影响 3 图像量化误差的影响 4 其他扰动的影响 下面介绍的就是这些误差因素的由来及其对图像匹配的影响。 2 4 1 图像的几何失真影响 图像的几何失真主要是由于实时图和参考图坐标之间的相对几何变化引起 上坶交通大学颈上学位论文 第二睾数字国像匹配介绍 的。一般来说几何失真主要有同步误差、旋转误差、缩放误差和透视误差。 图2 5 表示了各种几何失真的情况，其中实线框是参考图，虚线框是各种几 何失真的实时图。 ：o 士t - 1 ll ：一l l l ：iy ： ( ， 、 ， 、o 一 ， ， ， l 一一- l 一一j ( - ) c b ) 一一：一 ( c 】 l _ - 1 ( d ) 图2 - 5 几何失真误差 ( a ) 同步；( b ) 旋转；( e ) 缩放；( d ) 透视 f i g u r e2 - 5 ：g e o m e t r i c a ld i s t o r t i o n ( a ) s y n c h r o n i z a t i o n ；( b ) r o t a t i o n ；( c ) z o o m ；( d ) p e r s p e c t i v e 同步误差 由图2 - 5 ( a ) 可以看出，同步误差是由于拍摄实时图时无法保证实时图与参考 图有一个公共原点引起的。这样的结果就导致实时图的每一个网格单元和参考图 的四个网格单元相重叠。如果把这个差异理解成为附加噪声的话，同步误差的影 响就相当于增加了原来的噪声，即相当于使图像的信噪比下降，使得图像匹配的 各种性能指标下降。 旋转误差 旋转误差是由于飞行器拍摄时的方向和姿态角度误差引起的。从图2 - 5 ( b ) 可 以看出，如果把实时图放在中心处，并相对于参考图转过一个角度o ，这样图像 匹配的过程就是把实时图的每一个网格单元与参考图匹配和不匹配的网格单元 的重叠区的组合进行比较。 上海交通大学硕士学位论文 篱二章数字鼬像匹配介绍 在旋转角0 很小的情况下，利用坐标的仿射变换，可以得出旋转误差0 所对 应的缩放误差为 0 * p l ( 2 - 4 1 ) 由此及式( 2 4 6 ) 得到 n o l( 2 4 2 ) 这个式子表明，为了使旋转误差造成的总的缩放误差不超过1 2 的网格宽度， 即旋转角0 应该满足下列不等式 0 1 n( 2 4 3 ) 可见在满足匹配指标下，选择小的实时图尺寸有利于减小旋转误差的影响。 缩放误差 这种误差主要是由飞行器至目标的高度或者距离的测量误差引起的。在这种 情况下，实时图的网格尺寸比参考图的尺寸或是稍大、或是稍小。因此，当实时 图和参考图重叠时，实时图的网格单元除了包含它所匹配的参考图的网格单元以 外，还包含与之不匹配的基准图的网格单元部分。而且，当其中一幅图从中心o 径向向外平移时，不匹配的重叠区的数目就会相应的增加。 这里假定缩放因子p 在整个图像范围内各向同性，且为一个常数，那么由缩 放因子1 3 所造成的相邻网格单元之间的平移是 a d = ( n 2 x p 一1 1 ( 2 - 4 4 ) 其中n 是实时图一边的长度，这里假定实时图的尺寸为 n = 疗”( 2 4 5 ) 另外，从定位精度的需求出发，上述的a d 不应超过1 2 的网格宽度，于是就有 n ( p n l ( 2 4 6 ) 由此可见，实时图的尺寸选择越大，容许的缩放因子越小。从这个角度上，选择 大的实时图尺寸对比例缩放时的定位精度是不利的。 透视误差 当传感设备从不同的角度上观察参考图的区域时，就会引起透视误差，这样 的结果造成一个由方形网格单元构成的阵列变成一个梯形的阵列，如图2 - 5 ( d ) 所示。它的影响情况有点类似于缩放因子的误差影响。 上海交通大学硕士学位论文铸二章数字图像匹配介绍 2 4 2 图像的灰度等级及其偏差的影晌 实时图像对于参考图的灰度等级及其偏差主要由下列因素造成： 1 被摄物的反射率或辐射率的变化 2 由于云层或者太阳的投射角的变化引起的阴影和景物遮挡效应造成的 模糊。 3 被摄区域内实际景物的变化，如增加或减少了人为目标。 4 由于传感器的不同引入的整个信号的均匀或增益变化。 上面所述的因素都有可能引起实时图的部分或全部网格的灰度变化。显然， 实时图的全部信号电平变化越大，实时图和参考图对应的像元之间的灰度差别就 越大。这种情况对m a d 和m s d 算法影响较大，但对p r o d 和n p r o d 算法并不造 成影响，因为这类变化并没有影响到它们极大值的位置。但是，实时图的局部灰 度变化，对于任何一种相关算法都是有影响的。 2 4 3 量化误差的影响 在我们所讨论的数字图像系统中，为了对它们用硬件设备进行相关计算，必 须把连续的实时图数据进行采样和量化。这样就会引起灰度编码误差，即灰度量 化误差。这是因为，在编码的过程中不可避免的要损失一定的信息量。这种误差 多少总会降低匹配性能。显然，量化级数越少，对计算机存储量的要求就越小， 计算量亦相应的减小，但这时损失的信息量也就越大，对匹配性能的影响就越大。 所以，合理的选择量化级数是非常重要的。这就要求一方面要极可能的压缩数据 来提高搜索速度；另一方面，又不能导致数据量的损失达到影响匹配性能的程度。 这个问题与图像的信噪比有关，因为量化误差又可以归结为噪声的增加。所以， 在高信噪比的情况下，为了加快搜索过程，通常采用二进制编码的数字图像来实 现匹配算法。 2 44 其他扰动的影响 通常，由于传感设备的探测头是垂直或者接近垂直向下的，所以随着飞行器 的运动，它可以很快的扫过人工干扰的有效区域，因此，如果选择的参考图区域 不在干扰区域内，就不会影响图像匹配系统的正常工作。但是，如果所选择的参 上晦交通大学硕士学位论文第二章数字銎像也配介绍 考图区域部分或者全部包含干扰区的话，引起的人为扰动就可能引起下述情况： 1 全部或部分的实时图增加了额外的时变噪声。 2 严重情况下，可能使实时图的部分甚至全部像元达到饱和。 这样就使得系统的匹配性能大大恶化。因此设法提高传感设备的抗干扰能力 也是十分重要的。 2 5 常见的图像匹配算法 这里我们简要介绍一下常见的图像匹配方法，它们的基本原则是依据模板匹 配的方