（计算机应用技术专业论文）基于几何约束的图像配准研究.pdf

浙江大学硕士学位论文 摘要 摘要 图像配准是一个非常热门的研究课题，在全景图像、遥感和图像检索等领域 有广泛的应用。图像配准的目标是要改进图像之间匹配的准确程度。 本文提出了两种基于几何约束的图像配准的方法，在图像配准的过程中可以 有效地防止错误匹配的传播。 首先，本文研究了在图像配准中常用的一些视觉特征，其中包括多尺度的特 征。 然后，本文提出了两种基于几何约束的图像配准方法，即三角形约束和图模 型约束。基于三角形几何约束的图像配准检测可能被误匹配或者处于变化剧烈区 域的三角形，将其赋予较低的匹配优先级。这样在配准过程中就可以有效地控制 错误的传播。基于图模型的图像配准方法引入一种投票策略来改善配准的效果。 最后，本文实现了一个遥感影像处理系统。完成了遥感图像配准、聚类、分 割和向量化等功能。 关键词：图像特征，图像配准，图像矢量化 a b s t r a c t i m a g ec o r r e s p o n d e n c ei sa v er yh o tto p i cf o rim a g ep an o r a m a ，re m o t ese n s m g a n di m a g er e t r i e v a l t h em o t i v a t i o no fi m a g ec o r r e s p o n d e n c ei n t e n d s t om e a s u r eh o w w e l lo n ei m a g em a t c ha n o t h e ro n e t h i sp a p e rp r o p o s e st w oa p p r o a c h e sf o rim a g ec o r r e s p o n d e n c ew i t hg e o m e t 。i c a i c o n s t r a i n t si no r d e rt op r e v e n te r r o rp r o p a g a t i o nd u r i n gi m a g ec o r r e s p o n d e n c e - f i r s t t h i s p a p e rs tu d i e st h o s evi s u a lfe a t u r e swh i c h h a v eb ee l lu su a l l y i m p l e m e n t e di ni m a g ec o r r e s p o n d e n c ei n c l u d i n gm u l t i 。s c a l ef e a t u r e s s e c o n d ，t w oa p p r o a c h e sf o ri m a g ec o r r e s p o n d e n c e sw i t hg e o m e t r i c a lc o n s t r a i n t s a r cd u tf o r t hinth i sp ap e r , n am e l ytr i a n g l eco n s t r a i n ta n dg ra p hc o n s t r a i n t i m a g e c o r r e s p o n d e n c ew i t ht r i a n g l ec o n st r a i n td et e c t sth etr i a n g l e sth a tma y h a v eb ee n m i s m a t c h e do rio c a t e di nc h a n g e dr e g i o n sa n d a s s ig n sth o s etd a n g l e sw i t hal o w e r p r i o r i t y t h e r e f o r e ，i ti s e f f e c t i v et oc o n t r o lt h ee r r o rp r o p a g a t i o nd u r i n gt h ema t c h i n g p r o c c s s 1m a g eco r r e s p o n d e n c ew i t hg ra p hc o n s t r a i n tin t r o d u c e sav o ti n gst r a t e g yt o i m p r o v et h em a t c h i n gr e s u l t f i n a l l y t h i sp a p e rp r e s e n t sare m o t es e n si n gs y s t e m t h eis s u e ss u cha s lm a g e c o r r e s p o n d e n c e ，c l u s t e r i n g ，s e g m e n t a t i o na n dv e c t o r i z a t i o ni n v o l v e d i nr e m o t es e n s m g a r ed i s c u s s e d k e y w o r d s ： i m a g ef e a t u r e ，i m a g ec o r r e s p o n d e n c e ，i m a g e v e c t o r i z a t i o n 浙江大学硕士学位论文 图目录 图目录 图2 1 “水果”标准图5 图2 2“水果”标准图的r g b 颜色空间的颜色直方图6 图2 3si f t 特征点提取流程图9 图2 4 高斯差尺度空间构造方法l0 图2 5 尺度空间中极值点的比较l l 图2 6“水果”标准图的s i f t 特征点示意图1 3 图3 1基于三角网格的图像配准流程示意图l7 图3 2 手工标注影像控制点程序界面1 9 图3 3 三角形插入点细化示意图2 0 图3 4 三角网格生成中的局部优化过程2 l 图3 5 配准错误传播控制示意2 5 图3 6 三角形内的点与三角形外的点相配准2 6 图3 7 新三角形生成的方式2 8 图3 8 算法流程图3 0 图3 9 实验图像l 3l 图3 10 实验图像2 ，a v e n c h e s 3 2 图3 1 l载入遥感影像3 2 图3 12 定义初始配准点3 2 图3 13 提取特征点结果3 2 图3 1 4 选择初始种子点3 2 图3 i5 配准遥感影像过程3 3 图3 16 配准遥感影像结果3 3 图3 17 配准特征点统计3 3 图3 18 计算转换方程3 3 图3 19 配准误差3 4 图3 2 0 普通图像的三角网格配准。3 5 图4 1 图模型图像配准流程3 8 图4 2 基于图模型的书本图像配准结果4 0 图4 3基于图模型的白宫图像配准结果4 0 图4 4带有几何约束的书本图像配准结果4 2 图4 5带有几何约束的白宫图像配准结果4 2 图5 1ca n n y 算子提取图像边界结果4 5 图5 2 边缘提取结果4 6 图5 3图像分割结果4 6 图5 4 待矢量化的分类示意图4 7 浙江大学硕士学位论文图目录 图5 5 建筑物的原始遥感图像4 5 图5 6 人工输入的标注信息5l 图5 7 初次提取计算结果5l 图5 8 添加新的交互以及更新计算后的结果5 2 图5 9 边界点矢量化结果5 4 图5 1 0 遥感影像配准流程图5 5 i v 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得浙江大学或其他教育机构的学位或 证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意。 学位论文作者签名：签字日期：年月日 学位论文版权使用授权书 本学位论文作者完全了解浙江大学有权保留并向国家有关部门或机构 送交本论文的复印件和磁盘，允许论文被查阅和借阅。本人授权浙江大学可 以将学位论文的全部或部分内容编入有关数据库进行检索和传播，可以采用影 印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：导师签名： 签字e t 期： 年月日签字e t 期： 年 月日 浙江大学硕士学位论文第1 章绪论 第1 章绪论 1 1 课题背景 随着科学技术的发展和生活条件的改菩，人们步入海量多媒体的时代，同时 具有摄像功能的数码设备变得非常普及，人们很容易就可以获得生活中的相片。 互联网分享的乐趣更是加速了人们获取相片的速度，截止2 0 0 9 年1 0 月份，f l i c k r 网站( w w w f l i c k r c o m ) 已有超过4 0 亿张图片，而且这个数字在以每分钟数千的 速度增长着。同时，艺术家创作了越来越多有趣的图片和视频；医生拍摄了患者 身体里越来越多清晰的影像；各种先进的空间观测仪器也在一刻不停的向人们传 输拍摄陆地、大气、海洋等的遥感影像。 人们对于图像处理的需求在日益增大。如何让计算机帮助理解图像、分类图 像、标注图像和检索图像等都是很有应用价值却又一直无法很好解决的问题。尤 其在特殊的应用领域，人们面对的问题又有特殊性，所以需要特定的方法才能达 到人们更好利用各种图像信息的目的。例如航空和遥感技术的发展可以在短时间 内获得前所未有的海量高光谱、高分辨率的各种类型的遥感数据，使得人类可以 从一个全新的视角来观测地球。 图像的特征、图像的配准等技术具有极大的研究价值。互联网上图像的搜索 需要提取图像的特征并建立索引，视频的检索一般也是基于关键帧检索技术进行 的，利用图像特征和聚类等技术可以进行同场景图像的搜索，可以为计算机视觉 中三维重建、场景恢复、虚拟旅行等大量研究提供素材，图像和视频的版权等的 检测也是基于图像特征的配准和检索进行的。 在医学、安保、制造业和遥感等领域也存在着大量特殊的影像。人体的x 线、 c t 、m r i 、d s a 、b 超及核医学的影像利用图像特征进行非刚性物体的配准可以 帮助医生进行影像的判读。道路和指定区域的安保监控利用图像特征提取和检索 就可以进行人体和人脸的检测和跟踪。制造业使用图像处理技术来保证工艺流程 和产品质量。遥感领域更是利用大量图像处理技术才能完成遥感图像的配准和解 译工作。 浙江大学硕士学位论文 。 第l 章绪论 对多媒体数据的处理是一个有具有很大挑战的研究课题。首先，需要处理的 图像的数量急剧增加，处理这些图像的难度大大增加了。例如提取图像的s i f t 特征剧i 】是许多研究和应用都需要进行的预处理，一张一百万像素大小的图片在 2 0 g h z 的c p u 上提取s i f t 特征点需要8 秒钟左右，如果要对f l i c k r 网站上的 图片都进行该处理的话需要1 0 0 0 多个这样的c p u 不停的工作一年才能完成。这 些算法复杂度为d ( 疗1 的处理还有可能完成，而算法复杂度高于d f 21 的处理就很 难完成了，需要研究更快的近似算法或者其他的办法。 其次，图像处理技术还处于发展阶段。图像等多媒体含有丰富的信息，有些 连人都无法完全获取和理解，使用计算机获取图像中的信息的难度就更大了。图 像在计算机中是以像素点的形式存储的，计算机区分不同的物体就一直是一个待 解决的课题。由于成像的相机不同，拍摄的角度、光照等条件也不尽相同，让计 算机识别同一物体都是很难的研究内容，对于同类物体的识别就更难了。 1 2 研究内容和目标 图像配准首先需要对图像进行特征提取，这是本文研究工作的基础。本文研 究了h a r r i s 特征点【2 1 、基于尺度空间的s i f t 特征点、基于金字塔模型的空间信 息【3 1 、基于区域的m s e r 特征4 1 等图像特征，以及它们在图像配准和图像检索等 领域的应用。 本文利用上述图形特征，研究了基于三角形网格的配准技术和基于图模型技 术进行图像配准的方法，并对上述方法进行改进，提出了配准过程中的错误控制 方法。 结合对于图像特征和图像配准的研究，针对高分辨率遥感图像的特点，本文 完成了个高分辨率遥感图像处理平台。实现了基本遥感图像处理、遥感图像配 准和遥感图像矢量化等功能。 本文的研究的目标是实现上述图像特征的提取方法，对上述图像特征进行处 理实验，研究图像特征对于图像配准的影响，并研究图像配准的技术，改进其配 准图像的效果，最后形成一个高分辨率遥感图像处理平台。 浙江大学硕士学位论文第l 章绪论 1 3 本文组织结构 本文第二章给出了关于图像特征，包括颜色直方图、颜色矩、纹理、尺度空 间特征等的综述；第三章研究基于三角网格的图像配准技术，提出了基于三角网 格图像配准的错误传播控制技术，改善了图像配准的精确度；第四章研究了基于 图模型的图像配准技术，利用尺度空间几何信息和投票技术对基于图模型的图像 配准技术进行改进；第五章实现了高分辨率遥感影像处理平台，提出了基于图像 视觉特征和交互手段的计算机辅助遥感图像矢量化方法，完成了高分辨率遥感影 像配准和其他遥感影像处理功能。 1 4 本章小结 本章阐述了图像特征和配准等技术的研究背景，明确了研究内容和目标，并 给出了本文的组织结构。 浙江大学硕士学位论文第2 章图像特征综述 第2 章图像特征综述 在本文中，图像特征是指图像的视觉特征，用来表征图像某些方面的属性。 栅格图像采用像素点来表示，但是单纯使用像素点本身的颜色值无法表示它自己 的丰富的属性，更无法表示图像中物体、区域和图像本身的信息。为了比较和检 索的方便，在本文中一般采用捍维向量表示一个点或者一张图片的特征，同一种 特征用相同维数的向量来表示。 图像的特征分为图像全局特征和局部特征。全局特征是针对整幅图像的特 征，例如图像的直方图、s i f t 量化特征【i 】等。局部特征是指图像中某个位置或者 某个区域的特征，例如图像的h a r r i s 特征点f 2 1 、s i f t 特征剧1 1 、m s e r 特征【4 1 等。 不同的特征具有不同的性质，对于特定的应用需要提取特定的一种或者几种 特征。一般而言在应用中会将需要的特征采用加权叠加等方式组合起来组成需要 的特征向量，例如将一个”维的特征向量和一个朋维的特征向量加权后叠加成一 个即+ 聊维的特征向量。特征的选取需要考察应用中图像特征之间的区分度、特征 的抗噪声等性能，某些应用还要考察提取特征的计算速度。好的特征选择可以加 速后续处理计算速度，并提高整个算法的效果。当然，也可以把尽可能多的特征 都提取出来，采用p c a 5 】等降低特征维度的方法进行预处理。 2 1 基本图像特征 常用的图像特征包括颜色直方图、颜色矩、纹理等。这些特征提出的时间比 较早，但是由于提取简单快速，物理意义明显，因此至今还存在广泛的应用。 2 1 1 颜色直方图 颜色直方图表征不同颜色区间在整i 幅图像中所占的面积的比例。需要注意的 是颜色直方图表征的颜色区间可以是基于r g b 颜色空间的，也可以是基于灰度 或者h s v 等其他颜色空间，通常电子计算机中的图像是用r g b 颜色空间存储的， 所以颜色直方图一般是基于r g b 颜色空间计算的。但是h s v 空间上颜色直方图 特征也是一种重要的颜色直方图，由于其每一维空间表征的亮度、色彩等物理意 4 塑垩苎兰堡主主苎丝三苎! 主望璺塑堡壁垄 义更明确，因此在某些应用中效果比r g b 颜色空间的颜色直方图好。 颜色直方图计算方法是将选定的颜色空间划分成若干个颜色区间，计算落入 各个区间中像素点的个数( 像素点的面积是一样大的) ，将这些数量组成一个向 量就是图像的颜色直方图。 如图2 1 为“水果”标准图。图2 2 为“水果”标准图的r g b 酮色空间的 颜色直方图，其中颜色空间中的每一种颜色平均划分为2 5 6 个颜色区间，图中横 坐标表示颜色区间纵坐标表示落在颜色区问中像素点的个数。 图2 1 “水果”杯准圈 颜色直方图的距离一般采用厶范式、岛范式和直方图的交来计算。假设两个 颜色直方图为q = ( 1 ，1 ) ，h ( i ，2 ) ”， ( 1 ，一) 和h ：= 伽( 2 ，1 ) ， ( 22 ) ， ( 2 ，”) ) ， 那么厶范式距离的计算公式为： d ( h h ) = 叭，) 一 ( 2 ，- ) i 公式( 2j ) ，。l * i 谚女 * 2 t 围t * 综述 d ( 日，h 1 ) = m i n ( ( i ，咄h ( 2 ，一) ) 一i ! ! 一 。t 。f 主哪k 主啦：) 1 、，i- i 公式( 2 2 ) 公式( 23 ) 2 1 2 颜色矩 颜色矩l “是用来表示图像中颜色分布的特征。对于图像，= n 帅p 以) t 其一 次蘼色矩为 【一止 浙江大学硕士学位论文 第2 章图像特征综述 = 吉芸乃， 娥2 4 ) 一次颜色矩表征的是图像某一颜色的平均值。二次颜色矩为： 二次颜色矩表征的是图像颜色的 公式( 2 5 ) 公式( 2 6 ) 三次颜色矩表征的是图像颜色的失真。高次的颜色矩由于计算复杂，物理意义也 不是很明显，在应用中使用的比较少，本文使用l 6 次的颜色矩组成一个6 维的 特征向量。 2 1 3 图像纹理 基于对人类心理学等领域的研究，t a m u r a 等人提出了t a m u r a 纹理特征7 1 。 本文使用的t a m u r a 纹理特征包括粗糙度( c o a r s e n e s s ) 和方向度( d i r e c t i o n a l i t y ) ， t a m 啊a 纹理特征还包括对比度( c o n t r a s t ) 、线饿( 1 i n e l i k e n e s s ) 、规装( r e g u l a r i t y ) 和粗略度( r o u g h n e s s ) 。 2 1 3 1 粗糙度 粗糙度一般采用灰度图像计算，对于彩色图像先将其转化为灰度图像后计 算。对于灰度图像s ( x ，少) ，首先计算滑动窗口( 当滑动窗口滑至图像边缘时覆盖 了图像外的区域，因此不计算) 的平均颜色强度值： 彳( w j | ) ：。掣。掣掣， 公都7 ) ，”一r 。o ，：l _ 2 t 。o 二 其中，k 为滑动窗口的大小，7 - 般取k = l ，2 ，5 然后对于每一个像素点( 图像边 缘的像素点不计算) 计算其x 方向和y 方向上的能量： 虿竺n 而竺咖 循横鼯 浙江大学硕士学位论文第2 章图像特征综述 三：耋二：；三；三二二：三k-yi：；二三二，_y：三k-yi：封 公式c 2 8 ， e ( x ，y ，七) = l 彳( x ，y + 2后) 一么( x ，一2七) i 1。 经典的方法将每个像素点最大的能量值的滑动窗口大小k 作为其粗糙度，将 图像每个像素点的2 的平均值作为图像的粗糙度。本文中为了组合特征向量，采 用1 0 维的向量来度量图像的粗糙度。将图像的x 方向和y 的能量分开考察，令 乏三乏雪乏：x 五, y 羔k 后；三m m a a ) 【x e e 瓦，譬y 芰? j 一詈：x 五, y ：甜，公式c 2 氟= 七，当e (，) =( x ，1 ) ，e ( ，5 ) 、。 统计吒= 1 ，2 ，5 的像素点的个数可以得到一个5 维的向量，统计砖= l ，2 ，5 的像 素点的个数可以得到另一个5 维的向量，将两个向量连接起来可以得到本文使用 的1 0 维的粗糙度向量。 首先计算图像i ( x ，y 1 的卷积： = ，c x ，) ， 三 三i ，矿= ，c x ，y ，。 三三三 公式c 2 。， 则像素点的方向可以通过公式( 2 11 ) 来计算： 阳a n 一。+ 三 然后可以量化臼并计算直方图，) ，( i ) = n ( i ) n ，f ：i ，2 ，聆 公式( 2 11 ) 公式( 2 12 ) 其中，n ( i ) 是落入区间，中的像素点的个数，n 是图像，( x ，y ) 像素点的总数。方 向度可以通过公式( 2 1 3 ) 来计算： 公式( 2 1 3 ) 、l， 矗y h r力 一 y 帆 ， r 玎 r一 = f 浙江大学硕士学位论文第2 章图像特征综述 其中，i r p 是直方图中峰的个数，w p 是直方图中相邻两个谷的区域，砟是直方图 中矽所在的峰的峰值。 2 2 尺度空间特征 图像在成像中由于拍摄的位置和相机的分辨率的不同常常会将同一个物体 拍摄成不同大小的像，如果在图像平面内提取常规的图像特征则对同样的物体影 像有着比较大的差异的特征。为了克服图像缩放对图像特征的影响，我们需要在 尺度空间提取图像的特征。 尺度空间是二十世纪八、九十年代逐渐成熟的理论【8 】【9 1 ，对于一幅二维的图 像i ( x ，y ) ，构造一个三维的空间 s ( x ，y ，仃) = f ( ( x ，y ) ，盯) ， 公式( 2 1 4 ) 那么我们称该三维空间是二维图像x ( x ，y ) 的尺度空间。其中方程f ( s ，仃) 是计算 尺度为i t 时图像信息的函数，可以采用保留低频信号的高斯( g a u s s i a n ) 函数， 也可以采用保留特定带通信号的拉普拉斯( l a p l a c i a n ) 函数。 2 2 1s i f t 特征点 s i f t ( s c a l e i n v a r i a n tf e a t u r et r a n s f o r m ) 【1 是一种在尺度空间中提取的图像局 部特征点。s i f t 特征点提取较为方便，提取速度较快，特别是s i f t 特征点对于 图像的缩放等变换比较鲁棒，因此得到了广泛的应用。 s i f t 特征剧i 】的提取流程如图2 3 所示，首先构造待处理图像的尺度空间， 然后在构造的尺度空间中搜索极值获得候选特征点，接着去除对比比较低的点和 位于边缘的点，剩下的点就是s i f t 特征点，最后构造这些特征点的精确位置、 梯度大小和方向还有特征向量。 图2 3s i f t 特征点提取流程图 s i f t 特征提取方法构造的是高斯差( d i f f e r e n c eo f g a u s s i a n s ) 尺度空间，首 浙江大学硕士学位论文 第2 章图像特征综述 先对图像进行不同尺度的高斯模糊，获得一系列不同尺度的高斯模糊图片，高斯 卷积核如公式( 2 1 5 ) 所示， 1 苎： g ( x ，y ，盯) = 2 7 r l c r 2 p2 r ， 公式( 2 z s ) 其中盯是高斯模糊的尺度。高斯模糊即为高斯卷积核与图像的卷积运算，如 公式( 2 1 6 ) 所示， l ( x ，y ，o - ) = a ( x ，y ，仃) 圆，( 工，少) 。 公式( 2 1 6 ) 然后将相邻的高斯模糊图像相减得到高斯差图像， d ( x ，y ，k c r ) = l ( x ，y ，k , o ) - l ( x ，y ，乃仃) 。 公式( 2 1 7 ) 如图2 4 所示即为高斯差尺度空间构造方法，图中左边的图像为不同尺度的 高斯模糊图像，经过两两相减再叠加在一起可以得到高斯差尺度空间。 尺 度 空 间 小同尺度的高斯模糊图像 孑 一 ? 二、) ， 一 高斯差图像 图2 4 高斯差尺度空间构造方法 高斯模糊抑制了频率大于一定值的信号，两张高斯模糊图片相减将频率小于 两个高斯模糊参数低者的信号也抑制了，因此高斯差实质上也是一个带通滤波过 程。 搜索图像的候选特征点就是在尺度空问中搜索极值点，包括极大值和极小 值。对于上述求得的高斯差尺度空间中的每一个点，将其与周围2 6 个点【如图2 5 1 0 浙江大学硕士学位论文第2 章图像特征综述 所示同一层的8 个相邻的和两个相邻高斯差层的9 * 2 个) 比较，如果其颜色强度 为最大或者最小，则将该点作为候选特征点。 图2 5 尺度空间中极值点的比较 对于候选的特征点，去掉对比度低的点和位于边缘上的点后才能得到最终的 特征点。将高斯差公式二阶泰勒展开可以得到 d ( x ) ：d + 娶x + 土r 宴彳， f f 式( 2 1 8 ) 、。 a x2a x i 令x ：0 ，可以求得特征点精确位置和特征点像素点的差贾： j ：一一a 2 d - 一0 1 9 ， a x 2 a x 将公式( 2 19 ) 代入公式( 2 18 ) 可以得到： d f 嗣：d + 上型x ， 、， 2 谜 公式( 2 1 9 ) 公式f 2 2 0 ) d ( 又) 可以用来去除对比度比较低的点。将i d ( _ ) i o 0 3 的点舍去，不作为特征 点。 由于高斯差尺度空间在图像中物体的边缘有较大的值，在极值点的检测中会 引入较多的噪声点，因此还需要去除掉图像上边缘上的点。根据h a r r i s 等人提出 浙江大学硕- 上学位论文 第2 章图像特征综述 的理论【2 1 ，考察图像特征点的黑森( h e s s i a n ) 矩阵 日= 医甜 摊2 ， 令口为海森矩阵h 的最大的特征根，卢为海森矩阵h 次大的特征根，那么矩阵h 迹的平方与行列式的比值为 器d e t ( h = 是告= 警， 卿2 2 ， ) 玩一( ) 2 筇 1 令r 为口与的比值，即口= ，代入公式( 2 2 2 ) 得： 巡d e t ( h ) ：学：华。 蛐2 2 3 ) - = - = - 二一 7 工、zz i r 0 。 r j 根据h a r r i s 等人的理论，当公式( 2 2 3 ) 的值大于指定阈值时可以认为当前像素点位 于边缘区域，在s i f t 特征点提取中，采用，= 10 作为阈值，只有当 t r ( h ) 2 塑监 d e t ( h ) 。 ， 公式( 2 2 4 ) 时才将该候选特征点作为最终的特征点。 特征点的方向是用来构造特征向量的，根据方向构造的特征向量可以做到即 使物体旋转也可以获得相似的特征向量，即所谓的旋转不变。特征点的方向是在 与特征点相同尺度的高斯模糊图像中提取的，计算方法如公式( 2 2 5 ) 所示。 臼c x ，y ) = t a n 。( 专三：三渊 公式c 2 2 5 ， s i f t 特征向量是一个4 4 大小的数组，每个单元是一个8 个柱的直方图。 在同尺度的高斯模糊图中将特征点周围的1 6 1 6 个像素点作为提取对象，根据 公式( 2 2 5 ) 计算每个点的方向，根据公式( 2 2 6 ) 计算每个点的势能大小。 脚( 训) ：厄i 而可i 矿石万百丽公式( 2 2 6 ) 淅太学碗i 学位论文第2 章图像特综述 将上述1 6 1 6 个像素点分成4 4 的区域，每个区域中构造一个8 维的直方 图，8 个维度代表上、下、左、右、左上、右上、左下、右下等8 个方向，累加 每个像素的势能投影到这个方向上的长度得到该柱直方图的大小井乘以当前高 斯模糊图的尺度口的l5 倍作为权重。这样就得到了4 4 8 = 1 2 8 维的s i f t 特征 向量。 如图2 6 所示即为图2i 水果标准图的s i f t 特征点的示意图，图中蓝色箭 头表示的就是s i f t 特征点，箭头的根部表示s i f t 特征点的位置，箭头的长度表 示s i f t 特征点所在的尺度，箭头的方向表示s i f t 特征点的方向。 5 010 0i5 02 0 d2 蜘3 口d3 5 04 0 84 5 , 05 唧 用2 6“水果。标准目的s f t 特0 ，点示意躅 2 2 2b a go ff e a t u r e 特征 与s i f 特矧是种c 1 特祉小蚓b a g o ffc a u f c i “”是种图像的特征，用米 佃 佃 瑚 珊 瑚 如 佃 伽 浙江大学硕士学位论文第2 章图像特征综述 表征图像中不同类型特征的数量情况。b a go ffe a t u r e 是从文本检索的b a go f w o r d s 技术引申到计算机视觉领域的。首先对图像提取局部特征，然后将特征聚 类得到视觉单词( v i s u a lw o r d s ) ，最后可以通过视觉单词和图像的特征得到b a go f f e a t u r e 特征。 有许多种特征可以用来计算b a go ffe a t u r e ，例如我们在2 2 1 节中研究的 s i f t 特征点，还有一些其他的特征或者几种特征的组合也可以用来计算b a go f f e a t u r e 。在实验中我们可以发现，采用s i f t 特征点比其他特征点可以获得比较 好的效果。 在本文中我们采用s i f t 特征点来计算图像的b a go f f e a t u r e 特征。首先进行 提取s i f t 特征点的操作，然后将提取出来的s i f t 特征向量进行聚类操作。本文 采用的是k m e a n s 聚类方法【】，其他聚类或者向量量化方法也可以使用。 使用k m e a n s 聚类方法时指定k 为聚类中心个数，得到k 个聚类中心。对 于一幅图像中的n 个图像特征，我们计算距离每个图像特征空间最近的聚类中心。 统计一幅图像上离各个聚类中心最近的图像特征数量可以得到一个k 个柱的直 方图。该直方图就是图像的b a go f f e a t u r e 特征。 2 2 3b e y o n db a go ff e a t u r e 特征 为了克服b a go f f e a t u r e 特征中忽略了特征在图像中的几何分布情况的缺点， b e y o n db a go f f e a t u r e 特征【3 1 将b a go f f e a t u r e 特征和金字塔模型1 2 1 结合起来，金 字塔模型可以在原有的b a go f f e a t u r e 中添加几何信息，使得得到的特征具有更强 的分辨力。 令x 和y 为d 维特征空间的两个特征向量集合，金字塔模型用来计算两个集 合中向量的对应关系。金字塔模型在特征空间中放置不同粗细的网格来将特征空 间中的向量划分成不同的子集，然后根据各个子集中特征的配准情况加权得到整 个特征向量的配准度。在一个特定的金字塔层中，两个特征要相似不仅需要在特 征空间中接近，而且需要落入相同的金字塔模型网格中。最后计算相似度时，在 较细的网格中配准的特征会得到比较大的权重。 1 4 浙江大学硕士学位论文第2 章图像特征综述 假设我们采用的金字塔模型有层，那么在金字塔模型的第，层就有2 7 格网 格，其中，= l ，2 ，上。由于这是对于特征空间中的每一个维度计算的，那么一共 有c = d x 2 7 格网格。令瓦( ，) 和五( ，) 分别表示第，层特征的直方图，那么最( ，i ) 和e ( ，f ) 分别表示x 集合与】，集合中落入第，层第i 网格中的特征数量。那么x 集合与】，集合特征在第，层第i 网格中的相似度可以表示为： d m ( 兄( 班e ( ，) ) = m i n ( b ( ，班e ( ，m ， 公式( 2 2 7 ) i = l 在下文中，我们将公式( 2 2 7 ) 中的m ( 只( ，) ，e ( f ) ) 简写为肘( ，) 。 对于每一层的相似度赋予一定的权重，我们对网格较细的层赋予较大的权 重，对于第，层中的特征赋予权重击。值得注意的是在第，层中相似的特征在第 ，一l 层中也必定相似，因此我们在加权计算的时候仅对在第，层中新出现的特征进 行计算。这样，我们可以得到b e y o n db a go f f e a t u r e 的配准核心为： k ( x ，y ，) = m ( ) + 击( m ( ，) 一m ( ，+ 1 ) ) ：击赫兰l 而1 删， 赋q 2 趵 对于刀维的b a go f f e a t u r e 特征，我们计算刀个配准核心，并将其累加起来得 到最终的配准度。也可以将这些特征向量加权后连接成一个长的向量进行配准、 检索以及其他处理。 2 3 本章小结 本章综述了本文中使用的图像视觉特征，包括颜色直方图、颜色矩、纹理等 基本的图像特征和s i f t 特征、b a go f f e a t u r e 、b e y o n db a go f f e a t u r e 等尺度空间 特征。本章主要回顾了这些图像特征的原理和提取方法。 浙江大学硕士学位论文第3 章基于三角刚格的图像配准 第3 章基于三角网格的图像配准 图像配准是计算机视觉的一项重要的研究内容，图像配准在遥感图像处理分 析、物体识别、场景恢复、视频处理、版权检测等领域有着广泛而且重要的应用。 为了实现两幅图像的配准，一般先提取图像中的特征点，然后将两幅图像的特征 点配准成相似点对，形成图像配准所需要的同名点，最终计算变换模型和变换方 程实现图像的配准。在这个过程中，提取图像中的特征点可以使用第2 章中描述 的图像特征点的方法，也可以使用其他的特征点；两幅图像的特征点之间的配准 是最为关键一步，也是本文图像配准研究的重点：变换模型和变换方程的计算涉 及到具体的应用，而且存在着许多经典的方法，在本文中不作具体讨论。 本文研究了基于三角网格和基于图论模型的两种图像配准方法，本章主要研 究前者，包括基本原理、错误传播控制、对于普通图像和遥感图像的配准等，后 者将在第4 章中讨论。 3 1 基于三角网格的图像配准技术 基于三角网格的图像配准是一种贪心策略的最好优先配准方法，通过将人工 指定和其他已经配准的同名点对作为先验知识来指导和约束其他特征点的配准， 采用三角网格的技术可以实现这种约束，在已配准的同名点生成的三角形网格中 不断配准新的特征点可以不断的细化三角形网格，这样，对应的三角形网格中的 同名点就是相配准的点，细化成足够细的三角形网格可以得到配准图像需要的足 够多的同名点。 基于三角形网格的图像配准的基本流程如图3 1 所示。首先对图像提取特征 点，为了在配准大尺寸的高分辨率遥感图片时达到可以较快的速度，本文采用速 度较快的h a r r i s 特征1 2 】作为特征点。然后挑选一些配准得比较好的特征点作为初 始配准的特征点生成初始三角形网格。最后定义两个特征点之间配准度量的公 式，计算两两特征之问的配准度，优先配准良好的配准点，将这些配准点根据配 准度的大小逐一插入到三角形网格中形成更细的三角形网格，在衡量配准度的公 1 6 * a h i 学n * i * 3 * f = 自h * 的翻住e 式中可以灞加所在三角形的约束固此先配准好的特征点可咀对后续配准的特征 点进行约束和指导。直至获得一定量的配准点，就可以终止本算法。 迢，邈匡匦 网3i 基于三角网格的圜像配准流程示意瞄 3 1 1 特征提取 往三角网格的图像配准中。需要提取图像的点特征。h a r r i s “、s i f t 等特征 点都是点特征。其中h a r r i s 特征点是在1 9 8 9 年由h a r r i s 和s t e p h e n s 等人提出的。 该特征点提取相对比较简单，提取速度比s i f t 等特征点快，而且s i f t 等基于尺 度的特征点在提取的时候需要建立尺度空问所占内存比较大，在2 0 g 的内存 条件下对于提取大尺度的遥感图像会造成内存溢出。因此本文在基于三角形网格 的图像配准中采用h a r r i s 特征点作为特征。 首先，求图像，f j ，y ) 在纵坐标和横坐标方向上的势能： ( w ) = 兰学= 小，) 。h 。i 】f 蛐) 呻，y ) = 兰铲= 啦y ) 。h 。l n 娥3 2 ) 其中。表示求卷积。图像的势能为： g x ，y ) = x ，j ( r ，) ； 公式( ，) 其中f z y l 为黑森( h e s s i a n ) 矩阵t 因此 浙江大学硕士学位论文第3 章基于三角刚格的图像配准 h ( x ，y ) = rg x 2 = i 【鼠回 公式( 3 4 ) 令口和为黑森矩阵日( x ，y ) 的两个特征根，那么可以定义特征点检测函数为 r ( x ，y ) = d e t h ( x ，y ) 一j i t r 2 ( x ，y ) = 矽一七( 口+ ) 2 ，公式( 3 5 ) = 一0 2 i ( x , y ) 掣_ 掣卜 掣+ 掣 2 苏2 砂2i缸勿i 缸2 咖2i 其中，七为经验参数，根据h a r r i s 等人的实验，七的取值一般在0 0 4 0 1 5 之间。 3 1 2 初始特征点选择 初始特征点的选择非常重要，初始的特征点会构成初始的三角网格，作为整 幅图像最先的配准约束，会影响到后续整幅图像的配准。 选取初始特征点的原则如下：一、配准良好。只有配准良好的特征才能指导 和约束剩余特征进行配准。二、分布均匀。分布均匀的同名点所生成的三角网格 中三角形的大小比较相近，这样最终配准的效果会比较好，配准过程中的计算量 也比较少。三、数量合适。初始特征点数量过少会使得计算量增加，影响配准的 速度，也使得某些三角形面积过大，其中的候选特征点过多，会导致三角网格的 约束不够强；初始特征点数量过多会使得三角网格细分策略没有施展的空间，影 响最终配准的效果。本文对于1 0 2 4 7 6 8 左右大小的影像，选择大约2 0 4 0 个初 始特征点进行实验。 初始特征点的选取可以使用手工选取的方法，也可以采用自动选取的方法。 手工的方法就是让两幅影像中各选择相同数量的点作为初始特征点。如图3 2 所 示即为手工标注图像控制点作为初始特征点的程序界面，图像区域为影像原图和 两种倍率的放大图像，方便用户标注控制点，该程序可以将用户选择的控制点保 存成初始特征点文件，方便生成三角网格时使用。 掣等等 少一 掣掣 铲一 铲一 浙太学断# n 立镕3 # 十! 角镕目镕e 图3 2 手工标注影像控制点程序界面 随着影像数据的日益增多，自动选取初始特征点的方法得到丁更多的使用。 自动选择初始特征点有许多方法，本文中采用一种自适应的方法。首先将图像的 水平轴和垂直轴分割成相等的若干份，得到h x m 个矩形格。然后在每个矩形格中 挑选一个特征点作为初始配准的特征点，本文挑选特征点的策略是计算公式口5 ) 中的r 值，挑选非临近矩形边缘的r 值最大的点作为初始配准的特征点。这样计 算出来的初始特征点具有分布均匀、数量可控等优点，完全符合初始特征点的拂 选原则。 浙江大学硕士学位论文第3 章基于三角网格的图像配准 3 1 3 三角网格 为了防止三角网格在细化的过程中某些三角形退化成直线或者非常细长的 形状，三角网格的生成和细化中遵循d e l a u n a y 法则。d e l a u n a y 法则是指在生成的 三角网格中的所有三角形的外接圆内部不包含任何其他三角形的顶点。 本文采用逐一插入点的方法【1 3 】生成遵循d e l a u n a y 法则的三角网格。在一个较 大的三角形中插入一个点的时候，连接较大三角形的三个顶点和插入的点形成三 个小的三角形。如图3 3 所示，在较大a , 4 b c 中插入点d ，连接三角形中顶点和 点d ，形成鲋b d 、鲋c d 和a b c d 三个较小的三角形。 b cb c 图3 3 三角形插入点细化示意图 在三角形中插入点并将三角形分成三个较小三角形以后，检测三角网格是否 符合d e l a u n a y 法则。检测削b d 、鲋c d 和a b c d 这三个较小的三角形， 判断这三个三角形的外接圆中是否含有其他三角形的顶点。如果某个三角形的外 接圆内没有其他三角形的顶点，那么该三角形符合d e l a u n a y 法则：如果某个三角 形的外接圆内含有其他三角形的顶点，那么该三角形不符合d e l a u n a y 法则，需要 进行局部优化调整过程。