(计算机应用技术专业论文)三维重构中的匹配技术研究.pdf_第1页
(计算机应用技术专业论文)三维重构中的匹配技术研究.pdf_第2页
(计算机应用技术专业论文)三维重构中的匹配技术研究.pdf_第3页
(计算机应用技术专业论文)三维重构中的匹配技术研究.pdf_第4页
(计算机应用技术专业论文)三维重构中的匹配技术研究.pdf_第5页
已阅读5页,还剩52页未读 继续免费阅读

(计算机应用技术专业论文)三维重构中的匹配技术研究.pdf.pdf 免费下载

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

大连理工大学硕士学位论文 摘要 同一场景的两幅或多幅图像的匹配是计算机视觉中的一个基本问题,也是三维重构 中的一个关键步骤。目前三维重构中的匹配方法在匹配效率和匹配性能方面存在很大的 不足,所以对此种匹配方法的研究是图像领域的研究热点,尤其是对基于特征的匹配方 法的研究更是有着重要的现实意义。 基于特征的匹配技术的一个难点在于特征提取技术,在三维重构中,无论是针对简 单图像还是复杂图像的特征提取,如何寻找一种优良的图像特征提取算法来提取特殊的 图像特征都是迫切需要解决的问题。在简单图像的特征提取时,s u s a n 算子和h a r r i s 算予有着广泛的应用,其算法的优缺点及在应用中需要注意的问题可以通过详细的算法 分析及实验测试给出。在复杂图像的特征提取时,针对s i f t 算法的关键点描述子在匹 配性能和匹配效率上的不足,可以采用首先提取更多的关键点周围信息来精确描述特征 点,然后利用降维的思想精炼致密地构造关键点描述子的方法,这样就使得最后构造出 来的描述子既独特又健壮。此种改进算法的优点在于它在提取更多关键点信息的同时又 考虑了关键点维数对匹配效率的影响,这就使得其应用在复杂的三维重构中可以取得很 好的匹配性能和匹配效率。此外,针对复杂图像匹配过程中,由于噪声、遮挡以及角点 提取阶段闽值选取不当而产生的不良匹配较多的问题,可以使用对极几何的方法进行不 良匹配的消除。首先使用i p c - s i f t 提取图像之间的匹配点,然后利用r a n s a c 鲁棒估 计、非线性估计和引导匹配的方法消除不良匹配点。进而得到非常好的匹配效果。 理论证明及实验测试都表明,上述方法对于三维重构中的匹配技术研究提供了新的 思路。它们的优点在于能够应用于各种实际问题,而且算法的匹配性能和匹配效率都得 到了明显的改进,这对于某些领域的应用是很重要的。 关键词:三维重构;匹配;描述子 大连理工大学硕士学位论文 r e s e a r c ho nt h em a t c h i n gt e c h n i q u ei n3 dr e c o n s t r u c t i o n a b s tr a c t m a t c h e sb e t w e e nt w oo r m u l t i p l ei m a g e st h a tb e l o n g t ot h es 锄es c , b e n ea r et h e f o u n d a t i o np r o b l e mi nc o m p u t e rv i s i o n , a n da l s ot h ek e ys t e pi nt h ep r o c e s so ft h e3 d r e c o n s t r u c t i o n t h em a t c h i n ge f f i c i e n c ya n dp e r f o r m a n c ed e f i c i e n c i e si n3 dr e c o n s t r u c t i o n a l eo b v i o u s ,s or e s e a r c ho nt h i sk i n do fm a t c h i n gm e t h o di saf o c u si nt h ef i e l do fi m a g e , e s p e c i a l l yt h er e s e a r c ho nf e a t u r e - b a s e dm a t c h i n gm e t h o di so f g r e a tp r a c t i c a ls i g n i f i c a n c e o n ed i f f i c u l t yo f t h ef e a t u r e - b a s e dm a t c h i n gm e t h o di sf e a t u r ee x t r a c t i o nt e c h n i q u e i n3 d s e n i l er e c o n s t r u c t i o n , w h e t h e rt h ef e a t u r ee x t r a c t e df r o ms i m p l ei m a g eo rc o m p l e xi m a g e , h o wt of i n dag o o df e a t u r ee x t r a c t i o na l g o r i t h mt oe x t r a c ts p e c i f i ci m a g ef e a t u r ei su r g e n t n e e d i nt h er e s e a r c ho fe x t r a c t i n gas i m p l ei m a g ef e a t u r e ,s u s a no p e r a t o ra n dh a r r i s o p e r a t o ra r ew i d e l yu s e d 1 1 1 ea d v a n t a g e sa n dd i s a d v a n t a g e so ft h e s ea l g o r i t h m sa n ds o m e p r o b l e m st h a tn e e d e dt op a ya t t e n t i o nt oi na p p l i c a t i o na r er a i s e db yd e t a i l e da n a l y s i sa n d e x p e r i m e n tt e s t i nt h er e s e a r c ho fe x t r a c t i n gac o m p l e xi m a g ef e a t u r e ,i nv i e wo ft h e m a t c h i n ge f f i c i e n c ya n dp e r f o r m a n c ed e f i c i e n c i e so ft h es i f tk e y p o i n t sd e s c r i p t o r s ,f i r s t l y m o r ek e y p o i n t si n f o r m a t i o nw h i c hi su s e df o rf e a t u r ed e s c r i p t i o ni sa c q u i r e d ,a n dt h e n k e y p o i n t sd e s c r i p t o ri sc o m p a c t l yc o n s t r u c t e dw i t hd i m e n s i o n a l r yr e d u c t i o nt e c h n i q u e ,w h i c h m a k e st h ef i n a ls t r u c t u r eo ft h ed e s c r i p t o r si sb o t hd i s t i n c t i v ea n dr o b u s t 1 1 l ca d v a n t a g eo f s u c hi m p r o v e da l g o r i t h mi st h a ti t g a i n sm u c hm o r ek e y p o i n t si n f o r m a t i o na n dt a k e st h e m a t c h i n ge f f i c i e n c yc o n t r o l l e db yd i m e n s i o n a l i t yo fd e s c r i p t o ri n t oa c c o u n ta tt h es a n l et i m e , w h i c hr e s u l t sah i g h e rm a t c h i n gp e r f o r m a n c ea n dab e t t e rm a t c h i n ge f f i c i e n c y b e s i d e s ,m o r e b a dm a t c h e sa p p e a ri nt h ec o m p l e x3 dr e c o n s t r u c t i o nd u et on o i s e ,b l o c ka n dt h en e g a t i v e t h r e s h o l ds e l e c t i o n e p i p o l a rg e o m e t r ym e t h o di su s e ds o l v et h a tp r o b l e m f i r s t l ym a t c h e s a m o n gi m a g e sa r e e x l r a c t e db y p c - s i f t ,a n dt h e nr a n s a cr o b u s tm e t h o d ,n o n - l i n e a r e s t i m a t i o na n dg u i d e dm a t c h i n ga r eu s e dt oe l i m i n a t et h e s eb a dm a t c h e sa n dg o o dm a t c h i n g r e s u l t sa r ea v a i l a b l e n ea b o v em e t h o dp r o v i d e saw h o l l yn e wm e t h o dt oe f f e c t i v e l yi m p l e m e n tt h em a t c h i n g t e l ,h n i q u ei n3 dr e c o n s t r a c t i o mt h ea d v a n t a g e so f t h e ma r eo nt h ew i d eu s ei nm a n yp r a c t i c a l a r e a sa n do b v i o u s l yi m p r o v e dm a t c h i n ge f f i c i e n c ya n dp e r f o r m a n c e ,w h i c hi sv e r yi m p o r t a n t f o rm a n ya p p l i c a t i o n s k e yw o r d s :3 dr e c o n s t r u c t i o n ;m a t c h i n g ld 麟c r i p t o r i i i - 独创性说明 作者郑重声明:本硕士学位论文是我个人在导师指导下进行的研究工 作及取得研究成果。尽我所知,除了文中特别加以标注和致谢的地方外, 论文中不包含其他人已经发表或撰写的研究成果,也不包含为获得大连理 工大学或者其他单位的学位或证书所使用过的材料。与我一同工作的同志 对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意。 作者签名: 专朱忐 日期: 大连理工大学硕士研究生学位论文 大连理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连理工大学硕士、博士学位论文版权使用 规定”,同意大连理工大学保留并向国家有关部门或机构送交学位论文的复印件和电子 版,允许论文被查阅和借阅。本人授权大连理工大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索,也可采用影印、缩印或扫描等复制手段保存和汇编学位论 文。 作者签名:篮垒 导师签名 郝表 丛年旦月卫日 大连理工大学硕士学位论文 1 绪论 1 1 研究背景及动机 1 1 1 三维重构问题的提出 计算机视觉作为- - f 7 独立的学科正在研究与实践中不断完善和发展,三维重构作为 其中最基本和最重要的内容之一,也在理论和应用上得到了不断发展。三维重构【l 】是计 算机视觉领域中的热点研究方向之一,它主要研究如何通过物体的二维信息获取物体在 空间中的三维信息,它在虚拟现实、计算机动画、工业检测、军事模拟、医学图像等领 域都有着广泛而重要的应用。三维重构是计算机图形图像学在工程领域中的重要应用, 它涉及数字图像处理、计算机图形学以及工程领域的相关知识。所谓三维重构是指通过 二维世界中的平面图像来重构三维空间中的立体模型,这就需要研究二维空间中的图形 图像元素与三维图像中图形图像元素之间的对应关系,分析确定物体的大小和空间物体 的相互位置关系,进而实现物体的三维重构。三维重构是- - f 复杂的图形图像技术,它 通过图像特征点的提取,特征点对的自动匹配,三维模型关键点的重构,三维网格的处 理,三角化处理等生成完整的物体三维结构。重构完成后,物体可以从任意视角被观察,。 具有立体视觉效果。对图像三维重构的研究,具有非常重要的学术意义和应用价值。 三维重构技术在医学、航天领域也有非常广泛的应用。在医学领域,医学图像三维 重构及可视化技术【2 】是国内外研究的一个热点问题。它是一个多学科交叉的研究领域, 也是计算机图形学和图像处理在生物医学工程中的重要应用,它涉及数字图像处理、计 算机图形学以及医学领域的相关知识。在医学上,利用c t 扫描成像、核磁共振成像、 超声成像等技术可以得到人体断层的二维成像序列,医生通过观察人体的这些切片图像 可以对患者进行诊断。三维医学图像的可视化通常是利用人类的视觉特性,通过计算机 对二维数字断层图像序列形成的三维立体数据进行处理,使其变换为具有直观立体效果 的图像来展示人体组织的三维形态。这是一个典型的三维重构的过程。现代化的医疗设 备提供了大量的医学图像,它们是可视化研究的重要数据来源。现代医学的实验起源于 解剖学,1 0 0 年前德国人伦琴发现x 射线,由此开创了医学放射学的先河。七十年代英 国人汉斯菲尔德发明计算机层面照相术( c t ) ,使得x 射线可以观察到人体的软组织,引 起放射学的一场革命。不久前,磁共振成像术( m r d 、正电子发射层面照相术( p e t ) 相继 问世,从而计算机图像处理技术与医学进一步紧密结合,使得医学步入崭新的可视化时 代。医学图像三维重构及可视化技术的实现使之更为直观地显示人体器官的各个解剖结 构成为可能,这不仅可以基于现有的医学影像设备来极大地提高医学临床诊断水平,而 三维重构中的匹配技术研究 且能为医学培训、医学研究与教学、计算机辅助临床外科手术等提供电子实现手段,因 此具有很大的医学应用价值。此外,三维重构还可应用在机械制造业、电子业、建筑业 等多种工业中。比如,在机械制造业中,在加工一个零件的毛胚之前,必须先建立毛胚 的三维模型;在计算机c a d 系统中,一个自然三维立体模型的自动生成可作为c a d 系 统的输入;在电影、动画制作业中,为动画制作者提供大量真实世界模型等等。 1 1 2 三维重构技术的发展现状 三维重构技术一直是图形图像领域的研究热点,许多科研团体和大学都对此技术进 行了相关的研究和系统开发,近年来国外也出现了一些较为成功的三维重构系统。比利 时i , e u v 自n 大学p o l l e f e y s 【3 】等人开发的物体三维表面自动生成系统,该系统仅要求用户利 用摄像机围绕要重构的物体拍摄一系列的图像就可进行此物体的三维重构。此系统在欧 洲的考古学、文物保护等领域得到了成功的应用。z i s s e r m a n 等【4 】完成的视觉导航系统利 用了分层重构的思想,即首先对图像序列做射影重构,再将射影重构逐步提升到仿射重 构和欧氏重构。s h u m 等1 5 】提出了一种人机交互式重构系统,可以从一组全景图中恢复 出三维结沟,或者将场景表示成一系列按深度划分的分层的集合。该系统不需要做图像 间的匹配,但要求用户在重构过程中交互式地确定场景中的一些几何约束,如共面、平 行、垂直等。t o m a s i 和k a n a d e 掣6 】在假定摄像机为正交投影模型的前提下,利用仿射 分解的方法解出了三维结构和摄像机运动。该系统使用基于光流的跟踪器技术来解决特 征点的匹配问题。但由于该系统采用的摄像机模型是正交投影模型,这种模型只有在当 物体的深度远大于物体的尺寸时才合理,因此有一定的局限性。d e b e v e c 、t a y l o r 掣7 】 完成了著名的建筑物重构系统f a c a d e 。该系统要求首先得到建筑物的粗略几何模型和摄 像机运动参数,然后将该模型反投影到图像上与实际图像作比较,通过减小反投影误差 最终计算出建筑物的精确三维结构。为增强视觉效果,该系统还使用了基于视点的贴纹 理技术。该系统的不足之处在于需要预先得到建筑物的几何模型,而且建筑物的几何结 构不能太复杂。f a u g e r a s 等【8 】的系统利用分层重构、自标定等方法从图像序列中重构出 了建筑物。在他们的系统中,考虑了建筑物的特殊性,主要建筑物上的己知点、已知角 度和平行线等物理信息标定摄像机,并将待重构景用多面体来表示。该系统主要用于为 c a d 、c a m 等提供原始的几何模型。 、 目前国内在计算机立体视觉方面,也进行了大量的研究,在理论和算法实现方面也 取得了一些成就,如梁栋【9 】提出的一种基于遗传算法的射影重构算法、陈明舟【l o 】实现的 基于主动光栅投影的双目立体视觉方法以及等。此外,国内的许多著名企业如东软,也 一2 一 大连理工大学硕士学位论文 把此技术应用到医学领域,成功地开发了一系列c t 相关的产品,有些已经达到了国际 领先水平。 到目前为止,三维重构系统大致分为以下两类:一类是利用精密的硬件设备,如激 光扫描仪、结构光、深度扫描仪等,直接测量出物体表面点的三维坐标。这类方法由于 是直接对三维物体的空间信息进行处理,因此精度较高。但是这类方法需要较为复杂的 硬件设备,包括激光扫描装置、数据存储设备等,从而极大地限制了该技术的使用场合。 另一类三维重构系统是通过摄像机成像模型,从二维图像中计算出物体的三维结构。这 一类的方法成本较低,但是重构结果易受到其他因素的影响。本文是对第二类三维重构 方法中的匹配技术进行研究。 1 2 匹配技术研究现状 在计算机视觉中,为了得到空间物体的三维几何信息,必须对从不同视点方向获取 的两幅( 或两幅以上) 图像进行关联对应,进而找到某些对应匹配特征点所对应的投影点, 这一过程就叫做图像匹配,即图像匹配的任务就是在两幅或多幅图像中寻找景物中某一, 物理点投影到不同图像平面上的像素点之间的对应关系( 视差信息) 。图像匹配是三维重 构的基础,图像匹配结果的优良直接关系到三维重构的效果,对图像匹配技术的研究有 着很重要的意义。 图像匹配技术包括很多分类方法,其中有基于灰度的方法,基于特征的方法和基于 窗1 2 的方法等。由于其它方法的局限性,目前的大部分研究都倾向于基于特征的匹配方 法。 基于特征的匹配包括三个子问题:特征提取、特征匹配和不良匹配点的消除。 常用的匹配特征包括点、线、区域等,其中以点特征研究较多。点特征主要有零交 叉点、角点。s m i t h 和b r a d y l l l 提出了著名的s u s a n 角点检测算子,该方法对像素周围 区域最小化,用统计特性来决定该像素的属性,即角点、边上的点还是圆上的点。k i t c h e n 和r o s e n f e l d ”】提出的角点检测器利用了灰度沿边界轮廓梯度方向变化最大的性质。1 9 8 8 年h a r r i s 和s t e p h e n s l i 驯对p l e s s e y 角点进行了改进,提出了h a r r i s 算法等。 常用的特征匹配技术包括基于奇异值分解的匹配方法、稠密匹配法,最临近n n 算 法等。z i s s e r m a n 和p r i t c h e t t 等 4 1 提出了用单应矩阵取代传统的灰度相似性和极线约束作 为匹配的准则,他们近似认为特征点及其周围小块区域是空间中平面的成像,因此匹配 点对之间应近似满足单应矩阵的关系。p r i t c h c t e 等的方法对于某些含有丰富平面信息的 图像特别有效。p i “1 4 】提出了一种基于奇异值分解的匹配方法,首先构造一个包含特征 点的高斯加权距离信息的强度矩阵g 并对其进行奇异值分解,接着将得到的对角矩阵的 三维重构中的匹配技术研究 对角元素全部替换为1 而得到一个同维矩阵,通过矩阵中各个元素的值就能判断出对应 的特征点是否匹配。由于整个计算过程中全部是代数意义下的运算,所以匹配的精度有 待进一步提高。l h u i l l i c r 和q u a r t 等【1 5 】提出了一种稠密匹配的新策略,该策略综合了以 对极几何约束为代表的全局约束和以灰度相似、单应矩阵为代表的局部约束,在每次匹 配过程中,选取当前灰度相似性最大的匹配对,在它的周围小区域内寻找更多的匹配对, 重复这种过程直至匹配对充满整幅图像,最后再应用对极几何约束去除错误匹配。该方 法对于纹理稠密的图像特别有效,缺陷是精度不高。 由于噪声、遮挡以及由于特征点提取阶段阈值选取不当等原因,在匹配的过程中会 产生很多不良匹配点。目前,最有效的方法是通过计算两幅图像之间的对极几何来进行 极线约束进而消除不良匹配点。 基于特征的匹配技术的一个难点在于特征提取技术。在三维重构中,我们需要提取 一种特殊的图像特征,这种图像特征可以在图像旋转和缩放的情况下完全保持不变,在 光照及三维视点发生变化时可以部分保持不变,同时较少受闭塞,噪声等因素的干扰, 在图像匹配过程中可以保持独特的特性,这就决定了图像特征提取技术本身的复杂性。 因此,寻找一种优良的图像特征提取算法是三维重构中最重要的研究目标之一。此外, 对于不良匹配点的消除也是图像匹配的一个重要工作,如何在保持高匹配性能的情况下 尽可能的提高匹配效率对于之后的三维重构工作有着重要的意义。 1 3 本文研究内容 三维重构是图形图像领域研究的热点之一,它通过特征点的提取及匹配、三维模型 的重构,网格处理等技术实现三维场景的立体可视化。图像匹配是三维重构的基础,尤 其是特征点的提取及匹配更会对三维重构的最终效果产生决定性的影响。本文对基于特 征的匹配方法进行研究。 在处理简单图像的匹配时,一些简单的算法有很重要的实际价值,本文对s u s a n 算法和i i a 时s 算法两种简单但是有着广泛应用的算法进行分析,并指出其优缺点及在实 际应用中需要注意的问题。 两幅或多幅图像的匹配是许多计算机立体视觉工作的基础,近年来很多研究者提出 了基于特征点的图像描述和匹配方法。其中尺度不变特征变换s i f t 算法是一种较好的 提取与描述图像局部特征点的算法。但是在处理复杂图像的匹配,尤其当此算法应用到 三维重构中时,s i f t 算法的匹配性能和匹配效率较低,这对三维重构工作产生了很不 好的影响。本文在s i f t 方法的基础上对其进行改进,使其在保持较高匹配性能的同时 尽可能的提高匹配效率。 一4 一 大连理工大学硕士学位论文 此外,在三维场景的复杂图像匹配过程中会产生很多不良的匹配点,这些不良匹配 点会对以后的三维重构工作产生不好的影响,如何尽可能的消除这些不良的匹配点也是 本文的研究重点之一。 1 4 本文组织结构 第一章为绪论,说明研究的背景和动机,主要的研究内容,并对以后各章的后续工 作做了简要的说明。 第二章简要介绍了各种常用的匹配技术。指出了匹配算法的分类,并对其进行了简 单介绍,最后指出基于特征的匹配算法是当今图像匹配领域研究的热点,本文也在此基 础上进行相关的研究。 第三章主要介绍了基于特征的匹配技术,包括特征点的提取,特征匹配以及不良特 征点的消除。其中在特征点的提取部分,以s u s a n 算法和h a r r i s 算法为例进行了分析 说明,并通过具体的匹配实例验证了此种算法在提取简单图像特征时的优越性;在特征 匹配部分,介绍了最邻近n n 算法以及相关的k 司树搜索算法及b b f 算法;在不良特征 点的消除部分,本文是通过计算两幅图像之间的对极几何来进行极线约束进而消除不良 匹配点的。 第四章阐述了特征匹配算法中一个非常著名的s i f t 算法,并对其进行了改进。本 章首先简单介绍了一下s i f t 算法,分析了其优缺点,然后在尽量保持较高匹配性能和 较高匹配效率的前提下,对其描述子进行了改进。采用了先扩展再降维的方法生成更致 密更精确的描述子,此处着重讲述了改进的原因,改进的方法和改进后通过实验得到的 结果。最后通过多种情况下的实验验证了此种改进方法的优越性。 第五章是总结和展望。 三维重构中的匹配技术研究 2 匹配技术 在计算机视觉中,为了得到空间物体的三维几何信息,必须对从不同视点方向获取 的两幅( 或两幅以上) 图像进行关联对应,进而找到某些对应匹配特征点所对应的投影点, 这一过程就叫做图像匹配。 图像匹配的算法很多,从某一角度讲,这些匹配算法主要可以分成基于特征的匹配 方法和基于灰度的匹配方法两大类型。 2 1 基于特征的匹配方法 图像特征【1 6 是图像内容最抽象的描述,与其它匹配方法相比,特征相对于几何图像 和辐射度影响来说更不易变化,但特征提取方法的计算代价通常较大,并且需要一些自 由参数和事先按照经验选取的门槛值,因而不便于实时应用。同时,在纹理较少的图像 区域提取的特征的密度通常比较稀少,使局部特征的提取比较困难。另外,基于特征的 匹配方法的相似性度量也比较复杂,往往要以特征属性、启发式方法及门槛方法的结合 来确定度量方法。尽管基于特征的匹配方法有其自身的不足,但由于该方法业已取得了 比较好的匹配效果,所以许多人正在从事这方面的研究工作。 匹配中常用的特征有边缘、轮廓、直线、兴趣点、颜色、纹理、形状等。人们最早 使用图像的边缘特征、轮廓特征进行匹配,但是由于它们的计算代价比较大,因此后来 又提出用兴趣点,即信息含量高、数量相对少的局部特征,代替边缘来计算两幅图像之 间的相似性。所谓的兴趣点是指图像灰度在x 和y 方向都有很大变化的一类局部特征点。 它包含角点、拐点以及t 交叉点等。近年来,随着匹配技术的发展,基于颜色特征的匹 配方法越来越得到人们的关注,颜色特征是图像最直观而明显的特征,在某些特殊情况 下此种方法可以取得较好的匹配效果。基于纹理特征的匹配方法也是研究的热点。图像 可以看成是不同纹理区域的组合,纹理通常定义为图像的某种局部性质,或是对局部区 域中像素之间关系的一种度量。纹理特征可用来对图像中的空间信息进行一定程度的定 量描述。 基于特征的匹配首先从待配准的图像中提取特征,用相似性度量和一些约束条件确 定几何变换,最后将该变换作用于待匹配图像。图像特征分为局部特征和全局特征两大 类,其中局部特征包括点、边缘、线条和小的区域,全局特征则包括多边形和称为结构 的复杂的图像内容描述。特征提取的结果是一个含有特征的表和对图像的描述,每一个 特征由一组属性表示,对属性的进一步描述包括边缘的定向和弧度、边与线的长度和曲 率、区域的大小等。除了局部特征的属性外,还用这些局部特征之间的关系描述全局特 一6 一 大连理工大学硕士学位论文 征,这些关系可以是几何关系,例如两个相邻的三角形之间的边,或两个边之间的距离: 可以是辐射度量关系,例如灰度值差别,或两个相邻区域之间的灰度值方差;或拓扑关 系,例如一个特征受限于另一个特征。人们一般提到的基于特征的匹配绝大多数都是指 基于点、线和边缘的局部特征匹配,而具有全局特征的匹配实质上是下文要提到的关系 结构匹配方法。 基于特征的匹配对于图像变化、噪声、遮挡等具有一定的鲁棒性,但是它的匹配性 能在很大程度上取决于特征提取的质量。基于特征的匹配是匹配算法研究领域的热点, 本文的工作也是围绕此种方法进行的。 2 2 基于灰度的匹配方法 基于灰度相关的匹配算法【1 1 是一种对待匹配图像的像元以一定大小窗口的灰度阵 列按某种或几种相似性度量顺次进行搜索匹配的方法。这类算法的性能主要取决于相似 性度量及搜索策略的选择上。匹配窗口大小的选择也是该类方法必须考虑的问题,大窗 口对于景物中存在遮挡或图像不光滑的情况会出现误匹配的问题,小窗口不能覆盖足够 的强度变化,因此可自适应调整匹配区域的大小来达到较好的匹配结果。 从理论上说基于灰度相关的匹配算法就是采用图像相关技术。图像相关技术近二十 年来得到了迅猛发展,并形成了门新的学科,因为它与其它方法相比具有计算量小, 易于硬件实现等优点。对于抗噪声干扰和抗几何失真闯题,随机符号变化准则等算法被 相继提出。对于减少搜索空间和减少匹配时间的问题,序贯相似性检测算法、两级模板 匹配算法、分层序贯匹配算法、多子区域相关匹配算法等各种快速匹配算法被相继提出。 同时,对与提高匹配精度和匹配速度有关的各种问题,比如定位精度、噪声、灰度电平 偏差、量化误差等误差因素对匹配性能的影响,各种预处理技术等都被进行了比较系统 的研究。 基于灰度相关的匹配能够获得较高的定位精度,但是它计算量大,难以达到实时性 要求,而且一旦进入信息贫乏的区域,会导致误匹配率的上升。 2 3 其它匹配方法 除了上述两种方法以外,关系结构匹配方法、基于模型的匹配、基于变换域的匹配、 神经网络匹配方法等也是图像匹配领域的研究方向。 2 3 1 关系结构匹配方法 所谓关系结构匹配方法【l8 】主要是指把计算机中的模型同外部世界中的物体或现象 建立起对应关系,也即利用图像的结构特征或关系特征之间的关系,把物体和物体间的 三维重构中的匹配技术研究 关系表示成结构,通过沿图中的弧作关联搜索,建立图中结点之间的关系,借助语义网 络、框架理论和图论方法寻求匹配问题的解决。这种方法是人工智能技术在图像匹配领 域的应用。这种方法在实现时,为了减少计算量而使结构与点之间关系的描述常常是不 完全的,并且它们缺乏一种有效的衡量点集之间是否相同的手段。所以这种方法的研究 至今尚未取得突破性进展。 2 3 2 基于模型的匹配 基于模型的匹配方法在计算机视觉和模式识别等领域中的应用也非常广泛,它可以 分为刚体形状匹配和变形模板匹配两大类。在刚体形状匹配中,原型模板通过平移、旋 转和尺度化等简单变换达到和目标图像的匹配,但是它不能处理目标形状存在较大变形 时的问题,为此,人们提出使用变形模板匹配方法。变形模板一般包括自由式变形模板 和参数化的变形模板。 自由式变形模板模型包括i o t s s 提出的“s n a k e ”模型【19 】等。s n a k e 是能量极小化的 样条,模板不包含目标的全局结构,它只受局部连续性和平滑约束。给定一初始轮廓, 它在下面三种能量的驱动下改变轮廓的位置和形状: ( 1 ) 约束轮廓形状的内部能量: ( 2 ) 将轮廓吸引到显著特征的图像力; ( 3 ) 引导它的行为的外力。 当由上述三项构成的能量函数最小时得到最终的图像特征。由于不受全局结构的限 制,所以s n a k e 模型能表示任意的形状,但是该模型对于模板的初始位置和噪声比较敏 感,对于凹边缘的收敛性差,而且容易陷入局部最小值。 参数化的变形模板使用了几何形状的一些先验信息,模板用少量的参数来表示,典 型的例子包括:g r c n a n d e r 的模型和b l a k e 的活动轮廓。两种方法可以用来表示参数化 变形模板: ( 1 ) 用参数化曲线的集合表示,模板的几何形状通过改变参数值而改变; ( 2 ) 参数映射下的原型模板图像,它通过指定一个原型模板来描述一类目标的形状, 该类目标的各种形状都是通过对原型进行参数映射而得到的,不同的参数值可以得到不 同的形状。 在上面两种表示方法中,变形模板通过图像力动态调整参数达到和图像特征之间的 交互作用。和主动轮廓模型相似,参数式变形模板用内部能量和外部能量的加权和构成 的目标函数确定一个变形模板和给定图像中目标的匹配程度。 大连理工大学硕士学位论文 2 3 3 神经网络匹配方法 神经网络匹配方法则是利用神经网络并行分布处理的特点来进行图像的匹配。利 用神经网络进行图像匹配的基本方法是:首先利用某种特征提取算法( 也可以是神经网 络算法) 对图像进行预处理,并按要求提取一定数量的特征点。然后根据构造的某种神 经网络算法的要求,选取并输入网络需要的一些初始状态,同时也将选取的特征点作为 基本输入参数。接着启动神经网络算法的迭代过程,可能还要有学习过程。最后给出迭 代结果,并对其进行分析评价。神经网络匹配方法的这种匹配过程有以下致命缺陷: ( 1 ) 特征点的选取还无法自动实现,目前的研究仅限于一些边缘棱角突出的工件等 的匹配识别实验等; ( 2 ) 网络需要的初始状态的选择,对网络迭代过程影响较大,选择不当还会造成不 收敛或陷于某一极值而不能自拔; ( 3 ) 特征提取的预处理,神经网络的学习和迭代过程都是计算代价比较昂贵的过程。 由此可见,虽然神经网络匹配方法取得了一些初步进展,但由于收敛性、通用性不 够理想,还无法用于灰度变化平缓、特征不突出的图像匹配,与实用性和实时性要求相 差甚远,所以神经网络匹配算法目前还不具有实际应用意义。 2 3 4 基于变换域的匹配 频域匹配技术对噪声有较高的容忍程度,检测结果与照度无关,可处理图像之间的 旋转和尺度变化。常用的频域相关技术有相位相关和功率倒谱相关,其中相位相关技术 使用相对广泛。 设r ( x ,y ) 为参考图像,为s ( 工,y ) 待匹配图像,r ( v ) 和s ( u ,v ) 分别为它们的傅立 叶变换,这两幅图像之间存在一个平移量( ,y o ) : s ( x , y ) = r ( x - x o ,y 一儿) ( 2 1 ) 它们之间的傅立叶变换关系为: s ( u ,v ) = p - “蜥嘞r ( u ,v ) ( 2 2 ) 即两幅图像之间存在平移时它们的傅立叶变换幅值相同,只有一个相位差。这一相 位差用交叉功率谱表示为: 揣u , v ) s “鲋训i 且( 州) l ( 2 3 ) 三维重构中的匹配技术研究 其中为复共扼运算。相位差的傅立叶反变换在平移位置是一个脉冲函数,因此, 相位相关技术就是确定交叉功率谱相位傅立叶反变换的峰值位置。 除了上面的傅立叶变换外,人们还选择更可靠、更符合人眼视觉生理特征的g a b o r 变换以及小波变换进行图像匹配。 大连理工大学硕士学位论文 3 特征点匹配算法 通过上文可以知道,匹配中常用的特征有边缘、轮廓、兴趣点、颜色、纹理等。在 所有这些特征中,特征点在相同的条件下比边缘有更多的有用信息和更少的匹配计算 量,所以目前对图像匹配的研究大部分都是以对特征点的匹配研究为主。而特征点的选 取以角特征点居多,所以本章主要阐述基于角特征点的匹配算法。在介绍匹配算法之前, 我们先介绍下角特征点的概念。 角特征点,简称角点,是图像上曲率足够高,并且位于图像中不同亮度区域交界处 的点。角点特征是图像的重要局部特征,它集中了图像上很多重要的形状信息。在各种 图像特征中,角点具有旋转不变和不随光照条件改变而变化的优点。在一些应用中使用 角点特征进行处理,可以减少参与计算的数据量,同时又不损失图像的重要灰度信息, 而且角点在图像匹配中也有很重要的意义,利用角点特征进行匹配可以大大提高匹配的 速度。角点作为输入可应用三维建模、三维对象跟踪等领域,尤其在实时处理中有很高 的应用价值。在实现摄影测量自动化和遥感影像匹配中,提取角点特征也具有重要意义。 所以出于提高速度而又不降低匹配精度的考虑,角点在图像匹配中是一个很值得考虑的 匹配基元。 到目前为止,在计算机视觉领域中关于角点还没有很好的数学定义,存在多种数学 描述方法。因为角点本身的含义就比较模糊,所以在各种文献的角点检测方法中,不同 的角点检测方法对于“什么是角点”有自己的定义,并由此引出各种检测角点的数学方 法。目前关于角点的具体定义和描述主要有如下几种:( 1 ) 角点是一阶导数( 即灰度的梯 度) 的局部最大所对应的像素点;( 2 ) 角点是指两条以上边缘的交点;( 3 ) 角点指示了物 体边缘变化不连续的方向;( 4 ) 角点处的一阶导数最大,而且日阶导数为零;( 5 ) 角点 处不仅梯度的数值大,而且梯度方向的变化速率也很大。也就是说,角点指示了图像在 两维空间内灰度变化剧烈的位置,是和周围的邻点有着明显差异的象素点。 角点匹配算法可以分成三步:角点提取、角点匹配和不良匹配点的消除。 3 1 角点提取 基于对角点定义的不同,已经出现了不少角点提取算法。这些算法大致可以分成三 类。 3 1 1 非线性滤波的方法 在非线性滤波方法中,最著名的就是s u s a n 角点检测法【l l 】。1 9 9 6 年,牛津大学的 s m i t h 和b r a d y 提出了一种低层次的图像处理最小吸收核同值区的方法,即 三维重构中的匹配技术研究 “s u s a n ( s m a l l e s t u n i v a l u es e g m e n t a s s i m i l a t i n g n u c l e u s ) ”算法,它主要用来计算图像 中的角点特征。该方法把每个象素与包含它的一块局部区域关联起来,这块区域里的其 它象素与该象素具有相似的强度。s u s a n 角点检测法对这块区域进行极小化,然后利 用统计特性决定该象素的属性,即是角点、边上的点还是面上的点。 图3 1 简单图像中的4 个圆形模板 f i g 3 1f o u rc i r c u l a rm a s k sa td i f f e r e n tp l a c e so i las i m p l ei m a g e 图3 i 显示了一个在白色背景下的黑色的长方形,图中口、b 、c 、d 、g 五个位置分 别是五个圆形的模板在图像中不同的位置,窗口的中心被称之为“核”。窗口中所有具 有与核相同或相似灰度的像素,把这些像素构成的区域称为u s a n ( u n i v a l u es e g m e n t a s s i m i l a t i n gn u c l e u s ) 。 由图3 1 可以看出,u s a n 区域包含了非常重要的图形结构的信息,在灰度平坦的 区域内,u s a n 区域取最大值,越靠近边缘,u s a n 区域越小。当模板的中心位于边缘 时,u s a n 区域为最大值的一半,当模板靠近角点时,u s a n 区域进一步减小为最大值 的四分之一。因此,通过u s a n 区域的大小,就可以对图像中一些重要的二维信息做出 判断。 s u s a n 算子的基本原理是通过计算u s a n 区的面积,即与核子具有相同灰度值的 区域的大小来判别一个点是否为角点。 为了提取出角点,需要将模板内每个像素的灰度与模板中心的灰度进行比较,式3 1 为实际应用中比较常用的相似比较函数: c ( _ ,一o ) = 唧 一产 6 ( 3 1 ) 大连理工大学硕士学位论文 式3 1 中:;和_ o 分别是模板中心点和模板中其它点的坐标,c f ;- 。1 为比较的结果, i ( r ) 为该点的亮度值,t 为灰度差阈值。门限f 表示所能检测角点的最小对比度,也是 能忽略的噪声的最大容限。在应用t 时需要注意的是,能够提取的特征数量越小,就可 从对比度越低的图像中提取特征,而且提取的特征也越多。因此对于不同对比度和噪声 情况的图像应取不同的t 值。 u s a n 区域的大小可以由式3 2 给出: 以( ) = c ( r ,r o ) 庀d ) ( 3 2 ) 然后,由式3 3 可以得到图像的初始角响应,式中g 为几何阈值。门限g 决定了输 出角点的u s a n 区域的最大值。g 的大小不但决定了可从图像中提取角点的多寡,它还 决定了所检测到的角点的尖锐程度。所以一旦确定了所需角点的质量( 尖锐程度) ,g 就 可以取一个固定不变的值。 r ( ) = 盖一n j 行( r ) g f ( 3 3 ) 由式3 3 得到的角点初始响应符合s u s a n 原理,即u s a n 区域越小,初始角点响 应越大,这样便对图像中的角点信息进行了增强。 当检测角点时,先用模板扫描整个图像,得到u s a n 区响应图像引 ) ,假设模板 能取到的最大行值为,k 。为了消除噪声的影响,通常用几何阈值g 控制角点的生成质 量,g 主要影响角点的尖锐性,g 越小,所得到的角点也就越尖锐,如果是提取边缘的 话,可取为3 = 半苎- ,在实际应用中,取为t r o a x 就可,这样可以防止把直线边缘上的点 4 2 误认为是角点。最后,取响应图像r ( ) 的局部最大值作为角点。通过s u s a n 角点检 测方法就可以确定角点的位置了。 s u s a n 角点检测法的特点是:对角点的检测比对边缘检测的效果好,适用于基于 角点检测的图像配准;无须梯度的计算,提高了算法的效率;具有积分特性( 在一个模 板内计算s u s a n 面积) ,这样就使得s u s a n 算法在抗噪和计算速度方面有较大的改进; 在弱边缘上不易检测出正确的角点,因为仅有一个设定的阈值所以在对灰度差不大的情 况下,角点容易被忽略;定位不够精确,容易出现角点偏移和错误判断的情况。 三维重构中的匹配技术研究 在s u s a n 角点检测法的应用中,有几个问题需要格外注意,因为这些问题直接关 系到角点检测的速度和精度。它们分别是: ( 1 ) 阈值g 和t 阈值g 决定了输出角点的u s a n 区域的最大值。即只要图像中的象素具有比g 值小 的u s a n 区域,该点就被判定为角点。g 的大小不但决定了可从图像中提取角点的多少, 而且如前所述,它还决定了所检测到的角点的尖锐程度,所以一旦确定了所需角点的质 量( 尖锐程度) ,爿就可以取一个固定不变的值。 阈值t 表示所能检测角点的最小对比度,也是能忽略的噪声的最大容限。它主要决 定了能够提取的特征数量,f 越小,可从对比度越低的图像中提取特征。而且提取的特 征也越多。因此对于不同对比度和噪声情况的图像,应取不同的t 值。一种改进的方法 是在针对不同的图像,设置合适的阈值。 、 然而一个好的算法,阙值的取值不应该依赖于人为的干涉,而应根据不同条件自动 给出最

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论