（模式识别与智能系统专业论文）双目立体视觉中特征点的匹配方法研究.pdf

东北大学硕士学位论文牺要 双目立体视觉中特征点的匹配方法研究 摘要 随着现代制造业的发展，过去传统的测量方式已经不能满足高精度制造及加工工业 发展的需要，工业产品如模具外形、发动机外壳、汽车外形等的三维数据高精度获取， 已成为人们在测量领域一个新的重要的研究方向，它对加工数据的设计、加工结果的检 验、产品对比分析以及对后续的加工提供数据依据都具有重大的现实意义。因此如何能 够大量、快速、高精度地对加工产品的三维数据进行采集已成为现代加工工业中一个亟 待解决的重要问题。 计算机立体视觉是用计算机来实现图像理解、图像分析和视觉功能的科学。根据其 中的双目视觉原理可以利用已完成特征点匹配的序列图像来确定被拍摄对象的空问信 息，进而实现实物的空问数据获取和三维重建。近年来，立体视觉技术得到了快速的发 展，已被广泛的应用在三维测量技术中。与传统的接触式测量技术相比，基于立体视觉 的测量技术具有非破坏性、检测速度快、测量精度高等优点。 图像问特征点的匹配是立体视觉的一个关键问题，它对测量过程中后续的三维数据 采集和重建的精度有着重大的影响。本文根据现代测量技术的发展要求，针对3 d 轮廓 测量技术的需求，以m a r r 视觉理论为基础，对特征点提取和匹配的关键问题进行了研 究，分析了各种图像特征点提取算法和立体匹配方法，并均给出了程序实现。实验表明， 本文所使用的方法对于色彩对比明显的自然场景和物体表面特征的匹配效果较为理想。 在工业加工过程中经常需要对表面光滑的产品进行测量，f q 当测量对象表面光滑 时，特征点难以提取，为此本文提出了一种新的利用结构光束检测和匹配特征点方法。 该方法有别于传统的光栅投影的方法：结构光被设定为带有编码内容的方格图案，通过 结构光投射，在原来没有特征点或特征点不明显的待测对象表缸形成具有一定规律的特 征点。该方法还可以针对结构光设定的编码规律编写特定的匹配算法，实验表明该方法 可以明显提高特征点匹配的速度和准确率。 关键词：莎体视觉：- 维蕾建：标定；摄像机模型：角点检测；艇鬣；绻擒毙 东北大学硕士学位论文a b s t r a c ! r e s e a r c ho ff e a t u r ea n ds t r u c t u r e d l i g h t m a t c h i n g b a s e do nb i n o c u l a rv i s i o ns y s t e m a b s t r a c t w i t ht h ed e v e l o p m e n to fm o d e mm a n u f a c t u r ei n d u s t r y , t h et r a d i t i o n a lm e a s u r e m e n t m e t h o dc a n t a l r e a d ym e e tt h eh i g hp r e c i s i o nm a n u f a c t u r ei n d u s t r y sd e m a n d t h eh i 【g h a c c u r a c y3 dd a t ao b t a i n i n go fi n d u s t r ym a n u f a c t u r e ss u c ha sa p p e a r a n c eo f t h em o d d ，e n g i n e o u t e rc o v e r , a m o m o b i l ea p p e a r a n c e ，e t ch a sb e c o m ean e wa n di m p o r t a n tr e s e a r c hd i r e c t i o ni n t h em e a s u r e m e n tf i e l d i th a sg r e a tp r a c t i c a ls i g n i f i c a n c ei nd e s i g n i n gp r o d u c t sd a t a ，t e s t i n g m a n u f a c t u r er e s u l t s ，a n a l y s i n ga n dc o m p a r i n gp r o d u c t sa n ds u p p l y i n gd a t at ot h es u b s e q u e n t m a n u f a c t u r e s oh o wt oo b t a i nh i 曲p r e c i s i o na n da b u n d a n c e3 dd a t ao fi n d u s t r yp r o d u c t s f a s tb e c o m e sap m b t e mt ob es o l v e du r g e n t l yi nm o d e mi n d u s t r i a ld e v e l o p m e n t c o m p u t e rs t e r e ov i s i o ni sas c i e n c et h a tr e a l i z e si m a g eu n d e r s t a n d i n g , i m a g ea n a l y s i s a n dv i s i o nf i m c t i o nb yc o m p u t e r s b i n o c u l a rv i s i o nc a no b t a i ns p a c ei n f o r m a t i o nf r o m s e q u e n c e sm a t c h e di m a g e s ，o b t a i n3 dd a t as h o o t i n go b j e c ta n dr e a l i z e3 dr e c o n s t r u c t i o n i n l a s ty e a r s ，w i t i lt h eg r e a td e v e l o p m e n to fc o m p u t e rs t e r e ov i s i o n ，i th a sa l r e a d yb e e nw i d e l y a p p l i e di n 3 dm e a s u r e m e n tt e c h n o l o g i e sf i e l d c o m p a r e dw i t ht h et r a d i t i o n a lc o n t a c t m e a s u r e m e n t ，i th a sm a n ya d v a n t a g e s ：n o n - d e s t m c t i v e ；c h e c k i n ga th i g hs p e e da n dh i 曲 p r e c i s i o n t h ef e a t u r ep o i n tm a t c h i n gi ns e q u e n c e si m a g e si sak e yp r o b l e mi ns t e r e ov i s i o n i ti sa s i g n i f i c a n c e i n f e c t i o ni n p r e c i s i o no ft h eo b t a i n i n g3 dd a t aa n d3 dr e c o n s t r u c t i o n t h e d i s s e r t a t i o ni n t r o d u c e st h ed e m a n d sa n da p p l i c a t i o nd o m a i n so f3 dc o n t o u rm e a s u r e m e n t t e c h n o l o g y , b a s e do nm a r tv i s i o nt h e o r y , d o i n gr e s e a r c ho nt h ep r o b l e mw h i c hi n c l u d e st h e e x t r a c t i o na n dm a t c h i n go ff e a t u r ep o i n t si nt h ep a i ro fi m a g e s t h ee x p e r i m e n tr e s u l t ss h o w t h a tt h em e t h o du s e di nt h i sa r t i c l ei ss a t i s f a c t o r yw h e nm a t c h e st h eo b v i o u sf e a t u r eo fn a t u r a l s c e n ea n do b j e c ts u r f a c e i nm a n u f a c t u r ei n d u s t r yp r o c e s s i ta l w a y sn e e dt om e a s u r ep r o d u c t sw i t hs l i c ks u r f a c e m a n u f a c t u r ei n d u s t r yp r o c e s s ，b u tt h ef e a t u r ep o i n t sa r ed i f f i c u l tt oe x t r a c tb e c a u s eo fs l i c k s u r f a c e an e wa l g o r i t h mo ff e a t u r ep o i n t sd e t e c t i n ga n dm a t c h i n gb a s e do ns t r u c t u r e dl i g h ti s p r o p o s e d b e c a u s eo ft a r t a n w i t h c o d i n gw h i c hi ss e t ，t h e s t m c t u r e d l i g h t c a n g e t d i s c i p l i n a r i a np o i n tf e a t u r eo nt h es l i c ks u r f a c ew h i c hh a sn oo b v i o u sf e a t u r e t h ea l g o r i t h m a l s oc a nc h a n g em a t c h i n gc o m e ra r i t h m e t i cb e c a u s eo fs t r u c t u r e dl i g h tc o d i n g t h e i i i 东北走晕硕士学位论文a b s t r a c t e x p e r i m e n tr e s u l t ss h o wt h a tt h em e t h o du s e di nt h i sa r t i c l ei sc a l lg e th i g i ls p e e da n d a c c u r a c yo f f e a t u r ep o i n tm a t c h i n go b v i o u s l y k e yw o r d s ：s t e r e ov i s i o n ；3 dr e c o n s t r u c t i o n ；c a l i b r a t i o n ；c a m e r am o d e l ；c o m e rd e t e c t i n g ； m a t c h i n g ；s t r u c t u r e dl i g h t i v 独创声明 本人声明所呈交的学位论文是在导师的指导f 完成的。论文中取得的研究成果除加 以标注和致谢的地方外，坷i 包含其他人已经发表或撰写过的研究成果，也不包括本人为 获得其他学位而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在沦 文中作了明确的说明并表示诚挚的谢意。 学位论文作者签名：左号 、 签字日期：螂i 目7 目 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论文的规定：即 学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借 阅。本人同意东北大学可以将学位论文的全部或部分内容编入有关数据库进行榆索、交 流。 ( 如作者和导师同意网上交流，请在下方签名：否则视为不同意) 学位论文作者签名： 签。j ? _ 1 期 导师签名： 签字f 1 期 东北大学硕士学位论文 第一章绪论 1 1 引言 第一章绪论 在计算机视觉二卜多年的研究发展过程中，其研究的目标就是要使计算机具有通过 二维图像认知三维环境信息的能力，这种能力将不仅使机器能感知三维环境中物体的几 何信息，如：形状、位置、姿态、运动等，并且能对它们进行描述、存储、识别与理解。 三维重建是计算机视觉研究的重点和热点之一。该问题的研究成果广泛应用在机器 人导航、精密工业测量、物体识别、虚拟现实、场景漫游、现场勘测以及军事等众多领 域。 用立体视觉方法进行三维重建，在计算机视觉中就是通过两幅或多幅二维图像来恢 复物体三维可见表面几何形状的方法。对生物视觉系统，几乎所有具有视觉的生物都有 两个眼睛。在计算机立体视觉系统中，也可以利用摄像机从不同角度获取同一景物的两 幅图像，然后利用三维重建原理，由计算机重建景物的三维形状，恢复出物体的空问位 置信息。立体视觉直接模拟人类双眼处理景物的方式，具有简单、可靠、灵活、使用范 围广等特点，可以进行非接触、自动、在线的检测，具有广阔的应用前景，在机器人视 觉、车辆自主驾驶、多自由度机械装置控制、非接触自动在线检测等领域均具有很大的 应用价值。 1 2 m a r r 的计算机视觉理论框架 上个世纪8 0 年代初，m a r t 首次从信息处理的角度综合了图像处理、神经生理学及 精神病学的研究成果，提出了第一个较为完善的视觉系统理论框架1 1 j 。虽然这一理论框 架存在许多不完备的地方，但至今仍是厂一大计算机视觉研究工作者接受的基本理论框 架，f 面从两个方面柬介绍这一理论框架。 一方面是视觉系统研究的三个层次，即计算理论层次、表达( r e p r e s e n t a t i o n ) 与算 法层次、硬件实现层次【“。计算理论层次解决的是系统各部分的计算目的与计算策略问 题，即各部分的输入输关系是什么，有什么变换或约束。m a r r 对视觉系统的总的输入 输出关系规定- 广一个总的目标，即输入是：维图像，输出是由二一维图像更建 ( r e c o n s t r u c t i o n ) h 来的二维物体的位置与形状。m a r r 认为，视觉系统的任务是列环 境中的二维物体进行识别、定f 屯与运动分析。三维物体”p 差万别，应存在一种计算删! 沦 层次i ：的。般住 1 的描述。如粜达到了这目的，则4 ；铤：是卡f 么具体物体，视髓仔务均 东北大学硕士学位论文第一章绪论 可完成。m a r r 认为，这一日的就是要通过视觉系统重建三维物体的形状、化置。l 町且， 如果在每一时刻都能够做至u 这一点，则可以实现对物体的运动分析。表达与算法丘：次的 研究是要给出各部分的输入、输出和内部信息的表达，以及实现计算理论层次所规定的 一般性目的的算法。表达与算法是比计算理论低一层次的问题，不同的表达与算法，在 计算理论层次上可以是相同的。硬件实现层次则是要解决如何用硬件实现以上算法的问 题。目前汁算机视觉的研究工作主要集中在计算理论和表达与算法这两个层次上，对于 硬件实现，目前已有一些比较成熟的部分，如低层次图像处理中的去噪声，边缘抽取。 对简单二维物体识别及简单场景下的视觉方法，已有专用芯片或并行处理体系结构方面 的研究与试验产品。而在构建通用的视觉系统方面，虽有一些尝试，但一般并不成功。 另一方面是视觉信息处理的三个阶段( 3 l 。视觉信息从最初的二维图像到最终对三维 环境的表达经历了三个阶段的处理。第一阶段构成基元图( p r i m a r ys k e t c h ) ，基元图由 二维图像中的边缘点、直线、曲线、顶点、纹理等基本几何元素或特征组成。第二阶段， m a r t 称为对环境的2 5 维描述。2 5 维描述是一种形象的说法，即对环境部分的、1 ；完 整的三维信息描述，就是重建三维物体在观察者为中心的坐标系下的三维形状与位置。 当人眼或摄像机观察周围环境物体时，观察者对三维物体最初是以自身的坐标系来描述 的，另外，观察者只能看到物体的一部分，另部分是物体的背面或被其它物体遮挡， 因此，重建结果是在观察者坐标系下描述的部分三维物体形状，称为2 5 维描述。这一 阶段中存在许多并行的相对独立的模块，如立体视觉、运动分析、由狄度恢复表面形状 等不同的处理单元。仅有2 5 维描述是小够的，事实上，从各种不同角度去观察物体， 观察到的形状都是不完整的，2 5 维描述必须进一步处理，以得到物体的完整三维描述， 而且必须是物体本身某崮定坐标系1 - - 的描述，这一阶段称为第三阶段，即三维阶段。 基元图和对环境的2 5 维描述这两个阶段，有些文献称为视觉的低层次处理，或早 期视觉，电有人将第一阶段称为早期视觉，第二阶段称为中期视觉。 1 3 立体视觉的研究概况 国内外在基于立体视觉的计算机= 三维重建方而，研究工作主要集中在特征点匹配、 摄像机标定和三维重建三个部分。 1 3 1 匹配技术的发展概况 维蓖建的先决条件足要解决两l 隔i 斟像川的刈心廷系即匹配。匹配包括婀个r 问 东北太学硕士学位论文第一章绪论 可完成。m a r r 认为，这一i j 的就是要通过视觉系统重建三维物体的形状、位筠1 。 m n ， 如果在每一时刻都能够做到这一点，则可咀实现对物体的运动分析。表达7 算法层次的 研究足要给出各部分的输入、输出和内部信息的表达，以及实现计算理论层次所规定的 一般性目的的算法。表达与算法是比计算理论低一层次的问题，不同的表达与算法，在 计算理论层次上可以是相同的。硬件实现层次则是要解决如何用硬件实现以上算注的问 题。目前计算机视觉的研究工作主要集中在计算理论和表达与算法这两个层次七，对于 硬件实现，目前已有一些比较成熟的部分，如低层次图像处理中的去噪声边缘拙取。 对简单二维物体识刷及简单场景下的视觉方法，已有专用芯片或并行处理体系结构方面 的研究与试验产品。而在构建通用的视觉系统方血，虽有一些尝试，但一般并不成功。 另一方面是视觉信息处理的= 个阶段口】。视觉信息从最初的二维图像到最终对三维 环境的表达经历r 三个阶段的处理。第一阶段构成基元图( p r i m a r ys k e t c h ) ，基元图由 二维图像中的边缘点、直线、曲线、顶点、纹理等基本几何元素或特征组成。第二阶段， m a n 称为对环境的25 维描述。2 5 维描述是一种形象的说法，即对环境部分的、不完 整的三维信息描述，就是重建三维物体在观察者为中心的坐标系下的三维形状与位置。 当人眼或摄像机观察周围环袭物体时，观察者对三维物体最初是以自身的坐标系来描述 的，j 外，观察者只能看到物体的一部分，另一部分是物体的背面或被其它物体遮挡， 冈此，重建结果足存观察者坐标系下捕述的部分二_ ：二维物体形状，称为2 5 维描述。这一 阶段中存在许多并行的相对独立的模块，如立体视觉、运动分析、由藏度恢复表面形状 等不同的处理单兀。仅有2 5 维描述是小够的，事实上，从各种不同角度去删察物体， 观察到的形状都是不完整的，2 _ 5 维描述必须进一步处理，以得到物体的完整三维描述， 而且必须是物体本身某一固定坐标系卜的描述，这一阶段称为第。三阶段，即二! 维阶段。 基元图和对环境的25 维描述这两个阶段，有些文献称为视觉的低层次处理，或早 期视觉，也有人将第一阶段称为早期视觉，第二阶段称为中期视觉。 1 3 立体视觉的研究概况 国内外存基于立体视觉的计算机i 维重建方面，研究r 作主要集一 ，在特征点匹配、 摄像机标定羊l j 二维蕈建i 个部分。 l + 3 1 匹配技术的发展概况 i 维一e 进奠：决磊件是要解决两幅像川的列j 衄| ) ：系即匹雕。p l 配包括两个f 问 ：维一转建奠：决磊件是要解决两幅像川的列应疋系叩匹配。口! 配包括两个r 门 东北大学硕士学位论丈第一章绪论 题：特征检测和特征匹配。常用的匹配特征有特征点、特征线、特征区域，填中以特征 点的研究较多。特征点i 三要有零交叉点和角点。在角点检测理论的发展中，比较早的是 k i t c h e n 和r o s e n f e l d 在1 9 8 2 年提出的角点检测器，该方法利用了灰度沿边界轮廓梯度 方向变化最大的性质1 5 j 。1 9 8 8 年n o b e l 用微分几何给出角点检测的理论公式，并归纳在 p l e s s e y 算法下的检测原则【6 】。同年h a r r i s 和s t e p h e n s 对p l e s s e y 角点检测算法进行了改 进f 7 】，提出了h a m s 算子。1 9 9 7 年s m i t h 提出了著名的s u s a n 角点检测算f 4 】，该方 法对像素周围区域最小化，用统计特性来决定该像素的属性。 特征匹配往往以灰度相似性为基础，辅以对极几何约束或其它约束进行搜索。在 1 9 9 6 年b e a r d s l e y 等提出将角点作为特征点的方法隅】，运用相关性进行匹配，将匹配的 结果用奇异值分解求取r 基础矩阵。m p i l u 在1 9 9 7 年提出了一种基于奇异值分解的匹 配方法【l ”，该方法首先构造一个包含特征点的g a u s s i a n w e i g h t e d 距离信息的强度矩阵g 并对其进行奇异值分解，接着将得到的对角矩阵的对角元素全部替换为l 而得到一个同 维矩阵p ，通过矩阵p 中各个元素的值就能判断出对应的特征点是否匹配。由于整个计 算过程中全部是代数意义下的运算，所以匹配的精度有待迸一步提高。 1 9 9 8 年p r i t c h e t t 和z i s s e r m a n 等提出了用单应性矩阵( h o m o g r a p h y ) 取代传统的灰 度相似性和极线约束作为匹配的准则 ”，他们认为特征点及其周围小块区域是空间中平 面的成像，因此匹配点对之间应近似满足单应矩阵的关系。另外，他们试图寻找一种整 体相似变换，以使两幅图像在相差一个常数因子的情况下具有最大相关性，根据整体变 换，估计图像问局部区域的仿射变换，用局部变换来寻找匹配点。p r i t c h e t t 和z i s s e r m a n 等的方法对于某些含有丰富平面信息的图像特别有效。 l h u i l l i e r 和l o n gq u a n 等在2 0 0 0 年提出了一种稠密匹配的新策略f 9 】，该策略综合了 以对极几何约束为代表的全局约束和以灰度相似、单应矩阵为代表的局部约束。在每次 匹配过程中，选取当前吠度相似性最大的匹配对，在它的周围小区域内寻找更多的匹配 对，重复这种过程直至匹配对覆盖整幅图像，最后再应用对极几何约束剔除错误匹配。 该方法对于纹理稠密的图像特别有效，缺陷是对其它图像的匹配精度不高。 1 3 - 2 摄像机标定技术的发展概况 摄像机标定的目的是确定摄像机的图像坐标系与物体空间中的三维参考坐标系之 刚的对应关系，简i 之就是求取摄像机的参数。只有当摄像机被l f 确的标定以后，爿靖 根挺蹦像、| ，l 阿一iz 的维一性标推导出对应物体在二维空问r i 的实际位置。近年来，无需标 东北大学硕士学位论文第一章绪论 定物、基于图像序列的自标定方法已成为标定研究的一个重要方向。f a u g e r a s ，l u o n g 和m a y b a n k 等在1 9 9 2 年首先提出了自标定的概念i ”10 4 1 ，从射影几何的角度发证明了 对同一场景的每两幅图像间存在着两个形如k r u p p a 方程的二次约束，通过直接求解 k r u p p a 方程组可以解出内参数。鉴于直接求解k r u p p a 方程的困难，研究者们又提出了 分层逐步标定的思想，即首先对图像序列做射影重建，在此基础上再进行仿射标定和欧 氏标定，该类方法以在1 9 9 6 年h a r t l e y 的q r 分解法【1 4 l 和p o l l e f e y s 的模约束法m i ，以 及t r i g g s 在1 9 9 7 年提出的绝对二次曲面法等为代表哺1 。 针对在实际应用中摄像机内参数可能变化的情形，研究者们进一步提出了可变内参 数下的摄像机自标定的概念。在1 9 9 7 年，h e y d e n ，a s t r o m 和p o l l e f e y s 等从理论上证明 了：在内参数满足一定条件的前提下，可变内参数下的自标定是完全可能的1 1 8 j 。p o l | e f e y s 等还给出了一种实用的可变内参数下的摄像机自标定方法”】。 1 9 9 9 年，张正友提出了一种利用平面模板的标定方法n 】，该方法只需从不同角度 对模板拍摄几幅图像，通过图像的单应矩阵即可计算出摄像机内参数，荠可利用反投影 法优化求精。 1 3 3 三维重建技术的发展概况 近年来国外出现了一些较为成功的三维重建系统。其中比较早的是1 9 9 1 年t o m a s i 和k a n a d e 等在假定摄像机为正交投影模型的前提下，利用仿射分解的方法解出了三维 结构和摄像机运动【l 。该系统使用基于光流的跟踪器技术( t r a c k e r ) 来解决特征点的匹 配问题。但由于该系统采用的摄像机模型是正交投影模型，这种模型只有当物体的深度 远大于物体的尺寸时才合理，因此有一定的局限性。z i s s e r m a n 等在1 9 9 6 年完成的视觉 导航系统利用了分层重建的思想社”，即首先对图像序列做射影重建，再将射影重建逐步 提升到仿射重建和欧氏重建。 1 9 9 6 年d e b e v e c 和t a y l o r 等完成了著名的建筑物重建系统f a c a d e 川。该系统要求 首先得到建筑物的粗略几何模型和摄像机运动参数，然后将建筑物的几何模型反投影到 图像上与实际图像作比较，通过减小反投影误差最终计算出建筑物的精确三维结构。为 增强视觉效果，该系统还使用了基于视点的贴纹理技术( v i e w d e p e n d e n t t e x t u r i n g ) 。该 系统的不足之处存f 需要预先得到建筑物的几何模型，而l l 建筑物的几何结构不能太复 杂。其厉在1 9 9 8 年，hy s h u m 等提出了一种人机交互式藿建系统【2 “，可以从一组全景 幽q ，恢复出i 维结构或者将场景表示成一一系列按深度划分的分层l s p r i t e ) 的集合。 4 东北走学硕士学位论天第一章绪论 浚系统不需要做图像问的匹配。但要求用户在重建过程q ，交匾式地确定场景中的一些儿 何约束，如共面、平行、垂白：等。同年，f a u g e r a s 等的系统利用分层重建、自标定等疗 法从图像序列中重建出了建筑物2 孙，在他们的系统中，考虑了建筑物的特殊性，主要利 用建筑物二的已知点、已知角度和平行线等物理信息标定摄像机，并将待重建场景用多 面体来表示。与此同时p o l l e f e y s 等提出的物体表面自动生成系统运用了叮变内参数下的 摄像机自标定技术2 “。该系统仅要求手持摄像机围绕物体拍摄系列图像，即可自动实 现自标定和分层重建。 1 4 选题背景 随着现代制造业的发展，过去传统的测量方式已经不能满足高精度制造及加工工业 发展的需要。i , l k 产品如模具外形、发动机外壳、汽车外形等的三维数据高精度获取， 己成为人们在测量领域+ 个新的重要的研究方向。其对加工数据设计、加工结果的检验、 产品对比分析以及对后续的加工提供数据依据都具有重大的现实意义。因此如何能够大 量、快速、高精度地对加工产品的一i 维数据进行采集成为现代加工工业中一个亟待解决 的重要问题。 计算机立体视觉中的双目视觉原理可以根据已完成特征点匹配的序列图像来确定 被拍摄的待测对象的三维信息并对其进行三维重建。近年来，立体视觉技术得到了快速 的发展，相对于传统的接触式测量技术相比，它具有非破坏性、检测速度快、测量精度 高等优点，被广。泛的应用在三维测量技术中。 1 5 研究思路 特征点匹配问题是本文研究的核心问题，奉文根据现代测量技术的发展的要求，针 对3 d 轮廓测量技术的需求，以m a r r 视觉理论为基础，对工业产品三维重建中的特征点 提取和匹配闯题的关键问题迸行了研究，分析了各种图像特征点的提取算法和立体匹配 方法。在实现过程中，奉文应用了种四阶段的匹配算法，可自动完成特征点的提取和 匹配。提取s u s a n 角点作为特征点，经过狄度相关、松驰迭代、最小中值法和视羞梯 度约束得到一个比较精确的对应的匹配点对集合。 针埘工：l k ； l fl - t ”出现的表面光滑的产+ 品的特征点难以提取及匹配问题，本文提出j 一种有别f 传统的光栅投影的新的结构光匹配思路。对要进行j i 维重建的物体表衙进行 i 父定的罔案的投射，使能够在碌宋没= f i 特征点或特 i | l 点f ：! j j ! t a ( f j 物体表面传测m 填有定 东北大学硕士学位论文 第一章绪论 规律的特征点。这样就把问题转化为一般的特征匹配问题。由j 二葙投射结构光时可以设 定光的规律，这样就可以针对其规律编写特定的匹配算法来实观提高速度和匹配准确率 的目标。特征点匹配阶段通过提取立体图像的s u s a n 角点作为特征点，经过初始相关 匹配、松弛迭代匹配、视差约束、匹配向量修正等步骤来实现匹配。 1 6 论文结构 全文共分七章，章节安排和主要内容如下： 第一章绪论：主要介绍了m a r t 的计算机视觉理论，国内外在立体视觉方面的研究 现状以及本文研究的选题依据、研究思路和主要内容。 第二章摄像机模型和基础矩阵：主要介绍了摄像机成像模型、对极几何关系、基础 矩阵等立体视觉的基本理论。 第三章摄像机标定：综述了摄像机标定技术，介绍了几种传统标定和自标定算法， 并对本文所使用的张氏平面模板标定法做了详细阐述。 第四章图像的特征点提取：首先介绍了s u s a n 角点的概念，然后分析和介绍了角 点检测在程序中实现方式。 第五章基于坎度值的特征点匹配：主要分析了在匹配过程各阶段中所使用到的几种 算法，以及在程序中实现方法。 第六章基于结构光方法的匹配：、e 要介绍了一种新的结构光匹配方法，其中包括它 的投影图案的编码方式以及针对投影特点的角点检测和匹配方法。 第七章总结与展望：总结了全文的研究工作，并对系统的进步完善和未来的研究 方向进行了探讨。 东北大学硕士学位论文第二章摄像机模型和基础矩阵 第二章摄像机模型和基础矩阵 2 1 引言 给计算机视觉系统提供3 d 空问信息的基本传感器摄像机，本章将通过介绍在立体 视觉理论中与三维测量和重建相关的摄像机模型和对极几何知识来解释如何使用2 d 图 像信息对3 d 空问信息进行测量。 在这里摄像机模型是用来表示摄像机拍摄的图像上点与空间物体表面相应点的位 置的相互关系的模型，模型的参数称为摄像机参数。其中内部参数描述摄像机的内部光 学和几何特性，外部参数刻画摄像机坐标系相对于世界坐标系的位置和方向。对极几何 则描述了对于空间同一物体，同一摄像机在不同位置拍摄的两幅图像之间满足的几何关 系，这种关系常被用来在匹配过程中构成约束。基础矩阵是这种几何关系的数学表示。 2 2 图像坐标系、摄像机坐标系与世界坐标系 图像坐标系是用来表示摄像机所拍摄图像上的点伉置的坐标系。在计算机中，图像 是以m n 的二维数组的形式存储的，图像坐标系“一v 也是以像素为单位的，像点的像 素坐标( 虬v ) 仅表示该点位于二维数组中的列数和行数，而没有用物理单位表示出该像点 在图像中的位置。因此，需要再建立以物理单位( 如毫米) 表示的图像坐标系。该坐标 系以摄像机光轴与图像平面的交点。为原点，。轴与y 轴分别与u 轴和v 轴平行，如图 2l 所示。 若0 ：_ 在u v 坐标系中的坐标为( ，v 0 ) ，每一像素在x 轴与y 轴上的物理尺寸为出 和咖，则在图像中任意一个像素在两个坐标系下的坐标有如下关系： x “2 _ + “n d x ( 2 1 ) v _ y 咖+ v o 用齐次坐标和矩阵的形式将( 2 1 ) 式表示成 其逆关系。- t 写为 r “11 - 1 d x 0 ”i o l l d y 【l o o 洲 f 2 2 1 东北大学硕士学位论文 第二章摄像机摸型和基础矩阵 。_ - _ _ _ _ _ - _ - - - _ _ - _ _ _ 。_ - _ 。_ 。- 。_ _ _ - _ _ _ _ _ _ - ，_ - 一 f i = 喜一 仁， 摄像机成像几何关系如图2 1 所示，点p 为空问中一点，点p 为该点通过摄像机在 图像平面的成像。其中q 一疋i z ，为摄像机坐标系，它以原点q ，为摄像机光心，z 轴 和i 轴分别与图像坐标系中的x 轴和y 轴平行，z ，轴与光轴薰合，垂直于图像平面。 光轴与图像平面的交点，即为图像坐标系的原点q 。o q 称为摄像机的焦距。 翱2 1 摄像机模型中的坐标关系 f i g 2 1t h ec o o r d i n a t er e l a t i o ni nc a i n e i am o d e l 摄像机坐标系与世界坐标系之问的关系可以用旋转矩阵尺与平移向量t 来描述，其 中旋转矩阵只用束实现坐标的平行转化，平移向量f 用来进行旋转后的两个坐标轴之问 的转化。若空间中某点p 在世界坐标系与摄像机坐标系下的齐次坐标分别为 ( z 。k z 。1 ) 7 与( ，z ，1 ) 7 ，! i ! i 】有如下关系： 东北大学硕士学位论丈第二章摄像机模型和基础矩阵 x ? r z r l x 。 匕 乙 l = m x 。 匕 z 。 l ( 2 4 ) 其中，r 为3 x 3 f 交矩阵，t 为三维平移向量，向量。0 = ( 0 ，0 ，o ) 7 ，m i 为4 x 4 矩阵。 2 - 3 线性摄像机模型( 针孑l 模型) 针孔模型是目前最常见的摄像机成像模型，它简单实用而不失准确性，在计并丰j 【视 觉研究中被广泛使用。如图2 1 ，视点为d c ，空问点p ( x 。，匕，z 。) 在摄像机坐标系下的 坐标为( ，l ，乙) ，在图像上的投影位置p ( x ，y ) 为连线q p 和图像平面的交点，它们满 足如下的透视投影几何关系： 仁等一譬 s ， 乙 。 z r 用齐次坐标与矩阵可以将( 2 5 ) 式表示为 h 厂 乙：剖 x j y 。 乙 1 ( 2 6 ) 将( 2 3 ) 式l j ( 2 4 ) 式代入( 2 6 ) 式，就得到空间点尸的齐次坐标( x 。，匕，z 。，1 ) 7 与其投影 点p 的齐次坐标( “，v ，1 ) 7 的关系，如( 2 7 ) 式所示 f u l i d x0 i t 计 。01 邮 沁 x 。 y 。 z 、 1 x 。 j ，。 乙 i 瓦 y 。 z 。 1 r = 一 尺矿 。l -_-_，_-|-_l o 0 o o o厂o d r 旷 l 1，j o o o o q 0 o o r，l r = 0 东北赶学硕士学位论文 第二章摄像机模型和基础矩阵 = k a x 。= m x ， ( 2 7 ) 其中，a ，= ，出，a ，= f d y ，m 为3 x 4 矩阵，称为投影矩阵。其中k 完全由a ， a ，v o 决定，而a 。，n 一“。，v o 只与摄像机内部结构有关，称为摄像机内部参数； a 完全由摄像机相对与世界坐标系的方位决定，称为摄像机外部参数。摄像机标定的过 程就是求解摄像机内、外部参数的过程。 2 4 + 对极几何和基础矩阵 在2 2 节关于世界坐标系与摄像机坐标系的转换关系中提到，同世界坐标系下的 同一物体的图像问存在一种几何上的对极约束关系。在立体视觉中，可以利用图像点的 匹配来恢复这种几何关系，反过来，可以利用这种几何关系来约束匹配，使得对应点的 搜索范围由二维平面降低到对应一维极线，使得匹配的正确性、精度都得到很大提高。 对极几何关系在数学上可以用基础矩阵f 来表示，因此，对极几何问题就转化为对 基础矩阵f 的估计问题。精确地计算f 对于摄像机参数的标定、特征点的匹配和进行三 维重建都十分重要和关键。 2 4 1 对极几何 由两个照相机拍摄出的相同空问对象的两图像间的对极几何关系如图2 2 所示。c ， c + 分别为摄像机在不同视点的光心位置，c 在第一个像平面i 上的投影为p ，c 在第二 个像平面，上的投影为8 ，e ，p 称为极点，像平面( i ) 上通过点e 0 的直线称为极线。 p 幽2 2 晡i 图像阔的对极儿何关系 f i g2 2e p i p o l a rg e o m e t r yr e l a t i o nb e t w e e nt w oi m a g e s z 十扳j l 约求的表述如卜i ：像、f 嘶， 点1 1 1 ，它在像、h m ， 的匹配l i 。必位 j 0 东北大学硕士学位论文 第二章摄像机模型和基础矩阵 于极线几上；类似的，。像平面上任一点m ，它在像平面，上的匹配点m 必位f 极线m 上。 2 4 2 基础矩阵 在射影空问，像平面上的直线，可用射影坐标，来表示。令点m 与脚的极线j 。与，。 的射影坐标为与f 。，则z 。与m 之间满足一个线性变换： ，。= f m ( 2 8 ) f 是一个秩为2 的3 3 矩阵，称为基础矩阵，它是两幅图像之间对极几何关系的代 数表示。 因m 的匹配点m 在极线，。上，故有 m ”f m = 0 ( 2 9 ) 基础矩阵有下述基本性质： ( 1 ) f 为基础矩阵当且仅当f 满足( 2 9 ) 式且r a n k ( f ) = 2 ： ( 2 ) 极点e 满足f e = 0 ，极点e 满足f 7 e = 0 ： ( 3 ) f 在相差一个非零常数因子的情况下是唯一的。 2 5 基础矩阵的求解 鉴于基础矩阵在立体视觉中的重要作用，对它的精确估计已成为研究中的一个重 点。1 9 8 1 年，l o n g u e t - h i g g i n s 提出了八点算法2 ”，该算法是线性的，虽易于实现，但 对噪声却非常敏感，难以在实际中应用。1 9 9 2 年，f a u g e r a s 提出了基于二小平面的算法 【3 0 】，其稳定性和精度较八点算法均有提高。不久，h a r t l e y 提出了改进的八点算法川， 浚算法通过在计算前对二维数据进行规范化处理( 平移和尺度变换) 来减少噪声干扰，其 结果与最好的迭代法不相上下。其它用到的算法还有m 一估计法( m e s t i m a t o r s ) 、最小 中值法( l m e d s ) 等，其共同点就是把问题最终归结为无约束最优化问题，而存求取最 优解时一般都采用r 最小一乘法。 2 5 1 八点法求基础矩阵 原珲如f ：对于两幅图像之间的匹配点和”r ，它们满足对极约束m 7 砌= 0 ，该 方程是天j ：f 的9 个未知参数的线陀齐次方样，j fz 二卡著个常数因f 的意义f 魁 东北走学硕士学位论文 第二幸摄像机模型和基础矩阵 到8 对匹配点，就可以线性地确定f ，这就是八点算法f8 - p o i n t sa l g o r i t h m ) ，下面许细 设= 阻vl 】7 ，m = 阻v 1 7 分别是两图像中对应像点的归一化坐标，f 为琏 f i正六1 础矩阵则锄7 0 钳2 匕至对淞写成峪元素组成的剜矢且耽。 五五i 即厂= 五工正五兀 五五r ，则对每对匹配点( m ，州) ，有 【“2 k w 。y “vl 】，= o ( 2 1 0 ) “l “l “i h 。“1u “1 v l u v l “i v 1 1 爿：i ! ；i； ；l ( 2 1 2 ) i l v “v z v 1 j 因子。为了避免出现多余解，加个约束条件j l f l 1 ，! l ! i j f 就是a r a 的最小特征值所对 v = i v i v 2bv 4 v 5 k 】，则，= v o ，从而求出f 。 2 5 2 h a r t l e y 的改进的八点法 f 的秩为2 时求得的解可能并4 i 满足要求的两个问题。h a r t l e y 1 对此做了改进，提出了 “。= ：妻“，吒= j 考套；c “，一“。， c zt ， 东北欠学硕士学位论文第二章摄像机模型和基础矩阵 同样对“，v 也做类似地计障。令7 1 ：l 0 1 l 吼 l 0 0 1 盯。 o i j t 类似地定义r 。令 m = t m ，= t m ，则由有m ”f m = 0 有 m t 一7 f r m = m 7 f t n = 0 ( 2 1 4 ) 求得f 。后，根据f = t ”f r 即可得f 。