（电路与系统专业论文）基于sift特征的多视图三维重建.pdf

摘要 摘要 客观世界的物体是三维的，而我们用摄像机获取的图像是二维的，但是我们 可以通过二维图像感知目标的三维信息。从图像中得到真实场景的模型是计算机 视觉的重要研究内容之一，通过重建出目标的三维模型，就可以对目标进行定量 分析以及处理目标的相关信息。三维重建技术被广泛的应用于医学成像、机器人 导航、虚拟现实、地形勘探等领域。 特征的提取与匹配对于三维重建有着至关重要的作用。本文通过对s i f t 、 h a r r i s 、s u s a n 这三种特征提取算法以及与之对应的特征匹配算法进行对比分析， 并通过实验结果证明了s i f t 特征匹配算法与h a r r i s 、s u s a n 特征提取与匹配算法 相比具有优越性。根据匹配对受极几何约束的原理，于是我们对s i f t 的匹配算法 进行改进，这样既能提高匹配的准确率又能提高匹配效率。 本文提出了一种基于已标定摄像机的多视图欧氏重建算法，该算法是以两视 图重建技术为基础，这样会得到多组三维点。每个三维点对应于不同视图的唯一 的二维点，基于这一原理，就可以建立多组三维点的对应关系，从而完成多视图 的欧氏重建。 本文提出的多视图欧氏重建算法简单易实现。多组实验结果证明该方法能较 好的恢复目标的原貌。 关键词：特征提取三维重建计算机视觉摄像机标定 a b s t r a c t a bs t r a c t w eo n l yg e t2 di m a g e sb yc a p t u r i n g3 do b j e c t si nt h ew o r l d ，b u tw ec a l ll e a r n3 d i n f o r m a t i o no fo b j e c t sf r o mi m a g e s g e t t i n g3 dm o d e l so fo b j e c t si so n eo ft h em o s t i m p o r t a n tf i e l d so fc o m p u t e rv i s i o n w ec a na n a l y z ea n dp r o c e s sc o r r e s p o n d i n g i n f o r m a t i o no fa no b j e c tb yr e c o n s t r u c t i n gi t s3 dm o d e l ，w h i c hh a sb e e nw i d e l ya p p l i e d i nm e d i c a li m a g i n g ，r o b o tn a v i g a t i o n , v i r t u a lr e a l i t y , t o p o g r a p h i c a lr e c o n n a i s s a n c e f e a t u r ep o i n t sd e t e c t i o na n dm a t c h i n ga r ev i t a lf o r3 dr e c o n s t r u c t i o n w eh a v e m a d ec o m p a r ea m o n gs c a l ei n v a r i a n tf e a t u r et r a n s f o r m ( s i f t ) ，h a r r i s ，s m a l l e s t u n v a l u e ds e g m e n ta s s i m i l a t i n gn u c l e u s ( s u s a n ) ，a n da n a l y z e dt h e i rc a p a b i l i t i e so f c o n s e r v i n gs p a t i a ls t r u c t u r e sa f t e rm a t c h i n g m a n ye x p e r i m e n t sh a v ep r o v e dt h a ts i f t a n di t sm a t c h i n ga l g o r i t h ma lep r i o rt oh a r r i sa n ds u s a na sw e l la st h e i rm a t c h i n g a l g o r i t h m s b e s i d e s ，w eh a v ei m p r o v e dm a t c h i n ga l g o r i t h mo fs i f tb a s e do nt h ef a c t t h a tm a t c h e dp o i n t sa leu n d e rt h ec o n s t r a i n to fe p i p o l a rg e o m e t r y , w h i c hc a ni m p r o v e t h ea c c u r a c yo ff e a t u r em a t c h i n ga n dm a k et h em a t c h i n ga l g o r i t h mm o r ee f f e c t i v e t h i sp a p e rp r e s e n t sam u l t i v i e wr e c o n s t r u c t i o na l g o r i t h mb a s e do nc a l i b r a t e d c a m e r a s t h ea l g o r i t h mi sb a s e do nt h et w o v i e wr e c o n s t r u c t i o n , s ow ew i l lg e t m u l t i g r o u p3 dp o i n t s t h ef a c tt h a te v e r y3 dp o i n tr e l a t e st ot h eo n l y2 dp o i n tf r o ma d i f f e r e n tv i e wc a r lh e l pu sf i g u r eo u tt h ec o r r e s p o n d e n c e sa m o n gd i f f e r e n tg r o u p so f3 d p o i n t s ，a n dt h e nm u l t i v i e w3 dr e c o n s t r u c t i o nc a nb ea c h i e v e d t h en e w a l g o r i t h mo f3 dr e c o n s t r u c t i o nb a s e do nm u l t i v i e wi se a s yt oi m p l e m e n t s e v e r a le x p e r i m e n t sr e s u l t sp r o v et h a to r i g i n a la p p e a r a n c eo fo b j e c tc a nb er e g a i n e d b e t t e r k e y w o r d s ：f e a t u r ed e t e c t i o n t h r e e - d i m e n s i o n a lr e c o n s t r u c t i o n c o m p u t e rv i s i o n c a m e r ac a l i b r a t i o n 西安电子科技大学 学位论文独创性( - q - - 3 t 创新性) 声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名： 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再撰写的文章一律署名单位为西安电子科技大学。 本人签名：至超 导师签名：刁2 幽 第一章绪论 第一章绪论 1 1 论文的研究背景 客观世界的物体是三维的，而我们用摄像机获取的图像是二维的，但是我们 可以通过二维图像感知目标的三维信息。我们从二维图像仅能观察到客观目标的 某个角度信息，如果需知道某场景具有空间感的结构信息，那么单一的从图像来 读取信息的话，我们得到的信息是不充分的，片面的。因此如何获取场景的三维 信息是一个重要的问题。 三维重建技术是以定的方式处理图像进而得到计算机能够识别的三维信 息，由此对目标进行分析。从图像中得到真实场景的模型是计算机视觉的重要研 究内容，通过重建出目标的三维模型，就可以得到数字化的三维数据，这些都具 有较高的应用价值和广泛的市场前景。一个完整的三维重建系统通常包括特征匹 配、摄像机标定、三维重建三个部分。特征匹配是建立特征之间的对应关系，将 空间的同一特征( 点或线) 在不同视图中的映像对应起来。空间中的点与二维图像上 的点之间的对应关系是由摄像机的成像模型决定的，而通过计算来确定成型模型 的过程，就是摄像机标定。三维重建目的是为了恢复景物完整的结构信息。 自2 0 世纪8 0 年代以初形成的m a r t 计算框架，以及随后发展的其他计算理论 框架，使得人们相信通过计算手段能通过二维图像来感知三维信息【l 】。计算机能够 生成一个逼真的三维世界给观众如同真实世界的体验。基于两视图的三维重建是 计算机视觉的一个研究热点。由于受拍摄角度、提取特征的精度约束，基于两视 图的三维重建结果不尽人意，并不能充分的展现出场景的结构。一般来说，拍摄 场景的角度越接近越多，我们从图像中读取的信息就越多越充分，那么重建的效 果就越好。因此，多视图的三维场景重建就能很好的解决这一问题。以摄像机标 定与否的角度来说，多视图的三维重建分为两类：基于已标定的摄像机的重建与 基于自标定的摄像机的重建。基于自标定的摄像机的三维重建工作可在环境未知 的场景下进行重建工作，比较灵活，但是重建的精度不够，这主要是因为摄像机 自标定出的摄像机参数精度不够引起的。而基于已标定的摄像机的三维重建工作 在环境已知的场景中有比较好的重建结果。本文依托国家某8 6 3 项目，该项目是 在无线传感网络环境下，完成视频的获取与表达。本文主要完成基于多个视角拍 摄的二维图像获取目标物的三维点图从而表达感兴趣目标的多方位信息。在本项 目中，我们需在已知静止的环境下精确的得到感兴趣目标的三维重建结果，比较 注重重建的精度，因此采用基于已标定摄像机的重建方法。 2 基于s i f t 特征的多视图三维重建 1 2 国内外研究现状 近年来三维重建技术成为我国医学研究领域的新热点，利用三维重建技术，在 c t 、m 或d s a 影像指导下，可进行各种脑部手术脑血管疾病、脑血管造影手 术。三维重建技术是计算机视觉领域中一个关键技术，涉及到计算机图形学、图 像处理、虚拟现实等研究领域。 一个完整的三维重建系统主要包括三个大方面：特征的选择与匹配、摄像机 标定、三维重建。图像特征已成为计算机视觉方面的基础并且重要的技术，它应 用于图像融合，场景分析，图像匹配，目标识别，三维重建等方面。 特征提取与匹配是三维重建技术中一个重要分支。提取特征的精度与特征匹 配的正确率在一定程度上影响着三维重建的效果。现有的几种比较常见的特征提 取算法如s u s a n ( s m a l l e s tu n v a l u e ds e g m e ma s s i m i l a t i n gn u c l e u s 同核化分割最小 值) 特征提取算法1 2 】、h a r r i s 特征提取算法1 3 】、以及s i f t ( s c a l ei n v a r i a n tf e a t u r e t r a n s f o r m ) 特征提取算法【4 】等。s u s a n 特征检测算法是由s m i t hs m 在1 9 9 7 年提 出的，采用圆形模板在整幅图像中滑动，若模板中某个像素的灰度值与模板中心 像素的灰度值的差小于某个阈值，则认为两点为同值，选择由满足这样条件的像 素组成的区域面积的最小值。s u s a n 算子的优点是抗噪能力强，但是图像边界模 糊时，s u s a n 算法会提取出虚假的角点。h a r r i s 特征检测算法是c h a r r i s 与j s t e p h e n s 在1 9 9 8 年提出的一种点特征提取算子。该算法通过计算每个像素的梯度， 选择两个方向的梯度都为最大值点为h a r r i s 角点。h a r r i s 特征检测算法是比较经典 的特征点检测算子，能够提取结构信息较强的角点。s u s a n 与h a r r i s 算子提取的 特征都是像素级的，即提取的特征不能满足精度的要求，那么必然会对特征匹配 有一定的影响。d a v i dgl o w e 在2 0 0 4 年总结了现有的特征点提取算法，总结出一 种对于图像尺度变换和旋转的保持不变，甚至不受光照和拍摄角度变化的特征提 取算法- s i f t 算法。文献 5 从尺度变换、仿射变换、光线变化等方面对s i f t 、h a r r i s 等算子进行了比较，得出s i f t 算子是一种对于对图像缩放、旋转、亮度变化甚至 仿射变换保持不变性的特征提取算法。因此，可以说s i f t 是一种较优的特征提取 算法。 现有的摄像机标定方法一般可分为：传统的摄像机标定与摄像机的自标定两 种类型【6 1 。传统的摄像机标定方法是在已知的、静态的环境下，采用标定块进行标 定。其优点是可以使用于任意的摄像机模型，标定精度高。其不足之处是标定过 程复杂，需要精确的已知结构信息。因此在实时处理系统中，并不常用该方法。 摄像机自标定是指不需要标定块，仅仅通过图像点之间的对应关系对摄像机 进行标定的过程。其优点是可以应用于不同的场合，灵活方便，但其精度不高， 第一章绪论 鲁棒性不足。因此，采用何种标定方法依赖于其应用领域及其精度要求。 基于图像的三维重建技术与摄像机标定技术息息相关，可分为基于摄像机参 数已知的重建和基于摄像机参数未知的重建工作，这两者之问的区别与摄像机标 定与否有关。前者在已知的、静态环境下的重建效果较好，而后者在环境未知的 情况下也可进行三维重建，比较灵活，但重建的精度要逊于前者的重建结果。现 有的重建技术大多是摄像机未标定的多视图重建【7 - 9 】和基于已标定摄像机的两视图 的欧氏重建。对于摄像机已标定的多视图欧氏重建未曾涉及，因此本论文着手解 决这方面的工作。 1 3 1 研究内容 1 3 本文的主要工作及章节安排 三维重建技术是对图像进行处理得到目标的三维信息，由此对目标进行定量 分析。三维重建系统包括特征的选择与提取、摄像机标定、极几何理论这三方面 的内容。本文主要研究以下几个方面的内容。 1 特征的选择与提取匹配 现有点、线、面三种特征类型，对于不同的应用场合来说，应选择合适的 特征类型。除此之外，特征提取与匹配是一个比较重要的内容，是三维重 建技术的前提。在某种程度上，提取的特征结构性强、稳定，匹配的正确 率高，重建误差就越小，这样重建效果就越好。 2 匹配算法的改进 多数匹配算法如最近邻匹配算法、归一化互相关匹配技术等都是对每一待 匹配的特征在整个数据库中的特征进行搜索计算，这样效率低下，并且有 大量错配。由于匹配对受外极几何约束，我们基于此原理对s i f t 特征匹 配算法进行改进，在提高匹配速度的同时剔除错误匹配点。 3 多视图欧氏重建 基于已标定摄像机的图像序列的重建是欧氏重建。现有多视图重建技术 大多是基于未标定的摄像机的重建工催n2 1 ，有的是基于分层重构的思想 的重建【9 】，而有的基于因式分解的方法的重建【7 8 】，这两者都是在得到射 影重建后，再通过迸一步的计算升级到欧氏重建。这个过程中涉及摄像 机自标定、分层重建等，这些都会引入较大误差。而基于已标定的摄像 机的重建并不包括未标定摄像机重建所引入误差的因素，因此重建误差 相对较小。我们着手解决重建误差的问题，那么基于已标定摄像机的多 视图重建是解决此问题的一个方法。 基于s i f t 特征的多视图三维重建 本论文依托国家某8 6 3 项目，主要完成设计一个三维点图绘制系统，即通过 无线局域网来获取一组目标的图像，并将拍摄目标的表面信息采用三维点图的方 式表现出来。 系统的构成示意图如图11 所示：整个系统由一台服务器、多个摄像机及其 配套传输设备组成，采集到的图像数据通过无线局域网来传播。 系统启动时首先会获取摄像机的设备信息，为进一步的工作准备。当用户 需要获得某一目标的三维点图时，系统将通过无线局域网，从摄像机中获取拍摄 目标的一组图像，然后使用有关的算法对图像进行处理，最终获得拍摄目标的三 维点图，并将其显示在程序界面上。 臀臀臀露释 f|、 、+夕夕 羽 ：。” 圈1 1 系统构成示意图 第章绪论 1 3 2 章节安排 图1 2 系统工作框图 论文结构安排如下： 第一章为绪论部分，主要介绍了论文的研究背景，论文研究方向的国内外研 究现状以及各章节的内容安排。 第二章主要介绍三维重建相关的理论。包括计算机视觉中的特征提取与匹配、 摄像机标定以及三角测量原理等基本理论与方法。 第三章主要介绍了s i f t 特征提取算法、h a r r i s 特征提取方法和s u s a n 特征 提取算法以及它们对应的匹配算法，并对实验结果进行分析。 第四章详细阐述了基于两视图的三维重建技术，以及采用对极几何理论解决 图像特征点匹配率的问题，并提出了特征匹配算法改进思路。 第五章介绍了基于多视图的三维重建技术，并详细介绍了多视图重建存在的 问题以及多视图间的特征匹配问题。在本章末给出重建场景的效果图。 第六章对本文研究工作进行了总结，指出了解决方案的仍待完善的部分内容， 并对下一步的研究工作做出了展望。 第二章三维重建相关理论 7 第二章三维重建相关理论 一个完整的立体视觉系统包括：特征的提取与匹配、摄像机的标定、三维重 建理论。特征提取与匹配、摄像机的标定是三维重建的基础，为了便于理解后续 章节的内容，本章主要讲解这三方面的基础知识。 2 1 特征提取与匹配 特征的提取与匹配是三维重建技术的比较基础的一项内容。提取特征的精确 度以及匹配的正确率在极大程度上决定了三维重建的成功与否。现在有多种特征 类型，但是采用何种匹配算法依赖于所提取特征的类型。 2 1 1 特征类型 图像的特征是指图像最引人注意、显著的特征，在不丢失多数重要信息的情 况下，一般可以通过图像的特征了解图像内容。现有的特征类型从大的方面来分 有点、线、面三种。 常见的点特征提取算法有s i f t 特征提取算法、h a r r i s 特征检测算法、以及 s u s a n 特征检测算法等。点特征常用于目标检测、图像拼贴、目标跟踪等方面。 线特征是指图像中比较明显的线段，我们可通过线特征判断图像的内容。如 目标的轮廓、桥梁的边缘等。边缘一般处于图像中灰度变化明显的地方，因此可 通过对图像点进行微分来确定边缘。常见的线特征提取算子有c a n n y 算子、s o b e l 算子、l a p l a c e 算子等。 面特征则是图像中比较明显的区域，作为图像的主要内容体现。一般采用分 割的方法提取。 2 1 2 特征匹配 特征匹配与特征提取是相辅相成的，依赖于所提取的特征类型，是计算机视 觉中的一项重要内容。因此根据不同的应用环境及需求选择合适的匹配方法。 目前，图像的特征匹配研究主要有基于灰度的匹配方法和基于特征的匹配算 法。基于灰度的匹配方法是用以一幅图像中以特征为中心的一个窗口在另一幅图 像中进行搜索匹配。典型基于灰度的匹配算法如归一化互相关技术【l3 ，1 4 1 。基于特 征的图像匹配算法一般先要提取点特征，常用的匹配算法有l o w e 提出的s i f t 特 8 基于s i f t 特征的多视图三维重建 征匹配算法。 特征的提取与匹配被广泛的应用于三维重建p - 9 、图像融合、机器人导航1 5 , 1 6 1 、 目标识别【1 7 19 】等方面。 2 2 摄像机标定 摄像机标定是计算机视觉中一个重要的问题。图像上每一点的亮度与物体的 某个表面点的反射光的强度有关【2 0 】。图像上的这些点与空间物体表面点的相互关 系，由摄像机成像几何模型所决定，该几何模型的参数称为摄像机参数。通过实 验和计算决定摄像机参数的过程称为摄像机标定。 现有的摄像机的定标技术大体可归结为两类：传统的摄像机定标技术和摄像 机的自标定方法【6 j 。 传统摄像机标定的方法是在静止环境下，基于特定的实验条件如形状、尺寸 已知的物体，我们称之为标定物。利用一系列数学变换和计算方法，求取摄像机 模型内参和外参。按照计算摄像机参数的方法可以分成线性方法【2 1 1 、非线性优化 法、两步法圈、双平面方法【2 3 1 、张正友标定法【2 4 1 等。 传统的摄像机标定法是在摄像机前放置一个形状与尺寸已知的标定块，但是 在某些视觉系统中，需要经常调整摄像机的位置与摄像机光学系统，这样每次就 得重新标定。对于某些实时系统来说无法满足实时性要求，此时就需要一种不依 赖标定块的方法。 摄像机自定标是不需任何标定物，仅利用摄像机在运动过程中周围环境的图 像与图像之间的对应关系求解摄像机参数的方法。目前已有的自标定技术可以分 为利用绝对二次曲线和极线变换性质解k r u p p a 方程的摄像机自标定方法l z 5 1 、基于 主动视觉的摄像机自标定技术【2 6 2 7 1 ，分层逐步标定法【2 8 】等。 传统的摄像机标定方法标定精度高，但只要调整摄像机位置就需重新标定， 工作比较繁琐；摄像机自标定相对于传统方法有更好的灵活性和实用性，但标定 精度不如传统方法的精度高。 2 3 1 立体视觉基本原理 2 3 立体视觉 立体视觉的基本原理是从两个或多个角度观察同一目标，获取不同视角下的 信息，通过三角测量原理计算图像像素间的位置偏差( 即深度信息) 来获取景物的 三维信息。 第二章三维重建相关理论 9 p 图2 1 立体视觉的基本原理图 基本原理如图2 1 所示，p 为空间任意一点，a 、办分别为点p 在摄像机g 、 c 上的成像点。如果只用摄像机c l 观察p 点，我们无法得到p 点的深度，因为在a 尸 连线上的任意一点尸的图像点都是a 。但是如果用c 1 、c 2 两个摄像机同时观察点 p 时，p 点既在直线o l e 上5 乙在于直线d p 上，即p 点是直线q 尸和q 尸的交点它 的三维位置是惟一确定的。 2 3 2 三角测量原理 以图2 1 为例，假定摄像机c 1 和c 2 已经标定，它们的投影矩阵分别为m i ， 鸠，空间点p 在c 1 和c 2 图像平面的坐标分别为见( ，h ) ，p 2 ( u 2 ，吃) ，于是有 幺件 l j h z c 2v 2i _ ( 2 - 1 ) ( 2 - 2 ) 其中( ，啊，1 ) 和( “2 ， 1 7 2 ，1 ) 分别是p 在各摄像机图像齐次坐标，( x ，】，z ，1 ) 为p 点在世界坐标系下的齐次坐标。砖( 七= 1 ，2 ；i = 1 ，3 ；j = l ，4 ) 分别是鸠的第i 行 第，列的元素。由式( 2 一1 ) 和式( 2 - 2 ) 消去蟊或历2 ，得到关于x ，y ，z 的四个线性 方程： x y z 爿y z 4 1 2 如硝咄砖观珐咄碗破破哺咄噱 碱以砖稚吃砖 旌畦砖 2 n 2 劲2 引啸砖届 1 0 基于s i f t 特征的多视图三维重建 ( 硝。一卅，) z + ( 均叫：一碗) 】，+ ( 叫。一硝) z = 硝一砖 臻二熏：2 羔= 豁慧毫麓曩 弘3 ， ( “：商一商) x + ( ”：板一唬) l ，+ ( “：砖一砣) z = 玩一砧：砖 p 吖 ( 心商一肌刍) x + ( 吃砖一朋杰) l ，+ ( v 2 砖一砖) z = 呢一吃喊 式( 2 - 3 ) 为包含zlz - - 个变量的4 个方程，任取其中三个方程则可以解出咒n z ，因为n 和见对应空间同一点p ，所以直线d 1 a 和d 2 见一定相交，或者说四个 方程只有一个唯一解，这四个方程中只有3 个独立方程，我们可以用最j - - 乘法 求得x ，y ，z 。 第三章特征提取与匹配的对比分析 第三章特征提取与匹配的对比分析 图像的特征是指图像中能比较充分的表达图像内容的点、线或者面特征。采 用特征点来表达图像内容能大大减少存储图像的空间以及图像处理的运算速度。 特征的提取与匹配是计算机图形学的重要研究内容，被广泛的应用于目标识别、 目标跟踪、机器人导航、全景图的生成、图像融合等方面。 3 1s i f t 特征提取与匹配算法 s i f t ( s c a l ei n v a r i a n tf e a t u r et r a i l s f o m ) 算法【4 】是d a v i dgl o w e 在2 0 0 4 年提出 的一种对于图像尺度变换和旋转的保持不变，甚至不受光照和拍摄角度变化的特 征提取算法。 3 1 1s i f t 特征提取 分 计 检精配算 测确特特 极极征征 值值 主 描 点 占 方述 向符 图3 1s i f t 特征提取流程 如图3 1 所示，s i f t 算法经过上述四个步骤之后得到的一组n x l 2 8 维( n 为特 征点的数目) 的特征描述符。下面我们将详细的介绍s i f t 特征提取算法。 1 尺度空间的极值检测 尺度空间的极值检测就是在整个尺度和整幅图像中寻找对于尺度变化保持不 变的潜在极值点。该步骤涉及两个概念：高斯金字塔与d o g ( d i f f e r e n c eo f g a u s s i a n ) 金字塔。高斯金字塔是指不同尺度因子的高斯函数与图像卷积而得到的一系列图 像。d o g 金字塔则是由高斯金字塔中相邻尺度的高斯图像的差分图像构成。高斯 金字塔与d o g 金字塔构造参考图3 2 。为了提高极值检测的速度，我们选择在d o g 空间中进行的极值检测以确定特征点的位置和所在尺度。 l ( x ，y ，6 ) = g ( x ，y ，6 ) i ( x , y ) ( 3 - 1 ) 萋于s i 订特征的多视图三维重建 其中g ( 只a ) = 丢7 。2 0 2 为高斯卷积核，7 ( 以y ) 为荻度图像。5 是尺度 因子，其值越大则表示该图像被平滑的越大，反之则被平滑的越小。上“弘d ) 是 高斯图像，取不同倍数的5 所生成的一系列高斯图像我们称之为高斯金字塔。“ 一般取2 ) d ( x , y ，d ) = ( g ( x ，y , k 口) - g ( x , y ，j ) ) + l ( x ，y ) = z ( x ，y ，舾) 一l ( x , y ，d ) ( 3 - 2 ) d o g 金字塔是由高斯金字塔中相邻尺度的高斯图像相减而得，如图3 2 右所示。 图3 2 高斯金宇塔与d o g 金字塔 图33 、圈34 所示的分别为高斯金字塔与d o g 金字塔，周一层的图像我们称之 为一个o c t a v e ，同- - o c t a v e 的第一幅图像我们称之为基层图像，用尺度因子为5 的 高斯核与原图卷积。第二幅高斯图像是采用尺度因子为硒高斯核与第一幅高斯图 像卷积而得。第二个o c t a v e 的基层图像是对第一个o c t a v e 的平滑尺度因子为 的 图像进行亚采样得到的，第二个o c t a v e 的其他图像是取尺度因子为硒的高斯核与 相邻图像卷积得到的。由图可看出随着尺度的增加同- - o c t a v e 的图像变得越来越 模糊。 朗3 3 高新金字塔 15ii 6tl 第三章特征提取与匹配的对比分析 圈3 4 d o g 金字塔 ，7 77 7 _ 7 一：j 簟7 j i i _ = j j 歹_ 。二! 芝堂 璺二，7 j，7 ， ，芦7 7 7 7 二：二z 熏圣甄受二7 ，j ，。t i 。 j ? 7 ，7 ， 7 闰3 5 极值点检测 如图35 所示，极值点的检测是在像素点同一层相邻的8 个像素点以及上一层和 下一层的9 个相邻的像素点总共2 6 个点进行比较，该点比这2 6 个点都大或者都小， 那么将该点是一个局部极值点，可认为是一个特征候选点并记下相应的尺度和位 置。 2 精确极值点 边缘上的点很不稳定，对噪声敏感，而具有低对比度的特征点对于噪声也比较 敏感，因此在上一步所检测到的极值点必须经过进一步的检验才能精确定位为特 征点，以达到抗噪的目的。 剔除低对比度的点 对局部极值点进行三维二次函数拟和确定特征点的位置和尺度。尺度空问函 数d ( z ，弘占) 在局部极值点( x o ，5 ) 处的泰勒展开式如式( 3 3 ) d ( 州) = d ( y o5 ) - b 警工申7 等x ( 3 - 3 ) 簿 1 4 基于s i f t 特征的多视图三维重建 ；其中x - - ( x ，y ，6 ) 7 为偏移量， 8 d 甜 8 d 叙 8 d 匆 8 d 8 6 a 2 d ? 哥一c 垤一 ( k 为当前层，k 一1 是下层，k + l 为上一层) 鱼里：! 型二二堕生二( 型二二竺：l 二! 依次类推，公式( 3 3 ) 中的一阶和二阶导 8 x 84 、 数是通过附近区域的差分近似求得。对公式( 3 3 ) 求导并令其为0 ，则得到精确的极 值位置j ，如公式( 3 - 4 ) j = 一( 等 - 1 罟 c 3 川 如果j 在任意方向上都大于0 5 ，那么说明该点不是极值点。那么极值点就改 变了，可用插值来代替该样本点。 将公式( 3 - 4 ) 带入式( 3 - 3 ) 中取前两项得到 d ( j ) - d + 三警 ( 3 - 5 ) 若l d ( 贾) l o 0 3 则保留该特征点，否则丢弃。 去除不稳定的边缘响应点 为了确保特征点的稳定性，仅剔除低对比度的点是不充分的，因为边缘处的 极值点对于噪声极为敏感，这些点也应予以剔除。高斯差分函数的峰值沿着边缘 方向有一个很大的主曲率，但在垂直于边缘的方向上曲率很小。我们通过2 x 2 的 h e s s i a n 矩阵计算主曲率，因此，可以利用这个性质剔除图像边缘上的特征点。 h e s s i a n 矩阵如公式( 3 6 ) 所示，其中的偏导数是上面确定的特征点处的偏导 数，它也是通过邻近区域的差分来近似估计的。 肚匮爱 p 6 ， d 的主曲率与h 的特征值成正比例。设a 是最大的特征值，卢是仅次于a 的特 扣一耐物一妒粕一护 粕一田粕一妒粕一铆 粕一抒粕一帆粕一弧 = 塑扩 第三章特征提取与匹配的对比分析 征值。我们仅关心的是二者的比值，并不需要单独计算出它们的值。 令y = 导，则有 p d e t ( h ) = 比一= 邵 ( 3 - 7 ) 砒：熙：坠些：娅 ( 3 - 8 ) d e t ( 日)口口y 、。 ( 当口：j 6 i 时，r a t i o 取到最小值) 常取，= 1 0 ，若阳f f d 哑，则认为该点 是边缘点，应予以剔除，否则保留该点。 。 经过精确极值点步骤，剔除了边缘点与具有低对比度的点，这样的候选特征 点抗噪性能有所提高，这样特征点会更稳定。 3 分配主方向 利用特征点邻域像素的梯度方向分布特性为每个特征点分配主方向，后面的 描述符中将会用到特征点的方向。 聊( x ，y ) = ( ( x + 1 ，y ) - l ( x - 1 ，y ) ) 2 + ( 三( x ，y + 1 ) - l ( x , y - 1 ) ) 2 ( 3 - 9 ) 日( x ，y ) = t a n 。1 ( ( ( x ，y + 1 ) - l ( x ，y - 1 ) ) ( l ( x + l ，y ) - l ( x - 1 ，y ) ) ) ( 3 1 0 ) 式( 3 9 ) 和式( 3 1 0 ) 分别是( x ，y ) 处的梯度值和梯度方向。l 为与特征点的尺度 最接近的高斯图豫。采用梯度方向直方图统计以特征点为中心的邻域窗口内各个 像素的梯度方向。梯度方向直方图的范围是0 。3 6 0 。，每l o 。一个柱，总共3 6 个柱。 我们将梯度方向直方图的峰值作为该特征点处邻域梯度的主方向。在梯度方向直 方图中，当存在一个为主峰值8 05 | ；能量的局部峰值时，则将这个方向作为该特征点 的辅方向。仅有1 5 的特征点有多个方向，但明显可以增强匹配的稳健性。 4 生成特征描述符 一 ， ， f 弋 l ， 天l _ 尹 、 声。 3 、 i ， ， ， _ k l 一 | ， i +夕 、 、 、 h 、h -。， 夕 i 一 i ，。 ， 、 、 1 “7 这 j 、 彳 1 八 ， 、 、 +4 - -气 。、i 图3 6 描述符的生成示意图 通过前面三个步骤，每个特征点有3 个信息：位置、对应尺度、方向。那么接 1 6 基于s i f t 特征的多视图三维重建 下来我们要为每个特征点建立描述符，使其不随光线、视角等的变化而变。 如图3 6 所示，中央点为当前特征点的位置，每个小格代表特征点邻域所在尺 度空间的一个像素，箭头方向代表该像素的梯度方向，箭头长度代表其梯度幅值， 图中圈内代表高斯加权的范围( 越靠近特征点的像素，梯度方向信息贡献越大) 。 采用尺度因子为o 5 倍窗宽的高斯函数为每个像素点分配权值，这样做主要是避免 在窗口处的小变化而使描述符发生较大的改变。图3 6 中所示的是2 x 2 的方向柱状 图，每个元素占用8 个方向。实验证明大小为4 x 4 的方向柱状矩阵能够得到更好 的结梨4 】。那么每个特征点的描述符为4 x 4 x 8 = 1 2 8 维的向量。在4 x 4 的子区域中， 第一维对应于第一个子区域的第一个梯度方向，第二维对应于第一个子区域的第 二个梯度方向，以此类推，第九维对应于第二个子区域的第一个梯度方向。这种 邻域方向性信息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的 特征匹配也提供了较好的容错性。 3 1 2s i f t 特征匹配 两幅图像间的特征匹配是对基准图像的特征点在待匹配图像中寻找与其有某 种关系的特征点。s i f t 特征点之间的匹配，其实是特征描述符间的匹配。 假设两幅图像在通过上述四个步骤中产生的关键点及对应的特征向量，通过 比较特征向量的欧氏距离，可以找到相互匹配的关键点对。 特征匹配的方法大致如下：将一个特征点生成的特征描述符，与数据库中的 每个特征点对应的特征向量进行欧氏距离的计算，并记录其最小距离和次小距离。 若最小距离与次小距离的比值小于设定的阈值( 通常取0 6 ) ，则这两个关键点匹配 成功，否则放弃。降低这个比例阈值，s i f t 匹配点数目会减少，但匹配正确率会 更高。 3 2h a r r i s 特征提取与匹配 图像中的角点是指目标物轮廓线上曲率的局部极大值，即各个方向上亮度变 化最大的点。它是由景物目标边缘曲率较大的地方或两条、多条边缘的交点所形 成的位于不同图像亮区域的交界线上。 3 2 1h a r r i s 特征提取 h a r r i s 算子是c h a r r i s 和j s t e p h e n s 在1 9 9 8 年提出的一种点特征提取算法。 该特征检测算法是计算每个像素的梯度，选择两个方向的梯度都为最大值点为 第三章特征提取与匹配的对比分析 1 7 h a r r i s 角点。 h a r r i s 角点检测器定义如下： r - - d e t ( m ) 一七p ( m ) 2 ( 3 - 1 1 ) r 超过某个阈值且取得邻域最大值时则认为该点为角点。闽值的取值依赖于实 际图像的尺寸、纹理、对比度等。通常阈值确定方法为：通过确定图像中最大数 目的特征点来选择灰度值最大的若干像素点作为特征点。根据灰度值排序，取前n 个特征点，对特征值进行加权重心化。为了减少噪声对角点的影响，可先对图像 进行高斯平滑操作。 m c 五y ，= 乏暑名譬碧 c 3 - 2 ， 其中( x ，y ) = x 2 厅( x ，y )e ( x ，y ) = 】，2o 厅( x ，y ) lx ，y ) = x y o h ( x ，y ) 岫) ：去p 竿高斯函数 l ( x ，y ) 与，v ( 工，y ) 为在灰度图像中点( x ，y ) 处u 与v 方向的偏微分。o ( x ，y ) 为二 阶混合偏导。k 为经验值，一般取0 0 4 。x 与y 为一阶偏导，可分别通过微分算 子在u 和v 方向与灰度图像卷积得到。 3 2 2 角点匹配 归一化互相关技术( n o r m a l i z e dc r o s sc o r r e l a t i o nm e t h o d ，n c c ) 是一种经典的 匹配算法，具有一定的抗噪能力，实现简单。由于其运算量比较大，对于实时处 理来说，运算速度需要进一步提高。图像间的匹配是比较两者之间的相似程度。 对于图像特征来说也是如此，即比较以特征点为中心的模板间的相似程度。因此 以两幅图像为例，第一幅图像的角点x 与第二幅图像的角点y 之间的相似程度采 用互相关函数来描述。互相关函数如下： n ，n ， ( “y 驴) 尸( f ，j ) = 可生丝百可- 一 ( 3 1 3 ) 【( x 乙，) 】l ，2 【( y 洲坨 i - 1j = if = lj = l t 帆产v 和为需要匹配的两幅图中( i + u ，j + v ) ，( f ，歹) 处角点的灰度值。 2 为匹配模板的尺寸。r 越大，则说明这两个角点越相似，为一组匹配点的概率就大。 具体的角点匹配算法为： 假设图像1 中检测出m 个角点，图像2 中检测出n 个角点，那么就得到一个 基于s 1 f r 特征的多视图三维重建 相似性测量矩阵p ，该矩阵大小为m x n ，每一行存放图像j 中的一个角点与图像 2 中的所有角点的相似性羽i 量值，同理，p 中的每一列存放着图像2 的每个角点与 图像1 的所有角点的相似性测量值，选取矩阵p 中的p ( i ，j ) 既是第i 行的最大值， 又是第j 列的最大值，那么认为图像1 中的第i 个角点与图像2 中的第j 个角点是 匹配的。 3 3s u s a n 特征提取 s u s a n ( s m a l l e s t u n v a l u e ds e g m e n t a s s i m i l a t i n g n u c l e u s ，同化核分割最小值) 算法采用圆形模板在整幅图像中滑动，若模板中某个像素的灰度值与模板中心像 素的灰度值的差小于某个阚值，则认为两点为同值，由满足这样条件的像素组成 的区域称为u s a n ( u n v 宙u e ds e g m e n t a s s i m i l z t i n g n u d e u s ) 。u s a n 包含了图像的 结构信息。当u s a n 的核位于角点时，其面积取得最小值。u s a n 区域面积越小， 角点的响应越大，也即某点为角点的概率越大。 图37 s u s a n 角点拉鄹 当圆形模板完全位于背景或者目标内部时，模板中的u s a n 面积最大。如图 3 7 中a 所示，当模板向边缘移动时u s a n 面积逐渐减小，如b ，c ，e 所示；当模板 移动到角点时，u s a n 的面积达到最小值，如图中的d 、f 所示。因此可以通过估 计u s a n 区域面积的大小来判断某点是否为角点。 u s a n 区域面积的计算方法如下： n 瓴) = r ( f ，昂) c 瓴) 是中心位于昂的模板区域，其中c ( f ，而) 为，t 为亮度差阈 值，它挟掣了角点的数量。 小剐= 黜黜辩 s u s a n 边缘角点响应函数如下： ( 3 - 1 4 ) 第三章特征提取与匹配的对比分折 啦) = p 墨黧 仔聊 g 为几何门限值，决定了所检测到的角点的尖锐程度，g 越小检测到的角点越 尖锐。灰度差门限t 决定了检测到的角点的数量而几何门限g 决定了角点的数量 和精确度。t 越小，可从灰度对比度低的图像中提取特征，提取的特征数量也就越 多；t 越大，在灰度对比度高的地方提取特征数目越小。因此对于不同对比度和噪 声的图像要采用不同的灰度差门限。 s u s a n 角点的匹配可参照322 小节的n c c 算法。 由于受拍摄角度、遮挡、光线等的影响，无论采用何种特征匹配算法，不可 避免会产生一些错误匹配。匹配对受极线几何的约束，因此可采用极线约束关系 消除错误匹配，提高匹配正确率。我们会在后续的章节详细地介绍极几何方面的 内容。 3 4 1 实验一 3 4 实验结果 图3 8s u s a n 角点提取结果( 8 5 9 ，8 6 9 ) 图3 9 h a r r i s 角点提取结果( 8 0 2 8 2 9 ) 基于s i f t 特征的多视图三维重建 图31 0 s i f t 特征提取结果f 8 1 0 8 3 6 ) 在本组实验中，我们分别给出s u s a n 角点、h a r r i s 角点、s i f t 特征提取结果。 为了对后面的特