（航空宇航制造工程专业论文）双目立体测量系统中的多视角深度图配准方法研究.pdf

n a n j i n gu n i v e r s i t yo f a e r o n a u t i c sa n d a s t r o n a u t i c s t h eg r a d u a t es c h o o l c o l l e g eo f m e c h a n i c a la n de l e c t r i c a le n g i n e e r i n g r e s e a r c ho nr e g i s t r a t i o no fm u l t i - - v i e w r a n g ei m a g e f r o mb i n o c u l a rs t e r e om e a s - - ur e m e n ts y s t e m a t h e s i si n a e r o n a u t i c a la n da s t r o n a u t i c a ls c i e n c ea n dt e c h n o l o g y b y s o n gl e i a d v i s e db y p r o f e s s o rz h a n g l i y a n s u b m i t t e di np a r t i a lf u l f i l l m e n t o ft h er e q u i r e m e n t s f o rt h ed e g r e eo f m a s t e ro f e n g i n e e r i n g m a r c h ，2 0 1 0 本文工作受下列项目资助 国家自然科学基金( 5 0 8 7 5 1 3 0 ) 高等学校博士点专项科研基金( 2 0 0 8 0 2 8 7 0 0 1 6 ) 江苏省科技支撑计划( b e 2 0 0 8 1 3 6 ) j 承诺书 本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进 行研究工作所取得的成果。尽我所知，除文中已经注明引用的内容外， 本学位论文的研究成果不包含任何他人享有著作权的内容。对本论文所 涉及的研究工作做出贡献的其他个人和集体，均已在文中以明确方式标 明。 本人授权南京航空航天大学可以有权保留送交论文的复印件，允许 论文被查阅和借阅，可以将学位论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的学位论文在解密后适用本承诺书) 作者签名： ! 器磊 日 期：捌呜平 南京航空航天大学硕十学位论文 摘要 在双目立体测量系统中，为了得到被测物体的完整三维表面数据，需要从不同的视角进行 多次测量，利用多次测量结果之间的相互重叠部分实现物体整个表面的三维测量，即利用配准 技术实现不同测量数据拼合。配准可以分为粗配准、两两精确配准和全局配准等方法，粗配准 方法为两两精确配准和全局配准提供初始位置，而全局配准是保证最后工业应用的关键。为完 善课题组开发的r e c r e a t o r 双目立体表面点云测量系统的数据处理能力，本文研究针对该系统 测量的多视角深度数据的配准方法，内容包括基于特征点的粗配准方法、基于改进i c p 的两两 精确配准方法和基于虚拟弹簧的全局配准算法。 对于基于特征点的粗配准方法，本文提出了一种基于测量数据图像化和s i f t 图像特征匹 配的粗配准方法。该方法以曲面的曲率作为特征度量对深度图进行图像化，得到的特征图像反 映了深度图的内在特征，不受环境的影响；对一般多视角测量数据，提出了一种模拟扫描算法 来获得其模拟深度图，该深度图能忠实于原始网格数据，并保持原始网格的法矢变化；文中还 对两种不同特征度量函数进行了讨论和比较，得出较优的配准结果。 在基于i c p 的两两配准方法中，首先对多个i c p 算法中的最近点度量标准、配准矩阵求解 算法等进行分析比较，然后给出本文的改进算法，文中还对参与配准点的数目、数据重合度、 配准初始位置以及单位法矢等因素对配准精度的影响进行了研究，为配准算法的应用给出指导。 基于虚拟弹簧的全局配准方法基于两两精确配准算法，通过虚拟弹簧模型将两两精确配准 推广到全局配准情况。该算法通过分析刚体在弹簧力作 j 下的受力过程，建立测量数据在虚拟 弹簧力作用下的配准模型，从而将全局配准问题转化为对刚体线加速度和角加速度及对应位移 等运动学参数的求解问题。在讨论了全局配准算法中的对应点度量标准计算、配准矩阵计算、 参与配准点采样等问题的基础上，提出了基于伪对应点消除准则的改进算法。实验证明，与原 算法相比，本文算法的配准精度有了较大的提高。 通过对多个模型的多视角测量数据的配准实验，验证了本文算法的有效性。 关键词：多视角测量数据，配准，全局配准，虚拟弹簧方法，i c p 方法，s i f t 算法 t h en u m b e ru s e df o rr e g i s t r a t i o n ，o v e r l a pr a t i oo fm u l t i - v i e wm e a s u r i n gd a t a ，i n i t i a lm o t i o na n dt h e n o r m a la r es t u d i e dt of i n dh o wt h e yw i l la f f e c tt h er e g i s t r a t i o na c c u r a c y , w h i c ha r eu s e f u lf o ra p p l i c a t i o n a ni m p r o v e dr e g i s t r a t i o na l g o r i t h mb a s e do nt h em e t h o do fr i g i db o d ym o t i o nt oa c h i e v et h e g l o b a lr e g i s t r a t i o no fm u l t i v i e wm e a s u r i n gd a t ai sp r o p o s e di ng l o b a lr e g i s t r a t i o n i ti sd e d u c e df r o m f i n er e g i s t r a t i o no fp a i r - w i s eb yt h em o d e lo nd a t as e t s f o r c e sa n dm o t i o n s t h ea l g o r i t h ms e t su pt h e m o d e lo nd a t as e t s f o r c e sa n dm o t i o n sw h i c ha l ec a u s e db yv i r t u a ls p r i n g sv i aa n a l y z i n gf o r c e sa n d l l 南京航空航天大学硕士学位论文 m o t i o n so fr i g i db o d yc a u s e db yr e a ls p r i n g s t h a tt r a n s l a t e st h ei s s u e sf r o mr e g i s t r a t i o no fd a t as e t s t om o t i o n so fr i g i db o d y t h r e s h o l do fc o r r e s p o n d i n gp o i n t si su s e di nt h i sp a p e rt oi m p r o v ep r e c i s i o n o fg l o b a lr e g i s t r a t i o na f t e rd i s c u s s i n gh o wt of i n dt h ec l o s e s tp o i n tw i t ht h em e a s u r e m e n ts t a n d a r d s a n dh o wt oc o m p u t et h er e g i s t r a t i o nm a t r i xa n dh o wt os u b s a m p l ep o i n t sf o rr e g i s t r a t i o n c o m p a r e d w i t l lo r i g i n a la l g o r i t h m , t h ea c c u r a c yo f r e g i s t r a t i o na r em u c hi m p r o v e d e x p e r i m e n t so naf e wg r o u p so fm u l t i - v i e wm e a s u r i n gd a t aa r ec o m p l e t e dt ov e r i f yt h ei m p r o v e d r e g i s t r a t i o na l g o r i t h m k e y w o r d ：m u l t i - v i e wm e a s u r i n gd a t a , r e g i s t r a t i o n ，g l o b a lr e g i s t r a t i o n ，r i g i db o d ym o t i o n ，i c p a l g o r i t h m ，s i f ta l g o r i t h m 1 1 1 双目立体测量系统中的多视角深度图配准方法研究 目录 第一章绪论 1 1 双目立体视觉 1 2 配准技术现状一 1 3 选题依据及研究内容 第二章基于特征点检测的粗配准算法。 2 1 粗配准方法概述7 2 1 1 基于标记点的粗配准方法7 2 1 2 基于特征点的粗配准方法一8 2 1 3 本文粗配准算法思路一9 2 2s i f t 算法介绍9 2 2 1 检测尺度空间特征点l o 2 2 2 定义特征点主方向1 l 2 2 3 生成特征向餐描述子1 2 2 2 4 特征向量描述子匹配1 2 2 3 三维测量数据图像化1 3 2 - 3 1 深度图数据图像化1 3 2 3 2 一般测量数据图像化1 4 2 3 3 关于灰度值讨论1 5 2 4 三维测量数据配准1 8 2 4 1 对应特征点查找1 8 2 4 2 计算旋转矩阵和平移向量1 9 2 5 算法流程1 9 2 6 实验：! ( ) 2 7 本章小结2 2 第三章基于改进i c p 的两两精确配准算法2 3 3 1i c p 算法概述2 3 j 3 2 本文算法2 4 3 2 1 确定度量标准并查找对应最近点2 4 3 2 2 旋转矩阵和平移向量求解方法2 6 3 2 3 阂值的选择2 8 3 2 4 参与配准点的选择一2 9 3 3 配准精度影响冈素分析。：3 1 3 3 1 重合度对配准精度的影响3 1 3 - 3 2 初始位置对配准精度的影响3 3 3 3 3 法矢计算对配准精度的影响3 5 3 4 本章小结3 7 第四章全局配准算法3 8 一3 8 一3 8 一4 l 一4 l 一4 2 4 3 4 4 4 5 4 8 第五章总结与展望4 9 5 1 全文工作总结一4 9 5 2 今后：【作展望一4 9 参考文献5 l 致谢5 6 攻读硕士期间发表的论文5 7 v 双目立体测量系统中的多视角深度图配准方法研究 图表清单 图2 1 用于多视角测量数据粗配准的标记圆点目标 图2 2 高斯金字塔中相邻尺度两幅高斯图像相减得到d o g 尺度空间图像 图2 3d o g 图像中的极值点检测 图2 4 生成s i f f 特征点描述子 图2 5 深度图转化为特征图像 图2 6 插值规则排列投影点1 5 图2 7 测量数据的模拟深度图1 5 图2 8 深度图数据一1 6 图2 9 特征图像1 7 图2 1 0 由s i f t 算法提取的特征点1 7 图2 1 1 采用不同灰度化公式得剑的粗配准结果1 7 图2 1 2 基于图像匹配的两视图配准算法流程图2 0 图2 1 3 基于特征点的粗配准方法实验一2 1 图2 1 4 基于特征点的粗配准方法实验二2 1 图3 1i c p 算法迭代示意图2 3 图3 2 不同度量标准函数配准结果比较2 5 图3 3 距离阈值对配准精度的影响1 2 8 图3 4 距离阈值对配准精度的影响2 一2 8 图3 5 迭代次数对配准精度的要求实验1 。3 0 图3 6 迭代次数对配准精度的要求实验2 。：3 0 图3 7 迭代次数对配准精度的要求实验3 一3 0 图3 8 钣金零件重合度对配准精度的影响实验3 3 图3 9 天使模型两两配准3 4 图3 1 0 鸟模型两两精确配准3 5 图3 1 l 钣金零件的法欠优化结果3 6 图3 1 2 天使模型的法矢优化结果3 6 图3 1 3 鸟模型的法矢优化结果3 6 图4 1 刚体在弹簧力作用下的位移3 9 图4 2 虚拟弹簧系统示意图一3 9 图4 3 全局配准中三种度量标准函数配准一4 l 图4 4 全局配准选择不同阂值的配准结果4 4 图4 5 全局配准算法流程示意图4 5 图4 6 人脸模型全局配准实验结果4 6 图4 7 汽车模型全局配准实验结果4 7 图4 8g e o m a g i c 全局配准结果4 7 表2 1 粗西己准结果一1 8 南京航空航天大学硕士学位论文 表2 2 基于特征点的粗配准实验结果一2 2 表3 1 不同度量标准函数配准的平均距离与标准差2 6 表3 2 距离阈值对配准精度的影响2 9 表3 3 三组测量数据实验的平均距离与标准差3 0 表3 4 图3 8 所示实验的平均距离和标准差3 3 表3 5 两两精确配准结果的平均距离与标准差一3 5 表3 6 单位法矢优化前后的结果对比3 7 表4 1 全局配准中三种度量标准函数配准结果4 2 表4 2 全局配准中不同阂值的全局配准结果一4 5 表4 3 配准过程中平均距离与标准差比较4 7 表4 4g e o m a g i c 配准结果4 7 南京航空航天大学硕士学位论文 第一章绪论 随着现代工业和科学技术的发展，从三维测量数据建立曲面和实体计算机模型在很多领域 都有着广泛的应用，如逆向工程【l 】【2 1 、文物考古研究【3 】、产品质量检测、生物医学5 1 以及游戏 娱乐【q 等，这极大地促进了计算机视觉的发展。立体视觉是计算机视觉的一个重要分支，基于 立体视觉理论建立的三维测量方法是近年来研究的热点。其中的双目立体视觉测量直接模拟人 类双眼处理景物的方法，利用两台位置相对固定的摄像机，从不同角度同时获取同一景物的两 幅图像，通过计算空间点在两幅图像中的像差来获得其三维坐标值，具有简单、可靠、灵活、 使用范围广等特点，在多个领域有应用价值。由于测量物体的自遮挡、阴影，以及镜头视场大 小和景深的限制，双目立体测量系统不能通过一次测量得到整个物体表面数据，为了获取完整 表面数据就必须从不同的视点处进行多次测量，利用多次测量结果之间的相互重叠实现物体整 个表面的三维测量。每次测量的数据建立在各自不同局部坐标系下，而不同坐标系下的测量数 据自动拼合是整个测量系统中的一个重要环节，是保证数据融合和模型重建的关键。 1 1 双目立体视觉 视觉是人类观察世界和认知世界的重要手段，它包括对光信号的感受，以及对视觉信息的 获取、传输、处理与理解的全过程。随着信号处理理论和计算机技术的发展，人f j 试图片j 摄像 机和计算机等设备实现对视觉信息获取及处理的全过程，这样就形成了计算机视觉这一学科。 计算机视觉是研究用计算机和成像设备来模拟人和生物的视觉功能，从图像或图像序列中提取 信息，对客观世界的三维景物和物体进行形态和运动识别，即利用二维图像恢复三维环境中物 体的几何信息，其过程是成像过程的逆过程。 关于计算机视觉的研究是从2 0 世纪5 0 年代开始的，当时的研究主要集中在二维图像分析 和识别上，如光学字符识别、工件表面、显微图片和航空照片的分析和解释等。2 0 世纪6 0 年 代，r o b e r t s h l 将环境限制在所谓的“积木世界”，即周围的物体都是由多面体组成，需要识别的 物体可以用简单的点、直线、平面的组合表示。通过计算机程序从数字图像中提取出诸如立方 体、楔形体、棱柱体等多面体的三维结构，并对物体形状及物体的空间关系进行描述。r o b e r t s 的研究工作开创了以理解三维场景为目的的三维机器视觉的研究。1 9 7 3 年，英国m a r r 教授旧1 应邀在麻省理工学院的人：【：智能实验室创建并领导一个以博士生为主的研究小组，从事视觉理 论方面的研究。1 9 7 7 年，m a r t 提出了不同于“积木世界”分析方法的计算机视觉理论m a r r 视觉理论，该理论在2 0 世纪8 0 年代成为计算机视觉研究领域中的一个十分重要的理论框架。 这是首次从信息处理的角度综合了图像处理、心理物理学、神经生理学及临床精神病学方面已 双目立体测量系统中的多视角深度图配准方法研究 取得的重要研究成果。2 0 世纪8 0 年代中后期，随着移动式机器人等相关应用的研究，视 究与之密切结合，人们人量运用空间几何的方法以及物理知识来研究立体视觉，这一时期 了主动视觉的研究方法。2 0 世纪9 0 年代以来，关于立体视觉的研究在多个领域内取得了 进展，包括区域匹配和特征匹配的新的算法技术、遮挡处理方法、多摄像机立体视觉、立 觉实时实现方法等。随着计算机科学、人工智能、信号处理以及其它相关领域科学的发展 算机视觉理论的研究会得到越来越深入的发展。 从两个或多个视点去观察同一场景，获得在不同视角下的一组图像，然后通过不同图 对应像素间的视差，推断出场景中目标物体的空间几何形状和位置，这种方法称为立体视 它是计算机视觉中的一个重要分支，也是计算机视觉的核心内容。目前基于立体视觉的三 建和目标跟踪是立体视觉领域中的研究热点和重点问题。基于立体视觉的三维重建是指通 二维图像的处理，利用立体视觉的原理获取场景中的三维信息。从两个不同的位置观察同 体，获取物体的二维像素信息，然后通过相关匹配等运算重建物体的三维立体信息的方法 双目立体视觉。 人们早就注意到，几乎所有具有视觉的生物都有两个眼睛。用两个眼睛同时观察物体时会 有深度或远近的感觉。双目立体视觉就是直接模拟了人类视觉处理景物的方式，成为被动光学 传感方法中最重要的距离感知技术，同时也是计算机视觉的核心问题，在计算机视觉研究中占 有重要地位，并随计算机视觉的不断发展而得剑越来越广泛的应用。 虽然立体视觉经过2 0 多年的研究，己经有了很大的发展，但无论是从视觉生理的角度， 还是从实际应用的角度来看，现有的立体视觉技术还处于十分不成熟的阶段。这不仅仅涉及到 技术上的原冈，而且更多的在于人类对自身视觉机制还不十分了解。人类视觉系统具有惊人的 分析和理解能力，但人类是如何获取和分析理解视觉知识的，至今还没有研究清楚。而立体图 像的配准作为立体视觉的核心，在理论和技术上都存在很多的问题，比如，如何选择合理的配 准特征，以克服配准的准确性与恢复视差全面性间的矛盾；如何选择有效的配准准则和算法结 构，以解决存在严重灰度失真、几何畸变、噪声干扰及遮挡景物的配准问题；如何建立更加有 效的图像表达形式和立体视觉模型，以便更充分地反应景物的本质属性，为配准提供更多的约 ， 束信息，降低立体图像配准的难度。 1 2 配准技术现状 测量数据配准的主要原因是在现有技术下，由于测量物体的白遮挡、阴影，以及镜头视场 大小和景深的限制，双目立体测量系统不能通过一次测量得到整个物体表面数据，为了获取完 整表面数据就必须从不同的视点处进行多次测量，利用多次测量结果之间的相互重叠实现物体 整个表面的三维测量。每次测量的数据建立在各自不同局部坐标系下，不同坐标系一l - 澳t l 量数据 2 南京航空航天大学硕士学位论文 的配准是整个测量系统中的一个重要环节，是保证数据融合和模型重建的关键。 目前，多视角测量数据的配准方法按是否具有初始位置变换关系，可分为粗配准、精确配 准和全局配准。粗配准是在初始位置变换关系不可知的情况下，对任意相对位置下的多视角测 量数据进行配准，使得配准后的数据具有良好的吻合度；精确配准是对已有良好吻合关系的测 量数据，优化坐标变换参数来最小化某种度量，如采用最近对应点之间距离作为度量：而多次 测量结果通过粗配准与精确配准后，还会产生较大的累积位置误差，解决这个问题需要进行全 局配准优化。 粗配准方法一般可以通过一些辅助硬件设备来完成，例如利用旋转台来获取物体与测量设 备之间的相对位置变换旧1 ，这种方法一般精度比较高，可以自动实现多次测量数据之间的配准， 但是增加了测量系统的复杂性和成本，特别地，对被测物体大小的尺寸适应性明显降低。还有 一种方法是在物体表面粘贴易识别的标记点，通过搜索算法实现多视图之间相同标记点的匹配， 建立多视图坐标变换矩阵“，从而实现多视图的配准，这类技术具有易于制作标记点、操作方 便、成本低等特点，具有很强的实用性，因而适用范围比较广泛，但是会增加测量工作的准备 工作，并且破坏了被测物体表面纹理，因而限制了其应用范围。 实现粗配准的另一个途径是只利用曲面自身的曲率、法矢等信息来进行配准，包括在曲面 上定义特征点，特征点的检测与匹配关系查找等。粗配准具体方法有点标记法( p o i n t s i g n a t u r e ) ，自旋图像法( s p i n i m a g e ) u 2 引，主元素分析法( p 血c i p a l c o m p o n e n t a n a l y s i s ) 1 等。 这些方法大多受曲面网格取样影响较大，对噪卢鲁棒性较差，并且都只能在同一尺度下进行特 征点的检测。 由丁：三维数据点乃至三角网格曲面等描述形式不像二维图像那样具有规则的矩阵结构和丰 富的处理手段，三维点自身特征信息的描述能力对不同几何形状的适应性和稳定性不尽人意， 往往会导致粗配准失败或具有较火的配准误差，使得后续的精确配准无法进行。因此寻求一种 具有更高适应性和稳定性的粗配准方法，是目前进一步提高配准精度和测量效率的一个关键所 在。 相对于三维网格特征点的检测和匹配而言，二维图像上的离散特征点提取及其在多幅图像 之间的匹配技术在实践中取得了更加广泛的应用。如s i f t ( s c a l e i n v a r i a n tf e a t u r et r a n s f o r m ) 算法“副，该算法通过一种快速的近似l o g 滤波，并在尺度空间进行局部极值检测，提取亚像素 精度的特征点；再根据特征点邻域内方向梯度的分布，用一个1 2 8 维向量描述特征点点特征。 s i f t 具有对尺度缩放、旋转、亮度变化等因素的无关性，对特征点的提取能力远高于人类视觉 的分辨能力，由此获得了广泛的重视和认可。 由于尺度空间在图像关键点提取与匹配方面的成功运用，尺度空间思想被推广到三维网格 特征点提取上，其应用思路大体有两类： 3 双目立体测量系统中的多视角深度图配准方法研究 一类是运用与二维尺度空间相似的光顺算子对三维网格进行光顺，如利用高斯核n 6 m 7 1 和 均曲率流1 8 1 n 9 1 。l e ee ta l 7 1 采用不同尺度的高斯核函数对平均曲率进c r h n 权平均，并对相邻 度间的高斯加权平均曲率求差分，通过非线性组合算子对所求差分进行求和得到网格顶点的特 征值，定义特征值中的局部极值点为网格特征点。该方法虽然可以同时在不同尺度下检测网格 上的内在特征点，但是会导致网格拓扑结构的破坏，另外对这些特征点赋予有效的描述算子， 也是非常困难的，因此这些特征点并不适用于匹配关系的查找。 另一类是将三维网格图像化，将三维特征提取与描述问题转化为对应图像的关键点提取与 描述。自旋图像法u 叫u 方法将曲面上的点推导出具有旋转不变性的局部二维图像。该方法对每 一个点都计算局部二维图像，但由于不同点的三维特征可能会产生相同的二维特征，使寻找正 确的对应关系增加了难度。而n o c a m a c k 和n i s h i n o 乜们幢首先对网格曲面参数化，建立网格顶点 坐标与平面参数坐标之间的一一对应关系，再采取迭代矫正、插值等算法，将网格通过法矢映 射成二维图像，再提取图像特征点，最后通过对应关系得到网格上对应的特征点。理论上该方 法可以适用于将任意三维网格映射成为二维图像，算法简单有效，鲁棒性好。虽然由于参数化、 矫正、插值等不确定因素的影响，使得该方法存在部分特征点的检测与网格内在特征不相符的 情况，但是该方法仍为三角网格特征点提取及匹配提供了一种有效的选择。如何将尺度空间的 思想与图像特征检测技术成功应h j 到深度图的配准问题，目前还没有相关的文献。 精确配准在测量数据己具有良好初始吻合位置的基础上，可获得更精确的位置变换，使得 配准误差得到最小，方法有迭代最近点i c p 方法1 2 2 1 、陈的方法幢3 1 、匹配带符号的距离场方法担 等等，其中以迭代最近点i c p 方法为代表。自1 9 9 2 年b e s l 和m c k a y 提出迭代最近点i c p 方法 以来，该方法就一直被公认为是三维数据拼合最重要的基础算法。然而该方法过于依赖于初始 位置关系，因此在实际测量过程中，总是将粗配准与精确配准结合使用，由粗配准提供测量数 据的初始位置关系，再经过精确配准实现数据的精确吻合。 全局配准是在两两精确配准的基础上进行的配准优化。全局配准优化一方面使得全局误差 总和减小，另一方面使位置误差在各重叠对应视图之间均匀分散。相对两两配准的方法，全局 配准方法要复杂得多。 p u i l i 幢副利用两两配准技术，递增地实现多幅深度图配准，在每次新加入深度图的同时修止 已配准过的深度图位置，实现误差均匀扩散的目的，此方法对大型测量数据的配准效果更明显。 k a m m g a r - p a r s ie ta l 心剐提出一个三维海底地形的全局配准系统，文章中提出的方法只限于二维旋 转和二维平移，不能推广解决一般的问题。e g g e r t 旺训和s t o d d a r t 啪1 等用力学的方法来解决多幅图 像配准的问题，他们假想在对应点之间有弹簧存在，将对应关系看作是零长度的弹簧，利用刚 体结构学模拟弹簧一质点系统来得到最终的优化结果。s i l v a 晗钉等提出了改进的遗传算法进行整 体拼合优化，s h a r p m l 等进行了三维场景视图的整体拼合，通过最小化所有场景视图的误差来得 4 南京航空航天大学硕士学位论文 到整体的最优拼合结果。 w i l l i a m s 3 对两两配准技术进行了推广，构造对应点距离平方和优化目标函数，并通过详 细的推导给出了基于s v d 分解的同时全局配准的优化方法，b e n j e m a a 口列等将变换矩阵转化为 单位四元数空间，并依据两两配准方法也提出了基于四元数方法的多视图整体配准算法， w i l l i a m s 和b e n j e m a a 的方法本质上是相同的，他们方法的一个共同之处是采用迭代的方法对每 个测量数据位置进行优化求解，没有真正实现全局配准的同时性，并且他们没有给出对匹配特 征点不固定情形下的迭代方法。 1 3 选题依据及研究内容 随着计算机技术、图像处理技术和计算机视觉理论的发展，人们越来越希望能够快速简便 地获取物体的三维信息，并且能够在计算机上重建显示出来，这就需要进行三维测量，为此， 国内外已经开发出许多成熟的三维测量系统，主要有两大类：接触式测量和非接触式测量1 3 3 。系 统。接触式测量系统如三坐标测量机，出现较早，在工业界应用也很广泛，是基于机械接触式 传感的三坐标测量方法。这种测量方法测量精度高，可达l 左右，但一般对环境要求很高， 需要专门的测量室和专用测量台，测量范围有限，测量效率低，不适合复杂自由曲面物体的测 量。非接触式测量一般可分为主动式和被动式两大类，前者使用一个专门的光源对被测物体进 行照明，如结构光方法、干涉法m 1 、奠尔法、相位法协 、傅立叶变换轮廓法m 1 等，而后者 景物的照明由物体周围的背景光米提供。非接触式测量系统比较具有代表性的系统有：手持式 激光测量仪，代表为瑞士l e i c a 公司的t - s c a n 系统；激光线扫描三维测量机，如英国3 d s c a n n e r s 公司的产品；结构光编码的光学扫描仪，德国g o m 公司的a t o s 系统为该类产品 的代表。在上述测量系统中，手持式激光测量仪要求使用者手持激光扫描器像刷油漆一样连续 “刷”过物体表面，系统采用一个光学跟踪器来确定激光扫描器的六度空间位置。但由于激光 束的连续移动是通过手持扫描器进行的，这样对大型工件的整体扫描将十分费时费力，且测量 精度容易受到人工操作质量因素影响。激光线扫描三维测量机对复杂自由曲面的测量工作效率 较高，但是测量精度般比三坐标测量机要低，而且受扫描范围、景深等的限制较大，测量方 式仍然缺乏足够的灵活性。结构光编码的光学扫描仪大多是在静止的被测物体上投射时间序列 的编码光场来辅助进行图像匹配，进而使用光学三角法进行三维轮廓重建。这种测量设备使用 较方便，测量精度较高，工程中已大量应用，是近年来发展最快的一种表面点云测量技术。 以上述系统为代表的一大批三维测量系统在生产实践中的成功应用，反过来又促进了计算 机视觉和立体视觉的发展。但是，应该看剑，现有工业中应用的成熟系统和技术大都垄断在国 外公司手中，这种垄断性帮助这些外国公司获取垄断利润，因此现有的三维测量系统都价格昂 贵，这极大地阻碍了三维测量设备与技术在生产中的推广和普及。这就促使国内必须开发具有 5 双目立体测量系统中的多视角深度图配准方法研究 自主知识产权的三维测量系统系统，以打破价格垄断，为国家经济建设和工业发展贡献 作者所在的实验室在追踪国内外研究热点的基础上，开发出r e c r e a t o r 表面点云测 系统，该系统与德国g o m 公司的a t o s 系统类似，为双目立体测量系统。与其它三维测量系 统类似，该系统在进行三维测量的过程中，对大型物体表面以及遮挡等情况时，亦无法做到一 次测量，必须通过对物体表面的多次测量，拼合出物体的三维表面轮廓。本文研究的配准算法 以该系统测量的多视角深度数据为基础，因而具有很强的针对性和必要性。 本文主要内容安排如下： 第一章主要介绍了计算机视觉、立体视觉和双目立体视觉等相关研究背景知识，分析了当 前的配准技术现状，简略同顾了国外成熟的三维数据测量系统，并说明了本文的选题依据、研 究内容和结构安排。 第二章研究初配准算法，初配准为精确配准提供较好的初始位置，是进行精确配准的基础， 具有重要的地位。粗配准方法主要通过黏贴标记点或者提取图像特征的方法实现，本章研究基 于特征点的粗配准方法。 第三章研究两两精确配准算法，该方法是全局配准的基础。本章主要研究配准初始位置、 重合度以及法矢等因素对配准精度的影响。 第四章研究了全局配准算法，引入虚拟弹簧模型，从两两精确配准算法推导出本文的全局 配准算法。该算法首先分析刚体在弹簧力作用下的受力过程，建立测量数据在虚拟弹簧力作用 下的配准模型，从而将全局配准问题转化为对刚体线加速度和角加速度及对应位移等运动学参 数的求解问题。然后，依据两两精确配准算法选择标准度量函数和阈值等，对于旋转矩阵和平 移向量，则依据虚拟弹簧模型进行推导，得出迭代公式。通过对多个模型的多视角测量数据的 配准实验，验证了本文算法的有效性。 第五章对全文工作进行了总结，提出了进一步的研究方向。 6 南京航空航天大学硕士学位论文 第二章基于特征点检测的粗配准算法 配准过程可划分为粗配准、精确配准和全局配准等，本章研究粗配准方法。粗配准就是在 初始位置变换关系不可知的情况下，对任意相对位置下的多视角测量数据进行配准，使得配准 后的数据具有良好的吻合度。粗配准为精确配准以及全局配准提供良好的初始位置，是配准过 程的基础。为适应不同的测量条件，同一测量系统往往会配置多种初配准方法，如课题组开发 的双目立体测量系统r e c r e a t o r 中目前就有基于粘贴标记点的初配准方法，但很多时候，被测 物体表面不允许粘贴标记点，因此，本文利用曲面自身的曲率、法矢等信息来提取特征点并进 行粗配准。本章先简单介绍基于标记点的粗配准方法和已有的基于特征点粗配准的相关研究工 作，然后详细阐述本文算法的步骤，包括在曲面上特征点的定义，特征点的检测与匹配关系查 找等内容。 2 1 粗配准方法概述 2 1 1 基于标记点的粗配准方法 基于标记点的粗配准方法是通过在被测物体表面黏贴易于图像识别的人工标记点，并保证 两次测量间“共同可见”至少三个以上的标记点，由共同的标记点计算两个测量数据集之间的 坐标变换，从而实现多视角测量数据拼合的方法，该方法具有易于制作、操作方便，成本低等 特点，具有很强的实用性，是双目立体测量系统r e c r e a t o r 中的一种重要粗配准方法。 因为圆成像后为椭圆，而椭圆所具有的几何特征使其易于实现特征提取的算法，因而原型 标记点在图像处理中具有比较大的优势。如图2 1 ( a ) 所示的标记圆点为常见的三维点云配准过 程的标记点。由图可知，标记圆点的前景为白色，背景为黑色，背景和前景之间具有强烈的灰 度对比差异，这样便于实现标记点圆点的识别和定位。标记圆点“目标点”直径为5 m m ，背景 所在外环外径为1 0 m m 。这些标记圆点成像时，在数字图像上呈现椭圆形状，如图2 1 e o ) 所示， 即为黏贴了标记圆点的物体。 ( a ) 标记圆点( b ) 黏贴标记圆点的物体 图2 1 用于多视角测量数据粗配准的标记圆点目标 7 基 记点， 像素边 由于类 等准则 在 其三维 记圆点 来进行 左 可以重 需要根 换，从 准的过 的标记 考文献 2 1 2 在 记点等 等信息 过程主 已有的基于特征点的粗配准方法有p o i n ts i g n a t u r e ( p s ) ，s p i ni m a g e ( s i ) n 2 3 1 ，p r i n c i p a l c o m p o n e n ta n a l y s i s ( p c a ) 1 ，r a n s a c - b a s e dd m c e s ( r b d ) h 引以及p r i n c i p a lc u r v a t u r e ( p c ) 等。 p s 方法将曲面上点的周边信息转化为一组信号来表示该点的特征，通过比较不同视角下测 量数据中点的信号得到可能的匹配对应关系，这种方法快速有效，主要的不足是需要计算球与 曲面相交，特别当曲面以散乱点云或三角网格形式表述的时候，必须用到插值来进行求交，这 样既增加了计算的时间，又降低点信号的质量，另外算法对噪声比较敏感。s i 是一个三维曲面 点的二维特征图像，将曲面上的点推导出具有旋转不变性的二维图像，通过比较不同测量数据 中每个点的二维特征图像，得到可能的对应关系，从可能的对应关系中提取出最好的对应关系 计算刚性变换参数，s i 方法鲁棒性较强。但是由于将三维降为二维，不同的三维特征可能会产 生相同的二维特征，因此错误的对应关系较多，为寻找上e 确的对应关系增加了难度。p c a 方法 8 南京航空航天大学硕士学位论文 直接利用测量数据的主方向来对齐两次测量数据的坐标，速度非常快，但是只有当点云中点的 个数足够多，并且两次测量数据重叠区域足够大，一般要求重叠部分至少超过5 0 ，且主轴方 向基本相对一致，p c a 方法才会有效。r b d 方法是在两个测量数据集之间找到最佳的三组对应 点来计算刚性变换参数，先在第一个测量数据集上固定三个点构成三角形，然后在第二个测量 数据上寻找三个点组成三角形与之前的三角形全等，最后得到最佳的一组对应的三个点计算变 换矩阵，这种方法具有极高的鲁棒性，但是该方法需要的计算时间却是令人难以接受的，只适 合于测量数据中点数不多的情形使用。p c 方法先用一块参数曲面来拟合测量数据点的邻域，然 后根据微分性质计算在该点处的主曲率、法矢以及主方向等特征，并逐点比较寻找两次测量数 据集这些特征相同的点对，从而计算可能的变换矩阵。由于要计算曲面上点的微分度量，因此 算法对噪声比较敏感并且效率较低。 2 1 3 本文粗配准算法思路 由于以上方法提取特征的过程中大多受曲面网格取样影响较大，对噪声鲁棒性较差，并且 都只能在同一尺度下进行特征点的检测，应用受到了限制。为克服上述问题，本文算法将三维 测量数据转化为对应的特征图像，从而将三维网格上配准问题转化为图像特征检测和匹配问题。 特别地，由- f 课题组开发的r e c r e a t o r 双目立体视觉系统1 4 3 1 的测量数据包含像素信息，特征图像 的创建过程要简化很多。 本文基于特征点的粗配准算法的主要思路是：采用测量数据空间网格顶点的曲率值创建与 测量数据相对应的二维灰度图作为特征图像，利用s i f t 算法对特征图像进