（模式识别与智能系统专业论文）三维配准和融合研究.pdf

摘要 三维实物建模是当前计算机视觉和图形学的研究热点之一，具有重要的理论 价值和广泛的应用前景。本文围绕本组搭建的基于结构光的物体重建系统展开了 一些工作，主要工作有： 1 利用结构光装置获取的三维点集沿着光栅条纹分布的特点，将离散点集 连接成三角网格。该算法简单有效，比较实用。 2 提出一种鲁棒的基于图像的三维配准方法。本方法与文献中已有方法相 比，主要特点是同时使用灰度相似性和距离作为匹配特征，对初始位置依赖不强。 陔方法的主要步骤有：首先，在第一幅投影图像中使用基于灰度自相关矩阵的最 小特征值的方法检测出具有代表性的角点，然后在另一幅投影图像中用灰度互相 关的方法来搜索对应点，最后使用基于匹配点之间的互相关系数和距离的检验方 法来剔除误匹配。检验构成分成粗细两个不同阶段，且不同阶段相关系数和距离 的阈值不同，其中距离的阈值通过估计距离分布的标准差得到。模拟实验和真实 实验表明在上述比较宽松的条件下，这种检验方法较文献中仅依靠相关系数的检 验方法能得到更为精确和鲁棒的配准结果。 3 实现了文献中基于体的c o l l s e n s u ss u r f k e 鲁棒性融合算法，并应用到本 组构建的基于结构光的物体重建系统中。 关键词：三维实物建模、结构光重建、三角化连接、三维配准、三维融合 a b s t r a c t 3 dm o d d i n gi sah o tt o p i ci 1 1 b o 也c o m p u t e rv i s i o na i l dc o m p u t e r 伊印h i c s c o i n m u n i t i e sm a i l l ( sl a r g e l yt oi t sh i 曲a c a d e m i cv a l u ea 1 1 dw i d ea p p l i c a b i l i t y t h e t h e s i si sf o c u s e do ni m a g e r e 舀s 仃a t i o na n di n t e 鲥i o n ， ak e yp a r to fm e s 饥l c t 【l r e d - i i g h tb a s e d3 dm o d e l i n gs y s t e m 曲o u rg r o u p t h em a i nw o r k sa r ea s f 0 1 l o w s ： 1 as i m p l ea p p f o a c hi sp f o p o s e df o rt 圭l er e c o n s 锄c t i o no f 硒a 1 1 9 u l a rm e s h 肋m t h ed a t a s e ta c q u i r e d 丘o mo u rs 仉l c t t l r e d l i g h ts y s t e m t h ea p p r o a c hi ss h o w nr a t h e r p r a c t i c a la 1 1 de f f e c t i v e 2 an e wi m a g e - b a s e dm c m o di sp r o p o s e df o r3 dr e g i s t r a t i o n i ti sm a i n l y c h a m c t e r i z e db yu s i n gb o mi m e n s i t ys i i i l i l a r i t ya 1 1 dp o i n t t o - p o i n td i s t a n c e sa st h e m a t c l l i n gf e a t i l r e s ，b yw h i c ht h ea c c u r a t es t a n i i l gp o s i t i o n ，u s u a l l yar e q u i r e m c n ti n o m e ri m a g e d _ b 船e dm e t l l o d s ，i sr e l a 】( e d h sm a i l ls t 印sa r e ：f i r s t l y o nt h ef i r s t p r o j e c t e di m a g e ，d i s t i n c t i v ec o m e rp i x e l s ，w 量l i c ha c ta ss a i i e n tf e a t u r e sf o rs u b s e q u e n t 血a g cm a t c h i n g ，a r ed c t e c t e dv i at h em i n i m a le i g e n v a l u eo ft 1 1 ea u t o c o r r e l a t i o n m 撕写也e n ，o nt 1 1 es e c o n dp 蚵e c t e di m a g e ，m ec o n s p o n d e n tp i x e l sa r ef o l l l l db y c m s s - c o n e l a t i o n ；av e r i f i c a t i o ns c h e m ei su s e dt od i s c a r d l ep o t e n t i a lm i s m a t c h e sb y 吐l r e s h o l d i n g 廿l ec o 盯e l a t i o nc o e m c i e n t sa n dp o i n t - t o p o i n td i s t a n c e s t h ev 谢6 c a t i o n p r o c e s si sd i v i d e di m oac o a r s et of i n es t a g e s ，a 1 1 di 1 1e a c ho n eo ft h em os t a g e s ，m e t 、】l r o c o e s p o n d i n gt t l r e s h o l d sf 研b o mc o r r e l a t i o nc o e 艏c i e n t sa 1 1 dp o i n t t o _ p o i n t d i s t a n c e sa r ed e t e m l i n c dd i 仃c r e m i y e x p 舒m e n t a lr e s u n ss h o wt h es u p 嘶o d t yo fo u r p r o p o s e dv e r i 丘c a t i o ns c h e m et ot 上l ep r e v i o u so n eu s i n go i l l yc o r r e l a t i o nc o e 硒c i e n t s 洫t e 锄so f r e 舀s 蹴i o na c c u r a c ya n dr o b u s 岫e s s 3 w eh a v ei m p l e m e n t e dt l l ec o n s e n s u ss u r f k ea l g o r i m m ，am b u s tv o l u m e b 笛e dm e t h o df o r3 di n t e 伊a t i o n 如t h e1 i t e r a t 町e nh a sb e e l li n t e 野a t e di n t oo u r s h l l c t i l 】删一1 i 曲tb a s e d3 dm o d e l i n gs y s t e m k e y w o r d s ：3 dm o d c l i n 岛s t n l c t i l r e d 1 i g h tb a s e dr e c o n s 打u c t i o n ，t r i a n g u l a t i o n ，3 d r e 吾s 仃a t i o n ，3 di n t e g m t i o n 1 l 独创性声明 本人声明所成交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果。与我一同工作的同志对本研究所做的任何贡献 均已在论文中作了明确地说明并表示了谢意。 签名：奎堑同期：逊：翌 关于论文使用授权的说明 本人完全了解中国科学院自动化研究所有关保留、使用学位论文的规定，即： 中围科学院自动化研究所有权保留送交论文的复印件，允许论文被查阅和借阅： 可以公粕沦文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名 疹挺 导师签名：主疆兰鳖日期：童兰：! 主旦 第一章绪论 第一章绪论 建模是图形学的经典内容之一，但是为现实中的物体建立逼真的虚拟模型一 直是一个未能很好解决的问题，仅靠图形学是非常困难的。在许多电影，比如侏 罗纪公园和星球大战中，观众看到了栩栩如生的虚拟模型，可是实际上在 幕后凝聚着电影美工高超的艺术创作和大量的劳动付出。像这样实实在在的困难 还有不少，于是人们将目光投到计算机视觉领域，希望能够借助计算机视觉的技 术为现实中的物体进行建模。 众所周知，计算机图形学的目标是产生和绘制虚拟模型。计算机视觉则致力 于从图像分析入手，捕捉几何形状、表面材质和场景运动，让计算机像人一样去 观察和认识真实世界。两者的任务虽然存在差异，但是研究发展到今天，两者逐 渐呈现出了越来越强的相互交融的趋势 s e i 乜e ta 1 ，1 9 9 9 。前面提到的将计算机 “看”到的物体在虚拟环境中逼真复原出来就是一个很好的例子，我们称之为三 维实物建模( 3 dm o d e l i n g ) ；还有，在人机交互( h u m a i l 。c o m p u t e ri n t e m c t i o n ) 领 域，计算机只需要摄像头就可以理解用户的手势和行为，而不需要一般的鼠标和 三维交互装置；再如，基于图像的绘制技术( h t l a g e b a s e d r e i l d i n g ) 是近年来兴 起的一种计算机图形学绘制技术，它充分利用计算机视觉分析得到的真实场景图 像信息，来加速新图像的绘制过程，提高新图像的真实感。现在，计算机视觉和 图形学的交叉领域已经在研究者中引起了极大的兴趣。几年来，在s i g g r a p h ， i c c v ，c v p r ，u c v 等高水平的会议和期刊中不断出现这方面的研究成果。在 这样的背景下，作为计算机视觉和图形学交汇的研究热点之一，三维实物建模受 到了广泛关注，甚至还出现了颇具影响力的专刊和专门会议，例如i n t e m a t i o n a l c o n f c r e n c eo n3 - dd i 西t a lh n a 百n ga n dm o d e l i n g 。 随着研究的开展，三维实物建模在电影、动画、游戏等娱乐行业得到了初步 的应用。近年来，伴随着三维深度扫描设备的逐渐普及，普通计算机图形功能的 逐步增强和互联网的日益发展，越来越多的真实世界的虚拟模型逐渐呈现在大众 的计算机中。这使得三维实物建模的应用扩展到了文物古迹、电子商务等更广阔 的领域。例如著名的意大利d 蟛t a l m i n e a p r o j e c t r d c c l l i l l i c ta 1 ，2 0 0 1 】对古代雕 塑进行了卓有成效的三维实物建模，图1 o 1 是他们的重建结果，他们的目标是 让人们不用出门旅游，就能够在计算机前参观虚拟博物馆。 第一章绪论 图1 - 0 1 三维实物建模用于文物古迹的例子m 血e m 虚拟模型。 本文的研究内容主要是依托本组搭建的结构光系统，围绕建立三维实物的几 何模型这个主题来开展的。在讨论本人的工作之前，我们先简单介绍一下三维实 物建模的研究现状。 1 1 三维实物建模的研究现状 三维实物建模是一个研究内容广泛的领域，其流程如下图1 1 1 所示。 图1 1 1 三维实物建模的流程图 2 几 何 模 型 纹 理 图 带 纹 理 的 几 何 模 型 第一章绪论 整个过程大致分为两大部分：几何模型的重建，以及光照不变量的计算和纹 理的重建。几何模型的重建需要经过三维数据点的获取、三维配准和三维融合来 得到。光照不变量的计算和纹理的重建则是使物体表面具有真实自然的纹理，并 能够模拟出任意光照和不同视角下物体的明暗、高光和阴影。可见三维实物建模 本身是一项庞大而且综合性很强的课题，即使单独拿出其中一部分来研究，也不 是容易做好的事情。例如，光照不变量的计算需要有特定的照明和测量设备来获 取原始数据，还需要设计比较复杂的算法来计算最终结果：纹理的重建需要在几 何模型和纹理之间建立对应关系，还要将多视点的纹理图合并成覆盖整个物体表 面的没有冗余保持细节的单个纹理图。相对光照不变量的计算和纹理的重建来 说，几何模型的重建是三维实物建模的基础，没有几何模型，即使算出了光照不 变量和重建出了纹理，也没有应用的价值。综合考虑以上因素，本文只几何模型 的重建进行研究，所以下面就概括性的介绍这方面的研究现状。 1 1 1深度扫描仪 从三维数据获取的角度来看，实物建模主要有基于图像匹配和基于深度扫描 仪两种主要方式。前者对装置的依赖最小，但是不能够控制或者改变照明条件； 后者则是依靠设备投射出的光来探测物体表面。所以前者又常被称为被动成像， 后者被称为主动成像。本人的研究数据采集自结构光装置，结构光装置属于深度 扫描仪，因此我们下面只介绍主动成像下的实物建模。 图1 1 2 三角成像原理 o f 打a v e l d 三角成像是最普通的主动成像方式 c u r l e s se ta 1 ，1 9 9 9 】，其原理由图1 1 2 3 第一章绪论 来解释。一束平面状的光束照在物体表面上形成一条条纹，然后相机拍下图像。 我们可以从条纹图像的每一点出发，逆着成像的视线直到与发射光的平面相交， 交点就是物体表面上的点。如果将平面状的光束扫过物体表面，那么就能得到物 体其它部分的形状。这就是三角成像扫描仪的原理。为了减小扫描时间，一次性 获得更多的点，有的仪器能够向物体同时投射出更多的点状光或平面状光，这样 的装置我们称之为结构光装置。它需要解决成像条纹与发射光柱之间的对应问 题，尤其是在有遮挡的情况下。为此研究人员已经开发出了多条纹的结构光系统， 可以较好的解决遮挡下的对应问题。 除了光学三角成像，另外一种常用的主动成像方式是雷达成像。它的原理分 为基于飞行时间和基于调幅两种情况。基于飞行时间的雷达成像是通过测量激光 从发射到返回所花的时间来计算深度距离，而基于调幅的雷达成像是通过测量调 幅激光从发射到返回的相位差来计算深度距离。 有关成像方面的内容在参考文献 s e i t ze ta 1 ，1 9 9 9 和【n a y a re ta 1 ，1 9 9 5 1 中有更详细的介绍。 深度扫描仪测量的结果是三维点集或者深度图像，其中深度图像与一般的图 像都是由像素组成，唯一不同的是深度图像的像素值是从像平面上的像素到物体 表面的深度值，而不是灰度值。不论是三维点集，还是深度图像，都缺乏表面的 拓扑连接信息，所以还不能代表物体的表面。而大多数后续处理比如配准和融合 需要知道输入点集的拓扑连接关系，所以我们有必要事先将这些点连接成三角网 格，这个过程称为三角化。 1 1 2 三维配准 一般来说，深度扫描仪不能一次性的获取物体完整的表面形状，只能从不同 视点采集多个三维点集。每个三维点集只能反映物体表面的一部分，各部分还不 在同一个坐标系下。因此，要想获得物体完整的三维模型，需要对不同视点的三 维点集作刚体变换以转换到同一个坐标系下，这个过程称为三维配准b e m a r d i n i e ta 1 ，2 0 0 2 】。 如果深度扫描仪是安装在高精度的控制平台上，或者具有精确的位置跟踪功 能，那么装置本身就能够提供所需要的刚体变换，配准问题就迎刃而解了。但是 在通常情况下，没有如此高精度的设备，所以必须从深度图或者三维点集本身来 求取变换。 目前三维配准的研究将配准的过程分成了两大阶段：粗配和细配。粗配的目 4 第一章绪论 的是求出近似的配准变换，为细配提供好的起始位置来增大迭代收敛到最优变换 的概率。两个阶段在所使用的方法有很大差异，细配一般是采用逐渐逼近结果的 迭代方式，而粗配基本都是非迭代方式。 1 粗配 一些简单的设备可以提供粗略的变换，另外也可以由人工选择匹配点来求 耿。但是为了减少对人工操作和设备的依赖，研究人员经过多年努力，在寻找自 动化配准方法上取得了卓有成效的研究成果。这类方法在思想上与三维识别是相 通的，都是用表面特征来寻找匹配点 c a n l p b e l le ta 1 ，2 0 0 1 。 曲率常被用来刻画物体的表面。t h i r i o n 【t h i r i o e ta 1 ，1 9 9 6 用曲率来定义物 体的全局表达，他将表面上曲率变化分布的极大极小点间的过零处作为特征点和 待匹配的元素，但是他注意到这种全局表达的匹配速度不快。d o r a i d o r a ie t a 1 ，1 9 9 7 1 按照曲率对局部表面进行分类，然后建立相应的直方图用于匹配，取得 了较快的匹配速度。 s t e i n 和m e d i o n i s t e i ne ta 1 ，1 9 9 2 提出，对于每个点，使用该点附近的法向 分布来描述周围的局部表面，他们将这种被称为s p l a s h 的特征作为匹配元素。 c h u a 和j a r v i s c h u ae ta 1 ，1 9 9 7 也提出类似的方法，对于每个点，将与其相隔一 定距离的所有点到该点切平面的距离分布用于匹配，并称之为p o i n ts i 弘a t u r e 。 j o h n s o n 和h e b e r t 【j o h n s o ne ta 1 ，1 9 9 7 则是统计周围点相对于中心点位置的二维 直方图分布，并用这种被称为s p i nh n a g e 的特征表达来进行匹配。 s p h e r i c a la t t m u t e1 1 1 1 a g e ( s a i ) h e b e ne ta 1 ，1 9 9 5 】是另一种重要的描述表 面的方法，它将表面上的所有点映射到球面上，每个点周围的局部特征比如曲率 也被存储在相应的球面位置，三维匹配于是就变成了寻找不同表面的s a i 之间的 旋转变换。 基于表面特征的三维配准和识别内容非常丰富， c a m p b e l le ta 1 ，2 0 0 1 】是一 篇比较好的综述。 2 细配 给定粗略的变换后，接下来就要以此为起始，迭代搜索最优变换，以改进配 准的精度。 i t e r a t i v ec 1 0 s e s tp o i n t ( i c p ) 算法是用得最广的细配算法，它是由b e s l 和 m c k a y 提出来的 b e s le ta 1 ，1 9 9 2 。他们通过两个表面的点之间距离最近原则寻 找匹配点，整个迭代过程用一般的非线性方法来进行优化。z h a n g 【z h a i l ge t 5 第一章绪论 a 1 ，1 9 9 4 为匹配点加入了距离和法向约束，使i c p 算法能够处理数据噪声导致的 误匹配。c h e n 和m e d i o i l i c h e i le ta 1 ，1 9 9 2 提出使用点到切平面的距离取代点之 间的距离来找匹配点，这不仅可以用于最小化两个表面的距离，还能够在一定程 度上用来匹配它们的局部几何特征。 除了几何距离，还可以用颜色纹理信息来寻找匹配点。j o 1 i l s o n 和k a l l g j o l l l l s o ne ta 1 ，1 9 9 7 提出了将每个点的颜色值与位置组合成更高维的坐标，用于 平面区域的配准，在他们的文章中报告了比使用i c p 更精确的结果。另一种利用 纹理的方法被称为基于图像的配准，它是将两个在一定初始位置下的纹理表面投 影到同一个像平面，然后进行二维的图像配准，再将二维的匹配点返回到三维匹 配点。这种方法避免了前面一种方法需要在高维空间中搜索的代价。这里举几个 代表性的基于图像的配准算法。w e i k w j i ke ta 1 ，1 9 9 7 】用投影梯度图来搜索匹配 点。p i l l l i 【p m l i ，1 9 9 7 】用平面透视变形来实现配准。与w e i k 和p u l l i 的方法都是 对整幅图像处理不同，b e m a r d i n i b e m a r d i l l ie ta 1 ，2 0 0 1 等用互相关的局部操作 搜索匹配点，减少了计算量。 1 1 3 三维融合 一旦所有视点下的三维点集配准之后，三维几何建模的下一步就是要将它们 合并成一个三角网格，这就是三维融合。 目前已经提出的融合方法有许多种，根据方法的思路可以分为三类，基于 d e l a i l i l a v 的方法、基于表面的方法和基于体的方法。 基于d e l 姗a y 的方法是用三维点集进行d e l a i l i l a y 剖分等计算几何的方法来 重建表面，这种方法通常直接处理点云而非三角网格，例如b a j a j 等人基于 却h a s h 印e s 的算法 b a j a je ta 1 ，1 9 9 5 】，a m e n d a 等人基于c n l s t 的算法 a m e n t ae t a 1 ，1 9 9 8 】和基于c o c o n e s 的算法 a m e n t ae ta 1 ，2 0 0 0 】。此类方法假设所有点之间 是无序的关系，尽管将问题提高到一般化的层次，但是随之而来的是对噪声的敏 感和算法的复杂。 基于表面的方法其思想是表面的局部参数化和邻近点的局部连接。其关键的 问题是如何削弱表面接合处由于配准扫描误差和重叠冗余导致的明显痕迹。为此 s o u c y 和l a u r c i l d e a u s o u c ye ta 1 ，1 9 9 5 】以及t u r k 和l e o v y t u r ke ta 1 ，1 9 9 4 】采用 几何平均的方法，将重叠区域的冗余数据重新组织起来。s o u c y 和l a u r e n d e a u 先 将不同三角网格的冗余数据结合形成一个点集，然后在其中进行连接。而t u r k 和l e o v y 是先排除冗余的数据，然后将三角网格连接起来，再用被排除的点调整 6 第一章绪论 连接后的三角网格。另外，b e m a r d i l l i 等基于b a l l p i v o t i n g 的方法【b 哪a r d i n ic t a 1 ，1 9 9 9 1 也属于此类。这类方法适合于处理大规模的数据集以及噪声比较小的情 况，但是当噪声大到足以影响局部表面的拓扑属性时就会出现问题。 基于体的方法的思想是用隐表面的体形式表达待求表面，首先从多个三角网 格建立起有向加权距离场，估算网格体元中心离开待求表面的距离：然后用 m a r c h i n 叠c u b e s 算法提取出零距离等值面。这种将融合问题转换成构造表面数据 的体表达和提取等值面的思想有效的避免了构造三角面片的困难。另外，基于体 的方法还非常适合于处理大规模的数据。h 0 p p e 等人是最早提出这类方法的研究 者之一 h o p p e e ta 1 ，1 9 9 2 】，他们通过对表面局部作切平面估计来计算有向距离。 随后c u r l e s s 等人用另一种方法建立距离场 c l l r l e s se ta 1 ，1 9 9 6 】。他们首先为每个 三角网格建立有向距离场，然后再对所有三角网格的距离值作加权平均，权值是 依据交点处的表面法向量和视线的夹角来决定的。h i l t o n 等人 h i l t o nc ta 1 ，1 9 9 6 】 首先局部搜索每个三角网格上离体元中心最近的点，然后用启发式的方法决定用 哪个三角网格的最近点来计算有向距离。上述方法容易受到实际噪声和无关点的 较大影响，w h e e l e r 等人对此提出了c o n s e n s l l ss l l r f k e 方法 w h e e l e r e ta 1 ，1 9 9 8 ， 他们充分利用多个数据点来估计来自相同局部表面的邻近点，然后作加权平均， 减少了噪声和无关点的干扰。 1 2 本文主要内容 本人的工作属于机器人视觉组承担的结构光重建项目，以结构光系统为基础 展开研究，目的是为了建立实际物体的几何模型。本文主要在单视点三角网格的 形成，三维配准和三维融合这三个方面进行一定的研究。全文内容安排如下： 第一章是绪论，简要介绍三维实物建模的研究现状和本文内容。 第二章介绍我们研究组搭建的结构光系统。该系统的构成和原理简单灵活。 我们根据结构光装置采集的数据所具有的分布规律，采用了一种新的简单有效的 方法将离散点集连接成三角网格。 第三章提出一种鲁棒的基于图像的三维配准方法。相对于前人的方法，我们 的方法不需要很好的初始位置，并且仅仅使用灰度图作为纹理。首先，我们使用 基于自相关矩阵最小特征值的方法检测出具有代表性的角点，在另一幅图像中用 互相关的方法搜索匹配点。其次，使用基于相关系数和距离的检验方法来滤除误 匹配。相关系数的阈值在两个不同阶段分别确定。具有长距离值的误匹配通过估 计距离分布的标准差来去除。模拟实验和真实实验表明，在上述比较宽松的条件 7 下，这种检验方法比前人仅依靠相关系数的检验方法能够取得更为精确和鲁棒的 配准结果。 第四章详细介绍了c o n s e n s u ss l l r f 缸e 三角网格融合算法，并实现了该算法。 此方法属于基于体的方法，此类方法将融合问题转换成相对简单的构造隐表面体 表达和提取等值面的问题，从而避免了拓扑连接的困难。而c o n s e n s u ss u r f a c e 算法本身还充分考虑了噪声和无关点的问题，它挑选出满足一定数量要求并且局 部一致的测量点来作平均。这个处理过程在很大程度上削减了噪声和无关点的影 响，因而使得算法比较鲁棒。另外此算法可以与八叉树结合实现，在精度不损失 的前提下有效的减小融合算法的复杂度。 第五章总结全文并对今后的工作进行了展望。 8 第二章基于结构光的三维重建系统 2 1 引言 第二章基于结构光的三维重建系统 三维重建因其广泛的应用范围是近年来人们的研究热点，而且三维熏建问题 也是计算机视觉非常重要的研究方向之一。获得物体表面的三维重建有各种不同 的方法，例如基于图像匹配的方法，基于结构光的方法以及基于激光扫描的方法。 基于结构光的三维重建，利用了结构光的编码信息来避免图像匹配的难题，并且 计算量小、鲁棒性高、可以得到高精度、稠密的三维数据。因此，基于结构光的 三维重建方法吸引了众多的研究者的目光。1 9 8 2 年，p o s d 锄e r 和a n s c h u l e r 【p o s d a m e re ta 1 ，1 9 8 2 提出了一种用空间编码的投影光束进行三维重建的方法， 这种方法需要用到多个结构光模板，因此只能处理静态场景。1 9 8 7 年，b o y e r 和k a k b o y e re ta 1 ，1 9 8 7 】提出一种利用单个结构光模板进行三维重建的方法， 他们设计的模板是竖直的彩色狭缝，这种方法的问题在于无法处理物体表面的颜 色趋于饱和的情况。1 9 9 1 年，w u s t 和c 印s o n 【w u s tc ta 1 ，1 9 9 1 】提出一种利用正 弦条纹模板进行三维表面测量的方法，在他们的模板中，一共有三种颜色的正弦 条纹，分别相差一定的相位平移，这种方法对于平滑的物体表面具有良好的测量 效果。但是，对于物体表面突变产生的条纹图像超过两个条纹间的平移时，则无 法处理。1 9 9 0 年1 萄i m a 和1 w a k a w a 【t a j i m ae ta 1 ，1 9 9 0 】提出了一种利用彩虹模板 进行三维重建的方法，在这种方法中，模板由不同波长的光条构成，每一个波长 的光条具有唯一确定的位置，他们利用这个信息很好的处理了确定条纹起始位置 的问题，但是这种方法无法很好的兼顾光场范围和条纹精细度两个问题。其它利 用结构光进行三维测量和三维重建的方法还有很多，综述 b a t l l ee ta 1 ，1 9 9 8 】中有 比较详细的介绍。 本研究组在计算机视觉领域多年研究的基础上，实现了一个基于投影仪一摄 像机的结构光重建系统 w a n ge ta 1 ，2 0 0 3 。其中投影仪用于向物体表面投射结构 光光栅模板，摄像机用于获取物体在结构光光栅模板照射下的图像。本系统的特 点是：( 1 ) 数据获取简单快速( 2 ) 采用多条彩色光栅模板，对物体颜色没有限 制，因此适用面比较广泛( 3 ) 标定准确简单( 4 ) 利用结构光装置获取的数据 特点，简单有效的实现三角网格连接。 本章内容分成以下几个部分：第2 节是预备知识，介绍结构光系统中要用到 9 第二章基于结构光的三维重建系统 的摄像机模型及标定；第3 节描述本组的结构光三维重建系统的结构与原理；第 4 节主要介绍为结构光装置设计的三角网格连接方法；第5 节是实验；最后一节 是本章小结。 2 2 摄像机模型及标定 三维重建是从图像信息出发，计算三维物体的位置，形状等几何信息。图像 上每一点的位置与空间物体表面相应点的几何位置有关，这些位置的相互关系， 由摄像机成像几何模型所决定。因此，我们先简单介绍摄像机模型及标定。 2 - 2 - 1 参考坐标系 为了定量描述摄像机成像过程，首先定义如下四个参考坐标系 马颂德 1 9 9 8 】。 1 图像坐标系( p i x e lc o o r m n a t es y s t 锄) 摄像机采集的数字图像在计算机内可以存储为数组，数组中的每一个元素 ( 称为像素，p i x e l ) 的值即是图像点的亮度( 或称灰度，若为彩色图像，则图像的像 素亮度将由红、绿、蓝三种颜色的强度表示) 。在图像上定义直角坐标系“_ v ，每 一像素的坐标( “，v ) 分别是该像素在数组中的列数和行数。即( “，v ) 是以像素为单 位的图像坐标系坐标，如图1 1 1 所示。 2 成像平面坐标系( r e 曲a lc o o r d i n a t es y s t 锄) 由于图像坐标系只表示像素位于数字图像中的列数和行数，并没有用物理单 位表示出该像素在图像中的物理位置，因而需要再建立以物理单位( 例如毫米) 表 示的成像平面坐标系，如图2 2 1 所示。 o o h 图2 2 1图像坐标系和成像平面坐标系 1 0 第二章基丁结构光的二维重建系统 在x 叫坐标系中，原点d l 定义在摄像机光轴和图像平面的交点处，称为图像 的主点( p r i n c i p a lp o i m ) ，该点一般位于图像中心处，但由于摄像机制作工艺上的 原因，也会有些偏离。若d 1 在“一v 坐标系中的坐标为( “o ，v 0 ) ，每个像素在x 轴和 y 轴方向上的物理尺寸为出，砂，则两个坐标系的关系如下： 纥，“。 o h ool ( 2 - 1 ) 其中y 表示因摄像机成像平面坐标轴相互不正交引出的倾斜因子( s k e wf a c t o r ) 。 3 摄像机坐标系( c a l e r ac o o r d i n a t es y s t e m ) 摄像机成像几何关系可由图2 2 2 表示，其中d 点称为摄像机光心，x 。轴 和y c 轴与成像平面坐标系的x 轴和y 轴平行，z 。轴与成像平面垂直，称为摄像 机的光轴。光轴与成像平面的交点为图像主点0 1 ，由点0 与苁，y c ，z 。轴组成的 直角坐标系称为摄像机坐标系。d d l 为摄像机焦距。 l “w 成像平面r y 形夕 。( x ，y ) 寥夕r 1 1 图像坐够男 ： y l 图2 2 2 摄像机成像关系示意图 z 。) 4 世界坐标系( w o r l dc o o r d i n a t es y s t 锄) 我们在真实世界环境中还要选择一个参考坐标系来描述摄像机和物体位置， 该坐标系称为世界坐标系。摄像机坐标系和世界坐标系之间的关系可用旋转矩阵 曰与平移向量f 来描述。由此，空间点尸在世界坐标系和摄像机坐标系下的齐次 1 1 第二章基于结构光的三维重建系统 坐标。，k ，z 。，1 ) 7 与( 以，t ，z 。，1 ) 7 存在如下关系 x t i z c 1 x 。 匕 z 。 l = m x 。 y w z 。 1 ( 2 2 ) 其中且是3 3 正交旋转矩阵，f 是3 维平移向量，口= ( o ，o ，o ) 7 ，肘是两个坐标系 之间的变换矩阵。 2 2 2 摄像机模型 1 摄像机针孔模型 摄像机模型给出三维空间点与它在图像平面上的成像点之间的关系。 在针孔摄像机模型下，空间点p 在图像中的像是尸点与摄像机光心的连线 与成像平面的交点，如图2 2 3 所示。因此，摄像机坐标系与成像平面坐标系之 间的关系为： 一鲁，y = 罢 陋s ， 其中，( z ，y ) 为p 点在成像平面坐标系下的坐标，( x 。，y c ，z 。) 为空间点j p 在摄像 机坐标系下的坐标。使用齐次坐标与矩阵形式，( 1 3 ) 可表示为： 料 户。置。z 三7 ，7 乏二三令童像平面 笼黢 ( 2 4 ) 以匕乙。 叫洲吨 第二章基于结构光的三维重建系统 系 将( 1 1 ) 与( 1 2 ) 代入上式，我们可以得到图像坐标系和世界坐标系之间的关 z 。 ； 圪， o ool = 专 ，o n | o 厂oo 忪 l o o1 o j 。 h o v 0 忙f 】 1 j x 。 匕 z 。 1 x 。 匕 z 。 l = 州rf 】贾= 戚 ( 2 5 ) 其中， = 厂出， = ，方，= ：陋丁】称为摄像机外参数矩阵，包括旋 转矩阵和平移向量：置称为摄像机内参数矩阵，( “o ，v o ) 为主点坐标，l ，l 分别 为图像“轴和v 轴上的尺度因子，y 是描述两图像坐标轴倾斜程度的参数： p ；曰r 1 为3 4 矩阵，通常称为摄像机矩阵或投影矩阵。( 1 5 ) 式表达了在针 孔摄像机模型下的摄像机成像原理。 2 非线性摄像机模型 当计算精度要求较高，尤其是当摄像机的镜头是广角镜头时，针孔模型便不 能准确描述摄像机的成像几何关系，通常使用非线性模型来描述成像几何关系。 由于本论文的三维重建工作仅限于针孔模型，所以在此对非线性摄像机模型不作 过多的论述。 2 2 3 摄像机标定 摄像机的内参数决定了摄像机所拍摄物体或场景与其图像之间的映射关系。 对于不同的摄像机，摄像机的内参数一般均不相同，即使对于同一摄像机，其内 参数也可能会随着拍摄图像时的具体操作与设置而有所不同。多数情况下，摄像 机内参数必须通过实验与计算才能得到，确定摄像机内参数的过程称为摄像机标 定。摄像机标定是三维重建不可缺少的步骤。 传统的摄像机标定方法是利用精密设计的标定块来获取摄像机内参数，这种 方法的优点是精度较高，鲁棒性较好。传统标定方法有两种典型方法：( 1 ) 基于 摄影测量学技术的方法，f a i g 在 2 2 】中所提出的标定方法中考虑了摄像机成像过 程中的各种因素，在描述每幅图像与其对应三维物体空间的约束关系时涉及了至 少1 7 个参数，由于考虑的因素较全面，同时采用的是特殊的专业量测摄像机， 1 3 门i 叫 第二章基于结构光的三维重建系统 该方法的优点是精度较高，但相应的缺点是计算量非常大。( 2 ) 直接线性变换 l t ) 方法，由a z i z 和k a r a r a 于1 9 7 1 年所提出的d l t 方法【2 2 的最大贡献是， 给出了仅通过求解线性方程组便可求取摄像机模型参数的可行途径。与基于摄影 测量学的方法相比，直接线性变换方法更符合计算机视觉中各种实际应用的要求 以及通常所采用的c c d 摄像机的特点。 直接线性变换( d l t ) 方法来标定摄像机， a 1 ，2 0 0 0 】。 在我们的结构光系统中主要采用的就是 下面就对它作一下简单介绍 h a n l e ye t 假设已经获得一些三维点和二维点的对应关系 五h ，f - 1 ，n ，它们均 用齐次坐标表达。现在要求摄像机的3 4 投影矩阵p 使得一= 踊对于所有f 成 立。从每对墨h 而，我们可蛆推导出 疗，州i x ? ，x i l x ? w ? x ；，程一x l 。x j x ? ：x ? 。x 、x ? ，时 一 p 2 p 0 ( 2 6 ) 其中p ，是p 的第f 行向量。因为上式中的三个方程是线性相关的，所以我们只 用前两个方程： p 1 p 2 p 3 = o ( 2 7 ) 如果有n 对对应点，那么就可以将它们的方程组合成却= o 的矩阵方程形式，其 中爿为2 n 1 2 的系数矩阵，p 为p 的元素组成的列向量。现在问题变成在给定 l = l 的条件下，求爿p = o 的解p 。d i t 方法是将与一的最小奇异值对应的单 位奇异向量作为解p 。求出p 后，就很容易得到p 。 接下来，摄像机的内参数和外参数可以通过对p 的前三列组成的矩阵作q r 分解得到， 3 2 1 节对此有详细介绍。 2 3 结构光三维重建系统简介 2 3 1 系统构成 结构光三维重建系统包括如下几个主要部分：摄像机，投影仪，旋转平台 以及计算机( 如图2 3 1 所示) 。下面分别介绍这几个部分的特点及其模型。 1 4 f 蕾玉 r ， 一，峨v 一，誓 矿 第二章基丁结构光的三维重建系统 ( b ) 图2 3 1结构光三维重建系统实物图 ( a ) 打结构光前( b ) 打上结构光后 1摄像机 摄像机用来获取图像，主要使用小孔成像模型来描述成像原理( 2 2 节) 。 2 投影仪 投影可以看作是获取图像的逆过程，通过与投影仪相连的计算机产生光栅模 板，送给投影仪，投影仪再将光栅模板投射到空间中。在我们的系统中，假定投 影仪也是小孔模型。不同的光栅条纹可以与光心形成不同的光栅平面，如图2 3 2 15 第二章基于结构光的三维重建系统 所示 心 图2 3 2 投影仪及光栅平面示意图 本系统采用多条彩色光栅模板，如图2 3 3 所示。该模板的光栅条由红、绿、 蓝三种颜色组成，其中红、蓝两色光栅条交替排列，而绿色光栅条位于模板的中 间位置。实际中我们将绿色光栅条做为标志条用于光栅条的匹配，当然此匹配方 法对于形状复杂的物体有局限性【黄凤荣，2 0 0 4 。 图2 3 - 3 系统所采用的光栅模板 3 旋转平台 旋转平台就是绕某一个固定轴旋转的平台。它与摄像机、投影仪三者之间的 相对位置是固定不变的。被重建的物体放在旋转平台上，投影仪的光栅条纹被投 1 6 第二章基丁- 结构光的三维重建系统 射到物体的表面，通过旋转平台的旋转运动获取物体表面各个部分带有光栅条纹 的图像。 4 计算机 计算机主要用于生成光栅条纹，控制摄像机自动获取图像、控制旋转平台的 运动并且实现三维重建过程。 2 3 2 三维重建过程 利用结构光进行三维重建的基本原理如图2 3 4 所示。光栅条纹，被投影仪 投射到物体表面形成一条曲线三，是曲线上在摄像机上所成的图像，则f 上任 一点m 对应的物体表面上的点x 是摄像机关于像点埘的反投影射线屯与光栅 平面的交点。因此一旦知道吒与丌，在世界坐标系中的表示，我们就确定了物 体表面点x 在世界坐标系中的三维坐标。如果已知摄像机投影矩阵p ，我们就 可以通过图像点胁，由p 计算出6 ，。 图2 3 4 条纹结构光三维重建几何原理 基于结构光的三维重建主要可以分为以下几个步骤： 1 摄像机标定 确定在世界坐标系下的摄像机投影矩阵，在我们的系统中使用传统标定方法 进行摄像机标定。 1 7 第二章基于结构光的三维重建系统 2 光栅平回标定 求出光栅平面在世界坐标系中的方程。如图2 2 5 所示，投影仪投射出的每 条光栅条纹都和光心构成一个光栅平面，在标定和重建的过程中，这些光栅平 面的位置保持不变。确定光栅平面方程，实际上就是确定光栅平面在世界坐标系 中的坐标。标定过程如下： a ) 将光栅条纹f 投射到世界坐标系的0 一泫平面( 即通过世界坐标系原点 0 以及j ，轴和z 轴的平面，下同) 和d 一忍平面上，形成两条直线上1 和如，它 们在摄像机图像平面上的像直线分别记为一和z ： b ) 由摄像机投影矩阵p ，得到两个空间平面方程q2 和吗。p7 乞； c ) 光栅平面上的两条直线厶和厶可表示为厶2 ( p ) n ( o 一】z ) ， 厶= ( 7 如) n ( o 一盖z ) d 1 由厶，厶确定光栅平面q 。 投影仪光b 图2 3 5光栅平面标定示意幽 3 三维重建 利用摄像机得到带有光栅的物体可见部分表面的图像，提取出光栅条纹的图 像，利用摄像机投影矩阵和光栅平面方程，计算出光栅条纹上点的空问位置；转 动平台，通过摄像机获取物体在另一个可见部分表面的带有光栅条纹的图像，并 重建该可见部分的物体表面；继续该过程直至得到物体表面各个部分的三维重 1 8 第_ 二章基丁结构光的三维重建系统 建。 4 三角化连接与纹理映射 将每个视点的三维点集连接成三角网格( 具体将在2 4 节中介绍) ，然后用 o p e n g l 把真实图像作为纹理粘贴到三角网格上，形成逼真的显示效果。 5 旋转平台标定 确