（电子科学与技术专业论文）基于旋转平台的多视角三维重建.pdf

浙江大学硕士学位论文 a b s t r a c t h lr e c c n ty e a r s ，w i mt 1 1 e r a p i dd e v e l o p m e n to ff i l ma i l dt e l 嘶s i o na i l i m a t i o i l ，r e v e r s e e n 百n e 舐n ga i l di i l d u s t r i a lt e s t i n g 3 dr e c o l l s 仃u c t i o n ，o n eo ft 1 1 ek e y t e c l u l i q u e si nm i sa r e a ，h a s r e c e i v e dw i d e s p r e a dc o n c e ma 1 1 dr e s e a r c h 1 1 l i sr e s e a r c ho fm r e ed i m e n s i o n a lr e c o n s 仃u c t i o ni s b a s e do na l e t 1 l i s 咖t a b l ed o e ss p e c i f i e d 删er o t a t i o n 啪u i l d 廿l ec e n t e rt og e to b j e c t c o m p l e t e3 dm o d e l 廿l r o u 曲m u l t i p l e - v i e wp h o t o so f 臼ko b j e c t s 1 1 1 i sd i s s e r t a t i o nf o c u s e so nt h e m r e ek e yi s s u e sw i 廿1r e s p e c tt om u l t i p l e v i e w3 d r e c o n s 仃u c t i o n ，n 锄e l y 3 dd a t aa c q u i s i t i o n ， m e3 dd a t ar e 百s 锄i o na n di n t e 蓼a t i o n 3 dd a t aa o q u i s i t i o n ac o n l p l e t es y s j 唧f o r3 dr e n s 卸出o ni s p f o p o s e db a s e do n t i 唧t a b l ea i l db i n o c u l a rs t e 封e o ，9 0 i n p 9 s e d1 0 f 押oc 锄e 】哪a n dap r e c i s ec o n 仃o lt u i n t a b l e c 9 玎e 印o n d m c ep a i rm a t c l l i l l gi sai m p 9 r t 锄ts t e pi i lr i e c o n s 呻c t i o n s p 够e t i m es t 渊i i 】- a t c b j n g c a i le 航哆v e l yr e d u c em a t c 量l i i l gd i f 6 c u l t yt or e a l i z ea c c u i a t er e c 0 1 1 s 协：l 曲o no fo b j e c ts u l e w i m o mt e x t u r e ，b yp r o j e c t i n ga 耐e so fl i 出甜e n l sf o rt 1 1 e p 眦p o s eo fe 血c b j n gs u l f a c e t e x t i l r ei ：n f o 商a t i o n 誊童 3 dd a t a r e 西s t r a t i o n i ac r i t i c a li s s u ei ：i l3 dr e c o n s 毛兀j c t i o n t h e r e 酉s 仃_ e i _ t i o n o f m u l t i p l e - v i e wd a t aa i m st of i n dm eb e s te s t i m a t eo fr i 西dt r a 酞f o r 】 n a t i o n s 锄o n gd i 佰j r e n td a t a a n dt 1 1 e np u t 吐1 e mi i l t oac o m m o nc o o r d i 眦t es y s t 锄t h ec o o r d i i l a t et r a n s f o m 撕o nb e 觚e 醯 d i 胁e n lc o o r ! i d i n a t es y s t c i i l si sc o n l p u t e db ym ea n g u l a rp o i n ti n f o 胁a t i o no nt h ec a l i b r a t i _ 0 n t a r g e tt or e a l i z em u l t i p l ev i e w sd a t ac o a r s er e 百s 仃a t i o n 。f u r t l l e r m o r e ，t h em o s tp o p u l a r r 哂s 仃a t i o nm e m 0 “sb a s e do nm ei t c r a t i v ec l o s e s tp o 缸( i c p ) a 1 9 9 r i t h i n ，a n dt h i sp a p e rr e a l i z e s m em u l t i p l e e w so ft h eg l o b a lr e 西s 眦i o ni c p a l g 嘶t l 码a 1 1 dr e a n z e sm el l i 曲p 婶c i s i 9 n r e 百s 仃啦o n h t e 黟a t i o no fm u l t i p l e - 访e w3 dd a t ai sa n 0 恤e rp a r a m o 嘣t e 蛳q u eo f3 dr e c ：1 0 n s 蜘c t i o n ；： i f u r l e m l o r e ，m o s to fp o p u l a ri n t e 鲥i o nm e m o d si sb a s e do nm e s hs t i t c h j l l ga i l di m p l i c i t s u r f a c e t i l i sp a p e rr e a l i z e si i n p l i c i ts 耐犯ef i l s i o na l g o 打b a s e do np o i s s o ne q u a t i 矗，w 赫 g o o dr e s u h so f r e c o n s 仃u c t i o ns u l 自c e e x p e r i m e n t a lr e s u l t ss h o wm e3 dm o d e lr e c o n s m l c t e da c h j e v e s s t r o n gs e n s eo f r e a l i 哆a n d 讥s u a le 仃i e c ti ss a t i s f a c t o 珂 v l l i g l lp r e c i s i o n ，h a u sa 浙江大学硕士学位论文 _ _ _ _ _ _ _ _ _ _ _ _ - _ _ _ _ - _ _ _ - _ _ _ _ _ _ _ _ _ _ - _ - _ _ _ _ _ - _ _ - _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ - _ k e yw o r d s ：3 dr e c o n s t r u c t i o n ；m u l t i p l e e w ；t i l m t a b l e ；b i n o c u i 盯s t e r e o ；3 dd a t a r e 酉s t r a t i o n ；3 dd a t ai n t e g r a t i o n v i 浙江大学硕士学位论文 致谢 时光荏苒，岁月如梭。转眼间，硕士研究生两年半生活已经结束。往事一幕幕浮现在 眼前，不尽感慨万千。当然此时此刻，最想说的是“感谢”二字。 首先感谢我的导师沈会良教授，您渊博的学识、开阔的视野给予我孜孜不倦的指导与 帮助。在此，谨向沈老师表达深深的敬意与由衷的感谢 感谢程岳师兄和韩坤芳师姐在科研上对我的指导，特别是在计算机视觉研究领域，我 取得的很多研究成果都离不开你们的帮助。 感谢同一届的董巍，杜晓辉，叶刚三位同学，从你们身上我学到了很多东西。 感谢实验室的同学们，谢谢你们陪我一起度过充实的研究生生活。 感谢我的父母，感谢你们含辛茹苦2 0 多年的养育之恩，谢谢你们，我亲爱的父母! 最后，感谢所有曾帮助过我，关心我的老师、同学和朋友。在此向你们真诚地说一声 谢谢! 浙江大学硕士学位论文 第一章绪论 1 1 计算机视觉概述 人类通过自己的视觉、听觉、味觉等从周围环境中获得信息，进而达到对外部世界的 理解。随着计算机技术和智能信息处理技术的发展，计算机代替人眼和人脑完成对视觉信 息的处理，一门新的学科一一计算机视觉应用而生。计算机视觉【1 】就是用各种成象系统 代替视觉器官作为输入方式，由计算机来代替人脑完成信息处理和理解。 计算机视觉是一门综合性学科，涉及图像处理、信号处理、计算机图形学等诸多学科， 并已应用于图像分析、医学图像处理、文字识别、多媒体技术、图像数据库、工业零件检 测等方面。随着研究的不断深入，计算机性能的不断提高，计算机视觉必将应用于更多领 域。 2 0 世纪5 0 年代，计算机视觉的研究集中于二维图像分析、识别和理解等统计模式识 别问题上。到6 0 年代，r o b e n s 开创了“积木世界”的环境理论【1 1 ，该理论认为世界中的 物体由各种多面体组成，感兴趣的物体可以用点、直线、平面等简单的几何形体的组合表 示。使用计算机程序从图像中提取出四面体、圆柱体、球体等各种基本形状的三维结构， 并对物体形状和物体的空间关系进行描述，进而达到对三维场景的理解。 1 9 7 7 年，m a 盯提出了一种新的视觉理论一一m a r r 视觉理论【1 】 该理论具有全新的理 论框架，完全不同于i 渤e n s 的“积木世界”理论，也奠定了计算机视觉研究领域中的理 论研究框架。2 0 世纪8 0 年代中期，计算机视觉中的新概念、新方法、新理论不断出现， 如以感知特征群为基础的物体识别理论、主动视觉理论框架等【1 1 。 三维重建是计算机视觉领域的重要研究方向。随着计算机技术的迅速发展，基于计算 机视觉的三维重建技术在逆向工程，工业检测，游戏影视等领域获得了广泛的应用。三维 重建就是利用三维测量手段采集真实物体表面的三维信息，同时利用计算机辅助几何设计 ( c a d ) 、计算机视觉( c v ) 、图形学( c g ) 等技术将整个物体的模型信息在计算机中 进行重构、编辑、渲染、造型等。 三维重建技术就是要在计算机中真实地重建出该物体表面的三维虚拟模型，构建一个 物体完整的三维模型，大致可以分为三步：第一，利用摄像机等图像采集设备对物体的点 云数据从各个角度采集，单个摄像机只能对物体的一个角度进行拍摄，要获得物体表面完 浙江大学硕士学位论文 整信息，需要从多个角度对物体拍摄；第二，将第一步获得的各视角点云数据变换到同一 个坐标系下，完成多视角点云数据的配准；最后，根据配准好的点云数据构建出模型的网 格表面 1 2 三维重建概述 在计算机视觉中，三维重建是指根据单视角或者多视角图像重建三维信息的过程， 涉及计算机视觉、计算机图形学等学科的众多相关知识，是一个多学科交叉领域，是m a r r 计算机视觉理论框架的中级视觉部分 目前根据重建方式的不同，主要有以下几种重建方法： 双日立体视觉方法。双目立体视觉测量方法主要是模拟人类双眼的立体成像原理，左 右两个有合适角度的摄像机在同一时间拍摄场景中某一物体，通过三角几何关系和视差原 理，获取左右摄像机相同视角下物体表面点的坐标信息，进而构建出物体的位置和形状【1 1 。 物 图1 1 双目立体视觉系统 、一 光度立体视觉方法。根据颜色理论，物体表面在不同的光照条件下的颜色亦不一样， 光度立体视觉拍摄物体在各个方向光照条件下的同一处表面，利用获得的这一组图像来重 建物体表面形状。理论上三个光源1 1 就能够计算出物体表面某一点的法向量，但通常为了 避免噪声干扰、提高精度等，会选择4 个方向以上的光源( 如图1 2 所示) 。 2 一 浙江大学硕士学位论文 冉纛帑 器点光源 ￥ 摄像机 图1 2 光度立体视觉系统 三日立体视觉及多目立体视觉。双目立体视觉中，j 匹配的往往结果取决于被拍摄物体 表面纹理颜色信息的多寡。在物体纹理信患较少时，左右两幅图像像素匹配时容易产生错 误匹配，结果不可靠。为减少错误匹配、提高双目视觉匹配精度，三目及多目立体视觉系 统是一种解决方法。多目立体视觉中的匹配根据光学三角形理论，采用多个重叠点“多角 度前面交汇”的方法，因而可以有效使用冗余数据，一定程度上解决误匹配问题，提高三 维重建精度，但是这种方法较为繁琐，同时使用的硬件设备也更加复杂和昂贵。 基于运动的三维重建。这种方法多用于动态场景跟踪等领域，算法的基本原理是依靠 相对运动的摄像机输出一系列图像来重建物体的三维信息 结构光立体视觉。结构光立体视觉方法是使用标准的光栅条纹结构光投射到物体表 面，投影光条跟随物体表面形状的起伏而发生变化，摄像机拍摄物体表面图像，从被物体 表面形状所调制了的条纹模式中，提取出物体的三维信息。结构光立体视觉方法以光学三 角法测量理论为基础，在测量之前先要对摄像机和光学投影仪标定。结构光立体视觉系统 如图1 3 。 模一 3 浙江大学硕士学位论文 1 3 选题依据、研究思路及意义 1 3 1选题依据和研究思路 物体的三维重建主要涉及三个方面：多视角点云数据采集，多视角深度点云数据配准， 多视角点云数据融合等。 根据获取物体表面点云数据方式的不同，可以将测量方法可以分为接触式和非接触式 两大类。 三维坐标测量机就是一个典型的接触式测量方法，该方法中机械探测头和物体表面接 触进行测量。这种机械测量的方法目前来说技术成熟且精准度较高，但是此种方法测量过 程较为繁琐，更不能用于测量布料等质地柔软的物体。针对接触式测量方法本身所固有的 缺陷，以三维光学传感和计算机视觉技术为主要手段的非接触式测量方法避免了这些缺 点。该方法中如光度立体视觉、激光扫描法、结构光立体视觉、双目和多目立体视觉等方 法都已获得成功应用。 由于双目视觉测量需要的实验设备简单，数据获取方法也简单易行，本次毕设主要研 究双目视觉测量系统。 在双目立体视觉中，对两个摄像机拍摄的图片进行匹配是其中的关键步骤。图像匹配 就是依据给定图像的已知点，在对应的目标图像上搜寻和其对应的同名像素点，即场景中 一个物体点在两幅图像中的投影点但对空间物体纹理颜色较少区域，匹配容易错误。文 献 2 和文献 3 】提出的时空立体匹配是一种解决此问题的较好方法，本文也采用了这个方 法。 c 目前大多数的三维重建系统，由于被测物体和摄像机问的相对位置固定，只能获取物 体表面某一视角的图像，重建出来的三维数据也只相对于单个视角的，并不能构建物体表 面的完整三维模型，更不能很好地解决物体间各部分的遮挡问题。因此，本文提出了基于 旋转平台的物体多视角三维重建系统和相应算法，利用转台控制物体旋转，拍摄物体不同 视角图像，从而获得到物体各个视角的图像信息，实现了物体完整的三维重建。该系统具 有设备简单、成本低等优点，是一种较好的三维重建系统。 多视角三维数据粗配准方法有测量设备相关的配准方法、人机交互的方法、基于对应 量的配准方法等。 4 浙江大学硕士学位论文 针对多视角数据粗配准这个问题，结合本文的实验条件和受摄像机标定方法的启发， 本文研究的提出了自己的方法，通过拍摄旋转平台上多个视角下的标定板图像，提取标定 板图像角点信。息，计算出旋转平台坐标系和摄像机坐标系的空间位置关系，实现不同视角 数据的粗配准。 i c p 方法是当前点云数据精配准的主流算法。在i c p 方法中，初值选取是一个重要问 题，如果选取得当，算法可以快速收敛到全局最小，实现不同视角数据的精确配准。 在本文研究粗配准算法获得良好初始配准值的基础上，结合现有i c p 精配准算法，本 文改进并实现了多个视角的i c p 。 根据被处理点云数据的组织形式，点云数据的融合主要有非结构化点集的融合和结构 化点集的融合两类 4 1 。目前，解决非结构化点集问题主要有基于d e l a u n a y 重建算法和基于 隐式曲面重建算法基于d e l a u l l a y 剖分算法 5 1 ，具有很强的数学基础，一般能精确重建物 体表面，但计算量大，对带有噪声和尖锐特征的物体不能取得理想结果。基于隐式曲面重 建算法有很多种，例如h o p p e 提出的算法【6 1 ，该算法使用p 密度样本刻画点集密度的定义， 得到数据点局部处的切平面，用切平面线性逼近重建网格的局部形状，建立距离函数，再 抽取等值曲面获得模型表面。 结构化点集是指在多视角点云数据融合前，就已知了单个视角点云数据中点之间的连 接关系，这种点之间的连接关系为点云数据的融合提供了更多信息解决此类问题的方法 有基于隐函数和基于拉链缝合思想两种。在文献 4 】中，l e v o y 和t u r k 提出一种基于拉链和 缝合思想的三角网格表面重建算法这类算法首先识别两个待融合网格的重叠区域，在对 重叠区域进行去除，最后两个三角网格进行缝合。此类方法虽然计算量小，但很难保持缝 合处的连续性、光滑性，特别是算法对点云数据中噪声点的抗干扰性很弱。基于隐函数框 架对多视角点云数据融合，构建表面网格的思路不仅可以解决非结构化点集的融合，更可 以解决结构化点集融合如c u 订e s s 【7 】等人提出的算法，该算法以扫描图像( r a n g eh i l a g e ) 作 为加权距离场函数，使用合并多个视角点云数据的方法进行网格重建，能处理上百万点云 数据规模。 在分析现有几种算法的基础上，本文采用了泊松方程的隐函数算法构建模型网格表 面。 5 浙江大学硕士学位论文 1 3 2选题意义 三维重建是计算机辅助几何设计( c a g d ) 、计算机图形学( c g ) 、计算机动画、计算机 视觉、医学图像处理、科学计算和虚拟现实、数字媒体创作等领域的共性科学问题和核心 技术。三维重建技术也已广泛应用在工业零件检测、游戏开发、影视动漫、医学诊断等领 域。 高精度三维重建技术是逆向工程的坚实基础。_ 般意义上讲，逆向工程指借助各种各 样的测量、设计和制造方法和手段，获取现有产品形状、大小等信息，构建和真实产品几 乎完全相同的模型。逆向工程技术可广泛应用于摩托车、汽车、家用电器等复杂产品外形 的修复、改造与创新设计等。因此，逆向工程技术具有广泛的应用发展前景和重要意义， 是增强我国机械c a d 设计和制造能力的重要手段，对增加我国机械工业产品外观设计和 制造中的高新技术含量、提高产品在国际市场中竞争力，具有重要意义。 高精度三维测量设备可普遍应用于工业零件检测等领域三维重建被测零件的三维模 型，可以获得被测零件的各种几何信息如应用在工业生产中检测形状不合格产品，代替 了传统的人工方法，省时省力。 三个重建技术为文物的研究和保护提供了一种新的方法。如果可以将真实文物的3d 几何与颜色信息记录下来，那这些文物的三维数字模型就可以长久保存。进一步地，使用 三维重建技术构建的数字博物馆将为人们提供更丰富多彩的业余生活，人们能方便地通过 互联网在电脑前参观各种文化名胜、浏览文物古迹等。如，国外应用三维重建技术构建了i 著名的米开朗基罗模型。 目前国内外在游戏、影视动画等领域，所使用三维模型主要靠美术人员使用3 d m a x 等建模软件进行构造，这种方法构建的模型精度低且构建时间长；利用三维重建设备扫描 现有物体表面，构建三维模型。此种方法构建的模型精度高且建模时间短，大大节约了成 本。 三维重建技术在医学领域亦有重要应用，如临床中c t 图像和核磁共振成像。使用三 维重建技术可以精确地重建病理区域，使医生对病理区域获得更加准确地认识，有助于进 一步诊断。此外在近年来兴起各种整形手术中，医学图像重建技术亦必不可少，特别是在 牙齿整形手术中已经获得成功。 6 浙江大学硕士学位论文 1 4 本文的研究内容和章节安排 1 4 1本文研究内容 本文研究目标是：使用旋转平台和双目立体视觉的硬件平台，结合现有的各种算法和 本文提出的算法，构建真实物体的高精度完整三维模型。 三维重建系统总体框图如图1 4 所示。在摄像机标定的基础上，左右摄像机同时拍摄 真实世界中被投影仪投射各种光条的物体，获得一组图像，对获得图像极线校正和匹配后， 得到较准确的视差，再根据视差最终得到物体三维信息，重建物体单视角三维模型。旋转 平台转动，重复以上过程，获得物体各个视角的三维信息，根据平台旋转角度和摄像机相 对位置关系，进行多视角三维数据粗配准，粗配准算法后的结果使用全局i c p 算法进行精 确配准。多视场三维数据快速、高精度融合是三维重建的另一个重要方面，是指在同一个 坐标系内去除不同视角点云数据的冗余部分，并进一步构建原始物体表面完整的网格模 型。 本文所使用的点云数据采集系统由一台普通的投影仪和两台工业摄像机组成。使用投 影仪向物体投射格雷码等编码光条图案以增加物体表面纹理信息，实现左右摄像机拍摄图 像对的精确匹配。本文使用基于2 d 平面靶标的摄像机标定方法【8 1 ，拍摄一个平面靶标( 棋 盘) 各个位置图片( 理论上要3 个以上) ，对摄像机进行标定。利用摄像机标定后获得摄像机 内、外参数，对左右摄像机拍摄的进行图像校正，并根据采样得到的图片进行匹配，根据 三角原理重建物体表面点云数据。 i 构建双目立体视觉系统，并对系统 进行标定 土 l 对物体多视角摄像，获得物体表面 三维空间信息 上 多视角点云数据粗配准 上 多视角点云数据精配准 上 对物体表面进行数据融合 图1 4 系统总体框图 7 浙江大学硕士学位论文 针对传统双目立体视觉中对纹理较弱区域不能实现精确匹配的难点，本文使用时空立 体视觉的方法对空间物体进行匹配，这样虽然增加了一些拍摄图像，但减少了匹配的难度， 匹配精度迅速提高，真正实现了物体表面的密集重建同时根据双目立体视觉的特征，在 双目匹配过程中，本文利用了对称性约束，极线约束等约束条件进一步提高了双目匹配的 准确度和速度。 多视角点云数据粗匹配为精匹配提供了较好的初始旋转平移估计，因此可以进一步使 用迭代优化方法等精配准方法来获得不同视角点云数据的精确位置变换关系。因此，通过 拍摄旋转平台上多个视角下的标定板图像，提取标定板图像角点信息，计算出旋转平台坐 标系和摄像机坐标系的空间位置关系，进一步推导出不同视角下的坐标转换关系，从而实 现不同视角的数据配准。实验结果表明，基于本配准方法的旋转多视角双目测量系统具有 较高的配准精度，能有效用于物体表面三维重建 在多视角数据精配准方面，本文结合传统的i c p 算法，实现了多个视角的全局配准i c p 算法。其次，研究了基于隐式函数的泊松方程点云数据的重构。点云的隐式曲面重建就是 寻找一个能够刻画待重建曲面的特征函数，泊松表面重建方法利用表面指示函数梯度与模 型边界处法向之间的关系创建泊松方程，进而进行求解实验结果表明生成曲面光顺性好 且能自动修补原有网格中的孔洞。 1 4 2 本文创新点 本文在传统的双目立体视觉中增加时空立体匹配，同时利用各种约束条件，提高匹配 的准确度，实现了物体表面的精确重建。针对在旋转平台上采集得到的多视角数据，提出 一种简捷有效的配准方法，该方法通过拍摄旋转平台上多个视角下的标定板图像，计算出 旋转平台坐标系和摄像机坐标系的空间位置关系，进一步推导出不同视角下的坐标转换关 系，从而实现不同视角的数据配准。对传统的两视角i c p 配准算法进行改进，本文改进并 实现了多个视角的全局配准i c p 算法，实现了各视角模型的高精度配准。 1 4 3本文组织结构 第一章引言从计算机视觉引入，介绍和分析了目前各种三维重建方法的特点和其缺 陷，介绍了进行三维重建研究的意义，并阐明了本文的选题依据、主要的研究内容和研究 意义。 r 浙江大学硕士学位论文 第二章双目立体视觉本章顺序阐述了摄像机标定、双目立体标定、极线校正、双目 匹配、三维模型重建、时空立体视觉等的基本理论和过程在本章的结尾部分给出了单个 视角的三维物体重建的实验结果，同时对实验结果进行了分析 第三章多视角数据配准技术。介绍本文提出的基于旋转平台的多视角三维数据采集系 统。阐述了多视角三维数据粗匹配和精配准技术，提出根据旋转平台和摄像机相对位置关 系进行粗配准算法，在迭代最近点( i c p ) 算法的基础上，实现了多个视角的全局配准i c p 算法。 第四章多视角数据融合技术。本章阐述了多视角三维数据融合的各种算法。详细分析 了本文采用的基于泊松方程的多视角数据融合算法，最后给出了物体三维重建结果，并进 行了结果分析。 第五章结论与展望。总结本文获得的研究成果，并指出本文研究的不足和下一步研究 发展的方向。 9 浙江大学硕士学位论文 第二章基于双目立体视觉的三维重建 2 1 摄像机模型和标定 摄像机成像模型指摄像机通过成像透镜将三维景物投影到摄像机二维图像平面的成 像变换，可分为针孔线性成像模型和计算畸变的非线性模型。本文先叙述计算机视觉的各 种坐标系【1 1 理论，再讨论摄像机模型和标定方法。 2 1 1 图像坐标系、摄像机坐标系和世界坐标系1 】 在计算机内数字图像的存储形式为m 数组，m 行列的图像中的每一个元素称 为一个像素，其数值为图像像素点的灰度。在图像中定义直角坐标系”、v ，( 甜，v ) 表示像 素位于数组中的列数与行数。构建以物理单位表示的图像坐标系，该坐标系以图像内某一 点以为原点，x 轴与】，轴分别与扒，二轴平行( 如图2 1 所示) 。在x 、】，坐标系中，原 点q 定义在摄像机光轴和图像平面的交点，该点即为摄像机光心点，一般在图像中央位置 处，但通常会稍有些偏离，若q 在玑v 坐标系中坐标为( v o ) ，单个像素在x 轴和】，轴上 的物理大小为扰、d 】，则像素在像素单位坐标系和物理单位坐标系下的关系可以用式 ( 2 1 ) 【1 1 表示： ：三善；筹嚣j 阵 = “尹，；y 军 享 c 2 ， r o o h 0 1 ( ”o ，峋) x r v 1r 】， 图2 1 图像坐标系 实际中，我们通常会建立世界坐标系n 3 ，它是空间中一个基准坐标系用来描述环境中 任何被拍摄景物的方位( 包括摄像机) ，如图2 2 中世界坐标系由，乙组成。 1 0 浙江大学硕士学位论文 世界坐标系 x 硪 酬 x t o l 锄c e q u e u e m e r g e ( n b o r s ) e n d e n d 图3 6 多视角点云数据配准伪代码 3 5 3多视角点云数据配准算法实验结果 实验中使用多视角点云数据配准算法对获得的六个视角点云数据进行配准。双目立体 视觉中得到的单视角点云数据量为1 0 万到2 0 万之间，在实验中我们对整个物体进行六个 视角的拍摄，相邻两个视角重叠度大致为1 0 到2 0 之间，因此我们设定阈值为1 0 ， 固定值设为2 0 0 0 0 。 4 4 浙江大学硕士学位论文 根据以上设定，我们使用猴子模型的数据，运行了多视角点云数据配准算法，程序大 致要运行一分钟至两分钟，速度较慢。我们仔细分析原因是由于初始设置的配准点对阈值 1 0 和2 0 0 0 0 太高，因为的我们的三维重建是密集重建，得到的点云数据较密。但其实一 般计算不同视角旋转变换使用几百个点算法即可收敛，因此，我们减少了配准点对的阈值， 设配准点对为2 0 0 ，程序能在几秒之内给出结果。从图3 7 中可以看出各个视角的点云数据 精确地配准在一起，图3 7 左右视图分别显示了整体和局部放大的配准结果。图3 8 显示了 猴子模型六视角点云数据配准的旋转和平移矩阵。由于我们的粗配准算法已得到较好地结 果，得到的旋转角度变换量与平移变换量差异很小 图3 7 猴子模型多视角点云数据配准 1 0 0 0 000 oo 9 9 9 9o o 1 0 1 i石= o 0 0 1 o 0 0 0 0o 0 0 0 2 0o 0 1 0 1o 9 9 9 9 o 9 9 9 9o 0 10 2o o 0 1 0 2o 9 9 9 9oj 互= o 0 0 0 o 0 0 0 1 o 0 0 0 2 001 0 0 0 0i 1 0 0 0 0 0 0 0 0 1o o 0 0 0 01 0 0 0 0ol 五= o 0 0 0 o 0 0 1 3 o o 0 0 2 】 001 0 0 0 0 1 0 0 0 0o 0 0 0 1o o 0 0 0 0o 9 9 9 9o 正= o 0 0 0 o 0 0 0 0 o o 0 0 2 】 001 0 0 0 0 1 0 0 0 00 0 0 0 0o o o o o o1 0 0 0 0ol 瓦= o o o o o o 0 0 1 o o 0 0 2 o01 0 0 0 0 4 5 r。_i l_。l i_。l i_。l l。l = = = = = 届 心 风 凡 见 浙江大学硕士学位论文 _ - _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ - _ _ _ _ _ - _ _ _ _ - _ _ - _ - _ -_ 石弋2 1。三。2：三；三；吕：兰曼三 瓦= c 。2 ，民= i oo 9 9 9 9 o 0 1 0 1 疋= o 0 0 1 o 0 0 0 0 o 0 0 0 2 1 i o- 0 0 1 0 l o 9 9 9 9 图3 8 猴子模型六视角点云数据配准的旋转和平移矩阵 ( a ) 未使用粗配准算法的i c p 配准( b ) 使用粗配准算法的i c p 配准 图3 9 是否结合粗配准算法的i c p 算法 为了验证i c p 配准算法对初值的要求，我们使用i c p 算法对两个视角未粗配准的猴子 模型的点云数据进行配准，结果如图3 9 ( a ) ，同时为了对比我们使用已有初始值的i c p 算 法进行配准结果如图3 9 ( b ) ，为显示结果更清楚，我们未使用点云模型而使用的网格化的 模型显示) 从图中可以清楚的看到，i c p 算法不能配准没有较好初值的点云数据，因此一 个良好的粗配准算法是完全必要的。 图3 1 0 显示了茶壶和鸭子模型多视角点云数据配准的结果。 4 6 浙江大学硕士学位论文 图3 1 0 茶壶和鸭子模型多视角点云数据配准 3 6 本章小结 本章首先详细综述了多视角点云数据的粗配准和精配准算法，并分析其各自的应用场 景和优缺点。接着本章提出了本文应用的粗配准和精配准算法。 在点云数据粗配准方面，本文主要介绍并分析现有的几种粗配准算法思路，针对现有 粗配准算法的问题并结合本文的旋转平台的实验环境，提出了基于标定板的多视角点云数 据的算法，实验表明了算法简洁易行。 在多视角点云数据精配准方面，本文主要分析了当前的主流算法一一i c p 算法，分析 了影响i c p 算法的主要因素。针对本文双目立体系统获得的多个视角的点云，本文结合i c p 算法，采用了一次可以精配准多个点云数据的算法。实验得到了较好的实验结果，证实了 该方法的有效性。 针对i c p 算法需要较好初值这一问题，本文进行实验验证，实验表明：只有综合应用 点云数据的粗配准和精配准算法，才能最终完成配准。 4 7 浙江大学硕士学位论文 第四章多视角三维数据融合 多视角三维数据融合，亦可称为点云重建曲面，是三维重建的另一项重要技术，主要 是指去除各个视角点云数据的冗余部分，进而得到原始物体表面的网格模型。通过多视角 三维数据配准，我们可以得到不同视角三维数据的转换关系。但是在匹配完成后，不同视 角点云间存在着冗余重叠部分，数据融合是使用一定的方法合并这些重叠部分，来保证物 体表面是光滑的网格模型。 4 1 相关工作概述 近年来，对这一问题，国内外涌现出大量研究成果。多视角三维数据融合算法依据被 处理点云的组织形式分为两类，非结构化点云融合算法和结构化点云融合算法。 4 1 1 非结构化点云的融合 非结构化点云的曲面重建技术中，一种是点云直接重构曲面。文献 3 1 提出一种空间 d e l a u n a y 三角化的表面融合算法，将三维数据点在空间中直接进行三角化而得到物体的完 整表达。此类方法认为输入点集中每个点都是重建网格的顶点【3 3 1 ，能最大限度保持重建网 格与输入点云几何特征的一致性，算法的复杂度取决于输入点集中点的个数，并且一些方 法还能根据点集采样率等条件对重建网格质量进行理论上的论证。这类方法的缺点是算法 基于采样率、光滑性等假设条件，在实际中网格重建效果常常依赖于输入点云的质量，因 此对含有噪声的点集数据一般要去噪后再进行重建表面。此外，此种方法最大的问题是无 法处理有重叠区域的点云数据。b e m 【3 2 1 提出一种在输入点云数据比较密集的条件下能够保 证点云拓扑结构正确的点云数据融合算法，但这种方法不适用于表面曲率变化大的情况。 另一种算法是将各视角中的点云数据用隐式曲面的形式表达，再使用等值面抽取的算 法完成对物体表面的重建。隐式曲面是一种的几何形体的重要描述方式，它和参数曲面( 如 b 样条曲面、b e z i e r 曲面、n u i 出s 曲面等) 完全不同参数曲面中，曲面的参数方程确定 了从其定义的参数空间到所嵌入空间的映射，曲面上任一点的空间坐标都通过一个参数方 程来计算。隐式曲面一般记作 ( 工，y ，z ) ：厂( 五y ，z ) = 0 ) ，它表示曲面由满足厂( z ，y ，z ) = 0 的 点组成，其中厂( x ，y ，z ) 称为隐式函数，它可以是任意形式的数学表达式，也可以是过程定 义的函数。与基于参数表示的m 瓜b s 曲面等，隐式曲面有许多优点。隐式曲面可以表达 具有复杂拓扑的形状，而参数曲面只能表示拓扑等价于矩形的四边曲面；隐式曲面比参数 4 8 浙江大学硕士学位论文 曲面更适合于曲面布尔运算、曲面光线跟踪显示、点集判断等。另一方面，隐式曲面表示 物体也具有一些缺点。首先，隐式曲面表示不直观，难以对外形进行交互修改，而参数曲 面的节点向量、权值和控制顶点均可以作为曲面外形的控制手段，而且非常直观；其次， 隐式曲面没有边界，而参数曲面有显式的边界；此外，难以对隐式曲面进行剖分和多边形 逼近，而参数曲面容易通过对参数空间的剖分，生成曲面的逼近多边形表示，进而进行绘 制。 h o p p e 【6 】通过空间三维点定义隐式曲面，首先使用k 近邻域点邻域估计切平面；其次 对切平面定位方向并且法向一致化；最后通过m 诎i n gc u b e 算法抽取等值面获得重建表 面。这种算法适用于任意拓扑结构的点云，同时能处理边界问题，但算法较耗时，且重构 表面需精优化后才能使用。 4 1 2结构化点集的融合 结构化关系的点集是指在进行多视角点集数据融合之前，已经确定了每个视角中点之 间的连接关系。这些关系给多视角点云数据的融合提供了更多有用的信j 息。 l e v o y 和1 、l r k 【4 】提出了一种“z i p p i n g ”多视角数据融合的方法：第一步，删除两个网 格中的重叠部分。判断网格a 边界上的三角形相对于网格b 是否位于其内。如果是，则 把此三角形从网格a 上删除。对网格b 边界上的三角形执行相同过程。重复此步骤到两 个视角的点云数据没有重叠的部分为止。第二步，为了使两个网格能光滑的拼接在一起， 需要对( 1 ) 步骤中处理得到的网格进行裁剪。第三步，删除掉较小的和狭长三角形。剪裁处 理引进了许多畸形的三角形，删除这些三角形，并重新进行三角化留下的空洞。第四步， 在保持各采样点拓扑一致性的基础上重新计算各个三角形顶点的位置。这种方法需要反复 计算与比较两个视角点云数据边界之间的关系，以删除冗余部分的网格。 c u d e s s 【3 1 等以体绘制算法为基础，进一步发展了多视角点云数据融合方法，其主要通 过加权连续隐式函数来实现，并且阐述了多视角数据融合算法中融合算法的时空有效性、 不确定性、稳定性和精度逐步更新等问题。算法的第一步将空间分割成多个小的立方体网 格，计算每一个视角数据相对于空间网格的符号距离，第二步每一个网格顶点都对应了多 个符号距离，将它们加权相加得到最终的网格顶点标量值，第三步由等值面抽取算法提取 等值面构建三角网格。 c u 订c s s 的基于体积的融合算法步骤： s t 印1 ，初始化： 4 9 浙江大学硕士学位论文 ( 1 ) 对各视角的三维数据，在其局部坐标系下进行三角化，并计算每个顶点的权值。权 值由视点方向和点法向的点积定义，一般而言，局部坐标系下的视角方向都是沿着z 轴的 方向。 ( 2 ) 将多视角三维数据按照配准矩阵，变换到统一的坐标系( 世界坐标系) 下。在该坐 标系下，求得点云数据的包围盒，并按曲面重建的模精度的要求划分成多个立方体单元。 这一步得到立方体单元的顶点坐标，各个顶点的权值和符号距离初值为o 。同时根据配准 矩阵，求出各个视角在世界坐标系中的方向。 s t 印2 ，在世界坐标下，将各个立方体顶点累加符号距离： ( 1 ) 连接当前视点i 与立方体所有顶点，并计算连线与三维数据的交点位置。交点的位 置使用其所在三角形的三个顶点插值得到，采用相同的办法计算权值，如图4 1 所示。计 算交点到立方体顶点的距离。计算结果分3 种情况：若交点在视点和立方体顶点之间，取 “+ ”的距离；若交点在视点和顶点的连线延长线上，取“一”的距离；若没有交点，取 距离为o 。最后，将交点的距离值呸和权值w ，赋值给该立方体顶点。重复该过程求解所 有立方体顶点的权值和符号距离。 ( 2 ) 在下一个视点i + 1 下，重复( 1 ) ，将得到的新的立方体顶点的权值和符号距离按照如 下公式累加： 口+ ( x ) = 旦至生堕 笺宅曼芒掣，彬( 功= 彬( x ) + w + ( x ) 图4 1c u d c s s 点集融合算法示意图 使用以上算法，所有视点的三维点数据都已经加权累加到立方体的所有顶点上。因此 就能根据移动立方体( m c ) 方法绘制隐式曲面。 5 0 浙江大学硕士学位论文 4 2 移动立方体算法m a r c m gc u b e ) 移动立方体算法【3 4 】是三维数据场等值面构造的经典算法，是体素单元内等值面抽取技 术的代表。它的基本思想就是找出所有与等值面相交的体素，再分别找出每个体素与等值 面相交的交面，这些交面连接在一起就是所求的等值面。 将点云所在区域用平均单元格进行空间划分后，每上下相对应的八个点构成一个立方 体，称为c u b e ，也可以称作c e l l 、v o x e l 等。该立方体为体素，为了确定体素中等值面的 剖分方式，要为所求等值面规定一个极限值，然后对体素的8 个顶点进行分类，来判断顶 点是位于等值面内还是等值面外，再根据顶点分类结果确定等直面的剖分方式。 顶点分类规则如下： ( 1 ) 如果顶点的数据值大于等值面的值，则定义该顶点位于等值面内。 ( 2 ) 如果顶点的数据值小于等值面的值，则定义该顶点位于等值面外。 当一个体素中一些顶点的值大于阈值( 即等值面的极限值) ，而另一些顶点值小于阈 值，那么等值面必然通过这个体素，一个体素的八个顶点的值全部小于阈值或大于阈值的 话，那么该体素不与等值面相交，即等直面不通过该体素。 当等值面通过该体素后，由于共有8 个顶点，每一顶点都有在等值面内或外两种情况， 所以一共有2 5 6 种组合方式，每一种组合都对应一种剖分方式，然而又因为8 个点有对称 关系，所以2 5 6 种组合可以简化为如图所示的1 5 种组合。 知道了等值面如何与体素相交后就可以求得等值面与体素边界交点，即等值点。当体 素很小时，可以假定函数沿体素边界呈线性变化，因此根据这一假设可以用线性插值计算 等值面与体素边界的交点。求出等值点以后，就可以根据那1 5 种剖分方式将这些等值点 连接成三角形或四边形，再将得到的三角形和多边形连接，就得到等值面。 算法伪代码如下： 5 1 浙江大学硕士学位论文 f 0 rk 2 1t on z 一1 f o rj = 1t on ，l f o ri - 1t on 。一l ( 1 ) 由( i ，j ，k ) ，( i + 1 ，j ，k ) ，( i + 1 ，j + 1 ，k ) ，( i ，j + 1 ，k ) ， ( i ，j ，k + 1 ) ，q + 1 ，j ，k + 1 ) ，( i + 1 ，j + 1 ，k + 1 ) ，( i ，j + 1 ，k + 1 ) 组成当前立方体的8 个顶点v v 8 ( 2 ) 判定8 个顶点与等值面的相对位置，确定m d e x ( 3 ) 由i n d e x 从2 5 6 种里找出对应的连接方式p ( 4 ) 由线性插值求边与等值面的交点位置 ( 5 ) 由p 确定的次序构造等值面的三角片，并放入输出的 等值面几何表示中 e n d e n d e n d 图4 2m 批g c u b e 算法伪代码 4 3 基于泊松方程的多视角数据融合 不同视角数据对齐后，其融合为一个完整的曲面其实是一个由点样本重建三维表面的 问题。它允许对扫描数据的拟合，对表面空洞的填充，和对现有模型的重新构造。在本文 中使用了泊