（计算机应用技术专业论文）基于线激光和多相机的场景快速三维获取技术研究.pdf

浙江大学硕士学位论文摘要 摘要 我国历史悠久，文化遗产众多，其中文化遗存是重要的一部分。由于文化遗存是不可 再生资源，并且遗存在发掘后也难于长久保存，在很多考古发掘项目中，往往由于考古人 员的主观想法而忽略了许多具有重要意义的史据信息。鉴于此，如何全方位的记录考古发 掘的过程，客观的准确的获取考古发掘场景的三维信息，成为业界研究的热点。 目前用于场景三维获取的技术主要分为基于飞秒激光的方法和基于照片的方法。飞秒 激光基于测量激光飞行时间的相位差来计算点的深度信息。但是由于是逐点扫描，扫描大 型场景时时间很长，不能满足考古人员的工作需求基于照片的方法效率较高，但由于激 光器或投影仪固定，获取全角度信息时需要多次扫描，这需要多次标定并且要将多个角度 的信息拼接起来，这无疑增加了工作的难度。 鉴于当前方法的不足，我们研发出一种场景三维信息快速获取方法。出于对时间和性 能的考虑，我们采用了线激光和多摄像头的解决方案为了解决激光器标定后不能移动的 问题，我们推导出无需激光器标定的点云计算模型，从而经过一次扫描即可获得整个场景 的三维信息，并且将原型系统拿到海宁、临平等地考古现场进行了测试，取得了较好的效 果。在整个系统中，多相机标定和三维模型重建是方法的核心技术。本文给出了计算多相 机内部参数和外部参数的详细公式、推导步骤和算法实现，以及空间点三维坐标计算的详 细方法和激光线提取的关键步骤。在文章的最后，本文分析了原型系统的精度和性能，并 且对以后的进一步研究提出了建议 关键词多相机标定，线激光特征提取，三维重建，图像二值化 浙江大学硕士学位论文 a b s t r a c t a b s t r a c t o u rn a t i o nb o a s t sal o n gh i s t o r ya n da b u n d a n th e s i t a t e s i ns o m ea r c h e o l o g ye x c a v a t i o np r o j e c t s ， b e c a u s eo f p e o p l e s s u b j e c t i v eb i a s ，h o s t so fu s e f u li n f o r m a t i o nh a v el o s t s oi ti si m p o m n tf o r u st od e v e l o pam e t h o dw h i c hc a nq u i c k l yg e tc o m p r e h e n s i v e3di n f o r m a t i o no fa r c h e o i o g y e x e a v a t i o ns c e n e s a tp r e s e n t , t h e r ea r et w ot e c h n o l o g i e so f 3 da c q u i s i t i o n o n eo ft h e s ei sf e m t o s e c o n dl a s e r t h i s m e t h o db a s e do nc o m p u t i n gt h ep h a s et i m eo f l a s e r o u to ft h e s et e c h n o l o g yo n l yg e to s p a c e c o o r d i n a t eo t i m e ，i tb e c o m ep o w e r l e s sw h e nb eu s e di nl a r g es c e n e s a n o t h e ri sb a s e do n m u l t i - p i c t u r e s 。t h es h o r t c o m i n g so f t h i sm e t h o da r eo n c el a s e re m i t t e ro rp r o j e c t o rc a h b r a t e d , w ec a n n o tm o v et h e m , t h i sl e a dw ec a n n o ts c a nt h ew h o l es c e n eo n c ea n do n ea n g l e g i v e nt h ee r a r e n tl a c ko f m e t h o d s ，w e p r o p o s ean e w r e c o n s t r u c t i o nm e t h o db a s e do nl a s e rl i n e a n dm u l t i - c a m e r aa n di m p l e m e n tt h ep r o t o t y p es y s t e mw i t hc + + t h ea d v a n t a g e so f o u rm e t h o d a r el e el a s e re m i t t e rc a h b r a t i o na n dh i g he f f i c i e n c y i no u rs y s t e m , t h ec o r ea l g o r i t h mc o m a i n s t w op a r t s ：m u l t i - c a m e r ac a l 击r a t i o na n d3 dr c c o n s l r u c t i o n a l s o ，w ed e s c r i e dt h e s ea l g o r i t h m s i nd e t a i l s i nf i n a lc h a p t e rw et a l ka b o u tt h es y s t e m sp r e c i s i o na n de f f i c i e n c y k e y w e r d s ：m u l t i - c a m e r ac a l i b r a t i o n , f e a t u r e se x t r a c t i o n , 3dr e c o n s t r u c t i o n , i m a g et h r e s h o l d n 浙江大学硕士学位论文图目录 圈日录 图2 - 1 测距探头分类5 图2 2 飞行时间法原理 6 图2 3 每种激光扫描的原理。7 图2 4 单条与多条的对比7 图2 - 5 三维重建的基本流程。 图3 - 1 空同点成像原理1 2 图3 - 2 矩阵填充算法。1 5 圈3 3 矩阵填充流程 图3 - 4 标定算法流程2 4 圈3 - 5 标定器物2 5 图3 - 6 三个相机同时刻的所拍摄到的点2 7 图3 7 多相机标定流程图 图3 - 8 四组相机的重投影3 0 图4 - 1 相机成像模型 图4 - 2 参数a l p h a _ c 定义图解3 6 图4 - 3 空间坐标的计算3 8 图4 - 4 双相机求空同坐标示意图4 1 图4 _ 6 去噪结果。 图5 - 1 设备组成5 l 图5 - 2 软件系统组成模块 图5 - 3 相机分布示例5 2 图5 - 4 扫描基本流程5 4 图5 5 两次扫描示意图。5 5 图5 - 6 双相机求解空闻坐标模型5 7 图5 7 扫描结果5 8 图5 - 8 其他扫描结果。5 8 圈5 - 9 测量范围5 9 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成 果，也不包含为获得逝至三盘鲎或其他教育机构的学位或证书而使用过的材料。与我一 同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 溉椭张节钿鳓期：冶年岁月7 日 学位论文版权使用授权书 本学位论文作者完全了解浙：垃大学有权保留并向国家有关部门或机构送交本 论文的复印件和磁盘，允许论文被查阅和借阅。本人授权迸姿盔堂可以将学位论文的 全部或部分内容编入有关数据库进行检索和传播，可以采用影印、缩印或扫描等复制手段 保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 签字日期：少矽年 磁胡 i 月7 日 导师签名： 签字日期：知汐年；月一7 日 浙江大学硕士学位论文第一章绪论 1 1 引言 第一章绪论 我国历史悠久，文化遗产众多，其中文化遗存是重要的一部分由于文化遗存是不可 再生资源，并且遗存在发掘后也难于长久保存，在很多考古发掘项目中，往往由于考古人 员的主观想法而忽略了许多具有重要意义的史据信息。随着文化遗存的数字化保护技术的 出现，为遗存保护开辟了新的途径。目前，所有文化遗存发掘现场绘制的线图都只是二维 平面图，这种将现实世界简化为平面上二维投影的概念模型注定了它在描述三维空间现象 上的无能为力，无法对整个发掘区所有发掘单位各种线图、文字记录、影像资料按要求进 行系统性整合，实现考古现场环境的模拟与再现，更无法通过互联网对发掘现场进行远程 监控、专家会诊和相关研究资料的共享。所以，对能够快速获取场景三维信息的技术的需 求十分迫切。 目前，获取场景三维信息通常是应用基于飞秒激光技术的三维扫描仪。这种技术通过 计算激光飞行的相位差来计算空间点的深度信患。虽然计算的结果准确，但是这种技术也 存在一些致命缺点其一是扫描效率低，由于采用逐点测量，因此在扫描较大场景时这种 技术的扫描时间大大增加。其二是成本高，通常这类设备由激光器，激光接收器和全球定 位装置组成，每个部件都造价不菲，达到几十到上百万人民币，令考古工作者难以承受。 因此，研发一种能够快速高效的场景获取技术具有重要的意义 1 2 考古发掘现场三维信息获取技术现状 通常考古人员是利用照相机、摄像机和人工画图等方式对文物分布信息进行获取。只 有在较大较重要的发掘项目中才借助三维扫描仪来记录三维信患。但是由于很多发掘过程 是抢救性的，对于时间的把握至关重要，现有扫描仪的效率低下，不能满足使用的需求。 一般，考古人员需要记录的信息分为两个方面，整个考古发掘的过程记录。如每个文 化层的高度信息和位置信息。第二个为文物的相对位置信息 针对第一类信息，目前主要通过数字相机直接获取数字形式的影像资料，也可以通过 将光学形式的影像资料经过扫描后成为数字资料。但是这种形式的数字资料往往因为考古 人员的主观因素而不能有效的将所有信息获取。由于考古记录人员的主观知识局限，非常 1 浙江大学硕士学位论文第一章绪论 可能将他认为不重要的内容忽略，从而导致重要信息缺失。 对于第二类信息，往往采用人工绘制测绘图的方式进行。借助一些测量工具，测绘人 员在图纸上描绘出探方的文物分布图。但是，即使测绘人员再仔细，文物图的精确度也不 能达到1 厘米【1 2 3 】。 运用三维获取技术，可以一次获得这两类信息在一些应用中，已经有一些将现有的 三维获取技术应用于发掘现场三维重建案例。从技术角度看，主要分为两种方法。一种是 基于飞秒激光的方法，另一种是基于照片的方法。基于飞秒激光的三维扫描仪通常有较高 的扫描精度，但是在实际的应用中，这种方法存在很多问题。 ( 1 ) 扫描仪的扫描时间长。由于考古发掘的工作特殊性，这种扫描技术不能满足整 个场景的快速获取。由于飞秒激光技术是基于测量激光线的飞行时间来计算空 间距离，所以对于普通发掘现场这种1 0 米奉1 0 米的情况，扫描非常耗时。 ( 2 ) 后期数据处理复杂。由于飞秒激光获取的空间点都拥有各自不同的坐标系，所 以后期需要对数据进行转换配准等操作。对于拥有几十万个点云的场景模型来 说，计算量非常惊人。而且其操作过程繁琐，需要专业的计算机人士来操作， 考古人员需要长时间学习才能掌握 2 1 。 ( 3 ) 价格昂贵。现在的三维激光扫描仪价格非常昂贵。如莱卡公司的c y r a x 系列扫 描仪，低端产品单价就要1 0 万美金以上。这样的价格对于文物发掘单位来讲 是不能接受的【1 2 1 。 基于照片的三维获取方法通常由激光发射器或投影仪和相机组成。通过提取照片中 的相关特征计算深度信息。这类方法扫描的效率较高，但是同样存在一些缺点，即在投影 仪或激光器标定好后，位置不允许改变这样，在扫描大型场景时，需要进行多角度扫描， 从而要进行多次标定，这将增加大量时间。 鉴于现有技术的种种不足，如何构造一个能够满足考古人员对发掘现场进行快速获 取的方法成为目前研究的热点。在下面的篇幅中，我们针对现有技术的种种不足，提出 了一套可行的三维获取方法。 1 3 本文的工作 基于现在对考古发掘现场信息的全方位保护需求的迫切，本文的目标致力于研发出可 以对整个考古现场快速获取的技术。经过详细的调研和分析，我们采用了线激光和多个摄 2 浙江大学硕士学位论文第一章绪论 像头的解决方案。使用线激光扫描整个场景，多个摄像头同时拍照，之后对拍摄的照片进 行处理，从而计算出场景的三维信息。本文对多相机标定的算法和三维点云重建进行了详 细的描述。主要工作包括几个部分： ( 1 ) 多相机系统标定。三维重建系统多相机标定技术主要是对多个照相机的内部参 数和外部参数进行自动求解。本文改进了t o m a ss o v o b o d a 7 】的标定程序使之能够更好的应 用在考古发掘的环境下，同时对标定的整个过程做了详细的分析和公式推导。标定工作理 论上只需在系统校准调试时使用一次即可 ( 2 ) 无需激光器标定的三维重建。本文对三维点云重建算法进行了详细的分析和公 式推导，并且解决了无需激光发射器标定的问题。同时在软件系统中对该算法进行了实现 这是本文最重要的创新之一。在实际使用中，无需激光器标定提供了很大的方便而且提高 了精度。 ( 3 ) 原型系统的实现。本文对系统的硬件方面和软件方面进行了详细的描述，并且 还对系统的性能参数和扫描精度做了详细的定义。对激光发射器和摄像头对扫描仪精度的 影响因素本文也做了一定的分析。 综上所述，本文对系统所需的关键技术做了详细的分析和公式推导，除了标定程序 使用开源代码，本文对其他关键技术的算法进行了程序实现，形成了较为完整的软件系统。 1 4 本文的结构 本文第一章介绍项目背景和相关技术；第二章我们对现有的三维重建技术进行了详细 的分析与讨论，根据现有技术的优点和缺陷提出了我们系统的解决方案；第三章我们详细 介绍系统的核心算法之一即多相机标定算法。推导了多相机内外参数的求解步骤；第四章 介绍了空阀点云的计算方法，详细推导出点云计算的数学模型，并且阐述特征提取的相关 算法，最后介绍基于点云重建的相关技术。第五章论述系统的基本实现和运用系统进行扫 描时的基本流程和性能分析。第六章对该系统的下一步工作做了一定的规划和建议。 浙江大学硕士学位论文第二章三维场景获取技术综述 第二章三维场景获取技术综述 随着科学技术的高速发展和在各个领域的不断扩展，各个领域对三维信息的获取和重 建要求与日俱增。比如：在工业方面，希望能够获取零件的尺寸；游戏产业方面，希望能 够快速的为游戏人物建模；电影娱乐领域，希望可以为借助三维扫描技术实现逼真的效果； 在医疗领域，医生希望能够测量出病人的体型，骨骼尺寸等数据，以便更有目的的进行治 疗。并且，在数字文物领域，已经出现扫描出土文物的三维信息技术。总之，三维扫描技 术随着自身不断的成熟越来越多的参与到各个领域。 三维扫描技术和传统的二维扫描仪和摄像机，采集卡相比，在原理和结果上都存在着 很大的不同。它获取的目标不是一张二维的平面而是真正立体的物体。再者，在扫描中还 可以获取到物体的纹理信息，形成彩色表面。最后，三维扫描计算出的结果是一些空间坐 标，并且含有彩色信息，可以对其加工建模，或者导入c a d 等设计软件或动画制作软件 进行渲染 2 1 三维获取系统的基本功能 一般来讲三维获取系统应该具有3 个基本功能 1 2 】： ( 1 ) 数据获取：通过不同类型的技术，三维获取系统获取大量的物体点云信息， 并且将这些信息以某种方式组织，用以后面的处理。 ( 2 ) 数据预处理：这个功能可以包括数据的区域分割、数据过滤、多角度拼接等。 通过预处理，可以得到比较完整和规则的数据，以便于后面的模型生成。 ( 3 ) 模型生成：经过前面的预处理后，我们可以通过融合、旋转等技术对空间点 云进行建模。得到计算机中容易处理的曲面模型。 由于三维获取技术的种种优势，对于测量技术来讲是一次天翻地覆的变化。应用不同 三维获取技术可以对不同的物体进行三维获取，在下一小节中，我们将介绍三维获取技术 的分类。 4 淅士掌磺学位论文革= 章二肇场景获取技m 综述 2 2 三维扫描仪的分类 三维扫描设备按照探头划分基丰上可以分为两种类型：一种为接柱式探头，另一种为 非接触式探头。 ( 1 ) 接触武探头 接触式探头又可以分为硬式探头、扫描式探头和触发式探头。他们各自有不同的 原理如田2 - 1 所示，目前考古过程中使用的三维坐标铡量仪就是采用接触武探头技 术 行彦可 矿垂 硬式探头 越发式探头扫描式探头 目2 - 1 剥厍探头分类 接触武探头的优点是精度非常高，通常的扫描榷度可以达到1u 乩而且，这种技术 在扫描的时候可以不受物体表面反光和表面颤色的干扰。但是，这种技术的缺点也是显而 另见的。由于在扫描时需要对被测量的物体的表面产生一定的压力，这样很容易造成对物 体表面的伤害，这一点是过种技术在用于扫描文物时的致命醯点而且它的缺点还包括扫 描时问很慢，因为它是逐个空闻点测量的，这样在扫描较大的物体时扫描时问难以使用户 满意。在扫描更大的考古探方时，时阊长度是不能想象的不过在扫描诸如青铜帛3 的器物 时，它可以很好的发挥它的作用我国某些出土的青铜器物，如云纹铜油灯等都曾用这类 设备进行扫描 综上所速，接触式三维获取设备不能实现对考古发掘现场的获取，但是，对于某些出 土文物的扫描时可以胜任的。 ( 2 ) 非接触式搋头 非接触式撮头一般是将澈光或者可见光投射到物体上，再利用其他各种感光元件对其 感光，最后根据各自的原理计算出物体的空间信息。这种技术最大的优点是无需跟被剥物 浙江大学硕士学位论文 第二章三维场景获取技术综述 体直接进行接触，从而不会对被测物体表面产生损伤。这一点对出土文物的获取尤为重要。 通常，非接触探头主要有两种技术。其中一个为飞秒激光技术。另一种是三角测量的计算 方法。 第一种基于飞秒激光的方法通常是利用一束激光，然后通过激光感应装置计算激光发 出时和返回时候的相位差来计算激光的飞行时间，从而获得物体表面的反射点的空间信 息。它的原理如2 2 所示： 光源( 1 谤一 f l 1一来自待测物体三反射光 c a | i i 、 、 ? ，7 、一，一一一，7 ， b 光飞行时间法硬件结构示意图飞行时间测量法示意图 图2 - 2 飞行时间法原理 这种方法通常适用于大场景或大型物体的扫描。美国的3 r d t e c h 生产的三维扫描仪为 例，其平均角度的误差大约为0 0 1 5 度，获取距离4 0 英尺的物体时平均误差可以达到0 3 英寸。这种方法精度较高，但是也有自身的缺点，第一个是扫描时间过慢，跟接触式探头 一样，也是逐个点测量的第二是造假昂贵，通常低端产品也需要几十万美金。 第二个方法叫做三角测量法。通过由发光源，反射点和照相机构成的三角形关系来计 算空间点的空间信息，其原理如图2 4 所示。从发光点o l 发出的光线经透镜f 1 的光心， 物体表面上点a 将光反射，光经过透镜f 2 的光心到达照相机上的0 2 ，o l a 0 2 形成的三角 形。如果o l ，0 2 的位置已知，并且已知0 1f l 和0 2f 2 的方向，这样可以求解a 的坐标。 图中b 点也在线0 1f l 上，但是在照相机上为0 3 点，可以看到，通过使用三角测量法可 以区别a 和b 的深度信息。三角测量法在应用中可以分为三种类型：单点测量，单条测量 和多条测量。单点测量是指每次发出一个光点到物体表面，它的测量原理上可理解为求解 两条空间射线的交点；单光测量是指将一条光条投射到物体表面，在表面上形成一条随物 * 擘学位t 文第：章二镕蚜晕获取技$ # 体表面扭曲的光线，测量原理可理解为隶一个平面和一条射线的交点：多条测量是单条测 量的晨开，每次投射多条光条，原理上也是求平面和直线的交点。三个方法的基本原理如 图2 3 所示 陌丽 巾 持耐物 艇 匕a l o 、瓷 源m i t 7 7 r 一 ，7、 扫t * 二，7 浊，透镜 ， n 1 矾7囤 o 。女8 阿 l l _ 光感应 单光点单光条多光条 圈2 - 3 每种澈光扫描的原理 图2 - 4 给出了单条和多杂剥量法在实际中的应用如图2 - 4 所示，单条将一条激光投 到物体表面，多枭同时将多条澈光投射到被测物体表面 图2 - 4 单条与多条的对比 综上所进，我们对三维扫描设备的关键组件测距撮头做了分类舟绍两种测蛭探头采 用了完垒不一样的技术，技术车身块定了它们各自固有的优点和缺点。因此，每种都有不 同的工业应用范围本文用表2 1 对这两种三维探头的各方面优缺点进行一次比较全面的 比较： 浙江大学硕士学位论文第二章三维场景获取技术综述 表2 1 接触式与非接触式三维测距探头对比 非接触式探头接触式探头 测量方式不接触物体表面接触物体表面，压力一般达到 1 5 0 9 以上 测量精度1 0 5 0 0 m 1u 1 1 1 感测器光电元件开关元件 测量速度 10 0 0 2 5 0 0 0 点, s e e 人工控制( 较慢) 被测物体材质无硬质材质 测量死角 阴影处和焦距变化处测量头无法接触的位置 误差 随物体表面曲率变化大部分失真 优势1 速度快，曲面结构容易获取1 精度较高 2 可对易碎、薄件、皮毛和柔软等 2 可以直接测量物体特定点的 物体进行测量。不接触物体表面，几何特征 对被测物体不会造成物力上的损 坏 缺点1 无法对某些特定点进行单独测量1 逐点测量，测量速度慢 2 复杂面测量较难，激光无法到达2 接触压力大小会影响测量值 的地方存在死角 3 接触压力会造成表面以及探 3 表面纹理会影响测量头本身的损害 4 测量误差随表面曲率变化而变化 4 同样有探头无法接触到的死 角 2 3 三维获取的基本步骤 基于激光的三维场景获取技术是通过对激光扫描仪获取的距离数据进行一系列后续 处理完成的。这些后续处理工作主要包括对采集到的深度数据进行预处理、去处噪声干扰、 确定数据间的同步信息以及恢复出最终的三维模型等。不同的基于激光扫描数据三维场景 获取系统使用的技术和方法不尽相同，一般来说要包含如下步骤： ( 1 ) 数据获取：数据获取是指采集场景的相关数据。这步主要是由激光扫描仪来完 浙江大学硕士学位论文 第二章三维场景获取技术综述 成的。为了获取较完整且质量较高的场景三维数据，需要考虑扫描视点的规划、激光扫描 仪和扫描分辨率的选择、扫描数据的格式及表示等许多问题。除此之外，要恢复出较大规 模的场景三维模型，还需要引入许多辅助设备进行相关数据的提取，如使用g p s 系统获 取系统行驶过程中的位置信息，使用数码照相机或摄像机获取建筑物的纹理信息等。 ( 2 ) 系统标定：系统标定是数据获取后的第一步，也是整个三维获取过程中最为关 键的步骤。为了获得场景完整的三维数据，我们首先需要确定整个场景的范围以及照相机 之间的相对位置，这些都要通过系统标定来完成。系统标定包含扫描系统的相对定位和系 统的全局定位相对定位主要用于确定扫描仪在移动过程中与其相邻位置之间的变化，得 到的系统路线图是相对于初始扫描采样点的全局定位则是获得系统在全局坐标系下的位 置信息。总之，经过系统定位可以获取整个扫描仪在场景中的位置信息，并可据此确定扫 描物体在场景中的位置。 ( 3 ) 物体表面数据融合及网格生成：确定在物体整个场景中的位置后，要提取物体 模型。物体表面模型数据的获取过程是移动的，是基于不同视点的，即每次扫描得到的数 据都是处在以当前视点为原点定义的一个坐标系下。因此，为了将所有的扫描数据放在一 个公共的坐标系下，首先需要解决不同视点下的数据融合问题。融合后的扫描数据是离散 的三维点云，不能真实准确的表示物体的表面。因此还需将三维点云转化为三角网格模型， 以达到更好的可视化效果。 ( 4 ) 纹理映射：经过前面的步骤已能得到被扫描场景的网格模型。为了更好的真实 性，我们要重建出真实感更强的场景模型，还要对网格模型增加色彩，这一步叫做纹理映 射。纹理映射是指将场景的颜色信息映射到三维模型上，也就是要解决颜色值到网格的映 射关系问题。如图2 5 所示。 浙江大学硕士学位论文第二章三维场景获取技术综述 扫箍 图2 5 三维重建的基本流程 2 4 考古发掘现场三维获取技术分析 通过对以上三维获取技术的分析，并结合考古现场的实际应用，我们提出了一套考古 现场获取设备的解决方案。 ( 1 ) 线激光发射器。采用激光发射器的原因主要有两点。第一，由于文物是重要的保护 对象，并且十分脆弱。因此首先要采用基于非接触式的扫描方法。第二，由于结构 光受到投影仪可投影范围的局限，因此选取可发射范围更长的线激光。一般情况 下，线激光的较好可视范围为5 0 米。 ( 2 ) 多摄像共系统。采用多摄像头系统的原因是因为考古探方往往受地形影像高低不 等。多个摄像头可以从不同的角度覆盖整个场景，进而取得较好的获取效果。 ( 3 ) 基于多幅照片的重建。正如我们前面所提到的，基于飞秒激光的技术由于每次只能 获取一个空间点，在扫描考古探方的时候将会耗费很多时间。因为发掘过程中有些 文物遇到空气会迅速氧化，扫描时间过长的技术会为考古人员带来很多不便。而我 们的技术仅仅是拍摄一组照片，这样扫描时间可以大大缩短，满足考古人员的工作 需要。 在下面的章节中，我们将介绍对多相机进行标定和基于照片的三维获取。 浙江大学硕士学位论文第三章基于一维标定物的多相机标定算法研究 第三章基于一维标定物的多相机标定算法研究 正如上一章所述，在进行三维获取的过程中，我们需要知道每个摄像机空间位置和各 自的焦距、畸变等参数即照相机的内部参数和外部参数。在求得每个多相机的内部参数和 外部参数后，再根据这些参数构建空间直线进而求得空间坐标。而求得相机参数的过程就 是多相机系统标定。 随着计算机和摄像头价格的不断降低，智能多相机系统开始出现 4 5 “7 】。多相机标 定对于现今的多相机系统来说是必不可少的目前，还不存在完全自动标定的多相机系统 阴 在近些年的用来进行三维获取的多相机环境中 8 9 1 ，相机标定往往是基于更先进可移 动的标定板。这种标定方法 1 0 1 1 】不必事先知道标定物上特征点的三维空间坐标。然而， 这些方法仍然不能摆脱传统方法的弊端在复杂的场景中，无论标定板怎样放置，仍然无 可避免的导致只能部分的被某些摄像头拍摄，从而影响标定的结果。k i t a h a r ae ta l c l 2 在论 文中运用传统的标定方法对他们的大型多相机系统进行了标定，三维特征点的获取是通过 标定板和激光测量器的使用完成的l e ee ta 1 1 3 】为分布的多摄像机建立了一个公共坐标 系，摄像机追踪移动的标定板从而估计各自的姿态。b a k e r 和a l o i m o n o s 则提出了一个运 用网格状标定物标定多相机网络的方法。 以上这些方法仍然无法摆脱标定板的局限。目前，效果最稳定，操作最方便的是t o m a s s v o b o d a 7 】提出的基于一维标定物的全自动标定方法。这个方法只需要一个点光源。使用 者只需手持点光源在场景中缓速移动。点光源的投影在各自的相机中进行计算，通过二维 高斯算子到达亚像素级别。再通过对矩阵分解计算出相机的偏移和旋转。非线性畸变通过 迭代求解。我们的方法正是基于t o r m s 的方法。 3 1 基本原理 下面我们描述一下影射重建的基本模型( 图3 1 ) 。假设我们的场景中有m 个摄像机 和n 个三维点，x j = 玛，巧，z ，t ，= 1 ，玎。假设相机符合针孔模型1 1 1 ，三维点x ，在二维平 面上的投影u ；满足以下关系： 1 1 浙江大学硕士学位论文 第三章基于一维标定物的多相机标定算法研究 蟛 哆 1 = u ；= p i x ，r + 公式( 3 - 1 ) 图3 1 空间点成像原理 其中，p 是一个3 4 的包含1 1 个相机参数的矩阵，“，v 为投影的像素坐标。在p 中， 有6 个参数描述相机的姿态与朝向，通常叫做相机的外部参数，剩下5 个参数用来描述相 机的自身属性例如焦距和镜头畸变等，通常叫做内部参数。相机标定的目的就是估计每个 相机的尺度因子和各自的参数矩阵p 最后，我们将全部空间点和参数矩阵合并得到： w r s = 矸 莩 贫 草 ：m x ， l- 1 3 m x 4 w = p x 1 2 公式( 3 - 2 ) 公式( 3 - 3 ) 疋 1 a疋 1，j 时01 甜 浙江大学硕士学位论文第三章基于一维标定物的多相机标定算法研究 其中，w 叫做规模矩阵( s c a l e dm e a s t r e m e n tm a t r i x ) ，p = p 1 p 。】tx = k x ， 它们各自代表相机投影参数( p r o j e c t i v em o t i o n ) 和投影形状( p r o j e c t i v es h a p e ) 。假设摄像 机观察到足够的点( 形，巧) 并且已知尺度因子z ，当w ：的秩为4 时可以分解为p 和x 。更 进一步，我们可以将w ：写成： w = p x = p h h 一1 撖 任何非奇异矩阵都可以写成上述形式，其中，p ：p h 和文：h 一，x 。可以看出，影射 重建的过程就是对投影参数和投影形状的重建。影射重建并不是唯一的，任何非奇异矩阵 都可以插入其中形成一个映射重建，自标定的过程就是不断的迭代进而找到最好满足约束 的矩阵h 。 3 2 矩阵分解 通过对w ：矩阵的分解，求出我们想要的p ：p h 和文= h x 。但是，在分解之前，往 往w 存在很多问题。为了进行相机标定，首先我们需要找到一个完整的w ，使它可以进 一步分解。通常，我们的照片中仅仅保留了特征点的像素坐标，所以标定的第一个步骤是 估计尺度因子。但是，在实际的环境中，我们往往不能获取足够的信息，由于某些特征点 没有被所有相机同时拍摄到，导致无法估计尺度因子，从而使w ：有所缺失。另外一种情 况更加麻烦，就是特征点的像素坐标也无法确定。在这部分中，我们首先介绍如何估计尺 度因子，然后再介绍如何填充缺失点。在矩阵完整以后，利用s v d 方法将p = p h 和 文：h 一，x 求出。 本文主要论述m a r t i n e c 和p a j d l a 的论文中【1 2 】基于多幅照片矩阵分解进行影射重建的 方法。他与其他方法的区别是这种方法解决了矩阵中的缺失元素( o c c l u s i o n s ) 的问题， 因为通常我们不可能将矩阵中的所有元素计算出来。这个方法包含两个基本步骤，估计尺 度因子和填充缺失元素。s t r u m 和t r i g g s 基于双极几何提出了估计尺度因子的算法 16 1 ，填 充缺失元素则是基于j a c b o s 的算法【17 1 ，由于j a c b o s 的算法不能对未知尺度因子的算法进 行填充，作者扩展了它的算法使之应用到由于不可见点不可计算尺度因子的情况。 浙江大学硕士学位论文第三章基于一维标定物的多相机标定算法研究 算法的大致过程是首先计算w 中所有已知点的尺度因子( p r o j e c t i v ed 印t h ) ，然后填 充现有的矩阵填充缺失部分，使之成为w ：的一个缩放矩阵( m s c a b d ) 。两个算法都是线性 的且具有良好的统计性能，通过迭代求得最佳矩阵下面我们将介绍如何估计尺度因子和 填充缺失元素。 3 2 1 估计尺度因子 目前存在许多估计尺度因子的算法。本文中主要采用的是s m t r n 和n 毽g s 基于双极几 何提出了估计尺度因子的算法这个算法主要是基于基础矩阵和极点的关系。空间点在两 幅图像中存在如下关系： 瓮m = 鼢 在双极几何中，已知足够多的两幅图像的公共点，我们可以求得它们基础矩阵和相机 的极点并且，基础矩阵，和极点p 之间存在一下关系【1 1 】： 喝) = ( 勺) 根据上式，我们只要知道其中一个尺度因子即可求得另外一个完整的算法如下： 1 令五：= 1 2 对于所有的i 1 ，如果i 和1 之间存在足够多的点用来计算基础矩阵f 和极点e ，那 么计算基础矩阵1 和极点1 ，那么尺度因子可以用下面的公式求出 乃2 笮斧 根据上式，如果每两幅照片中的特征点足够多，我们可以遍历求出所有点的尺度因子。 否则无法求出，那么就需要下面一节的元素填充算法来弥补这一缺陷。 3 2 2 填充缺失元素 填充缺失元素最早是在t 0 m a s i 和k a m d e 的论文中 1 5 1 描述的。后来d j a c k s 14 】改进 了这个算法，但是对于未知尺度因子的矩阵仍然不能应用。但是在通常情况下，由于环境 和拍摄角度的影响，不可能所有的尺度因子都能被计算出来。t 0 强ss v o b o d a 改进了j a c o b s 淅大学硬学位论支 苹二章墓f 一堆栝2 辅曲多相机标定算* 研充 的算法，使算法可以应用于未知尺度因子在我们描述算法之前，我们先简要描述下j a c o b s 的方涪。 对于3 m x n 的矩阵r ，通常叫做部分缩放尺度矩阵( p a r t i a n ym s c a l e dm 粥u 把啦m m a n i x ，s h o r t l yp r m m ) j a c o b s 将缺失元素的问题看成填充一个矩阵，使它满足秩数等于 已有矩阵，并且是已有矩阵的某个缩放矩阵我们假设没有噪声的影响由于映射重建的 不唯一性，我们只要找到一个完整的秩数为4 的，并且是由五的空间基生成的矩阵矗就可 以满足我们的需要。理论上，如果五的秩数为4 ，那么印为所求。否则就要根据不完全的 列构造我们需要的基。幸运的是，这四个基之问满足一定的约束而找到足够的约束我们就 可以确定它们 不失一般性，我们以秩散为i 的矩阵举例如图3 - 2 “。 。f ：1 * 撬* i 鹃* 薄r 曲嗣 l 阻rs 旧， s 叫蝌 。i 。；。4 ， 从展义 j 。f 毪拳 圈3 - 2 矩阵填充算法 我们首先解释什么是用不完整的列生成的子空问我们知道，r 中每个完整的列可以 在r “中生成一个一维的子空间。这样，对于某个缺失一个元素的不完整的列c ，我们得 到一个包台所有一雏子空间的线性空间v ，因为我们可以用任意元素代替其中的缺失元 索。在职h 中，v 可表示成一个包舍所有一维空间的平面我们可以将c 的缺失元素换成 基 浙江大学硕士学位论文第三章基于一维标定物的多相机标定算法研究 0 ，并将它扩展成标准基来表示v 我们用表示犬的基所生成的空间。用屈表示在r 中第f 个线性无关的列生成的子空 间，可以证明，包含于屈，并且夕包含于所有r 中列生成空间的交集。 i ，玎层 这里r 表示列的集合。 当交集部分是四维的，我们可以算出欠。当交集高于四维，就只能知道交集的上限并 且需要增加约束条件。太中的任何一列都是犬的空间基的线性组合。这样，我们已求出犬 的空间基，就可以通过欠中空间基的线性组合使除了缺失元素外的其他元素与c 中的元素 相等，从而求出不完整的列c 的缺失元素。 在这里，线性无关是至关重要的由于实际应用中有噪声的干扰，在我们求交的时候 n ，盯屈会迅速趋近于0 。所以实际应用中求得的只是满足最小平方和约束的近似解。 3 2 3 未知尺度因子的矩阵填充 j a c o b s 的算法无法应用于投影点的尺度因子未知的情况。但是，在通常的环境中，由 于各种因素无法计算出每个投影的点尺度因子，所以t o m a s 对j a c o b s 的方法进行了扩展。 而且这样带来了两个好处： ( 1 ) 因为每次迭代的过程会产生更多的信息，从而可能减少迭代的总次数，并且能 够得到精确度更高的结果。 ( 2 ) 可以产生更多的结果，并且算法仍然是线性的。 我们以两幅图片为例。假设z ，i 和z ；表示尺度因子和像素坐标，其中力= 1 ，2 ，p = 1 4 。 令这两幅图片中四个公共点组成的矩阵为么，除了尺度因子智未知外，其它均已知。我 们可以将么，扩展成新的矩阵e ，表示如下： a , - - 丢要茗薹茗1 1 篙 一耳= 罢要墨妻墨薹絮：墨 浙江大学硕士学位论文第三章基于一维标定物的多相机标定算法研究 可以证明，如果e 是满秩的，那么丑一定可以生成，也就是说利用尽即可分解出 ( 2 ) 对于e 中未知尺度因子的点，将e 中所有未知尺度因子的点所在的列拆成两列， l ? 习是霹名) 号疋强i a = i 疋群罡翟鸳碍眉瑶i i 霹霹雹建鸳驾i 0 b t ：l 智群 i 前智 五：x ： 五ix ； 五；x ； 五：x ： 五；x ； 五；x ； l 0 耐碹冯葛疋瑶l i 砰砰0 鹰砭鸳髯麓瑶l l 筲髯0 雹琏名髯0 l 图3 3 矩阵填充流程 如果e 是满秩的，那么它生成的空间将包含。并且，因为多数情况下是未知尺度因 子而不是未知点，所以将会缩小e 的生成空间，进而提高求解的效率。 1j x x o l 4 2 五0 0 0叭习 o o n叫叫叫 鬈 。 疋麓葛碍 霹 码鸯 霉 碹霹 端 正罡 墨 耐o o 浙江大学硕士学位论文第三章基于一维标定物的多相机标定算法研究 3 2 4 填充算法与尺度因子估计的合并 由于存在一些缺失点，尺度因子的估计被视为必须的。但是我们可以运用很多不同的 方法对它进行估计。哪个尺度因子先被计算和算出后如何将它应用到后面的计算对应的一 种策略。每种策略有着不同的顺序。对于每种策略，将会生成不同的子空间，并在这个子 空间上进行填充将导致最终的结果不同。例如，在进行估计时，固定五：= l ，在根据双极 几何计算某对图片的基础矩阵和极点时，可能因为没有足够多的点而无法估计。这将影响 到后面的矩阵填充。如果在填充时没有得到足够多的线性无关的向量，这个过程将不得不 重新进行而且，如果假设其它的尺度因子为1 ，可能会拥有足够多的点进而可以估计尺 度因子。所以在不同的假设下，会产生不同的结果。虽然影射矩阵不是唯一的，但是不同 的结果会产生不同的误差。 所以，如何确定一种误差最小的策略时至关重要的。当然，虽然只有有限个策略，但 穷举所有策略并从中选择最佳者的做法是不现实的。幸运的是，为了得到最佳策略我们无 需计算所有组合。我们可以通过现有矩阵的结构推算出可能较好的策略进而得到较好的结 果。这就需要一些约束来判断什么是好的策略在计算的每个步骤中，不断的应用这些标 准以判断如何进行下一步进而保证较好的策略首先被运用 这里有两个显而易见的结论。第一个是，迭代的次数越多，最后得到的结果就越差。 这是因为在每次送代的过程中，上次计算得到的误差将会扩散到这次迭代的子空间中，从 而影响结果。随着迭代次数的增多，误差将会越来越大。第二条是，尽可能的用最多的信 息计算缺失点。也就是说，已知的元素越多，计算出来的结果越准确。这两个结论支撑了 以下两条准则。 准则一：每一次尽可能多的对点进行填充，这样将会减少误差。 基于这条准则，从理论上可以得到最少的迭代次数。但是以后我们将看到，这条准则 往往被忽略，因为多数情况下没有过多的选择，有时迭代只会进行一次。鉴于此，我们更 加要注意准则二。 准则二：再填充之前，尺度因子知道的越多，结果的误差将会越小。 关于这两条的t o r m s 给出了证明。每次选择能够填充最多元素的策略，在这些策略里 选择尺度因子最多的策略，然后在剩下的集合中可以任意选择。 下面，我们将准则公式化。令国为某种估计尺度因子策略，q 为一些策略的集合。设 浙江大学硕士学位论文 第三章基于一维标定物的多相机标定算法研究 只国) 为当使用这个策略的时候最近一次迭代填充缺失元素的个数。根据准则一，当只国) 为最大值时，为最佳策略。通常情况下会有不只一个满足准则一我们再假设双缈) 为 当策略国使用时已知点的个数，根据准则二，当它最大时，国为最佳策略。