（计算机系统结构专业论文）多视点深度图像的配准方法研究与实现.pdf

摘要 摘要 利用三维扫描技术来对物体三维重构是当今虚拟现实领域中的一项新技术， 并且被广泛应用到案件现场三维重建、影视制作、文物保护等领域。为了重构三 维物体的表面形状，必须事先得到物体表面的深度信息。但由于物体本身表面常 常存在自遮挡和扫描角度误差等影响，只通过一次扫描不可能得到复杂物体表面 的所有深度图像数据。必须通过扫描仪获得物体表面不同方向的深度图像；然后 配准这些不同视角的深度图像，然后对其进行补洞、集成融合等操作，完成物体 的三维建模。其中，深度图像配准是三维数字造型技术中的关键，它直接影响最 后的合成结果、造型精度以及三维重构过程中的自动化程度。 本文首先简单介绍了利用三维扫描仪获取的深度图像对物体三维重构的一般 流程，然后介绍了深度图像对应点集配准的算法原理，提出一种改进的配准算法。 i c p ( i t e r a t i v ec l o s e s tp o i n t ) 算法是目前最常用的深度图像配准算法，但i c p 算法对 两幅待配准深度图像初始相对位置要求较高，它们之间的初始位置不能相差太大， 否则，i c p 的收敛方向是不确定的，因而配准结果也是不可靠的，i c p 算法很可能 收敛于局部最优点，故初始相对位置对结果具有决定性影响，为此人们提出了一 些基于i c p 的优化算法。本文通过重点分析i c p 以及其变种算法的优缺点，提出 了一种“由粗到精”的配准思路，将遗传算法与改进后的i c p 算法相结合运用到 深度图像配准过程之中。初始配准主要利用遗传算法强大的全局最优搜索能力以 及问题域的独立性和应用的鲁棒性特征，采用实数编码、通过实验确定了遗传算 法对于配准问题的参数设置，缩小两幅深度图像之间的位置差，达到提高i c p 算 法稳定性的目的；在接下来的二次配准过程当中，从重叠区域检测、控制点选取、 对应点集计算和对应点有效性检查等方面分别对原始的i c p 算法提出了多种改进 措施，实现了两幅深度图像之间快速精确的配准。实验表明，该算法易于实现、 对待配准图像初始位置以及重叠部分的大小没有严格要求，有很好的鲁棒性，并 且配准过程完全自动化、不需人为手动干预，提高了三维重构的效率。本文最后 在基于上述算法的基础上，实现了案件现场三维重建与智能分析系统中三维重建 部分子模块。 通过总结课题的研究工作，在本文最后还指明了下一步有必要深入开展的研 究方向。 摘要 关键词：三维重构，深度图像，配准，i c p i i a b s t r a c t a bs t r a c t 1 1 1 r e e - d i m e l l s i o n a lo b j e c t sr e c o n s m l 嘶o nw i m3 d - s c 枷n gt e c h n o l o g yi san e w l e c l l i l o l o g yi nt h ef i e l do f m a lr e a l 咄a n d “st e c l u l 0 1 0 9 yi sw i d e l yu s e di n3 d r e c o n s t m c t i o no f 嘶m es c e n e s ，t e l e v i s i o np r o d u c t i o n ，h 舒t a g ep r e s e r v a t i o na n do t h e r f i e l d s t or e c o n s t r l l c tm et h r e e d i m e n s i o n a lo b j e c t ，o n em u s tg e tr a i l g ei m a g e sf 如mm e s u r f a c eo fm eo b j e c t c o n f i n e db ye y ed i r e c t i o na 1 1 dm es h a p eo fa 1 1o b j e c t ，m g e i m a g e sc a nn o tb ea c q u i l i e dt od e s 谢b em eo b j e c tb yo n es c 锄i n g t oa c q u i r ea c o m p l e t es u _ r f a c em o d e lo fa no b j e c t ，o n em u s ts c a nt b eo b j e c t 丘o md i f f 醯e n tv i e w s 行r s t l y ，r e 百s t e rr a l l g ei m a g e so fd i 伍锄tv i e w st h e na n df i n a l l ym e r g ea j lr a n g ei m a g e s i 1 1a nu n i f i e dc o o r d i n a t e t h ek e yi i lm ea b o v ep r o c e s si s 1 er e 百s t r a t i o no fr a n g e i m a g e s ，w l l i c hi n n u e n c e st h e6 n a lr e s u l t ，m ep r e c i s i o na n da u t o m a t a t i o n o f3 d r e c o n s n u c t i o n t h ep a p e ri n t r o d u c e sm ep r o c e s so fg e t t i n g3 dm o d e l su s i n gr a n g ei m a g e s o b t a i n e d 敛i mt h el a s e r s c a n n i n gs i m p l y ， i n t m d u c e st 1 1 e t h e o wp r i n c 印l eo f c o n e s p o n d i n gp o i n t sr e 舀s t r a ! t i o na n dp r o p o s e da ni m p r 0 v e dr e 百s t r a t i o na l g o d t l h nt h e n i c p ( i t e r a t i v ec 1 0 s e s tp o i n t ) a l g o r i t h e i l li sm em o s tw i d l yu s e dr e 西s t r a t i o na l g o r i t h e m n e v e n h e l e s s ，m ep r o p c rc o n v e r g e n c eo fi c pi sg u a r a n t e e do n l yi fo n eo ft h ed a t a s e t si s as u b s e to ft t l eo m e r ；o t h e r w i s e ，e r m n e o u sa l i 即m e m sc a nr e s u l t a n o t l l e rd r a w b a c ko f i c pi sm a ti tr e q u i r e sag o o dp r e - a l i 伊l m e n to ft h ev i e w st oc o n 、r e r g et oac o r r e c t s o l u t i o n i i lo r d e rt os o l v et h e s ep r o b l e m s ，r e s e a r c h e r sh a v ep r o p o s e ds o m e i m p r o v e r i l e i l t sb a s e do ni c p t 1 1 i sp a p e rf o c u so na n a l y z i n gi c pa l g o f i t h m ，a sw e l la s 也ea d v a n t a g e sa n dd i s a d v a n t a g e so fi t sv a r i a n t s ，a n dp r o p o s e da “c o a r s e - t o 6 n e r e 西s t r a t i o nt h i n k i n g ，c o m b i n e dg e l l e t i ca l g o r i t h mw i mi m p r o v e di c pt o t 1 1 er a j l g e r e 百s t r a t i o n r o u 曲r e 百s t r a t i o nm a i n l ym a k e su s eo fm eg e n e t i ca l g o r i t l l m sp o w e r 向1 西o b a lo p t i m a ls e a r c hc a p a b i l i t i e s ，m ei n d 印e n d e n c eo fm ep r o b l e md o m a i na n dm e r o b u s tn a t u r eo fi t s 印p l i c a t i o n u s i n gr e a l c o d e d ，w ec a l ld e t e m l i n em eg a sp a u r 锄e t e r s e t t i n g sb a s e do ne x p e r i m e n t sf o rr a i l g er e 百s t r a t i o n a 俞e rr o u g hr e 西s t r a t i o n ，n a r r o w e d t h el o c a t i o nb e 锕e e nt 、) l ，om g e i i n a g e s ，i m p r o v e dm es t a b i l i t yo fi c pa l g o 订t h mt h a tw i l l b ei m p l e m e n t e d i nm en e x tr e 百s t r a t i o np m c e s s ，t h ep a p e ri n 仃o d u c e saf a s ti t e r a t i v e l i i a b s t r a c t p a i r w i s er e 百s t r a t i o nm e t h o d ， w h i c hc o m b i n e sf o u ra c c e l e r a t i o n t e c h n i q u e s ： f a s t d e t e c t i o no fo v e r l 叩p e dr e 舀o n s ，m o r e - c a r e 龟ls e l e c t i o no fc 0 n 仃0 1p o i n t s ，f a s ts u r f a c e c l o s e tp o i n tc o m p u t a t i o na n dc o m p a t i b i l i 够t e s to fp a i r i n gp o i n t sb a s e do nt h ed i f r e r e n c e o fm o d u l a t i o n e x p e r i m e n t ss h o wm a tt h en e wa l g o r i t h mi se a s yt oi i l l p l e m e n t ，w i t h q u a d r a t i cp r e c i s i o n ，i ti sn o ts t r i c tf o ri n i t i a lp o s i t i o na 1 1 dm es i z eo fo v e r l 印p i n gp a r t ， a n dr o b u s t t h ep r o c e s so fr a n g er e 百s t r a t i o ni s 如l l ya u t o m a t e d ，w i m o u th u m a l l i n t e e i l t i o n ，a i l dc a l li n c r e a s et l l ee 伍c i e n c yo f3 dr e c o n s 仃u c t i o n f i n a l l y ，b a s e do nt h e a b o v ea l g o r i t l l i i l s ，i m p l 锄e n t e dt 1 1 e3 dr e c o n s 饥i c t i o nm o d u l ei nr e c o n s t m c t i o na n d i n t e l l i g e n c ea i l a l y s i ss y s t e mo fc r i m es c e l l e s a r e rs u 衄i n gu pm er e s e a r c hw o f i ( t 1 1 i sp 印e rp o i n t so u ts o m e 向t l l r er e s e a r c h w o r k s k e y w o r d ： 3 dr e c o n s t n l c t i o n ，r a n g ei m a g e s ，r e 百s 仃a t i o n ，i c pa l g o r i t h e m i v 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：日期：年月日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：导师签名： 日期： 第一章绪论 1 1 问题的提出 第一章绪论 信息化的发展无疑对当前公安工作产生了深远的影响，其最直接的表现就是 促进了当前公安工作运行模式的转变。公安信息化是我国国民经济和社会信息化 的重要应用领域，全国公安信息化工程“金盾工程”是我国电子政务建设的 1 2 个重要业务系统建设项目之一。公安的行为由行政行为和侦查行为构成，其中 侦查行为中的案件现场记录、物证获取和保存、确定或排除嫌疑犯等均是公安的 重要职责。为了更好的履行这些职责的需要，在对案件进行分析时，公安部门对 应用现代的信息技术的需求越来越迫切。 目前案件现场三维重建与智能分析系统中，对犯罪场景、犯罪现场证物的记 录方式还是一般的照片二维记录；不能反映现场以及现场物体的三维真实效果， 对于重现虚构人物和真实场景结合的图像模拟犯罪过程更是无能为力。当前我国 在勘验现场时使用笔记和绘图方法在客观性方面由于容易受到工作人员的业务素 质、专业水平和责任心的影响，普通摄像又缺乏立体感和交互性。这些因素都不 利于未去过现场的专家事后判案。所以迫切需要一个能建立案件现场三维场景以 及场景中物体的演示分析系统。 三维信息获取技术，又称为三维数字化技术，它研究快速获取物体表面空间 坐标，得到物体三维数字化模型的方法。因为对激光扫描仪所获取的数据进行重 建所得到的模型具有高精度的几何信息和逼真的色彩信息，非常适合用来快速的 建立案件现场的三维信息；但是在激光扫描的过程之中，现场的物体由于“自遮 挡”和扫描视点误差等原因，只通过一次扫描不可能得到复杂物体表面的所有深 度图像数据。必须通过扫描仪获得物体表面不同方向的深度图像；然后配准这些 不同视角的深度图像，然后对其进行补洞、集成融合等操作，完成物体的三维建 模。其中，深度图像匹配是三维数字化技术中的关键，它直接影响最后的合成结 果、造型精度以及三维重建过程中的自动化程度。 常规的深度图像配准算法对两幅待配准深度图像初始相对位置要求较高，它 们之间的初始位置不能相差太大，否则配准结果不可靠。为此本文提出一个全自 动的三维扫描系统的深度图像配准流程，并且实现了由物体深度图像到三维模型 电子科技大学硕士学位论文 的建模系统，可以对案件现场的证物进行全方位浏览。 1 2 国内外研究现状 1 2 1 三维数字化技术的其他应用领域 三维数字化技术始终是计算机领域研究热点之一，涉及光学、计算机视觉、 图象处理、机器人学、生物视觉、人工智能等理论，具有重要的理论意义和广阔 的应用前景。目前，在国外很多发达国家中，三维扫描技术已在各行各业中显示 了巨大的技术先进性和强大的生命力，广泛应用在各个领域【l 一钉。 1 影视特技制作 最能发挥三维扫描技术作用的是影视特技制作。随着计算机图形图像技术的 飞速发展，计算机影视特技技术越来越广泛地应用于影视、广告业，给人们带来 了全新的视觉感受，实现了过去无法想像的特技效果，已经成为高质量影视、广 告制作中不可缺少的手段。要在计算机上对一个对象进行三维动画特技处理，首 先必须获得其三维彩色数字化模型。这只有两个渠道，一是在计算机中构造，二 是设法获得实物的立体彩色模型。对于一些规则简单的，或者是完全想像虚构的 物体，可以由电脑特技师利用三维构型软件构造。在许多情况下，需要对特定的 真实演员形象进行三维特技处理，制作一个真实、复杂物体的三维特技效果，对 于这类真实的、复杂的物体，例如人的头部或艺术品是很难用构型软件制作出三 维模型的。三维扫描仪能迅速、方便地将演员、道具、模型等的表面空间和颜色 数据扫描入计算机中，构成与真实物体完全一致的三维彩色模型，其数据格式能 与通用的三维动画软件接口。有了这些数字化模型，就可以用三维动画软件对它 们做进一步的特技处理，实现高难度的特技效果。 2 虚拟现实系统 在仿真训练系统、灵境( 虚拟现实【5 6 】) 、虚拟演播室系统中，也需要大量的三 维彩色模型，靠人工构造这些模型费时费力，且真实感差。同样，i n t e r n e t 上炒 得正热的v r m l 技术如果没有足够的三维彩色模型，也只能是无米之炊，而三维彩 色扫描技术可提供这些系统所需要的大量的、与现实世界完全一致的三维彩色模 型数据。销售商可以利用三维彩色扫描仪和v r m l 技术，将商品的三维彩色模型放 在网页上，使顾客通过网络对商品进行直观的、交互式的浏览，实现 “h o m e s h o p p i n g 。 2 第一章绪论 3 游戏娱乐业 游戏娱乐业始终是计算机产业的金矿。现代计算机游戏已经进入了三维、互 动、虚拟现实阶段，三维扫描仪正可以大显身手。它不仅可以为游戏、娱乐系统 提供大量具有极强真实感的三维彩色模型，还可以将游戏者的形象扫描输入到系 统中，达到极佳的“参与感 、“沉浸感 ，让你感受到梦幻般的效果。 4 文物保护 对于文物，三维彩色扫描技术能以不损伤物体的手段，获得文物的外形尺寸 和表面色彩、纹理，得到三维彩色拷贝。所记录的信息完整全面，而不是像照片 那样仅仅是几个侧面的图像，且这些信息便于长期保存、复制、再现、传输、查 阅和交流，使研究者能够在不直接接触文物的情况下，甚至千里之外，对其进行 直观的研究，这些都是传统的照相等手段所无法比拟的。有了这些信息，也给文 物复制带来很大的便利。目前，法国已将这一技术用于文物工作，美国斯坦福大 学利用三维扫描技术实施“数字化米开朗基罗”项引7 1 ，计划将文艺复兴时期的这 位意大利著名雕塑家的作品数字化。欧洲的四家公司、三所大学、两座博物馆联 合实施a r c h a t o u r 项目，其主要目标是以三维数字技术改进考古、旅游领域中的 多媒体系统，而三维扫描是其中的关键一环。英国自然历史博物馆利用三维扫描 仪对文物进行扫描，将其立体色彩数字模型送到虚拟现实系统中，建立了虚拟博 物馆，令参观者犹如进入了远古时代。 5 三维传真 我们通常见到的传真机都是二维的，在发送端用平面扫描设备对平面图片进 行扫描，通过通信设备将信息发至接收端，再通过打印设备将图像打印出来。可 以设想，将发送端的设备换成三维扫描仪，对立体实物进行扫描，就可以实现三 维传真，如果接收端配备了快速成型机，还可以直接得到实物模型。斯坦福大学 等已对此进行了研究，这类系统可用于分布式制造系统、产品销售等方面。 6 研究领域 随着技术的发展，图形图像科技工作者的研究领域已经从平面图像处理发展 到三维图形图像处理，如何获得三维图像数据是他们首先要解决的问题。三维扫 描仪可以为他们提供迅速获取三维彩色图像数据的手段，为三维彩色图形图像处 理、三维物体识别、深度图像理解的研究提供方便。正如现在几乎每个搞图像处 理的研究室都配备有平面扫描仪一样，不久的将来，三维扫描仪也将成为图像处 理研究机构的常见设备。此外，国外还出现了如m o n o l i t h s t u d i o s 、v i e w p o i n t 、 n v i s i o n 3 d 这样的公司，他们用三维扫描仪为客户提供扫描服务，以“卖模型 为 电子科技大学硕士学位论文 业。 1 2 2 多视点深度图像配准问题的研究现状 作为利用深度图像重建三维模型中的关键一步，配准问题吸引了很多入的研 究兴趣和工作。目前主要的研究都可以归为以下两类：特征匹配( f e a t u r em a t c h i n g ) 和曲面之间的距离最小化( s 时a c e d i s t a i l c e m i n i m i z a t i o n ) 。特征匹配方法定义并计 算特定区域上的可以唯一确定物体位置的特征，然后在临近的深度图像中搜索与 之匹配的特征区域，通过坐标变换使两幅深度图像上的相同区域重叠达到图像配 准的目的。曲面之间距离最小化的方法则是计算相邻的两幅深度图像之间的曲面 距离和，迭代地最小化这个距离和来优化两幅深度图像的运动参数。特征匹配的 方法至少有以下两个优点。首先，对于两幅深度图像，不需要初始匹配，这使得 自动的网格生成和匹配成为可能。第二，一旦确定了曲面特征之后，整个匹配过 程是稳定的。基于特征匹配的方法需要对特征的数学定义计算的方法来精确地提 取出深度图像上的特征区域来完成匹配。基于特征的匹配在三维深度图像中应用 还不多，在图像处理和计算机视觉上的应用比较广泛。在实际的场景建模系统中， 配准往往采用上述两者结合的方式，先利用基于特征的方法求出一个初始的位姿， 再使用i c p 算法迭代求精。 b e s l 和m c k a ，9 】最早提出的的三维深度图像配准的迭代最近点迭代( i t e r a t i v e c l o s e s tp o i n t ，i c p ) 算法是一种曲面之问距离最小化的方法。这种方法对于大量的曲 面表示形式都是适用的，而不仅仅局限于深度图像。它通过迭代地极小化两张曲 亟之间的距离来优化两张曲面之间的运动参数，也就是坐标变换关系。这种方法 在平方距离和的意义下是单调收敛到局部最小的。b e s l 和m c k a y 还提出了一个修 改的i c p 方法来加速收敛。然而，因为点到曲面的距离没有一个解析解，因此， 这个迭代的过程是非常耗时的，计算复杂度非常高：即使使用修改的i c p 算法来 加速收敛，这个方法的计算复杂度还是很惊人。如果给定一个比较好的初始位置， i c p 方法的优点是其精度通常会比基于特征匹配的方法高。c h e n 和m e d i o n 【1 0 】以及 t l 此和l e v 0 y l j 等也分别提出了类似的用于处理深度图像的i c p 算法。从上个世 纪9 0 年代初期b e s l 和m c k a y 提出了i c p 算法以来，很多研究者对其进行了改进 及优化【1 2 ，13 1 。包括g e l f 抽d 【1 4 】等针对计算点集匹配点的过程，提出新的点采样策略， 解决了i c p 算法在噪声较大或初始匹配不好时的不稳定问题；j o s t 【”】等也是针对同 一过程，把多分辨率的思想应用到了邻域搜索，给出了一个快速，稳定的匹配算 4 第一章绪论 法，计算量小，适用于海量数据点集的匹配：m i t 蕊z 【1 6 1 等对整个迭代优化过程傲 了改进，把平方距离函数( s q u 鲫e dd i s t a l l c ef u n c t i o n ) 引入了优化过程中，改进的 i c p 算法是二次收敛的，收敛速度明显改善。 i c p 算法一方面收敛性能较差，查找对应点又成为算法的瓶颈所在。而近来提 出的基于平方距离函数的算法可以直接采用预先计算空间点的平方距离函数逼近 值的方法，省略了对应点的计算。但是，还存在精度上的问题。首先，它采用的 平方距离函数的二次逼近只在局部对距离的估算有效：其次，若去除了对应点查 找后的算法还需要对空间中点的函数值进行非线性拟合。虽然算法提高了效率和 收敛性，但难以保证高精度的匹配。若在该算法中采用即时地计算函数值的方法 则又会大大地降低效率。 本文将在目前这两类配准算法的基础上提出一个全自动的三维扫描系统的深 度图像配准流程，为了可以配准任意方向上并且重叠部分较小的两幅深度扫描图 像，我们将遗传算法用于深度图像的初始配准，并对原始i c p 算法进行改进，利 用其进行第二步的精确配准，以达到鲁棒性和更高的精度要求。 1 3 课题背景及研究内容 本课题得到了四川省科技攻关项目“案件现场计算机智能分析与三维重建系 统”的资助，课题编号0 5 g g 0 0 6 0 0 4 。本文对其中“案件现场物体计算机三维重 建系统”进行专题研究。利用三维激光扫描仪获取案件现场物体深度信息，快速 对其进行三维重建。 通常，三维扫描仪扫描一次只能得到实体的一个侧面的深度信息，要得到完 整的三维模型，就必须对物体的各个角度进行扫描。由于这一系列的视图所对应 的坐标系是各不相同的，这就必须将多个视图进行配准。因此一般情况下，用三 维扫描仪作为采集设备对物体重构由以下3 个步骤构成【8 】：( 1 ) 采集物体的原始几 何信息得到凡片到几十片深度图像( r a n g eh 1 1 a g e ) ；( 2 ) 对分片深度图像进行配准 得到完整的深度图像；( 3 ) 对深度图像拟合得到曲面。 深度图像配准是从多角度扫描的深度图像视图中获得三维模型过程中的一个 重要环节。对模型进行多次扫描，因为难以避免的表面测量误差的存在，以及多 次扫描时扫描坐标系的定位误差，使得多次扫描数据间的配准和融合就显得尤为 重要。深度图像配准算法设计将直接影响通过三维扫描获取数据建模的精度质量 和建模过程的自动化程度。在配准过程中。要对深度图像中的点云数据进行坐标 电子科技大学硕士学位论文 变换，这个变换直接影响到经过变换的深度图像之间的差异，也是重构阶段影响 型质量的最主要因素。所以，在由深度图像建立三维物体几何模型过程中，一个 无须人手动干预的，有效的和高效的配准算法是关键。 为此本次课题主要从深度图像配准算法方面入手做了以下几个方面的研究工 作： ( 1 ) 了解三维激光扫描技术的发展过程，以及利用三维激光扫描的深度图像进 行建模的一般过程。 ( 2 ) 了解一些常用的多视点深度图像的配准算法，研究它们的性能和优缺点以 及存在的问题和发展方向； ( 3 ) 研究基于最近点迭代的深度图像配准方法，以及对应点集的运动参数估计 方法； ( 4 ) 基于对上述算法以及遗传算法的研究，提出了一种“由粗到精 的配准方 法，首先利用遗传算法的一般性特征进行初始配准，再利用基于改进i c p 的方法 进行精确配准。 ( 5 ) 具体的三维重建子系统的建立。 1 4 本文的组织结构 本文的重点是基于三维激光扫描仪获取的深度数据配准方法研究，分五章详 细地阐述了本研究课题的研究工作情况，内容安排如下： 第一章绪论部分，对课题的产生背景、研究内容及技术难点、研究意义及现 状、论文结构安排做了大致说明。 第二章概要介绍深度图像的概念、目前常用的获取深度图像的方法以及由深 度图像建立三维物体几何模型的过程。 第三章阐述深度图像配准的目标，深度图像配准过程中所涉及的数学理论知 识，以及到目前为止深度图像配准所常用的几个算法。 第四章是本论文的重点部分，对现在最常用的深度图像配准i c p 算法，进行 了改进及实现，提出了一种将基于遗传算法的初始配准与改进i c p 精确配准相结 合的深度图像配准方法，给出了实验结果。 第五章介绍由深度图像实现物体三维重建系统的开发工作。 第六章对论文进行总结，并提出对进一步开展研究的一些看法。 6 第二章深度图像和深度图像的获取重建与显示 第二章深度图像和深度图像的获取重建与显示 2 1 深度图像的定义 深度图像也被称为距离图像，是一类特殊形式的图像，遵从图像的基本格式， 是由一组按照矩阵格式逐行逐列进行组织的像素组成【l 7 1 。深度图像是指将从图像 采集器到场景中各点的距离( 深度) 值作为像素值的图像，它直接反映了景物可 见表面的几何形状，利用它可以很方便的解决3 d 目标描述中的许多问题。 深度图像与一般的灰度图像相比有如下两个特点【l8 】( 如图) ： ( 1 ) 属于物体上同一平面的像素值按一定的变化率变化( 指该平面相对于图像 平面倾斜) ，这个值随物体形状和朝向变化，但与外部光照条件无关。 ( 2 ) 边界线有两种：一种是物体和背景间的阶跃边缘，另一种是物体内部各区 域相交处的屋脊状边缘( 除非相交处本身有阶跃) 。 亮度 距离 割面 图2 1 深度图像与灰度图像区别 换句话说，它与我们最为常见的灰度图像的不同之处就在于两者的像素所表 示的内容不同。对于灰度图像，其像素值表示的是该点感光的强度或灰度；而对 于距离图像而言，像素值则表示了扫描点的距离信息。深度图像是由深度成像传 感器输出生成的，深度图像不受光源照射方向及物体表面的反射特性的影响，而 且不存在阴影，所以可以更准确地表现目标物体表面的三维深度信息。从灰度图 像提取三维物体几何特征的方法对景物的几何和物理特征都有特别的限制，而深 度图像可以直接利用物体的三维信息，所以，从深度图像数据中可以比较容易的 求得有关物体更可靠的几何信息，可以简化了三维物体的识别和定位问题。正因 7 电子科技大学硕士学位论文 为如此，深度图像分析越来越受到计算机视觉、图像分析等领域研究工作者的重 视。 2 2 三维获取技术及激光扫描仪 2 2 1 三维获取技术 为了快速、精确地获取物体的三维立体信息，在长期的研究和应用实践过程 中人们发明出了很多获取三维信息的技术。深度图像的获取技术可分为主动式和 被动式，接触式和非接触式【1 9 捌】。接触式测量主要有三坐标测量机( c 删) 、机械臂 等。对于非接触式测量，根据测量原理的不同，分为电磁学、光学、声学等方法。 采用哪种采集方式取决于被扫描对象的形状、大小、物质、数据应用目的。最常 用的三维扫描测量设备有三种：三坐标测量机、激光三维扫描仪和工业c t 等断层 扫描设备。 图2 2 三维信息获取技术分类 第二章深度图像和深度图像的获取重建与显示 2 2 2 三维激光扫描仪 2 2 2 1 三维激光扫描仪数据获取的原理 目前，根据三维扫描仪数据获取的不同原理，主要将其分类为两种：时间差 量测和三角法【2 2 | 。 ( 1 ) 时间差量测( t i m eo ff l i g h t ) 由扫描仪的二极管发射出脉冲激光到物体表面，再接收经由物体表面反射回 来的信号，计算出信号往返期间的时间差，由光速、时间差址算出扫描仪与物体 之间的距离p 。图2 3 为其示意图。 m 图2 - 3 时间差法 p = 1 2 木c 半f( 2 1 ) 采用此种方法的扫描仪比起三角测量法( t r i a n g u l a t i o n ) 可测量较远的距离， 但在近距离时，相对精度较差。但是一般而言，在测量较远距离时，像其他扫描 方法一样，扫描误差仍随着距离的增加而增加。 ( 2 ) 三角法( t r i a n g u l a t i o np r i n c i p l e ) 三角测量法硬件由线激光发生器、c c d 摄像头、图像采集卡、相应的连接线与 电源以及微型计算机组成。如果采用两个完全相同的c c d 摄像头对称放置，可以 减少测量盲区，提高测量精度。三角法利用三角形几何关系测得距离。先由扫描 仪发射激光到物体表面，记录入射光与反射光之间的夹角，利用在基线另一端之 相机( c c dc a m e r a ) 接收物体反射的信号，且激光光源与c c d 之间的基线长度经 测定为已知，经由三角形几何关系推求扫描仪与物体之间之距离。图2 4 为其示 意图。 9 r 氡一 图2 _ 4 一角沾：一台相机( 左) ，豫台相机f 也) 2 j 2 2 2 常用三维激光扫描仪 ( 1 ) c v b e r w a r e 公司的三维扫描仪 c y b e r w a r e 公卅的三维扫描仪，在8 0 年代就被迪斯尼等动画和特技公司采川， 用1 终结者tt ”，“侏罗纪公吲“蝙蝠侠i i ”，“机械战警”等影片j 丕用十陕 遮雕塑系统。9 0 年代的扫描仪可对人体全身扫描，给山对魏的多边形、扎h 脯曲 而、点、s p 】e f 线方式描述 十动画、人类学研究、服装设计等方面。c v b e r w a r e 的代表产品是3 0 3 0 系列，其适用范围宽，价格适叶- ，陆能好。除了3 0 3 0 j 外，都 可进行彩色 = i 拙，扫揣速率可达l4 仃点秒。3 0 3 0 r g b 型扫描物体的尺j j 在3 0 c m ， 深度万向测量精度1 0 04 0 0um ，测量单元重2 3 k g 主机为s g i 工作站。一种扫描 方式是被扫描物体运动，兄种扫描方式是扫拙单元运动，适十扫描人件物体。 它的配套软件可以选择扫描参数，对扫描结果进行显示、缩放、旋转。输j h 结果 支持2 0 多种数据结果、包括d x f 、s c r 、p l y 、o b j 、 s c i i 、v r 帆、3 d s 、s t l 。 j 剀2 53 0 3 0 r g b m s 型维数据化仪 口 心l 蛾。 第一章深度幽像和深度幽像的莸取巫建与显示 ( 2 ) 3 ds c a n n e r 公司的三维扫描仪 3 ds c a n n e r 公司的r e v e r s a 是非接触式双相机激光扫描三【= ，基于线状结构光 测距原理，实现上采用“相机激光源一相机”的方案。它制作精巧，重量仅6 0 0 9 ， 尺寸仅1 9 8 m m 8 2 砌7 0 m m ，激光线晟窄4 0um ，深度方向测量精度1 0um 。r e v e r s a 可以装在c n c 加工机、三坐标测量系统或r e p l i c a ( 3 ds c a n n e r 公司1 9 9 4 年的产 品) 的独市扫描桌上，进行四轴或五轴的扫描运动，扫描采样速率为1 l5 万点 秒。其软件提供扫描方式控制，数据格式转化，= 维显示，等高线显示，比例缩 放，指定点坐标显示，修补界面等功能。输出可转化为一些标准格式，如d x f 、s t l 、 a s c n 等，嗣于产品测量、设计开发、模具制造、珠宝设计、快速制造、特技制作、 制陶、制鞋及医学。3 ds c a n n e r 公司的m o d ej k e 是晟新激光扫描头，可以安装 在多芙节机械测量臂上，作多轴扫描。装置体积小，重量轻，可进行彩色扫描， 输出支持d x f 、s tj 、a s c i i 、e y e 、0 b j 、3 d s 格式，适用于特技制作、虚拟现实、 v r m l 产品设计、测量、医学等。 削2 - 6 r 激光扫描头 ( 3 ) 3 “t e c h 公司的三维扫描仪 t e c h 公一j 应用a c u n y 线扫描仪和激光测距仪开发出了种3 d 场景数字转 换器，一t e c h 使用a c c u r a j l g c 线扫描仪和p c l 0 4 高速接u 卡开发出了一种3 d 扫 描仪：d e h a s p h e r e3 0 0 0 激光3 d 场景数字转换器。他们将a c u 儿y 的产品和一个 数码彩色照相机集成到一起，为不同模型的开发捕获测量数据和颜色数据。典型 的应用包括犯罪和事故现场模型以及川于虚拟演示的工场和物体的真实图像。 这种扫描仪已经被科学家用以扫摘著名的哥斯达黎加石半球，削断它“圆”的程 度。a c c u r a n g e 线扫描 义特别适合为物体和环境重建捕获3 0 点阵。 c c u r a n g e 线 扫描仪集成了 r 4 0 0 0 传感器、个旋转镜子和编码器。这个系统能探删长达5 4 英尺的距离，也能上报非常精确的编码器读数。线扫描仪也可用于测量道路、原 木和车床等的轮廓。 电子科技大学硕士学位论文 p 围 二i j 一 z 图2 7d e h s p h 目3 0 0 0 激光扫描仪 ( 4 ) 手持式激光扫插仪f a s t s c 州 f a s t s c 州c 。b r a 是美国p o l h e m u s 公司研制的手持激光扫描仪。与以的的产品 比较，它节省了3 0 的费用，体积也减小了半( 长度大约2 3 0 m m ) ，但仍然保留 了所有功能，使用和携带均更加方便。作为u 前业内最小的手持激光扫描仪， f a s t s c 州c o b r a 对扫描三维物体具有快速、灵活的特点，最重要的是加快了对三 维模l o 和动蚰的处理速度。用户可以摒弃以往将物体拿到扫捕仪上扫描的方法， 直接使用f a s t s c 觚c o b r a 对物体进行操作。使用f a s t s c a n 对整个物体的表面进 行平稳扫描，即可迅速得到浚物体的三维k 寸，其扫描过程有如喷漆般。物体 图像可迅速出现在你的计算机屏幕上，扫描结果将结台任种重叠扫描方式进行 处理，从而显著降低了开发物体局部或非金届物体模型表面的次数。f a s t s c 州 c o b r a 结合了万便的手持功能，可实时进行三维模型的“自动缝合”。扫描的数据 可以很容易地被输出到业内标准的图形应_ l j 程序。选瑚数字化笔提供的数字参考 符号可以准确地指出标已点的 1 ) ：置和方向。f a s t s c a n 还包括了个文件包大小的 手提箱，r 叮将所需的全部元件装在一起。扫描仪采用了来自p o l h e m u s 公司的专利 产品f a s lr a k 动作跟踪技水。磁性跟踪器h j 来确定扫描仪的位置和方向，使计算 机能够完整地复制出物体的三维表面，作为个工业标准的易携带、重量轻的手 持扫描仪，f a s t s c a n 可以应用到许多场所：考古挖掘地、作物栽培基地，甚至进 _ 八对光敏感的医疗监测室。 第二章深度图像和深度闰像的获取重建与显示 障 酗2 - 8f a s t s c a nc o b m 手持式撒光扫描仪 ( 5 ) 其他产品 其他产品有i n s p e c k 公司的三维光学扫描装置。d 1 9 l b o t 公司的d 1 曲。tit 采 用点状结构光测量深度。s t e l n b l c h 】e r 公司的三维扫描系统有c 0 m e t 、t m 。1 i t e 、 a u t o s c a n 。华中理工大学的3 d l c s 9 5 等等。 23 由深度图像建立三维物体几何模型的过程 个完整的利用深度数据实现物体= 维重建的系统一般应改具有如下流程 数据获取 、镕口 像配准 m 胡竺、卷誓 l 1 7 融合与窿目 nd 瞎铡 目忙f l 纹理映射 【l j 二m 月a 图2 9 由深度图像对物体三维重建流程图【2 4 】 l 数据获取：这早是指对场景的三维数据的获取，那么，这一步主要是由激 光扫描仪柬完成的。当然，为了高教而高质量的获取个大型场景或物体的完整 电子科技人学硕士学位论文 的三维数据，还有很多的问题，比如扫描视点的规划、扫描仪和扫描分耕率的选 择、扫描数据的格式及表示等等。 2 深度数据的配准：这是数据获取后我们所要做的第一项上作，也是很为关 键的一项工作。为了得到一个场景的完整的三维数据，我们往往需要从不同的视 点去扫描该场景，但每次扫描得到的数据都是处在以当前视点为原点定义的一个 牮标系下。因此，为了将所有的扫描数据放在一个公艿的坐标系f ，我们必须要 解决配准的问题。 3 深度数据的融合与建网：当两片扫描得到的深度数据配准到同 坐标系 后，其蘑台的部分必然会有两层数掘，这就带来了数据的冗余和不一致。f 是， 就需要将这两片数据融合成片。另外，由激光扫描得到的深度数据般都是离 散的三维点( 我们称为点云) ，它们小能真实准确的表示实际物体和场景的袁而。 利用点云构建三角网格则是一种常用有效的方法。建网后的模型可以很好的逼近 实物或场景的表而。 1 纹理映射：经过前面的过程可以得到场景的几何模型，它们已经具有了很 好的几何准确| 生，但为了满足u r 视化的需要，我们主须对几何模型赋以颜色从而 能够绘制成具有色彩真实感的三维模型。这就需要将拍到的场景的一系列彩色照 片映射到几何模型e ，也就是要解决个m 照片到几何的映射问题。 豸i t 箩瓤，百 图2 1 0 由扫描所得多视点深度图像对物体三维重建 在本文在实验过程中，为了能够很直观将实验的结果在o p 阿g l 中显示出来， 便于后面的配准算法的实现将使用三角形网格表示深度图像。本文的深度斟像 集成融合采用t u r k 提出的z l p p e r e d 算法。手要由以下三步组成：( 1 ) 构造每一 ，乏 1 荔 第二章深度图像和深度图像的获取重建与