（计算机应用技术专业论文）基于多深度图像的三维重建技术研究.pdf

一一 摘要 三维重建的两个重要的性能指标就是模型精度与自动化程度，本文的三维重 建研究主要针对基于结构光的三维扫描仪。结构光三维扫描仪利用一台投影仪投 影特征编码的结构光图案，由一台与它相对位置固定且已经标定的摄像头同步获 取相应图像，然后处理畸变图像，重建得到被扫描物单个面的三维模型，即深度 图像。本文的研究工作主要集中在提高深度图像的精度与深度图像处理的自动化 程度，从而提高三维重建结果的几何准确性并改进重建自动化程度。 结构光三维扫描仪每次获取扫描物体一个面的深度图像模型，然后需要通过 比较多的人工交互来对多次扫描结果进行对齐合并，使得系统的自动化程度受到 很大的制约。本文考虑结合高精度数控转台的相关数据进行多深度图像的拼接， 提高扫描系统的自动化程度，相关问题在于将数控转台坐标系与扫描仪坐标系联 系起来，得到相互之间的坐标转换关系。本文通过圆曲线和直线拟合获取单轴转 台的中心轴，从而解决了这个问题，这样。每次扫描得到的深度图像与转台旋转 的角度结合，可以比较精确的进行深度图像对齐。 深度图像获取的精度主要受到扫描仪系统标定的制约，本文针对扫描仪标定 做的工作主要在于校正摄像机和投影仪镜头的几何失真，本文首先对这些变形原 因做详细分析，确定了其中最主要的是镜头的径向形变，然后建立径向形变数学 模型并对二维图像校正，从而提高三维数据的精度。 三维重建的另一个工作就在于将自动对齐和校正过的深度图像合并，形成完 整的三维模型，为后续的应用提供数据支撑。合并主要有基于点云的合并与基于 网格的合并两种技术，本文将对这两种合并技术进行简要介绍。 目前，本文的三维重建系统已经被广泛应用于文物数字化、逆向工程等领域， 并获得了很好的应用效果。 关键字：三维重建标定径向形变三角化合并 l a b s t r a c t 3 dr e c o n s t m c t i o nh a v em oi m p o 舳tp e r f o 肋a i l c ei n d i c a t o r m o d e la c c u r a c ya n d a u t o m 砒i o n ，m i s 也e s i sa i m e da ti m p r o v eg e o m e t r i ca c c u r a c ya n d 也ed e g r e e o f a u t o m a t i o nf o rs t n l c t u r el i g h tb a s e d3 ds c a n n e r s 衄l c t i l r el i g h ts c 黝c ru s cap r o j e c t o r t op r o j e nc o d e ds t m c t i l r ep a n e mt oo 均e c t i v e ，a n dac a l i b r a t e dc 锄e r as n 印1 h e c o r r e s p o n di m a g e ，a 1 1 dt l l e n 印p l yi m a g ea i l a l y z et c c h n o l o g i e st or e c o n s t m c tt l l er a l l g e i m a g e ，锄dt l l e nr e g i s t e ra 1 1 di n t e g r a t e 也e s em g ei m a g e s t 0b u i l d 廿1 em o d e l 3 dr e c o n s t n l c t i o ns y s t e mp r o t o t y p ea c q u i r e daf k es c a no b j e c t sd e p t hi m a g e s m o d e l s ，a i l dt 1 1 e nr e q l | i r em a n ya r t i 6 c i a l 雌嘲- a t i o n t or e g i s t e rt 1 1 e s es c a nr c s u l t s ， m a d ei th a r dt ob ef i l l la u t o m a t i c ，t l i st 1 1 e s i s 印p l yh i g h p r e c i s i o nd i g i t a lr o t 8 _ t o rt o s o l v et 1 1 ep r o b l e m ，l ec o r r e s p o n d i n gi s s u ei sh o wt oi o i n tt h es c 锄e rc o o r d i n a t e 矗啪ea n dm er o t a t o rc o o r d i n a t e 疗a m e ，m ep a _ p e ra d o p t e dc i r c l ef i ta 1 1 ds t r a i 曲tl i n e f i tt od e a l 谢mi t ，s o 也a tw ec a ng e tt h ep r e c i s er e g i s t e r e dd e p t l li m a g e sb yc o m b i n e t 1 1 ed 印t l li m a g e 姐dr o t a t ea f l g j e p r c c i s i o no fr e c o n s t r u c t i o ns y s t e mm a i l l l yc o n s t r a m e db ys y s t e mc a l i b i a t i o n ， m ep a p e ra n a l y z e 也em a j o rf a c t o ra t 均u tp r e c i s i o na n df i i l dt l l a tt h em o s ts e r i o u ss t u 丘 i sc 唧e r a s 趾dm ep m j e c t o r sl c n sg e o i n e 砸cd i s t o n i o n s ，t l l i st 1 1 e s i sb l l i l ds e v e r a l d e f o r mm a 也e m a t i c a lm o d e l s ，a n d 啪d i s t o n e d 如，o d i m e n s i o n a li m a g e 也e r e b y i m 口r o v i n g 也ea c c u r a c yo f 3 dd a t a a n o t l l e rw o r kl i e si nt 1 1 ei m e g r a t i o no fr e g i s t e r c da n du n d i s t o r c e dd 印t 1 1i m a 窖e s t h e r ee x i s t st w oc a t e g o r i e so fi m e 毋诅t i o n ， p o i n tc l o u di m e 里删o na i l dm e s h i m e 耵a t i o n ，w h i c hi ss i m i l a ri i ln a t u r e ，t 王l i s 也e s i sw i l ld e m o n s t r a t e 也e s et w o t e c l l n 0 1 0 9 i e sa n dc o m p a r en l e i rr e s p e c t i v er e s u l t s o l l rr e c o n s t n l c t i o ns y s t e mh a sb e e na p p l i e di ns e v e r a if i e l d s ，c u l t l l r er e l i c d i g i t i 枷o n 觚df e v e r s e se n g i n e e r i n gf o ri n s t a e ，a i l dt l l ep e d b m l a n c ei sf a 吐l e rg o o d k e y w o r d s ：3 dr e c o i l s t n l c t i o nc a l i b m t i o nm d i a ld i s t o n i o ni m e g r a t i o n l v 一 第l 章：绪论 1 - l 引言 三维重建是计算机视觉的主要目的，也是计算机图形学领域的研究热点。所 谓三维重建就是指从图像出发恢复空间点三维坐标的过程。对真实场景进行三维 重建，一般需要满足以下条件：1 、几何准确型，满足精确测量的要求；2 、照片 真实感，视觉上近似于真实物体，满足展示的要求；3 、重建过程自动化。目前， 许多通用的三维重建技术，如激光测量，基于图像的建模技术等，已经在文物数 字化、逆向工程、医疗等领域中有了广泛的应用，创造了很大的社会和经济效益。 文物保护与研究领域一个重要的工作就是对于文物的尺寸、纹理等信息进行 记录，一般通过文档、图片等方式完成。随着计算机技术的飞速发展，文物信息 化领域也开始广泛采用三维扫描技术，最真实、完整的记录文物的相关信息【1 】。 三维扫描技术起源于2 0 世纪8 0 年代，c y b e r 、v a r e 公司最早研制出基于视觉的三 维扫描仪。进入9 0 年代，三维扫描技术获得了更加广泛的关注，已经有很多国 内外公司、研究机构开展了对三维扫描技术的研究开发，在研究与应用领域都得 到了飞速的发展。出现了一系列的相关产品。到目前为止已有近百种型号的三维 扫描设备面世，在精度、速度、易操作性等方面均达到了很高的水平，扫描的对 象不断扩展，而价格则逐步下降。目前，三维扫描技术可以将古文物、传统雕刻、 浮雕甚至人类学中将古人类的骨头、器皿，快速的数字化并保存下来；便携式 3 d 数字扫描器，可架设于复杂的地理环境，对大型的文物、场景进行扫描，从 而使得三维扫描技术在文物保护领域处于重要的位置，并已日益成为文物数字信 息记录技术的主流。 逆向工程( r e v e r s ee n g i n e 鲥n g ，i 也) 是对产品设计过程的一种描述。在工 程技术人员的一般概念中，产品设计过程是一个从无到有的过程：设计人员首先 构思产品的外形、性能和大致的技术参数等，然后利用数字化技术建立产品的三 维数字化模型，最终将这个模型转入制造流程，完成产品的整个设计制造周期。 这样的产品设计过程可以称之为“正向设计”。逆向工程则是一个“从有到无” 的过程。简单地说，逆向工程就是根据已经存在的产品模型，反向推出产品的设 计数据( 包括设计图纸或数字模型) 的过程。 随着计算机技术在制造领域的广泛应用，特别是数字化测量技术的迅猛发 展，基于测量数据的产品造型技术成为逆向工程关注的主要对象。通过三维熏建 系统获取的物体表面的空间数据，经过逆向工程技术的处理获得产品的数字模 型，进而完成产品的制造。因此，逆向工程技术可以认为是“将产品样件转化为 c a d 模型的相关数字化技术和几何模型重建技术”的总称【2 l 。逆向工程通过三 维重建技术获取其模型数据，并在计算机中进行重建得到目标模型，可以将自己 的概念设计以一个更真实的方式展现其外形；另一方面，为的是评估模型的实际 尺寸能否实现所要求的性能。通过应用三维重建技术，无疑可以显著的提高逆向 工程的效率，从而为创新设计提供基础。 根据以上分析，开发一套针对应用的、廉价、高精度的三维重建系统有着强 烈的应用需求。本课题组多年来一直从事三维重建技术研究，主要通过三维物体 的二维图像，获取它的三维模型。本章接下来的内容讲对这一技术进行分析，同 时对于本文的工作进行介绍。 1 2 三维重建技术现状分析 从三维物体的二维图像恢复它的三维模型，相对于机械式、激光测量等三维 获取技术有很多的优势，它的操作简单，不会对被测物体产生物理损伤，同时具 有精度高，价格低廉的特点。目前，研究工作者也一直在尝试着不同的方法进行 基于二维图像的三维重建，归纳起来，目前比较成熟的技术主要集中在基于图像 或者视频来重建三维模型以及基于结构光的三维重建。 1 2 1 基于图像的建模 基于图像的建模技术，通过对场景实拍的一系列图像，可以恢复出具有照片 级真实感的场景或者模型，同时建模过程自动化程度随着技术的进步也在不断提 高，使得人工交互越来越少，显著提高了建模效率。基于图像建模所需的设备也 非常简单，只需要一部或几部摄像机即可完成。在需要真实感建模大型场景的场 合，基于图像的建模无疑具有很高的实用价值。根据视频实时生成模型是另外一 个诱人的应用。 mp d ， 啦y 吲介绍了通过一组图像序列自动重建场景的三维建模系统。它不 需要预先获取照相机的内外部参数，在获取场景图像序列时，也可以随意改变照 相机设置( 如焦距) ，同时也不需要对待重建场景模型有预先的知识，从而达到比 较高的灵活性，提高获取系统的效率。通过投影重建( p m j e c t i v ei k c o n s t n l c t i o n ) ， 自标定( s e l f c a l i 嘲i o n ) ，深度图像配准 d e n s em a t c l l i n 酚以及三维模型重建 可行性分析：通过摄像机标定流程，可以得到摄像机内部参数，对于标定板 每次摆放的位置，可以得到标板坐标系相对于摄像机头坐标系的外部参数， 即旋转矩阵和平移矩阵，则每次在照片上选定固定的一个点，都可以求出该 点在摄像机坐标系中的三维坐标值，以一定角度旋转3 次以上，理论上可以 得到相对于摄像机坐标系的一组空间点坐标值，且该组空间点处于一个圆 上，圆心处于转台中心轴 误差来源：特征点的选取、变换矩阵的计算、曲线拟合、转台角度误差 标定操作流程： 一蟪卜j 型堂坠一 夺扫描仪正常标定；转台初始化，转台标定板固定在转台平台上；旋转3 次以 上，每次旋转获取相应图像，记录当前旋转角度 令转台标定，参考摄像机标定流程，处理标定图像，每次选择4 个角点，标定 摄像机；选定特征点，特征点在标定板坐标系坐标值已知，则可以根据标定 结果，得到特征点在摄像机坐标系坐标值 夺处理获取的图像序列，每次选取相同的特征点，得到在不同旋转角度下，该 特征点在摄像头坐标系中的一组坐标值；得到2 组以上的特征点坐标序列 每组特征点应该共圆，圆心处于转台中心轴上，则拟合该组特征点，计算圆 心：得到2 个以上的圆心，圆心连线则为转台中心轴 根据以上分析，转台标定主要通过三维空间中圆与直线的拟合来实现。 2 2 2 圆心计算 直接在三维空间中拟合圆比较复杂，本文考虑先对三维空间中一组共圆的点 进行最小二乘平面拟合，然后将该组点投影到该平面，转换为二维空间点集，然 后对该组点集合进行圆曲线拟合，最后将拟合得到的圆心转换到三维空间中，本 文的圆曲线拟合主要参考爿s c d j 占厨廊线捌 务见附录2 。 如图2 7 所示，对于每副标定图像，都需要选取相同的一组点，假设标定次 数为n ，则对于每个点都会有在n 个不同空间位置上的三维坐标值。 图2 7 提取特征点 通过3 次以上提取特征点，可以得到一系列共圆的点集，如图2 8 所示，对 于单轴转台，这些圆的圆心在一条直线上，即转台的中心轴 幽 爹妻媳簿。萎 篙。嬲卢 吲丁r 了 ： 图2 8 共圆特征点集 假设标定板上某点在n 次标定后得到的点集在摄像机坐标系中坐标值为 p ( 置，r ，z f ) f ( 1 ，) ，它们在三维空间中唯一确定一个圆。首先将他们用最小 二乘法拟合到一个平面中，定义硝+ 6 y + c z = d 为拟合平面。将弓( 墨，i ，互) f ( 1 ，) 投影转换到平面口x + 6 y + c z = d 中，定义r 、t 分别为摄像机坐标系与 拟合平面所确定坐标系之间得旋转矩阵与平移矩阵，则转换结果为为 只( z ，z ，o ) f ( 1 ，) ，其中只。= r ，( 只一r ) ，对( ，r ) 进行二维平面的圆拟合， 求得圆心p ( x ，y ，将j p 协，y ：0 ) 转换到摄像机坐标系，得到该圆在摄像机坐标 系中坐标值p ( y ，z ) ，其中尸= r t p + 7 ，当特征点超过2 个时，即可唯一确定 数控转台中心轴。 2 2 3 转台中心轴标定 转台中心轴为三维空间一条直线，它可以表示为方程 垃：业：塑 d6 c 或者： 算= d + f + z o ； y = 6 奉f + ；z = e + f + z o 对于空间中任意一点圆心p 0 ，y ，z ) 它到中心轴的距离为： 其中： d = 拓百瓦二再面石i 丽瓦了孓孑 1 9 一l 一气= 争篱 则对于空间中点序列局( 而，只，气) ，见( 而，儿，乞) 以( 矗，一，毛) 取这些距离的平方和来反映圆心序列与中心轴线的关系： * ，( q 6 ，c ，z 。) = - 1 ( 口三i ：；：；i ：糟+ x 。一x ) 2 + 、 口+ 算+ 6 + v + c + z ” c 。+ 兰- ：；j 辨+ 一y ) 2 + 、 口+ x + 6 + v + c + z 。”。+ 穹篇鲁乎肾扩 、 口书x + 6 + v + c + z ” 对圆心点集( 置，i ，z f ) ，进行最小二乘拟合，得到一条直线，这条直线即为 数控转台中心轴。 2 3 深度图像自动拼接 通过前面的工作，已经完成扫描仪与转台的标定工作，接下来需要把多次扫 描的深度图像模型对齐到统一的坐标系中，本节主要介绍如何利用转台标定结果 以及扫描过程中使用的转台数据进行多密深图三维模型的自动拼接。 2 3 1 绕任意轴的旋转 转台扫描过程中，每次旋转的角度都是已知的，在转台中心轴r 已经确定的 情况下可咀理解为每次将被扫描物绕该轴r 旋转一定角度。现在需要根据该轴建 立个变换，可以绕r 轴任意旋转角度。 对于这个问题，首先应该对转台轴向量r 归一化，然后找到另外两个单位长 度的任意轴，彼此互相正交，且均与r 轴正交，这样就共同形成了一个基坐标系。 基本思想是改变基：从标准基变为新基；然后绕着x 轴( 对应于r 轴】旋转q 角度： 最后再变换到标准基。变换过程如下： 一飞矗纱 磐务弦 先找出r 、s 、t 组成的单将r s t 正交基与标准正交对变换回r 、s 、t 坐标系 位正交基齐，其中r 与x 轴对齐，绕 x 轴旋转 图2 9 绕任意轴旋转变换 第一个步骤是计算基的单位正交轴，其中第一个轴是r 轴，即旋转轴。现在 需要找到第二个轴s ，而对于第三个轴t 可以利用第一个轴与第二个轴的叉乘得 到，即舟s 。因此，一种稳定的方法就是先找到r 的最小( 绝对值) 元素，并将 其设置为o ：然后交换其余的两个分量；最后，对第一个值取负，以上过程可以 表示为： s = ( o ，一，o ) ，如果f j l o l 并且l l i k i ( 一，o ，) ，如果l o l k l 并且l o i k i ( 一o ，o ) ，如果i i k i 并且k i 1 时，镜头变形表现为桶变形，沿着图像 中心点向外膨胀，当，( r ) ( 1 时，表现为针垫变形，从四周向中心点收缩。 a o o 。l i f llll0j x y ， 。l 一= 1j ”v l ，l 1j h 。，l d = 1；j ， ，。l 一l 一 3 2 1 多项式径向变形校正 多项式径向变形模型中，( x ，y ) 与( ，儿) 之问的对应关系为： 南= 矿( r ) = 羔 1 + 毛( x 2 + y 2 ) + 岛( + _ y 2 ) 2 + 毛( x 2 + _ y 2 ) 3 儿= ( r ) = y 1 + 墨( 工2 + y 2 ) + 屯( x 2 + ，) 2 + 屯( x 2 + j ，2 ) 3 任意一张图像可以都可以由一个矩阵表示，矩阵的每个元素都是象素，如图 3 6 所示，通过对它应用径向变形，可以得到它的形变结果，如图3 7 所示 ，一 一、 ，、 ft f j l | n 图3 6 原始图像矩阵 图3 7 变形结果 不： 对于任意变形后的象素( ，均) ，它与元素象素矩阵的关系如图3 - 8 ，3 9 所 7 ，f 、 1 一a i p h a x 。- 、l ，、 了 i l、 j | 量 ， 1 、o ， ! t t | ny r 。 图3 8 变形结果 图3 9 变形结果 由于( ，均) 与( ，咒) 具有一一对应关系，如上图所示，令 一一 则可得：研( 屯，儿) = 口功办口一x = j 咯一加o r ( ) n l p h 8 一y = y d j l o o r t y d ) 肌( ，均) + ( 1 一口勿砌一x ) + ( 1 一口批一y ) + 刀t ( ，】0 + 1 ) + 却勉一x + ( 1 一口印砌y ) + ，押( 勤+ 1 ，j 0 ) + ( 1 一口蛔一z ) + 口加一y + 珊( 而+ 1 ，) 0 + 1 ) + 劬咖口一x + 却矗口一y 从而得到原始图像与变形图像之间的象素对应关系。 3 2 2 试验结果 i 试验数据 变形系数 第一组 k = 【o 2 2 8 7 0 o 1 8 5 9 0 - o o o l 7 3 】 第二组k2 【0 4 4 7 7 l - o 6 2 8 0 9 o 0 0 2 9 9 】 图3 - 1 0 变形图像 3 3 有理数径向变形模型 3 3 1 有理数径向变形校正 图3 1 1 校正图像 另一类径向变形模型主要是有理数模型，它同样符合径向变形模型的三个基 本要求a 类似于多项式径向变形模型的处理步骤，可以得到有理数变形系数以及 相应的校正结果。 飞矗岁 径向变形 ，( ，)= ，o ) 数学模型 l 1 l + 打 ”1 + 女l + 一z s g i l ( x ) 1 2 l + 打2 。耳丽而 3 1 1 + t r + 如r 2 “1 + 毛1 + ，x s g n ( 曲+ 七2 ( 1 + ，) x 2 l + t r x 1 + 南( 1 十c 2 批2 4 1 + t l + ，x s g l l ( x ) + 毛( 1 + 一) ， 1 + 埘+ 乜r 2 试验结果如3 3 2 所示，一般变形模型越复杂，校正结果越好。 3 3 2 试验结果 试验数据变形系数 模型1 k 2 【o 3 0 4 5 模型2 k = 【0 3 2 5 2 模犁3 k = o 0 4 2 4 ，0 2 8 3 4 】 模型4 k 2 【o 2 7 6 8 ，_ 00 2 5 2 ，o6 7 7 8 】 国3 1 2 变形图像 一一 模型1 一校正图像 模型3 校正图像 图3 1 3 校正试验结果 模型2 校正图像 模型4 一校正图像 一) 一一 第4 章深度图像合并 通过本文前面的工作已经将多个校正过的深度图像模型对齐到同一个坐标 系中，然而它们实际上还是一个个独立的模型，在应用中，我们需要利用这些深 度图像数据形成一个完整的三维模型，该模型具有完整的几何外形信息，这个过 程就是深度图像合并。简要来说，合并就是结合多个对齐后的三维数据集形成一 个完整表面三维模型f 1 6 1 。 合并问题是三维重建中一个非常热门的研究领域，合并算法根据处理的数据 集不同一般可以分为两类，第一类是对一组无结构的散乱点进行合并，第二类是 处理一组有结构的表示物体外形的网格数据。 4 1 基于点云的合并 4 1 1 点云合并原理及目标 由深度图像可以直接得到物体的各个面的点云表示，点云为空间中无结构的 点，为了得到一个完整的点云表示的三维模型，需要将各个点云进行合并。点云 合并主要通过删除冗余空间点，然后将各个点云整合到一个模型中完成，所以， 点云合并的关键技术就在于得到各个点云之间的冗余数据，并将其删除，本文主 要通过基于八叉树的搜索算法，计算一个点云中所有点到另一个点云数据中的最 近距离，当这一最近距离小于某一阈值时，则将其标示为冗余数据。 4 1 - 2 基于八叉树的搜索算法 r 句s h e k h a r 介绍了基于八叉树的空间点搜索算法。八叉树是一种二元搜索 树，它的每个节点代表k 维空间中的一个子空间，根节点代表真个空间，叶子节 点代表整个空间点集合p 中相互不同质的一组点集，对于任意的节点，都只有k 维数据中的一维用来作为标识符，或称为主键，来标示其代表的子空间。当在几 何p 中搜索；的最近距离点时，先用孑与当前子空间的主键比较，距离最小的作 一 l 一 为下一步搜索的父节点，一直到遇到某个叶子节点，则将叶子节点中所有空间三 维点与；进行比较，以得到与；距离最近的点；。 这种搜索算法也可能会带来误差，空间点几何p 中与；最近的点并不在；最 后搜索的叶子节点中。造成这种原因的是在某此搜索中；到某个子空间的距离比 点；所在的予空间距离更小一些，因此，我们需要对搜索结果进行检验，般通 过b w b ( b a j l w i t h i i l - b 。皿d s ) 进行，即以；为圆心，以怍一冽为半径作一个球， 如果该球完全在当前子空间内部，则表示即为；在空间点集合p 中的最近距离 点。 如果p 验证不是的最近距离点，则需要对于搜索进行回溯，遍历所以与以 为圆心，以忙一；0 为半径的球相交的子空间，对于遍历结果得到的最近距离点