（计算机应用技术专业论文）基于多视点的三维重建技术研究.pdf

中文摘要 随着影视动漫产业的蓬勃发展和可视出版物的大量出现，三维重建作为其中的核心 技术之一，受到了广泛的重视，有着广泛的应用前景和巨大的发展空间。然而，传统的 三维重建技术环境构建困难、成本偏高、灵活性较低，难以适应动态变化的建模对象及 大众化普及的需求。基于图像的三维重建技术提供了方便实用的三维建模手段，其中多 视点三维重建是该领域的研究热点之一。本文从计算机视觉角度研究了多视点三维重建 技术，提出并实现了基于几何约束的空间点重建算法，有效的提高了三维重建的精度， 降低了三维重建的环境构建要求，适应了动态可变的重建需要，减少了三维模型动态构 建的成本，进而能够促进三维重建技术在影视动漫产业和可视出版物中的普及化应用。 本文分析了基于计算机视觉的三维重建技术在影视动漫和可视出版物领域的研究 现状，提出以普通数码相机作为图像捕获工具，通过多视点重建算法保证重建精度、减 少特征丢失的研究思路，围绕基于多视点的物体三维几何特征提取及三维重建问题展开 研究。为了达到使用普通数码相机进行精确三维重建的目的，本文首先进行了图像畸变 校正研究，通过对相机建立非线性模型，有效的解决了相机径向畸变造成的重建误差。 然后，改进了h o u g h 变换检测圆算法进行特征提取，能够达到亚像素精度并改善了特征 提取效率。接着，采用非线性相机模型两步法进行相机标定，能够对采集到的图像进行 有效的畸变校正，进一步提高了特征提取的精度。最后，本文提出并实现了一种以欧式 距离作为约束条件的三维空间点重建算法，经验证该算法在欧氏空间中能够快速收敛， 并能保证有着较高的精确度。 为验证上述方法的有效性，本文通过一个多面体三维重建实验和曲面三维重建实 验，证实了改进后的多视点的三维重建方法可以满足在保证精度的前提下采用普通数码 相机灵活、方便地实现多种情况下的物体三维重建的需要。而上述方法应用于虚拟交互 系统“计算机发展史( 魔法书) ”的开发中，也达到了较好的三维重建及虚拟交互效果。 关键词：多视点；三维重建；相机标定；特征检测 a b s t r a c t w i t ht h eb l o o mo ff i l ma n dt e l e v i s i o na n i m a t i o ni n d u s t r i e sa n dt h ev a s t e m e r g e n c e o fv i s u a l p u b l i c a t i o n s ，3 d r e c o n s t r u c t i o n ，o n eo f t h e k e y t e c h n i q u e s i nt h i sa r e a ，h a v er e c e i v e de x t e n s i v ea t t e n n o na n d o w n sa p r o m i s i n gf u t u r eo fd e v e l o p m e n t h o w e v e r , t r a d i t i o n a l 3 dr e c o n s t r u c t i o n t e c h n i q u ef a c e s s e v e r a lr o a d b l o c k sa sf o l l o w s ：d i f f i c u l t yi ne n v i r o n m e n t b u i l d i n g t h ec o m p a r a t i v e l yh i g h e rc o s t ，l o w e rf l e x i b i l i t y ，a n di n s u f f i c i e n c yt o a d a p td y n a m i cm o d e l i n go b j e c t t o g e t h e r w i t ht h e r e q u i r e m e n t f o r p o p u l a r i z a t i o n i m a g e b a s e d 3 dr e c o n s t r u c t i o nt e c h n i q u ep r o v i d e s a c o n v e n i e n ta n dp r a c t i c a lm e t h o df o r3 dm o d e l i n ga n dm u l t i v i e w p o i n t3 d r e c o n s t i u c t i o ni so n eo ft h eh o tt o p i c s i nt h i sf i e l d i nt h i sp a p e rt h e m u l t i v i e w3 dr e c o n s t r u c t i o nm e t h o di se x p l o r e df r o mt h ep e r s p e c t i v eo f c o m p u t e rv i s i o n ，p r o p o s e a n dr e a li z et h ea l g o r i t h m o f g e o m e t r i c - c o n s t r a i n t b a s e ds p a t i a lp o i n tr e c o n s t r u c t i o ni s d i s c u s s e di nd e p t h ，w h i c h e f f e c t i v e l yi m p r o v e st h ep r e c i s i o n ，r e d u c e st h er e q u i r e m e n t so f e n v i r o n m e n t ， s a t i s f i e st h ed e m a n do fd y n a m i cr e c o n s t r u c t i n gp r o c e s s ，a n dl o w e r st h ec o s t o fd y n a m i c3 dm o d e l i n g a sar e s u l t ，t h i sm e t h o di sh e l p f u lt os t i m u l a t et h e u n i v e r s a l a p p l i c a t i o n o f3 dr e c o n s t r u c t i o nt e c h n i q u e i nt h er e l a t e d e n t e r t a i n m e n ti n d u s t r i e sa n dv i s u a lp u b l i c a t i o n s i nt h i sp a p e ra f t e ra n a l y z i n gt h es t a t e o f - a r to f3 d r e c o n s t r u c t i o nm e t h o d i na n i m a t i o ni n d u s t r i e sa n dv i s u a lp u b l i c a t i o n s ，ip r o p o s et h er e s e a r c hr o u t e t h a tu s e st h ec o m m o nd i g i t a lc a m e r aa si m a g ec a p t u r i n gt o o l a n ds e l e c t p r o p e r l ym u l t i v i e wr e c o n s t r u c t i o na l g o r i t h m st og u a r a n t e ep r e c i s i o na n d a t t h es a m et i m er e d u c el o s so fi m a g ef e a t u r e s m yr e s e a r c hi sc e n t e r e da r o u n d m u l t i v i e w p o i n t b a s e do b j e c t s3 df e a t u r ee x t r a c t i o na n d3 dr e c o n s t r u c t i o n f o rt h ep u r p o s eo nu t i l i z i n gc o m m o nc a m e r af o rp r e c i s e3 dr e c o n s t r u c t i o n ， w ef i r s t l vr e g u l a t ei m a g ed i s t o r t i o nw i t ht h en o n l i n e a rm o d e l i n go fc a m e r a ， w h i c he f f i c i e n t l ye l i m i n a t e st h e r e c o n s t r u c t i o ne r r o r s c a u s e db yr a d i a l d i s t o r t i o no fc 锄e r a t h e nw ei m p r o v e t h ea l g o r i t h mo fh o u g ht r a n s f o r mf o r c i r c l ed e t e c t i n gi no r d e rt oe x t r a c tf e a t u r e s ，w i t hw h i c h w en e a r l ya c h i e v et h e i i i d e g r e eo fp i x e lp r e c i s i o na n de n h a l e ee r i e c t i v e n e s so f t h ee x t r a c t i o np r o c e s s n e x tw ea p p l yt h et w o s t e pm e t h o do fn o n l i n e a r m o d e lf o rc a m e r a c a l i b r a t i o n w i t hw h i c hw ea r e a b l et o p r o p e r l yr e g u l a t e d i s t o r t i o no f c o l l e c t e di m a g e sa n dt of u r t h e ru p g r a d ea c c u r a c y o ff e a t u r ee x t r a c t i o n f i n a l l vw ef o r w a r da n dr e a l i z e a n a l g o r i t h m f o r3 d s p a t i a lp o i n t r e c o n s t r u c t i o nu s i n ge u c l i d e a nd i s t a n c ea sc o n s t r a i n tc o n d i t i o n - i ti sp r o v e d t h a tt h i sa l g o r i t h mc a nr e a c hr a p i dc o n v e r g e n c ei ne u c l i d e a ns p a c ew h i l e g u a r a n t e e i n gc o m p a r a t i v e l yh i g hp r e c i s i o n t ov a l i d a t et h ee f f i c i e n c yo fa b o v ea p p r o a c h ，t w os e p a r a t ec a s e so l3 d r e c o n s t r u c t i o nt op o l y h e d r o na n dc u r v e ds u r f a c ea r ep r e s e n t e di nt h i sp a p e r t h er e s u l t sp r o v et h ee f f e c t i v e n e s so fi m p r o v e dm u l t i v i e w3 d r e c o n s t r u c t i o n m e t h o di ns a t i s f y i n gt h e n e e d so ff l e x i b l ea n d c o n v e n i e n t o b j e c t r e c o n s t n l c t i o nw i t hc o m m o nc a m e r ai nm u l t i p l es i t u a t i o n s ，w i t ht h ep r o p e r p r e c i s i o np r o v i d e d f u r t h e r m o r e ，a p p l i c a t i o ni nt h ed e v e l o p m e n to fa v i r t u a l i n t e r a c t i v es y s t e m - h i s t o r yo fc o m p u t e r ( m a g i cb o o k ) b r i n g sp r e f e r a b l e r e s u i t si n3 dr e c o n s t r u c t i o na n dv i r t u a li n t e r a c t i o n k e yw o r d s ：m u l t v i e w p o i n t ；3 dr e c o n s t r u c t i o n ；c a m e r ac a l i b r a t i o n ；f e a t u r e d e t e c t i o n i v 声明尸明 本人郑重声明：所呈交的学位论文，是本人在指导教师的指导下， 独立进行研究所取得的成果。除文中已经注明引用的内容外，本论文 不包含其他个人或集体已经发表或撰写过的科研成果。对本文的研究 做出重要贡献的个人和集体，均已在文中以明确方式标明。本声明的 法律责任由本人承担。 作者签名： 丑五叁 日期： 型zc ：垒 关于学位论文使用权的说明 本人完全了解太原科技大学有关保管、使用学位论文的规定，其 中包括：学校有权保管、并向有关部门送交学位论文的原件、复印 件与电子版；学校可以采用影印、缩印或其它复制手段复制并保存 学位论文；学校可允许学位论文被查阅或借阅；学校可以学术交 流为目的，复制赠送和交换学位论文；学校可以公布学位论文的全 部或部分内容( 保密学位论文在解密后遵守此规定) 。 作者签名： 兰! l 聋 日期： 翌三：! ：笙 导师签名：二墨丛 日期：竺丑；苎：垒 第一章引言 第一章引言 随着计算机技术的飞速发展、三维建模技术的日益完善以及计算机视觉理论技术的 不断突破，虚拟现实、三维动画等计算机三维技术均获得了巨大的发展，不但在制造业、 建筑业、军事科技、地理信息系统等领域得到了广泛的应用，而且逐步进入了大众生活， 尤其在广告、影视娱乐等领域倍受重视；而这一切的基础是物体信息的三维数字化。 目前，常用的物体信息三维数字化的方法是通过三维测量工具测出物体表面的三维 坐标信息，再利用3 d m a x 等三维建模软件通过人机交互的方法来建立物体的三维模型。 这种方法工作量大，建模周期长，使用局限性多，生产过程自动化程度低，不利于广泛 应用于生产生活。随着光电技术的发展，特别是各种c c d 数码相机的发展，基于图像 的三维建模技术已经成为计算机视觉领域重要的研究内容。基于图像的物体三维建模是 指用数码相机等作为图像传感器，综合运用图像处理、计算机视觉、计算机图形学等技 术对物体表面结构信息进行提取，利用提取的物体表面特征信息建立相应的模型，该方 法重建效率较高，是三维建模的一个重要的发展方向川。 对物体进行三维建模的首要任务是获取对象表面的三维坐标信息，只有获得相应的 三维坐标信息，才能实现物体的数字化三维重建。因此，如何高效率、高精度地获得物 体表面三维坐标是三维重建实现的基础和关键技术之一，现有的物体三维几何形状信息 提取的方法主要可分为以下几种1 2 儿5 j ： 1 、接触式方法。即通过机械探头接触物体表面而得到物体表面的相对坐标，该方 法工作稳定、精度高，且不受物体表面颜色及光照等条件的限制。但是由于需要接触物 体表面，故无法得到某些细节信息( 如探头无法到达的地方) ；得不到无法接触物体的空 间信息；而且提取信息速度慢。 2 、非接触式方法。主要是基于光学、声学、电磁学等领域的基本原理，通过适当 的算法将一定的物理模拟量转化为物体表面的结构信息。比较典型的提取方法有：激光 照射法、图像分析法、结构光法等。 3 、逐层扫描方法。前面提到的两类方法都只能提取物体的表面信息，而无法物体 得到内部轮廓。如果想同时得到物体的表面和内部结构信息，就需采用逐层数据扫描法。 这类方法目前常用的主要有：c t 法、m 刚法、超声波法等。 各种三维几何形状信息提取方法都具有各自的优点和弱点，从总体来说，由于在精 度、适用性以及提取速度等方面的综合优势，基于光学的物体表面信息提取方法目前在 三维建模中得到了广泛的应用。其中，基于计算机视觉原理的信息提取应用的更广泛， 该方法利用拍摄的一幅图像或多幅图像来确定物体在三维空间中的位置、形状、大小乃 1 基于多视点的三维重建技术研究 至物体的运动。它基于严谨的理论和现代的软硬件设施，与其它三维几何形状信息提取 方法相比，具有提取方式更为灵活、方便和提取范围广等优点，且能够提供相当高的精 度与可靠性，对其研究有着重要的意义。 1 1 基于计算机视觉的三维重建技术 三维重建是计算机视觉的主要研究方向，基于计算机视觉的三维重建就是指利用单 幅图像或多幅图像来恢复物体三维信息的过程，目前根据重建方式的不同主要有以下几 种重建方法【2 】1 4 】： ( 1 ) 基于明暗的三维重建。此方法试图只根据一幅图像恢复物体的三维信息。在成像 过程中物体的深度信息已经丢失，因此这方面的研究都要对物体表面特性做各种苛刻的 要求，而从一定程度上获得唯一解。但其精度较低，应用范围十分有限。 ( 2 ) 双目立体视觉方法。该方法模拟人和动物眼睛立体成像的过程，用两个有一定间 距、成一定角度的数码相机同时摄取场景的图像，再根据光学三角形原理来获得物体表 面空间点的三维坐标。在双目立体视觉中，同名点( 由同一个空间点投影产生的不同像 点，简称为同名点) 的立体匹配是最重要也是最困难的问题之一。 ( 3 ) - 目立体视觉和多目立体视觉方法。在双目立体视觉中，采用计算机进行自动匹 配时容易产生误匹配，使匹配的结果不够可靠。为了提高自动匹配的可靠性，需要减小 两个相机之间的基线，但会产生重建误差变大，精度变低的问题。为了解决双目视觉匹 配方面的问题，人们开始研究三目立体视觉系统和多目立体视觉系统。多目立体视觉中 的“多目立体匹配”利用光学三角形原理，对多度重叠点进行“多方向的前方交会”，从而 能够利用较多的冗余数据，有效地解决随机的误匹配问题，提高了重建的精度，但存在 的问题是硬件设置及相机标定比较复杂。 ( 4 ) 基于运动的三维结构重建。这种方法根据相对运动的相机输出的一系列图像重建 模型的三维结构，主要用于动态场景的跟踪。 随着数字传感器、微处理器、阵列传感器等硬件成本的大幅下降和计算机视觉技术 的飞速发展，基于计算机视觉的三维重建得到了迅猛发展，已广泛应用于工业，建筑、 航空航天等领域。人和动物的视觉系统具有将获取的图像信息转变为三维场景的功能， 计算机视觉正是根据这个原理，探求从二维图像中恢复三维空间信息的方法，从而达到 让计算机可以从图像认识三维场景的目的。因此，无论是在国际上还是在国内，都有不 少科技工作者运用计算机视觉的原理研究三维重建。 国外关于计算机视觉的三维重建方面的研究表现在以下几个方面：在特征检测方 面，常用的特征有特征点、特征线、特征区域，其中以点特征研究较多。其中s m i t h 提 2 第一章引言 出了著名的s u s a n 特征检测算子【6 】：h a r r i s 和s t e p h e n s 对m o r a v e c 角点检测算子进行 了改进，提出了h a r r i s 算子【7 j ；s h i n 等人证明了c a n n y 算子在运动恢复结构方面性能和 效率上都是最佳的1 8 】；h o u g h 变换最初是以专利的形式发表出来，d u d a 和h a r t 对它进 行了推广和扩展，k i m r n e 等人关于圆的检测工作证明了霍夫变换的实用性，近年来对霍 夫变换在技术上的改进之后，使其更加稳健、可靠【2 】【9 1 。在相机标定方面，对于目标识 别，采用仿射透视模型精度通常就可以了，但对于检测或精确的位姿计算，就需要考虑 径向畸变的模型，具有代表性的标定方法有t s a i 提出的两步标定法【l5 】；微软研究院的张 正友提出了一种利用平面模板的标定方法l l6 j ；h a r t l e y 等提出的相机自标定的方法。在 三维重建方面的算法f a u g e r a s 等人的工作说明了如何根据图像序列建立建筑物的纹理 映射3 d 模型【1 3 】；b r o d s k y 等人给出了更一般表面结构的计算结果【1 4 】。p e l e g 和b e n e z r a 采用单台移动相机建立了历史景点的立体场景，证明了可以采用快速廉价的装置得到场 景表面的深度信息【1 0 1 ，n a y a r 、t y a n 等人的研究工作为这一领域提供了知识背景【l l 】【1 2 】。 国内关于计算机视觉进行三维重建也进行了大量的研究，近年来研究成果主要集中 表现在国内各所大学所做的研究。其中北京航空航天大学等研究了基于双目立体视觉与 结构光编码的三维非接触测量技术；哈尔滨工业大学将大型三维坐标测量机与基于数码 相机的双目视觉原理相结合，进行大型工件特征点的检测；上海交通大学、西安交通大 学等进行了基于立体视觉的板材成形检测等方面的研究；武汉大学用基于多目立体视觉 原理对工业钣金件的检测等方面进行了研究；浙江大学进行了基于二维视图特征的三维 重建；清华大学进行了基于多视图的人体三维重建，并取得了很好的效果【17 】1 2 0 】。 1 2 选题依据、研究内容及意义 1 2 1 选题依据 目前，在基于计算机视觉的三维重建领域中，基于双目立体视觉原理的三维重建技 术和基于多视图几何的三维重建技术是研究热点。但是，基于双目立体视觉原理的三维 重建系统，在制造结构方面要求非常严格，为了能够精确重建出物体的三维模型，通常 会增加结构光投影仪来辅助三维重建，而且一般情况下会以成套的形式出现，这样就造 成了双目立体视觉系统的系统成本高、结构复杂，降低了三维重建的效率，阻碍了该系 统的推广应用。基于多目立体视觉的三维重建系统可以利用多幅图像之间的冗余信息， 降低产生错误匹配的概率，提高物体重建的精度。同时，图像与图像之间的重叠度可以 由摄影者控制，从而可以有效控制多幅图像间相同特征点的冗余观测值。国内基于多目 立体视觉三维重建的研究，大多是在实验室环境中通过在固定的结构上安装相机的方式 来获取图像，其中应用最多而且较成功的是在半球型的结构上安装几个、几十个甚至更 3 基丁二多视点的三维重建技术研究 多相机来获取待重建物体的各个角度的图像；由于待重建物体需要放置在半球的中心， 必然造成物体的光照不足，为了获得良好的物体图像，就需要增加照明设备；其次受半 球半径的制约，重建物体的大小只能局限在很小的范围内；因此，基于多目立体视觉的 三维重建系统在环境构建等方面给重建过程带来一些不利的因素。 国内在虚拟现实及影视动画等领域，所用的三维模型主要是靠3 d 建模工程师依据 图片或创意手动绘制三维模型；其次是用激光扫描仪扫描现有物体表面，利用扫描所得 的空间点三维坐标导入三维制作软件生成三维模型。虚拟现实及影视动画等领域往往需 要大量的三维模型去建立虚拟的三维场景。因此，现有的两种方法存在以下缺点： 1 ) 手动绘制三维模型需耗费大量的人力物力，模型精度不高而且建模时间长，因而 在短时间内往往难满足工程需求。 2 ) 激光扫描仪所提取物体表面数据虽然非常精确，但造价十分昂贵，而且激光探头 的面积往往较小，数据量大；这就造成了重建成本高，对于表面积较大的物体需要多次 扫描，产生的海量数据处理起来非常困难。 鉴于目前国内在基于计算机视觉进行三维重建方面的研究现状以及影视动漫等行 业在三维建模方面的需求，本文探索了基于多视点的三维重建，基于多视点三维重建的 图像获取主要有两种途径：单一相机从多个角度获取的序列图和多个相机从不同的角度 和位置分别获取多幅图像；物体三维信息可以由空间点、空间直线、空间曲线和曲面等 不同的图像基元表示，但是所有的图像基元都可以由空间点组成；因此，本文主要研究 基于空间点的三维重建。 1 2 2 研究内容及研究意义 p e l e g 和b e n e z r a 采用单台移动相机建立了历史景点的立体场景【l o l ，并且证明了可 以采用快速廉价的装置得到场景表面的深度信息f lo j ；后来，k r o t k o v 、n a y a r 、t y a n 等人 的研究工作又为这一领域提供了知识背景【l l j 【1 2 l 。国内这方面的三维重建技术研究也做出 了巨大的贡献，为本文的研究提供了相关理论基础。本文采用普通数码相机作为图像采 集工具，基于多视点三维重建技术，从多个角度来获取场景或物体的多幅数字图像，实 现一种新的具有高灵活性、适应性的物体表面三维信息提取与重建的方法，从而达到了 降低系统成本与复杂性，并成功利用多目立体视觉优点进行物体三维重建的目的。 普通数码相机以其价格及易操作性的优势，深受广大研究者的欢迎。但是，它所获 得的数字图像往往不具备可控的精度和可靠的稳定性，限制了其应用范围。特别是在精 度要求高的领域，使用受到极大的限制。 用普通数码相机进行物体三维重建时，其自身的不足具体体现在以下几方面： 4 第一章引言 1 ) 存在较大的成像误差。其误差是由光学误差、机械误差和电学误差组成，这三种 误差中光学误差是被普遍认为最主要误差。 2 ) 数码相机的内部参数往往是未知的，主要表现在相机的焦距厂和图像主点在图像 坐标系里的坐标( ，y 。) 都是未知的，根据图像无法直接建立以图像主点为原点的坐标 系。 3 ) 适用于双目立体视觉的算法不一定适用于普通数码相机，表现在算法精度和适 应性下降。 针对用普通数码相机进行物体三维重建时出现的问题，本文主要做了以下几方面的 研究： 1 ) 特征提取。在采集到图像之后，如何精确提取图像中的特征信息进行物体三维重 建，成为重建过程中的首要任务。鉴于普通数码相机在成像方面的影响，本文在特征提 取过程中通过提取区域特征最后归一化到区域重心作为特征点进行提取的方法，减少了 普通数码相机仅用点信息提取特征时准确性不高的问题。 2 ) 相机标定。相机标定技术是进行三维重建必不可少的步骤，相机标定精度很大程 度上决定了模型重建的精度。由于普通数码相机本身的不确定因素，及内部参数不明确 的问题，本文对普通数码相机进行了可量测化分析，采用了一种与分辨率相对应的感光 元素间距的计算方法，解决了普通数码相机因内部参数未知带来的不便于标定的问题， 提高相机的标定精度。 3 ) 图像畸变校正。普通数码相机的光学误差是最主要误差，即普通数码相机的误差 主要是由镜头引起的，这主要是因为相机的镜头是由一个透镜或者一组透镜构成的，在 成像过程中光线经折射形成径向畸变和切向畸变。为了消除畸变对重建结果精度的影 响，本文选用非线性相机模型对相机进行标定，并用标定所得的畸变系数对图像进行畸 变校正，对校正后的图像进行特征检测，将提取的重建物体表面特征信息用于三维重建。 4 ) 多边形和曲面的三维重建。在虚拟场景中现实物体可以由多边形或曲面拼接得到 物体的三维模型，而多边形和曲面是由不同数量的顶点及顶点间的连线组成的，因此本 文重点对空间点的重建进行了研究，并通过重建的空间点坐标拟合成多边形或曲面这两 种典型的形状。 本文研究以常见的普通数码相机作为图像采集设备，其价格方面的优势有利于基于 多视点的三维重建技术的推广，而且普通数码相机还有操作方便、受场景影响小等诸多 优点。在虚拟现实、影视动漫等领域需要大量三维模型建立虚拟场景，基于多视点的三 维重建技术恰恰可以满足其建模过程中物体三维几何形状信息自动提取的要求；在需要 基于多视点的三维重建技术研究 交互的虚拟场景中，利用多视点的三维重建技术对某些交互信息进行三维重建，使操作 者在虚拟环境更具真实感。 综上所述，本文探索了一种灵活方便的三维信息提取与模型重建实用方法，该方法 具有信息提取硬件简单、方式灵活、使用范围受限小等优势，在虚拟现实、三维动画、 基于图像的建模与绘制等领域具有广泛的应用前景。 1 3 论文的组织结构 第一章 引言 j 第二章 基于计算机视觉的三维重建基本机理 相机模型l 相机标定 空间点的三维重建 士 弟二草 多视点重建算法的分析与建立 物体特征检测分析对比相机标定及姿态估计 图像畸变校正空间点精确重建算法 1， j r 第四章 基于多视点三维重建的实验设计与结论分析 基于多视点三维重建基础实验 基于多视点的规则物体三维重建 基于多视点的自由曲面三维重建 基丁二多视点的虚拟现实三维重建 图1 1 论文章节结构图 f i g u r e i 1s t r u c t u r eo ft h e s i sc h a p t e r s 本文的主要内容安排如下： 第一章引言。依据国内外三维重建的研究现状以及国内对三维模型方面的需求， 分析了现有基于计算机视觉的三维重建方法存在的问题，阐明了本文的选题依据、主要 的研究内容及研究意义。 第二章基于计算机视觉的三维重建基本机理。本章为全文的理论基础，简要介绍 了本文研究过程中所用到相机模型、参数的标定、空间点的重建等相关理论。 第三章多视点重建算法分析与建立。本章对三维重建过程中涉及到的特征检测、 相机标定，图像畸变校正及空间点的三维重建等一系列问题进行详细研究；针对重建物 6 刍 第一章引言 体的不同采用了不同的特征检测算法，并对相关算法进行了改进：分析比较了两种非线 性相机标定算法；进行了图像畸变纠正；提出一种基于几何约束条件的空间点精确重建 算法；对上述算法进行了验证。 第四章面向多视点三维重建的实验设计与结果分析。本章以物体三维重建的实现 过程为主线，应用多面体和曲面的三维重建实例，验证了本文所提研究技术路线的正确 性。最后，详细叙述了一个基于多视点三维重建技术进行虚拟交互的工程实例。 第五章结论与展望。对本文所做研究工作进行了总结，并指出进一步研究发展的 方向。 第二章基于计算机视觉的三维重建基本机理 第二章基于计算机视觉的三维重建基本机理 本章首先介绍基于计算机视觉进行三维重建中的基本概念，如相机模型、各种坐标 系以及不同坐标系之间的变换关系等；接着简要介绍了进行三维重建的关键技术相 机标定以及影响标定参数准确性的主要因素镜头的畸变；最后在此基础上详细阐述 重建空间点三维坐标的一般方法。这些是三维重建的基本原理，所有基于计算机视觉的 三维重建系统都是建立在此原理之上的。同时，这些内容也是本文进行算法设计、所提 理论推导和应用的理论基础。 2 1 相机模型 计算机视觉系统从相机获取的图像信息出发，对物体的位置、形状等几何信息进行 三维重建，并由此识别环境中的物体。图像上点的亮度反映了空间物体表面某点反射光 的强度，而该点在图像上的位置则与空间物体表面对应点的几何位置有关；这些位置的 相互关系由相机成像的几何模型决定，描述该几何模型的参数称为相机参数，这些参数 可p _ j , r h 实验和计算来确定，实验和计算这些参数的过程称为相机标定【2 】【3 1 。相机标定的 目的就是建立有效的成像模型，并确定相机的内外部参数，以便正确地建立空间坐标系 中物体点和它在图像平面中像点之间的对应关系i l 】。接下来我们介绍计算机视觉中常用 的两种相机模型。 2 1 1 线性相机模型 相机模型是光学成像几何关系的简化，一般的成像系统通常将三维场景变换成二维 图像，这种变换关系可以用一个从三维空间n - 维空间的映射关系来表示l l j ： f ：r 3 专r 2 ( x ，y ，z ) j ( x ，y ) ( 2 1 ) 通常把三维空间中的物体到相机成像平面的投影关系称为成像模型【3 】。理想的投影 成像模型是光学系统中的中心投影，也称为线性模型或小孔模型。小孔模型假设物体表 面的反射光都经过一个d , ：l 而投影到成像平面上，即满足光的直线传播条件，物点、光 心以及像点之间的几何关系为一共线方程。小孔模型主要由光心、成像面和光轴组成， 过d , ：l 且垂直于成像面的直线，称为光轴。光轴与成像面的交点称为图像中心。小孔和 成像面之间的距离称为焦距厂。物距甜等于d , 孑l n 物面的距离。 很多视觉研究都是在这种线性模型下进行的。如图2 1 为小孔模型成像原理示意图。 物体上的每一点都通过“d , ：l ”在像平面成像，物点、像点及小孔三点共线，空间物体 上的任一点和“小孔”的连线与像平面相交的交点就是其对应的像点，而且对应是唯一 的，但反过来是不成立的，一个像点可以与连线上的任意一点对应，即无法通过一个像 9 基丁二多视点的三维重建技术研究 点来确定物点距离小孔位置的深度。因此，在计算机视觉中通常利用两幅或者两幅以上 图像来恢复物体三维几何信息【1 1 。 像 图2 - 1 小孔模型成像原理 f i g u r e 2 - 1t h ep r i n c i p l eo fp i n h o l ei m a g i n gm o d e l 2 1 2 非线性相机模型 由于小孔成像透光量太小，需要很长的曝光时间，并且难以得到清晰的图像，而使 用镜头可以很好的解决这些问题。在现实生活中，镜头能聚集光线，获得清晰的图像， 而且镜头能透过大量的光线，可以在很短的时间内使感光介质曝光。因此实际的相机成 像系统通常是由透镜或透镜组构成的【2 1 。图2 2 是理想的单透镜成像原理图。其中厂为 焦距，”为物距，1 ，为像距，三者满足如下的高斯成像公式： 土：! + - 1 ( 2 2 ) 一= 一十一 iz - z i ， u， 、。 像面 物面 图2 - 2 理想透镜成像原理 f i g u r e 2 2t h ep r i n c i p l eo fi m a g i n gp r i n c i p l e 从图2 1 和图2 2 可以看出，透镜成像和小孔成像两者在焦距上的概念并不相同， 在小孔成像模型中焦距等于像距，而在透镜成像模型中焦距是由高斯光学模型定义的， 但是两者的成像关系是一致的，即像点是物点和光心的连线与成像平面的交点。因此可 以用小孔模型作为相机的成像模型。 在实际应用中，由于透镜设计的复杂性和工艺水平等因素的影响，实际的透镜成像 系统不可能严格的满足中心投影关系，从而产生了成像畸变。实验表明，线性模型不能 准确地描述相机成像的几何关系，尤其是当相机镜头是广角镜头时，在远离图像中心处 会有较大的畸变，因此在精度要求稍高的工程中应采用非线性模型来描述成像的几何关 系。 1 0 第二章基丁计算机视觉的三维重建基本机理 m ( x 。，r ，z 。) 图2 - 3 相机非缌陛模型 f i g u r e 2 - 3n o n - l i n e a rm o d e lo fc a m e r a 如图2 3 所示，在非线性相机模型中的成像点聊偏离了在线性相机模型中的成像点 搬的位置，即物体点在非线性相机模型中的成像点与线性相机模型的成像点之间存在 有因光学畸变造成的误差。这样的误差主要由相机因素造成，常见的光学畸变误差有径 向畸变、切向畸变、薄棱镜畸变等。 2 2 相机标定所用到的坐标系及各坐标系之间变换关系 如果要通过二维图像重建空间三维物体，就必须确定空间三维物体的位置。仅仅知 道图像中的各像素点的分布，并不能直接得出实际空间中各点的位置，为了把图像和空 间物体联系起来，需要建立一个参考模型，即相机坐标系统。如下图2 3 所示，在世界 坐标系( x 。，瓦，z 。) 与图像坐标系( v ) 之间没有直接的对应关系，需要建立中间坐标系 ( x ，e ，z 。) ( 即相机坐标系) 。基于计算机视觉进行三维重建的系统中涉及到得坐标系主 要有以下几种f 3 】： i 世界坐标系 假想的一种固定的参考坐标系，一般采用三维直角坐标系。用于描述相机和空间物 体的位置，如图2 - 3 中的p x 。匕z 。坐标系。 2 相机坐标系 采用三维直角坐标系，原点为镜头光一t l , ，z ，轴与光轴重合且与成像面垂直，取拍摄 时镜头方向为正向，五，e 轴与图像物理坐标系的x ，y 轴平行，将相机透镜光轴设为乙 轴，垂直于互轴的两轴分别为x 。，e 轴。如图2 3 中的d c x 。k z 。坐标系。 1 1 基于多视点的三维重建技术研究 3 图像坐标系 一般采用直角坐标系。图像坐标系通常建立在相机坐标系中z ，= f 的平面内。为了 便于应用，我们将图像坐标系分为图像像素坐标系( 甜，v ) 和图像物理坐标系 j ，) 两种，其 定义分别为： 1 ) 图像像素坐标系( 1 ，) 图像像素坐标系是以图像左上角为原点，以像素为坐标单位的直角坐标系。其中“、 1 ，分别表示像素在数字图像中的列数与行数。 2 ) 图像物理坐标系 力 图像物理坐标系( 即以相机c c d 面建立的坐标系) 是以光轴与像平面的交点为原点， 以毫米为单位的直角坐标系。其中x 、y 轴分别与图像像素坐标系的u 、v 轴平行。 这样就可以建立起图像像素点与物体三维空间点之间的关系：( 珥v ) j ，) ( x 。，e ，z 。) ( x 。，匕，z 。) 。所谓相机标定的过程就是在一系列坐标变换的过程，找出 其中的变换矩阵。通常把世界坐标与相机坐标之间的变换关系称为相机的外部参数，把 相机坐标与图像坐标之间的变换关系称为相机的内部参数。 m ( j 。，l ，z 。) 图2 4 相机线性模型坐标系统 f i g u r e 2 - 4l i n e a rm o d e lo ft h ec a r l e r ac o o r d i n a t es y s t e m 【注】：在计算机视觉研究中，为了便于像点和对应物点空间位置的相互换算，相机模 型通常采用如上图所示的前投影模型。 定义了上述各种空间直角坐标系后，就可以得到相机在线性模型下的成像描述，即 建立空间物点和对应像点之间的数学关系。从对应的像点坐标变换为空间物点的坐标要 经过以下几个坐标变换过程，如下图所示，坐标变换依次为图像像素坐标系、图像物理 坐标系、相机坐标系、世界坐标系。 第二章基于计算机视觉的三维重建基本机理 m ( x y ) 图像像素坐标系图像物理坐标系 m ( x ，z ，) z c m ( x 。l ，z 。，) 图2 5 像点到至间物点的坐标系变换过程 f i g u r e 2 5c o o r d i n a t es y s t e mt r a n s f o r m a t i o np r o c e s sf r o mi m a g ep o i n tt os p a c ep o i n t 2 2 1 图像像素坐标与图像物理坐标的变换关系 灰度图像输入计算机后，在计算机中可以用t a x i l 维数组来表示，m 行i 1 列的图像 中的每个像素的数值即是图像点的亮度。如图2 5 中的图像像素坐标系所示，在图像 上定义直角坐标系，每一像素的坐标( “，v ) 分别是该像素在数组中的列数与行数，所以， ( 甜，v ) 是以像素为单位的图像坐标系的坐标。 由于( 甜，v ) 只是表示像素位于数组中的列数与行数，并没有用物理单位表示出该象 素在图像中的位置，因而，需要建立以物理单位( 例如毫米) 表示的图像坐标系，在该坐 标系中，原点d 定义为相机光轴与图像平面的交点，图像物理坐标系的原点，在理想情 况下应位于图像中心，但由于相机制造方面的原因，一般会有所偏离，若图像物理坐标 系的原点为d ，在图像像素坐标系中的坐标为u 。，1 ，。) ，每一个象素在x 轴和y 轴上的物 理尺寸出和咖，则图像中任意一个像素在两个坐标系下的坐标有下面的关系： 悸蝴 i = 苫螂 刚喜鞠 i j ( 2 - 3 ) ( 2 - 4 ) ( 2 5 ) 基于多视点的三维重建技术研究 2 2 2 图像物理坐标与相机坐标系的变换关系 图2 - 6 相机坐标系与图像物理坐标系变换示意图 f i g u r e 2 - 6c o o r d i n a t es y s t e mt r a n s f o r m a t i o np r o c e s sf r o mi m a g et oc 8 2 r l e a r a 从上图所示，可以看出在线性模型中的空间点m 和该点在图像物理坐标系的投影m 之间有如下的比例关系： 卜= f x 。z 。 1 y ：f r c