计算机视觉中的三维重构建模资料

1、基金项目：中国广东省自然科学基金项目B6-109-497 “产品模型智能自动校正机理研究”计算机视觉中的三维重构建模王斌 王知衍(华南理工大学计算机科学与工程学院，广州五山，510640摘要 三维重构建模是计算机视觉技术的主要内容之一。相机内外参数的标定、图像特征点的提取以及特征点的立体匹配是三维重构建模的技术核心。本文总结了近来三维重构建模的研究成果和计算方法,并提出了一些观点，对三维重构建模的难点和发展趋势作了说明。关键字 计算机视觉；三维重构；相机标定；立体匹配中图分类号：TP391 文献标识码：A3D Reconstruction of the Computer VisionWang

2、Bin Wang Zhiyan(School of Computer Science and Engineering, South China University of Technology, Wushan,Guangzhou, 510640Abstract One of the main contents of computer vision is 3D reconstruction. The calibration of cameras interior and external parameters, feature selection and stereo matching are

3、key techniques of 3D reconstruction. In this paper, the recent researches and methods of 3D reconstruction modeling are summarized. Some views are put forward, and difficulties, development trend are also presented then. Key words computer vision; 3D reconstruction; camera calibration; match of ster

4、eo1 引言人类感知外界信息的80%是通过视觉得到的。人类通过眼睛与大脑来获取、处理与理解视觉信息。周围环境中的物体在可见光的照射下，在人眼的视网膜上形成图像，由感光细胞转换成神经脉冲信号，经神经纤维传入大脑皮层进行处理与理解。人们用计算机实现对视觉信息处理的全过程，就形成了一门新兴学科计算机视觉。1.1 计算机视觉计算机视觉的研究目标是使计算机具有通过二维图像认知三维环境信息的能力。这种能力将不仅使机器能感知三维环境中的物体的几何信息，包括它的形状、位置、姿态、运动等，而且能对它们进行描述、存储、识别与理解。1.2 三维重构计算机视觉中的三维重构建模是通过二维场景图像来恢复场景的立体信息。在

5、工业产品零件的CAD加工、模具制作、医学整形手术、人脸建模与识别、计算机三维动画等应用中，我们经常需要物体的三维模型，同时要求重构有较高的效率以实现实时计算。传统的三维建模方法是利用三维建模软件，如AutoCAD，3dsMax，Maya等，通过人与计算机交互的方法来手工建立物体的三维模型。这种方法工作量极大，建模所需时间长，不利于生产过程自动化程度的提高。当前三维重构建模的处理方法大致可分为两大类：一类是动态重构，利用三维激光扫描仪等仪器得到的物体表面的三维点坐标。这种方法的局限性在于：扫描对象的尺寸有限，无法应用于大型实体，如建筑物、火箭、航天飞机、山川等等，另外，目前成本还比较高，且要求用

6、户具备一定操作水平；另一类是静态重构，利用实体的二维几何与拓扑信息，重构其三维信息。例如由三视图重构的方法及由透视图重构对称形体的算法等1。与动态方法相比，静态重构对设备要求不高，且从原理上讲，不受空间尺寸的限制，但算法相对复杂一些。目前，国内外许多学者对此作了大量和系统的研究，基本上形成了理论体系。但由于该学科是一新兴学科，存在许多不完善的地方。为此，有必要对现有的理论和方法进行归纳和总结，并提出存在的难题和发展动向。2 三维重构建模研究的方法利用静态三维图象重构恢复场景的立体信息，一般需要在同一场景的不同位置拍摄两幅或两幅以上的图像，根据图像所提供的有关信息进行三维重构。如图2.1就是一个

7、由两个针孔相机组成的立体视觉系统的例子，说明了一个3D物体和它在两个平面上的投影。该方法的优点在于设备的简单易与获取和使用。在针孔相机模型下获得的数字图像，实现三维图像重构的处理过程包含如下几方面内容：相机的内外参数的标定；特征点提取和匹配；三维重构的实现。 图2.1：由两个针孔相机组成的立体视觉系统 2.1 相机标定技术在双目立体视觉系统中要依据两幅不同视点的图像提取物体的三维几何信息，我们必须对相机进行标定，相机标定的目的是确定相机坐标系与世界坐标坐标系之间的对应关系。只有当相机被恰当地标定以后，才能根据图像平面中的二维坐标推导出对应物体在三维空间中的实际位置，或反之。究相机的物理和光学行

8、为模型的数学近似。如图2.2 图2.2：3D目标点和相机成像平面对应2D点的投影关系相机投影的第一步是使一个点W P 从世界坐标系变换到相机坐标系下的点C P ，这个变换通过一个旋转矩阵R 和一个平移矩阵T 来实现；第二步，变换实现点相机坐标系下的点C P 到图像平面坐标系的变换，得到点u P ；第三步，基于与实际投影的一个差异，建立透镜畸变模型，从点u P 变换为实际的投影点d P （应该与相机捕捉到的点相符）。最后一步实现图像平面坐标系到像素坐标系的变换，得到d P 。相机投影的基本公式是： =11W W W Z Y X T R A v u s (2.1其中，T v u m 1, , (=

9、是像点的归一化坐标；T W W W Z Y X M 1, , , (=是空间点的归一化坐标；R 和T 是从相机坐标系到世界坐标系的旋转和平移矩阵，它们被称为外参数；s 是比例因子；矩阵A 就是相机的内参数。然后，给一个世界坐标系下的3D点 , , (w w w w Z Y X P =，可由公式2.1得到对应2D点在图像平面坐标系上的象素坐标 , ( v u P u =。模型中有两种类型的参数必须要被考虑。一方面，有建立相机内部的几何和光学特性模型的内参数组。主要是确定光线如何通过透镜投影到图像平面上。另一组是外部参数。外部参数测量相机在世界坐标系中的位置和方向，提供在用户确定的坐标系中而不是相

10、机坐标系中的测量信息。2.2 外极几何与立体匹配立体视觉的基本原理是从两个视点观察同一景物（即双目视觉），以获取在不同视角下的感知图像，通过三角测量原理计算图像象素间的位置偏差(视差，来获取景物的三维信息。这一过程与人类视觉的立体感知过程是类似的。与两个图像平面相交于外极线m l 和m l 。图2.3：两个针孔相机之间的几何关系1、特征点匹配法3。这种方法分为两步：检取特征点和寻找对应的匹配点。最常用的特征点是图象的边缘点、角点等灰度不连续点。对应匹配点的寻找主要根据射影几何学极线约束原理。为了帮助建立像素间的对应，已提出了许多约束，来减少搜索的范围和确定正确的对应。2、基于平面投影变换和遗传

11、算法的匹配算法4。这个匹配算法由自动的特征抽取，初始匹配，利用遗传算法的全局最优搜索三个部分组成。算法的基本模型是平面投影变换模型。特征抽取使用著名的SUSAN角点检测算子5进行。2.3 三维重构建模技术三维重建部分主要是研究如何从得到的匹配点中计算出相机的投影矩阵(如果是外部标定的话，就是求出相机的外部参数 以及如何计算出匹配点的三维坐标。研究人员为了能够表达三维空间信息，目前较多地采用三维矢量图形来替代三维位图。主要的重构方法有如下几种：1、空间点的重建。这是三维重构中的最基本的方法。空间任一点在两个相机中分别成像，得到该点在两个图像中的对应坐标，在知道两相机的参数矩阵的条件下，通过建立以

12、该点的世界坐标为未知数的4个线性方程，可以用最小二乘法求解得该点的世界坐标。2、空间直线、空间二次曲线的重建。空间直线和空间曲线也是组成空间图形的主要基元。根据空间直线射影变换前后仍是直线的性质，以此来分析空间直线与图像中的直线之间的关系。空间二次曲线是空间二次曲面与平面的交线，因此二次曲线的平面曲线，在相机上的成像可以认为是由空间二次曲线与光心组成的锥面与成像平面的交线。两台相机有两个这样的锥面，求这两个空间锥面的交线，就是空间曲线。3、全像素的三维重建。对图像中的每个像素都进行三维重建，这当然是最理想的情况，目前要实施这种重构，需要相当严格的测量条件，且仅限于对某一具体对象，但效果并不理想

13、。对此人们正在进行大量的研究，还有待于进一步的努力。 3 结束语计算机视觉中三维重构技术的应用是很广泛的，在不同的领域和不同的场合，会有更多新的要求。同时,随着计算机技术和数字成像技术的发展，三维重构技术仍有许多新的内容需要研究与开发。主要有如下几个方面:1、相机参数标定方法的进一步简化，尤其是相机的外部参数标定。2、三维重构技术中多幅图像的对应点匹配问题。目前都是通过人手工逐点选择来配对。3、目前的三维重构是以三维图形的重构为主，全像素的重构将是今后一阶段的研究热点。尽管在许多场合有三维图形的重构足以能说明问题，但在三维重构更广泛的应用中，全像素的重构是必须的，如虚拟现实等。参考文献1 孙家广等编著.计算机图形学(第3版.北京:清华大学出版社,19982 Armangu Quintana, Xavier. Modelling Stereoscopic Vision Systems For Robotic Applications. PhD Thesis, July 2003.3 陆海琴等. 计算机视