（信号与信息处理专业论文）通过多幅照片恢复物体的三维模型.pdf

r i 2 3 8 8 3 ，摘要 随着计算机技术的发展，人们已经不再满足于在计算机屏幕中看到简单的二维画面了。 计箕机图形学提供了一种在计算机上描述三维物体并且能够展现在用户面前的一种方法a 但 是，目前还只是停留在手工建模的基础之上，这就对用户提出了很高的要求一必须是专业人 事才能做。而对于普通用户来说，对于模型精度要求不是很高，现在基本上是采用i b r ( i m a g e b a s e dr e n d e r i n g ) 的方法。 ， 本文讨论的就是一种通过多幅照片恢复物体三维模型的一种方法。从图像中恢复三维模 型集成了图像处理、计算机视觉和计算机图形学的知识于一体，是一种学科门类跨度比较大 的技术。但是在每个分支领域里面前人都已经做了很多的工作，基本上已经有了比较成熟的 方法，这就使得整个系统在可行性上有了一定的保障。 首先介绍摄像机的透视投影模型，并讲述了普通摄像机标定的方法和两种平面模板的标 定方法。然后给出了在我们系统中应用的自行设计的标定模板，最后以表格的形式给出了结 果数据。 接下去讲述了体积相交求模型的方法。我们从普遍的体素定义引申开介绍了我们非体 素的表示方法。然后介绍了切割法的原理，并且推导出由三维实体相交转化为二维平面上线 段相交的简化算法。最后给出了具体算法描述和实验结果。 第四章首先介绍了o p e n g l 的基本概念，然后介绍了利用平面的三角剖分来简化求解空 间三角网格的生成算法。 最后一章给出系统的实验结果，并且讨论了目前系统存在的不足之处和改进方法。 关键词 摄像机标定、体积生成、三角剖分 a b s t r a c t w i t ht h e d e v e l o p m e n to fc o m p u t e rt e c h n o l o g y , p e o p l e a r en o ts a t i s f i e dw i t ht w od i m e n s i o n a l i m a g e si nc o m p u t e rs c r e e n c o m p u t e rg r a p h i c s ( c g ) p r o v i d e sam e t h o do fr e p r e s e n t i n gat h r e e d i m e n s i o n a lo b j e c ti nc o m p u t e r h o w e v e r , t h e s em o d e l sa r ec r e a t e dm a n u a l l y t h i sw o r ks h o u l d b ed o n eb yp r o f e s s i o n a l n o tap r o f e s s i o n a lb u tac o i t u i l o nu s e r , m o l l y , w h a th en e e di sn o ta h i g h p r e c i s i o nm o d e l b u tal o w - p r e c i s i o no n e a n dn o w , m a n yp r o d u c t i o n su s et h et e c h n o l o g yo f i m a g eb a s e dr e n d e r i n g ( i b r ) i nt h i st h e s i s ，w e g i v e t h em e t h o do f3 - dr e c o n s t r u c t i o no v e r as e to fp i c t u r e s t h i s t e c h n o l o g yi sb a s e do ni m a g ep r o c e s s i n g ，c o m p u t e rv i s i o na n dc o m p u t e rg r a p h i c s a n dw e c a r l f i n ds o m eg o o dw o r ki ne a c hs u b j e c ts ot h a tw ec a nu s et h e i rr e s u l t st oc o n s t r u c to u rs y s t e m f i r s t l y , w eg i v ea ni n t r o d u c t i o no ft h ep r o j e c t i v ec a m e r am o d e l t h en e x tt o p i ci sc a m e r a c a l i b r a t i o na n dw eg i v ea l lo r d i n a r yw a yt oc a l i b r a t ea n dt w oc a l i b r a t i o nm e t h o do fu s i n go n e m o d e l p l a n e t h e nw es h o w t h ec a l i b r a t i o nm o d e lw h i c hi sd e s i g n e d b y u sa n df i n a l l yg i v eo u to u r r e s u l to f c a l i b r a t i o n s e c o n d l nw ee x p l m n t h em e t h o do f v o l u m eg e n e r a t i o n f r o ma l lo r d i n a r yd e f i n i t i o no f v o l x e l ， w eg i v e0 1 1 1 w a yt oe x p r e s st h ev o l u m e t h e nw ei n t r o d u c et h ep r i n c i p l eo fv o l u m ei n t e r s e c t i o n w ea l s of i g u r eo u tt h a tw ec a ns o l v et h ei n t e r s e c t i o no ft w ol i n es e g m e n ti na2 - di m a g ep l a n e i n s t e a do f c a l c u l a t et h ei n t e r s e c t i o no f t w ov o l u m ed i r e c t l y l a s tw e g i v et h ef l o wo f o u ra l g o r i t h m a n dt h er e s u l to f e x p e r i m e n t s i nc h a p t e r4 ，w ei n t r o d u c et h eb a s i cc o n c e p t i o no f o p e n g l a n d t h e nw e g i v eam e t h o dt o g e n e r a t eal o c a lt r i a n g u l a rm e s hb a s e do nd e l a u n a yt r i a n g u l a t i o nt e c h n i q u ei nt w od i m e n s i o n s i nf i n a lc h a p t e r , w e g i v eo u tt h er e s u l to f o u r w h o l es y s t e m t h e nd i s c u s st h ed i s a d v a n t a g eo f o u rs y s t e ma n d g i v es o m en e w m e t h o dt oi m p r o v ei t k e y w o r d s ： c a m e r a c a l i b r a t i o n ，v o l u m eg e n e r a t i o n ，d e l a u n a yt r i a n g u l a t i o n i i 第一章绪论 第一章绪论 1 1 计算机视觉的背景知i j e i , 3 3 , 3 4 计算机视觉是通过对三维世界所感知的二维图像来研究和提取除三维景物世界的物理 结构。这里所说的图像是指通过观察( 更准确地说是感知) 一个景物所产生的一个二维函数， 这个二维函数取决于观察的几何学( 即景物与传感器之间的投影集合关系) 、景物的照明光 源及其性质、传感器的特性( 如焦距、频响和集合性质等) 。景物是一族具有某种集合排列 并收到自然界物理定律所支配的若干三维物体，还包括辐射能量，它是景物图像最基本的信 息。在投影过程中，传感器将三维景物的空间关系、物理性质及表面反射特性综合成二维图 像的颜色值，而这种变换是不可逆的也不是唯一的。视觉过程作为成像过程的逆过程，其目 的就是要从带有噪声、畸变的二维图像中恢复三维场景的有关信息( 如形状、位置、运动等 物理特性) 。但在图像的投影过程中，不可避免地要丢失一部分重要信息，正是这种丢失信 息的恢复形成了计算机视觉研究的核心问题从景物图像或序列图像求出景物的精确的 三维几何描述，并定量地确定景物中物体的空间性质。 计算机视觉的研究中主要存在以下特点。首先是多学科的交叉与结合，我们知道，视觉 是一个涉及生理心理的复杂过程，不仅仅和眼睛有关，还和大脑的推理、学习有关。研究计 算机视觉的目的是要实现对人类视觉的模拟和延伸，采用形式化的方法研究视觉问题除了涉 及生理、心理之外还需要光学以及相应的数学理论支持。其次在计算机视觉研究领域中绝大 多数问题都是病态的，存在着诸多不确定因素，由于视觉问题是成像过程的逆过程，成像是 从三维向二维投影的过程，在这个过程中会把深度信息丢失，同时诸如光照、材料特性、朝 向、距离等信息也都反映成了测量值( 灰度或色彩) ，因而要从这唯一的测量值恢复上述一 个或几个反映物体本质特征的参数显然是一个病态过程。计算机视觉研究的另一个特点是一 个相对完备的视觉系统同时也是一个知识管理系统，在视觉过程中对- - r n 图像的理解需要大 量的关于任务领域的知识，这些知识不同于问题求解中的知识可以明确地显式表示，而且人 类获取信息的8 0 是通过视觉得到的，因而这些知识涉及面之广难以预测，因此视觉系统 中的知识管理是一个十分重要的问题。 计算机视觉的这些特点决定了它的发展是一个长期的过程，除了它自身理论的不断完善 之外还需要相关领域的研究不断地突破和创新。视觉研究在r o b e r t s 之前都是基于二维的， 而且多数是采用模式识别的方法完成分类工作。r o b e r t s 首先用程序成功地对三维积木进行 解释，在其后类似的研究中，g u z ：m a n 在视觉处理研究中引入符号化处理和启发式方法，以 后h u f f m a n 、c l o w e s 以及w a l t z 等人对积木世界进行了研究并分别解决了由线段解释景物和 处理阴影等问题。积木世界的研究反映了视觉早期研究中的一些特点，即从简化的世界出发 进行研究，这些工作对视觉研究的发展起了促进作用，但对于稍微复杂的景物便难以奏效。 7 0 年代中期，以m a r r 、b a r r o w 和t e n e n b a u m 等人为代表的一些研究者提出了一整套视 觉计算的理论在描述视觉过程，其核心是从图像恢复物体的三维形状。在视觉研究的理论上， 兰= 童堕堡 以m a n 的理论影响最为深远，在其理论中把视觉过程看作一个信息处理过程，并把这一过 程分为三个层次：( 1 ) 计算理论；( 2 ) 算法与数据结构：( 3 ) 硬件实验。其中在计算理论这 一层次，把视觉过程主要地规定为定量地恢复出图像所反映的场景中的三维物体的形状和空 间位置，这一恢复过程又可分成三个阶段：( i ) 要素图：它包含图像边缘灰度变化率，边缘 的集合特征，或者纹理元的排列、描述等；( 2 ) 2 5 维图：它是要素图和三维图像模型之间 的中间表示层次，包含物体表面的局部内在特征；( 3 ) 三维图：以物体为中心的三维描述， 它是由要素图和2 5 维图得到的。在这一理论的指导下，s h a p ef r o mx ( 由图像的结构或非 结构特征信息恢复形状) 成为重要又带有普遍意义的热门课题。一系列成熟的方法应运而生， 如立体视觉中的外极线( e p i p o l a r ) 约束、运动分析的光流方程、视觉系统的数据结构和各 种并行算法等。这些理论多数是建立在对人类感知三维信息分析的基础上，尽管这些方法在 数学上是可行的，但由于各种干扰的存在以及逆成像的问题，是的问题本身是病态的，也就 是说问题的解不唯一，或不连续依赖于初始条件。病态问题的求解成为计算机视觉研究中一 个非常重要的方面。 进入8 0 年代中后期，随着移动式机器人等的研究，视觉研究与之密切结合，因而大量 运用空间几何的方法以及物理知识来研究视觉，这一时期引入主动视觉的研究方法，并采用 了距离传感器以及引入融合技术等。由于这种研究方法可直接取得深度图或通过移动获取深 度图，因而使很多病态问题变成良态的。此外在视觉的研究中重视了对定性视觉、有目的的 视觉等的研究。 1 2 三维重建的多种途径 尽管计算机视觉在不断发展，但是通用的物体三维模型的重建始终是计算机视觉的重要 研究目标。尤其是近二十年以来，计算机视觉的研究界涌现了大量的通过二维图像重建三维 场景的方法。 通过观察得到的二维图像“理解”三维结构在任何一个可视系统中都是十分有用的。其 实我们可以从很多的特征的提示中来完成这个任务，就像在绝大多数的情况下，只要是一张 物体的图像，人眼就已经有足够的信息得到物体的三维形状了。图1 i 就可以说明人眼可以 利用多种特征来进行图像理解和建模。从工程学角度来看，计算机视觉的主要目标就是要设 计出能够替代人的视觉系统的一个智能系统，也就是需要生成一个三维几何形体。 三维重建系统可以在大量的场舍下得到应用，比如动画设计、娱乐、工业设计、档案保 存、虚拟漫游，以及在互联网上的应用等。 类似的程序也可以通过其它的技术实现，其中基于图像的渲染( i b r ) 已经可以做到比 较好的效果了，尤其是对于那些复杂场景，很难重建出三维几何的情况下，这种方法尤其成 功。比较成功的是a p p l e 公司的q u i c k t i m e v r ，它在用户浏览的过程中用快速渲染来达 到类似与三维的效果。但问题在于它需要大量的存储设备来储存这些图像信息以及快速绘 制，这就妨碍了它在互联网上的发展。而基于模型的技术就可以通过同一个模型来绘制场景 图，在某种意义上可以说比基于i b r 的解决方案有很高的存储压缩比率。这样就可以广泛 应用与互联网中了，服务端只需要传送很少的物体的三维模型信息，而大数据量的渲染工作 2 星二童堑丝一 图1 1 人眼可以通过多种途径识别图像中的物体 ( a ) ( c ) 可以从形状获取信息；( b ) 可以从轮廓； ( d ) 可以从纹理 则可以完全放在客户端做，随着现在个人计算机计算能力和三维表示能力的不断提高，这样 的模式是完全可行的。 那现在问题就完全落在了如何自动地得到这个三维模型了。比较可行的方法是通过视觉 以外的其它方法，比如激光测距之类的恢复物体的深度信息，但是这样做的成本太高，不可 能做到普遍应用。o l y m p u s 公司最新开发的3 ds e a n i j o p 做法上和我们的系统相当类似，但 是它在实现过程中，加入了相当多的约束。我们可以从图1 2 中看到它的外观，它主要是由 中心转台、两个光源和一台数码相机组成。 图11o l y m p u s 公司开发的3 ds c a n t o p 产品外观 本文是研究如何利用最少的约束条件来自动产生物体的三维真实模型，所有的实验数据 笙二兰堕堕一 一 仅仅采用数码相机徒手拍摄，基本上能够全自动地完成模型生成功能。 1 3 工作流程 在这一节里给出一个简单的工作流程。通过一系列的照片序列来恢复物体的三维模型是 一个很困难的任务，这是因为在我们得到这一系列图片的时候我们能够用的知识很少，我们 能够用的也就只有：我们需要建模的物体是个刚性物体：物体表面应该是若干个分段连续 的曲面：摄像机采用小孔成像模型。对于整个系统我们划分成几个模块来做，每一个模块可 以看作有单独的输入输出，并且允许在一定程度上加用户的交互。 剪影图生成。对于每一张图片，首先要将物体部分和背景部分加以区分，这里我们假定 是简单背景。在具体操作中我们是在桌面上铺上白纸，将我们需要建模的物体放在纸上拍照。 这样做的好处是能够比较快速并且准确地将物体在图中的轮廓求出，降低了分割的难度可以 提高分割的准确率，同时也能够提高系统的整体效率。图像分割是计算机视觉研究中的一个 极为重要的基本问题，在解决诸如s h a p ef r o mx 等问题时，都隐含假设分割问题己解决或 者根本不存在分割问题，分割结果的优劣直接影响到随后的图像分析、理解和景物恢复问题 求解的正确与否。但是考虑到我们后续方法的特殊性，如果仅在个别图像中景物的分割包含 了非景物成分是不会影响大局的；但只要有一张图，如果将景物中的一块错误地去除，则不 管其它图像处理得有多好，都不能挽救这一张图导致的失败。因此在判断某一区域的去留问 题时，所用到的权重并不对称。 摄像机标定。在每一张图片中我们存在一些固定位置的点，这些点是用来标定摄像机用 的。我们主要用t s a i 的方法采用平面模板进行摄像机标定，也可以使用张正友的非线性优 化算法提高定标精度。但是考虑到小孔成像模型和平面模板定标的局限性，就会要求我们对 于拍摄物体需要一定的限制，比如我们拍摄的角度不能够十分贴近水平，这样标定用的模板 平面将会退化成一条线，大大增加了误差：同时我们也不能够竖直往下拍摄，这也会在求摄 像机的焦距时产生病态方程，而导致得不到正确结果。 体数据的生成。我们采用体积相交技术( 切割法) 求体数据。对于每一张图，我们己知 了摄像机的光心在世界坐标系中的坐标，我们求得的剪影图就是物体在这个摄像机下的成像 平面。我们想象通过像平面上的一个剪影图，我们就能够恢复出三维空间中一个广义锥，使 得在这个广义锥中的任意一点，它在这个像平面上的投影落在该剪影图中，在这个广义锥之 外的所有点在像平面上的投影均不落在剪影图中。则显然我们要求的物体必定落在这个广义 锥之中，而多张图像对应于三维空间中的几个锥体，它们的交集也必定包含了我们所要建模 的物体。图像数量越多，这个交集也就越小，而这个交集的下限就是物体模型，所以，如果 我们选择了比较适当的角度进行拍摄，当图像数量达到一定的要求以后，所得的交集就可以 近似认为就是物体模型了。把这个交集的表面点输出就得到了体数据。 曲面生成。通过离散的体数据进行散乱点插值就可以得到三维模型的三角面片。对于任 意一个散乱点，用欧式空间中的距离找到离这点最近的若干点，我们用这些点来估计该点的 切平面，并将这些点投影到该切平面上，利用现有比较成熟的平面散乱数据的d e l a u n a y 三 角化方法进行三角剖分，然后再反投回三维空间中进行对角线交换测试，优化三角网格。最 4 第一章绪论 后做法向一致化就可以输出了。 1 。4 论文结构 本文的组织结构是按照模块的划分来确定的。 第二章讲述摄像机的标定过程。这一章开始给出了我们系统中采用的像机模型小孔 成像模型，从小孔模型推导出透视投影的基本方程，介绍了投影过程的一些参数及其含义。 接下来就是讨论如何通过图像点和世界坐标系中的三维点的对应关系来求出透视投影的参 数，这就是摄像机标定的过程。本章主要介绍了三种方法，首先介绍基本的双平面标定法， 然后介绍单平面的两步法标定和优化法标定。最后给出了我们的几组实验结果。 第三章讲述体积相交法( 切割法) 产生散乱点的过程。这一章首先给出了我们对于模型 表面点的描述方法，然后介绍了体积相交法的原理，最后讲述了我们系统中具体采用的算法。 第四章讲述通过第三章生成的结果点产生三维空间中的三角曲面的方法。这一章里首先 对o p e n g l 作了一个简单的介绍，我们的运行环境就是基于o p e n g l 的。然后讲述了平面散 乱数据的三角剖分方法，最后讲述三维空间三角网格的生成算法。 第五章展示了我们的运行结果，并对整个系统存在的问题作了一定的分析，并给出了几 种可能的解决方案。 兰三皇堡堡塑塑堡塞 第二章摄像机的标定 2 1 透视投影模型 二维图像形成的一般几何模型定义为： x ，= g ( x ) ( 2 1 ) 式中g ( ) 是关于三维景物点x = ( x ，y ，z ) 7 到二维图像点x ，= ( ，f ) 7 之间的不可逆几何 变换函数，显然它与成像几何、透视模型和所选择的坐标系直接相关。 图2 1 小孔摄像机模型 我们用小孔成像模型推导透视变换模型。如图2 1 所示，透视中心位于欧氏坐标原点， z = 厂的平面为图像平面，z 轴称为投影轴或光轴。空间中的一个点x = ( z ，y ，z ) 。在图像 中的投影是将该点与原点连线和像平面的交点。由相似三角形可知，点( z ，y ，z ) 。投影到 ( ，1 x l x ，厂】，z ，厂) 。，忽略像平面坐标，得到 ( z ，y ，z ) 7f 寺( 厂z z ，厂y z ) 1 ( 2 2 ) 这就是欧氏三维空间到二维空间的一个映射。 但是这种形式表示出来的方程的非线性使得进一步分析变得困难，因此我们这里引入一 种更为方便的表示方法齐次坐标( h o m o g e n e o u sc o o r d i n a t e ) 。齐次坐标是一种含有冗余 信息的表示：笛卡儿月维空间中的一点可以用齐次伽+ 1 ) 维空间中的一条直线表示。因此， 对于一个笛卡儿空间的物理坐标点，它在齐次坐标系中不存在唯一的表示。例如，三维空间 中的物体点( x ，y ，z ) 2 的齐次坐标是一个4 1 维矢量( 脯，k y ，k z ，七) ，这里k 是一个非零 的任意常数。而为了将一个用”1 维矢量表示的点从齐次坐标表示变换到- 一1 维的物理坐 标，需要将全部分量除以第 i t 个元素，然后消去第n 个元素，这样形成一个新的m 1 1 维矢 6 第二章摄像机的标定 量。同样，将2 l 物理矢量维数增加一个比例系数，同时将物体的图像点坐标乘以这个非 零系数，这样也可以用齐次坐标来表示一个图像点。我们下面统一用x 表示三维坐标的齐 次形式，x 表示二维图像坐标的齐次形式。如果我们把世界坐标和图像坐标都表示成为齐次 坐标，那么我们就能够很方便地表述为线性方程的形式。式( 2 2 ) 就可以写成： 阵 钽 z 0 00 0 f 0 0 00lo 式中的矩阵可以写成d i a g ( 厂，厂，1 ) i o 】，逛gd i a g ( f ，f ，1 ) 是对角矩阵，国o 】表示3 3 的单位矩阵右面再加一个零向量。用p 表示投影矩阵，则( 2 3 ) 可写成： x = p x 式中小孔模型的投影矩阵 p = d i a g ( f ，厂，1 ) 荆 图2 1 和式( 2 2 ) 都是假定了图像中坐标原点与像平面上的光心重合，通常情况下这是 不满足的，所以应该写成： ( z ，y ，z ) 7p 哼( 厂x z + p ，f r z + p 。) 7 式中( 仇，p y ) 7 表示像平面原点在图像中的坐标，写成齐次形式为： k = f 0 p 。 0 p 。 o01 ( 2 5 ) 则( 24 ) 可写成 x = k l o k 一 ( 2 6 ) 在( 2 6 ) 中我们用x 一表示( 肖，j ，z ，1 ) 7 是为了强调我们使用了像机坐标系。 一般情况下，空间点被表示麒它的坐标，我们称为世界坐标系。这两个坐标系的关系 差了一个转动和一个平动。如果x 是世界坐标系中非齐次坐标，x 。，为像机坐标系中的非 齐次坐标，我们可以写出x 一= r ( x c ) - 这里c 表示像机投影中心在世界坐标系中的 坐标，r 是一个3 3 的旋转矩阵，写成齐次坐标就是 7 32( 、，j z y z ， 第二章摄像机的标定 x 一= 膏 r 一嫡 。 = l o 1 j x ( 2 7 ) 代入( 2 6 ) ，得： x ：k r i i 卜已k ( 2 8 ) o i o l ，一l 这里的x 是世界坐标系的坐标。这就是小孔模型的一般投影公式。其中p = k r 【i 卜c j 有9 个自由度：k 有3 个( f ，p ；，p ，) ，r 有3 个，c 也有3 个。在k 中的参数称为像机 的内部参数，在r 和已中的参数称为像机的外部参数。 一般情况下我们很难清楚地得到像机原点，而是表示为坐标变换x 。，= r x + t ，这样 像机矩阵表示为 p = k 沁h ( 29 ) 即t ：一r 芒 小孔模型的推导过程是基于欧氏空间中所有坐标轴的长度都相同的假设，但是在c c d 像机中，还有一种象素并非是正方形的情况。如果我们在图像中采用象素单位，则在每个方 向上的伸缩因子是不相同的，特别的，如果在x 和y 方向上单位距离的象素个数为m ，和 m ，则我们需要在( 2 5 ) 左乘d i a g ( m 。，m ，1 ) ，则c c d 像机标定矩阵的一般形式为： ( 2 1 0 ) 这里口= 加，= f i n ，分别表示像机在x 和y 两个坐标方向上的焦距i o = ( x 。，y 。) 表示像平面原点在图像中象素单位的坐标，= m ，p ，y o = m ，p ，所以c c d 像机投影 矩阵有1 0 个自由度。考虑更一般的情况，考虑标定矩阵 k = 口 yx o 0 y o 0ol ( 2 1 1 ) 这里加入的参数y 表示歪斜参数，对于大多数普通像机来说均为零，但是在某些特性环 境下有可能非零，说明c c d 阵列中x 坐标和y 坐标不垂直。 在真实环境中，由于图像的变换也有可能导致非零的倾斜率，如对于照片的重新拍照、 底片放大等。将小孔像机成像的图像放大，如果放大镜头的轴线不和原来的照片平面垂直， 就有可能产生这种情况。 大多数剧烈的失真是由于图像到图像的平面变换造成的。假设原始投影矩阵为p ，h 为 变换矩阵，结果的投影矩阵就为l i p 。由于h 是非奇异的，所以h p 的左3 3 子阵也非奇 异，可以作为k r 的积分解，这时的k 就不一定保证y = 0 了。注意这时的k 和r 已经不 是原来像机的标定矩阵和旋转矩阵了。 另一方面，容易证明图像间的变换不会影响投影中心，事实上，因为h 非奇异，所以 x r z ，iiiiiijji c r 一 o 卢o 口0 0 。l = k 篷三兰堡堡塑盟堡塞 h p c = 0 当且仅当p c = 0 。 从( 2 1 1 ) 的k 得出的像机 p = k r ij 一芒 有i 1 个自由度。下面我们开始讨论如何求这些参数的方法。 2 2 摄像机标定【8 】 ( 2 1 2 ) 我们假设给出组三维坐标x 。到二维图像点x ，的对应x ，x ，要求得到投影矩阵 p ，使得对于所有的i 都满足x 。= p x ，这个就是摄像机标定问题。 对于每个x 。付x ，我们都能得到关系： 0 7一x ，7 只x 。7 p 1 f 。x 1 7 o r - x , x ，7 忙 l y i x ，7 t x ，70 7 k w ，x ，7 0 7 = 0 ，式中x ，= m ( 2 1 3 ) 因为( 2 1 3 ) 的三个方程线性相关，所以 = 0( 2 。1 4 ) 对于一组 个点，我们可以得到2 n 1 2 的矩阵a ，我们就需要求解方程组a p = 0 ，这里p 矢量包含了矩阵p 的所有分量。 p 有1 2 个分量，不考虑尺度，有1 1 个自由度，所以我们需要有1 1 个方程来解p ，每 个点能够提供两个方程，所以我们至少需要5 个对应坐标来求解p 。这里的是指我们只 需要第六个点的一个方程，也就是只要x 坐标( 或者y 坐标) 就可以了。 给出最少的对应，这个解是唯一精确的，也就是空间上的这些坐标就刚好投影到我们测 量到的这些图像坐标点上。我们通过求解方程a p = 0 得到解，这里的a 是1 l x l 2 的矩阵， 而且秩为1 1 ，矢量p 是a 的一维零空间。如果数据不是精确的，比如说受到噪声的影响， 我们给出r t 6 个对应坐标，这时我们解不出方程a p = 0 的精确解，但是可以利用最小化 误差来得到p 的近似解。 在这种情况下，通常就是在给定的约束条件下最小化误差函数l r a p l f ，常见的约束有： ( i ) l i p l l = l ； ( i i ) 怕3 i l = l ，这里3 是矢量( 岛l ，p 3 2 p 3 3 ) 7 ，为p 的最后一行的前三个分量。 下面我们将使用第一个归一化条件。这两种情况下，残差a p 称为代数误差，我们可以 利用这些方程用d l t 算法求解投影矩阵p 。我们也可以定义几何误差。设世界坐标x 。比图 像中测量的坐标要精确，如点x ，是机械生产的定标物件，这时几何误差定义为： 。d ( x ，i ) 2 f 这里的x 。是测量点，文，是点p x ，即在p 下点x 。在图像中的投影。如果测量误差高斯分 9 ，“jio弋 辩螭 第二章摄像机的标定 布，则： 删n d ( x ，p x ，) 2 ( 2 1 5 ) f 就是p 的最大似然估计。最小化几何误差需要迭代计算，如l e v e n b e r g - m a r q u a r d t 算法，p 的 元素矢量p 提供了参数表示。我们可以用d l t 算法【4 1 的解或者最小化的解作为迭代算法的 起始点。 在求得p 后，我们还可以从中找出投影中心，像机方位和像机的内部参数等。 投影中心c 是使p c = 0 的点。数学上我们可以将p 进行s v d 分解得到右零向量，我 们可以通过下式得到光心c = ( 彳，y ，z ，丁) 1 = d e t 02 ，p3 ，p 。d y = 一d e t 0 。p ，p 。d z = d e t 0 1 ，p2 ，p 。d r = 一d e t o l ，p2 ，p3 d 由( 21 2 ) p = 【m i m 芒 _ k 【r i r 已】 我们能够利用r q 分解很容易分解m = k r 得到k 和r ，这是一个分解上三角矩阵和正交 矩阵的乘积的方法。r 是旋转矩阵，k 是标定矩阵，我们通过确定k 的对角元素的正值去 除二义性。 这种经典的标定算法最大的要求就是所有的对应点不能落在同一个平面上，因此无法在 我们的系统中应用。下面就介绍两种平面标定算法。 2 3t s a i 的两步法标定】 只考虑影响最大的失真径向失真，我们有径向排列约束( r a c ) ，径向失真的中心 位于像平面上的光心。基于r a c 的两步标定法的第一步是利用最小二乘法求解超定线性方 程，给出外部参数；第二步求解内部参数。 将式x 一= r x + t 展开 ， z 姗= 厂1 i z + ，1 2 y + ，1 3 z + t ， 匕硼= l x + ，2 2 y + ，2 3 z + t ， ( 2 1 6 ) z = l z + ，3 2 y + 3 z + t ： r a c 条件意味着存在下式： 将上式移项，整理可得 砂d ，1 1 + 矽d 2 + z y d 3 + y d t 。一妇d 如l 一如2 一z k d 吃3 = x a t ， ( 2 t 8 ) 1 0 一 苎三童堡堡垫塑堡星 一 上式两边同除以t 。，得： 母一号+ 仇等+ 矽一号+ 儿号一般一等一等一及一等”一( 2 1 9 ) 将式( 2 1 9 ) 表示为矢量形式 ( j 。妁oz y 。y 。一x x 。一砂。一岔。) r i l t ， l ：t ， _ ，t ， t j t ， r 2 1 t ， r 2 2 t ， 仫t ， ( 2 2 0 ) 其中，行矢量d 玑砒儿一x x d 一现一z x d ) 是己知的，而列矢量 。t ，_ z t ，_ ，t ，t 。t ，2 。t ，吃z t ，r 2 3 t ，是待求的参数。 对每一个物体点x ，已知其z 、r 、z 、h 、y d ，就可以写出式( 2 2 0 ) 。直观地 说，选取合适的7 个点( 使系数阵满秩) 就可以解出列矢量的7 个分量。我们采用平面模板， 不失一般性，可以认为z = 0 ，这样式( 2 1 8 ) 中关于_ 3 t ，和r 2 3 t ，的二项的系数均恒为 0 ，于是，式( 2 2 0 ) 可表示为： ( x y d 耽y d x x d y x d ) _ ，t ， _ 2 t ， t x t ， _ l t ， 吃2 t ， = h ( 2 2 1 ) 于是我们可以写出如下算法： ( a ) 获取模板图像中若干个特征点的坐标，包括图像坐标( ，y m ) 和世界坐标( z ，r ) 。 换算坐标得：x ，= 0 m x 0 ) m ，y ，= ( y m y o ) 埘， ( b ) 利用式( 2 2 1 ) 对每个点x ，可列出一个方程，联立这个方程，利用最小二乘法求 解这个超定方程组( 5 ) ，可得如下变量 1 j = 1 l t ，l ：= ，1 2 t ，t ：= t j r ，巧。= 屹i t ，2 = ：t ， ( c ) 利用r 的正交性计算t ，和，1 l ，得到 t ，2 ：尘骘尝粤掣，其中驴r f “l 柠+ 搿+ 瑶 ( 2 2 2 ) 一玩i 习丽广一共2 ”j 1 + _ 2 心2 2 星三茎堡堡塑塑堡塞 求得t 。后，任选一特征点x ，计算x 一= f i l x + r 1 2 y + t ，k = r 2 1 x - + r 2 2 y + t y 若此时。与工。，圪，与y ，同号，则t y 符号就为正，否则t ，应为负。 ( d ) 利用正交性和右手系特征( 相应于世界坐标为右手系) 可计算r r = _ 。，l ：( 1 一j 一_ ；) “2 ，2 1 _ ：s ( 1 一一唛) “2 l23 ( 22 3 ) 式中s = 一s g n r , l r 2 l + 1 2 ，2 2 】，_ l 、吩2 、r 3 3 可由矩阵中的前两行的叉乘得到。r 的 另一解为 r = 。_ ：一( 1 一 j 一_ ；) 2 乇。也：一s ( 1 一矗一唛) “2 一岛1一如23 具体选取哪一个r ，可由试探法确定，即先任选一个，向下计算，若依此r 值计算出 的f 0 ，就是选取正确。 一x ，懒芝嚣二篡鼍 设彬确即懈，有厂y - - - = 等 ( 2 2 5 ) 考虑z 一= 彬十t ：，则式( 2 2 6 ) 可展开为k 厂一y , t ；= y i 彬 ( 2 2 7 ) ，表示k 叫件彬 ( 2 2 8 ) 解此超定方程可分别求出有效焦距厂和平移矢量t 的t ：分量。 ( f ) 用这些值为初始值，用优化算法求解下列非线性方程组： 姒1 m 糍 ( 2 2 9 ) “1 + 扩阿揣 + ，+ i 可解得f 、t 、七的精确解。 ( 2 3 0 ) 这种方法简洁、快速，大部分的求解过程都是采用求解线性方程的方法，易于实现。但 是不能够求解出全部的内部参数，比如( 2 1 0 ) 式中的、y o 和m ，m ，都必须已知。在我 们的系统中，假设光心坐标在图像中心，纵横比为1 ，这样就引入了不少的误差。 1 2 苎三童堡堡垫塑堡塞 2 4 张正友的平面标定法1 5 】 我们首先确定模板平面到图像中的影射关系。不失一般性，我们假定模扳平面位于世界 坐标系z = o 的平面上，我们用r 表示旋转矩阵r 的第i 列向量，有： 5 i lz 埘；匕匕t 螺 ll j = k kr 2t 】， l 1 ( 23 1 ) 这里我们还是用m 表示模板平面上的点，但因为z 始终为0 ，所以丽= i x ，y r ， m = 防，y ，l r ，影射关系h 为： s m = h m ，这里h = k r li 2t ( 23 2 ) 给定模板平面的一幅图像，我们能够估计出h 来。我们这里用最大似然估计来求解。 令丽，和面。分别为模板和图像上的对应点。我们假设面，服从。均值，协方差矩阵为人。，的 高斯分布，则h 就是要最小化下列函数 ( 面，一血，) 7 a ：，( 面，一血。) ( 23 3 ) 这里血。：三，f 兰；竺tj ，这里的西，表示h 的第f 行。 h ：m 。ih ；m 。i 事实上，我们假设对所有i ，人。= 盯2 i ，对于我们用同一种方法求点来说，这个假设 是可信的，这样，上述问题就简化为r a i n 。陋，一击，旷，这种非线性最小化一般采用 l e v e n b e r g m a r q u a r d t 算法求解，但需要给定初始估计值，可以如下得到a 令x = 略，i ；，可r ，式( 2 3 2 ) 写成 i 拼矿叫m ： x ：o ( 2 3 4 ) o rm r v m 7l 一。 ” 当我们有月个点时，就有上述n 个方程，可以写成l x = 0 ，这里的l 是2 n x9 的矩阵， 也就是求l 7 l 最小特征值对应的特征向量。当然，最好的办法是首先将给定的数值作归一 化处理。 我们表示h = h 1 h 2h 3 】，从( 2 ，3 2 ) 得： h 。h ：h 3 】_ a k r lr 2t 】 ( 2 3 5 ) 这里的z 为任意常数，因为r l 和。2 正交，所以我们有： h r k 一7 k h ，= 0( 2 3 6 ) 第二章摄像机的标定 h j k 一7 k 一1 h t = h ；k 一7 k 一1 h 2 ( 23 7 ) 这就是求解内部参数中的两个基本约束。 我们也可以从另一个角度来说明这个问题。不难验证基于我们假设的模板平面在像机坐 标系下有： 阱 工 y z w = 0( 23 8 ) 这里当点位于无勇远处w = 0 ，古则w = 1 ，该平面与无穷远平面相交于一条线，很明 显 ： 和 苫 就是位于该直线的两点，所以直线方程为： x 。= 口 ： + 6 ： = 口q ：6 r 2 c 2 。9 ， 现在计算上面这条线与绝对锥体的交点。由定义，点x 。满足x ：x 。= 0 ，即 ( “r l + b r 2 ) 7 ( d q + b r 2 ) = 0 ，或口2 + b 2 = 0( 2 4 0 ) 解为b = d f ，这里i 2 = 一1 ，也就是两个交点为 驴舯巳 泣。 它们在图像平面上的投影为 面。= a ( r l i r 2 ) = h 1 i h 2 ( 24 2 ) 点菌。又同时落在绝对锥体a 。a - 1 里，即 ( h l i h2 ) 7 a 。a “( h l i h 2 ) = 0 ( 2 4 3 ) 实部虚部都为0 ，也就是( 2 3 6 ) 和( 2 3 7 ) 。 我们可以写出下面的求解过程。 ( a ) 令b = a 一7 a ； b l l 蜀： b 。 b 1 2 b 2 2 b 2 3 b 1 3 见。 b 3 3 上 一j ，_ 口2口2 口 一j ，_ 上。上 口2 口2 2 。2 y 。y x o j ；br ( y o y x o p ) y q a 2 ；8饯2 ；b l；b 2 y a y x o j 8 口2 口 一r ( y 0 7 - x o f l ) 2 生 口2 22 笋每+ ， a 2 口2口2 1 ( 24 4 ) 4 苎三童量堡坐塑塑窒 注意b 是对称阵，定义6 维向量 b = 阻。b ：，b ：一b 。b b r 令h 的第i 列向量为h 。= 陋n ，h 汜h b r ，则我们有 ( 2 4 5 ) h j b h ，= v ；b ( 2 4 6 ) 这里v u ： h ，l h n ， f 1 j2 + a ，2 h i l ，h ，2 h 2 ，h ，3 h 1 + ，l ，3 ，h ，3 h i 2 + h i 2 h ，3 ，h d h ，3 r 因此( 23 6 ) 和( 23 7 ) 两个约束条件可以写成： rt v 。1 2 一l b ：0 ( 2 4 7 ) l ( v l l v2 2 ) 。j 如果我们得到, 幅图，则可以得到h 个( 2 4 7 ) 式的方程，联立得 v b = 0 ( 2 4 8 ) 这里v 是2 n 6 的矩阵，如果月3 ，我们就能解得一个最优解，如果h = 2 ，则我们必须 假定无倾斜约束，= 0 ，即【o ，l ，o ，o ，o ，o j b = 0 加入到方程组( 24 8 ) 中，如果月= 1 ，则我们 只能定两个内部参数：口和，假设和y o 己知，且，= 0 。方程组( 2 4 8 ) 的解就是v 。v 最小特征值对应的特征向量。 f b l 一旦b 得到，我们就能够计算内部参数k 。b = 2 k k ，这里兄为任意常数： y o = ( b 1 2 8 1 3 一b 1 1 8 2 3 ) ( 马l b 2 2 一磷) 五= b 一 b j + y 。( 马：b 。，一b l 。b ：3 ) b a ：q 九i b u = 扛习瓦而 y = 一b 1 2 0 ：b | x u 、= 7 y