（计算机应用技术专业论文）基于特征基元的三维信息重构方法研究.pdf

西北上业大学硕十学位论文摘要 摘要 从运动恢复形状( s t r u c t u r ef r o mm o t i o n ) 是通过序列图像获取场景深度信 息的一种技术，它是计算机视觉研究领域内的前沿课题之一，具有重要的理论意 义和广泛的应用前景。 本文研究的问题是：在一个静态的刚体场景中，使用一个未标定的摄像机， 假定摄像机内参数在拍摄过程中不发生变化，在场景的不同位置拍摄，得到场景 的序列图像；以场景的= 维序列图像作为输入，通过分析、计算，恢复出场景的 三维形状信息。 本论文研究了如何利用非标定图像序列重构场景三维信息的方法，对其中的 若干关键技术进行了深入的分析和研究。主要研究内容如下： 1 分析、对比了几种常用的角点检测算子，实现了点特征基元的自动提取； 通过把点特征基元的匹配过程和基本矩阵的估计过程结合起来，既减少 了点特征基元的错误匹配，又提高了基本矩阵估计的精度； 2 ，利用已经得到的精确的基本矩阵对未标定图像进行校正，使校正图像的 扫描线和基线平行； 3 采用基于像素点的最大似然测度方法，并利用连续性约束、唯一性约束 和视差约束，通过动态规划法对校正图像沿极线对视差进行估计，得到 了稠密的深度信息图； 4 集成了以上所有算法的实现，基本实现了基于点特征基元的三维信息重 构仿真系统。 通过对实际图像序列进行仿真实验，证明了本文方法的有效性。 关键词：从运动恢复形状，基本矩阵，图像校正，稠密匹配 两北 ：业大学硕士学位论文 a b s t r a c t a b s t r a c t s t r c t u r ef r o mm o t i o n ( s f m ) i st h et e c h n o l o g yo f o b t a i n i n gt h ed e p t hi n f o r m a t i o no f as c e n ef r o mt h ei m a g es e q u e n c e s a so n eo ft h em o s tc h a l l e n g i n gp r o b l e mi n c o m p u t e rv i s i o na r e a ，i tc a nb eu s e dt ov a r i o u sa p p l i c a t o n s t h ep r o b l e mo u rr e s e a r c hf a c o di sh o wt or e c o v e rt h e3 ds t r u c m r ei n f o r m a t i o n b ya n a l y s i n ga n dc o m p u t i n g 也e2 di m a g es e q u e n c e sc a p t u r e dw i t ha nu n c a l i b r a t e d c a m e r at h r o u g h o u td i f f e r e n td i r e c t i o n si nar i g i ds t a t i c s c e n e ，a s s u m i n gt h a tt h e i n t r i n s i cp a r a m e t e ri si n v a r i a b l e t h i sp a p e ri si sf o c u s e do nt h ei s s u e so ft h er e c o v e r yo ft h e3 di n f o r m a t i o no fa r e a l i s t i cs c e n ef r o mi m a g es e q u e n c e sa n ds o m ec r i t i c a li s s u e sr e l a t e dt ot h i ss u b j e c t h a sb e e ns t u d i e d t h em a i n w o r ko ft h et h e s i si sa sf o l l o w s ： 1 w ea n a l y s e da n dc o m p a r e ds o m ec o m e rd e t e c t i o no p e r a t o r sw h i c ha r eu s e d f r e q u e n t l y , e x t r a c t e dt h ec o m e ra u t o m a t i c a l l y am e t h o dw h i c hc o m b i n e st h e c o r r e s p o n d i n go ft h ec o m e r sa n dt h ef u n d a m e n t a lm a t r i xe s t i m a t i o nw a s i n t r o d u c e dt oi m p r o v et h ec o m e rm a t c h i n ga n dr e f i n et h ee s t i m a t i o no f f u n d a m e n t a lm a t r i x 2 w er e c t i f i e dt h ei m a g ep a i r so fw h i c ht h ef u n d a m e n t a lm a t r i xh a sa l r e a d y b e e ne s t i m a t e d b ym a k i n ga l lm a t c h i n ge p o p o l a rl i n e sc o i n c i d e n ta n d p a r a l l e lw i 也a l li m a g ea x i s 3 ap i x e l - b a s e dd e n s e m a t c h i n gm e t h o d ，u s i n g am a x i m u ml i k e l i h o o d m e a s u r e m e n t ，c o n s t r a i n e db yo r d e r i n gc o n s t r a i n t ，u n i q u e s sc o n s t r a i n ta n d d i s p a r i t yl i m i t ，i su s e dt oe s t i m a t et h ed i s p a r i t yo ft h ei m a g ep a i ra l o n gt h e e a c he p i p o l a rl i n eb ya y n a m i cp r o g r a m m i n ga n da tl a s tw eg e tt h ed e n s e d e p t hm a p 4 w ei n t e g r a t e da l lo f t h ea b o v ea l g o r i t h m sa n di m p l e m e n t e da3 di n f o r m a t i o n r e c o n s t r u c t i o n s y s t e m b a s e do n p o i n tf e a t u r e t h ee x p e r i m e n t r e s u l t s d e m o n s t r a t et h ee f f e c t i v e n e s so f t h er e c o n s t r u c t i o ns y s t e m k e y w o r d s ：s t r c t u r ef r o mm o t i o n ，f u n d a m e n t a lm a t r i x ，i m a g er e c t i f i c a t i o n ，d e n s e m a t c h i n g i i 西北工j 眦大学硕士学位论文第一章绪论 第一章绪论 1 1 计算机视觉与三维信息重构 人工锣能，是由人类设计并在计算机环境下实现的模拟或再现人的某些智能 行为( 包括感知行为与思维活动两类) 的技术。文字识别、图像模式识别、三维 表面形状知识与距离、速度感知等与人类视觉相关的“计算机视觉”属于模拟感知 行为。计算机视觉是人工智能研究领域中的一个重要前沿学科。视觉系统是以感 知图像的方式获取信息的，图像当中的信息量十分丰富，人类从外界获得的信息 约有7 0 来自视觉系统，因此计算机视觉系统自然成为了人工智能系统中的重 要信息来源和研究对象。 计算机视觉所研究的内容是如何由图像建立对客观场景的清晰而富有意义 的描述。这些描述是对场景中的物体进行识别、操作和思考的前提条件，它们 是通过利用从图像中提取的关于物体的本征特征( 即场景本身所具有的一些与观 察者和采集器无关的客观特征，包括场景中物体间的相对距离、空问方位，各物 体的表面反射率、透明度、表面形状、运动参数等) 和相关知识来建立的。表示 这些本征特征物理量的图像称为本征图像，每个本征图像表示场景的一种本征特 征，而不掺杂其它特征的影响。其中，深度图像是最常用的本征图像，其上的每 个像素的值代表该像素所表示物体上的相应点与摄像机间的距离，利用该图像可 以直接取得场景中物体可见表面的形状等信息，在视觉信息的应用中占有非常重 要的地位。 通常，计算机视觉系统的输入是关于场景的灰度图像，这种图像是一种非本 征图像：灰度图像上各点的灰度值的大小不仅与场景本身有关而且与观察者、 图像采集器的性质、采集条件以及周围环境等诸多因素密切相关，反映的是观察 处物体表面接受并反射的辐射强度，是辐射源的强度、辐射的方式方位、场景中 物体表面的反射性质、采集器的位置性能等多方面作用下的综合结果。 目前，获得反映物体表面形状信息的本征数据的方式主要分为两大类： 一类是采用专门的传感装置和相应的传感物理量，以较为直接的方式获得深 度图。其中包括点测距法、几何光学聚焦法、全息干涉测量法和超声波探测法等 2 1 。 另一类是模拟人类的视觉功能，通过处理用普通摄像机所获得的灰度图像， 从中获取场景中物体形状的本征图像，这方面的技术就是三维信息重构( s f x ， s t r u c t u r e s h a p ef r o mx ) 。其中包括立体视觉、由运动恢复形状、光度立体学、 由明暗回复形状以及由纹理恢复形状等口j 。 西北- 上业大学硕l ! 学位论文 筇一章绪论 1 2 利用多幅图像的三维信息重构 灰度图像的数据中混和有许多和客观场景相关的信息，其成相过程可以被看 作是一个从三维数据空间投影到i ：维数据空间的退化过程。为了从二维的非本征 灰度图像中恢复出场景的三维深度或形状信息，需要利用一些技术手段和图像中 与本征特征相关的信息。 这些线索主要可以分为两种：一种是在图像中依然可以直接获取的本征信 息，这些信息主要是图像中的一螳边缘以及边缘之问的交点，单纯利用这些信息 线索的最大问题是它们在图像中的分部往往比较稀疏，不利于反映整体的形状； 另一种线索则是以灰度的明暗变化、阴影或者纹理的透视变化等较为稠密的信 息。 从二维灰度数据恢复三维形状深度数据，往往需要使用多幅灰度图像数据的 信息冗余来弥补单个灰度图像在三维信息方面的缺失。由于各种恢复方法所使用 的原理各不相同，因此多幅图像的采集方式也存在很大不同。从采集多幅图像所 采用的摄像机的数量上，可以分为只用一个摄像机( 单目) 以及使用两个或两个 以上的摄像机( 双目或多目) 两种形式；其中在单目视觉中，又根据摄像机是否 移动，可分为移动的由运动恢复形状和静止的光度立体法、由明暗恢复形状以及 由纹理恢复形状等等。 1 2 1 立体视觉 立体视觉p 】( s t e r e ov i s i o n ) 发展得较早，并且已被广泛地使用，通常也称作 体视学方法。该方法主要是根据三角测最的原理，运用两个或多个摄像机对同一 景物从不同位置成相，利用图像之间存在的视差( d i s p a r i t y ) 来计算相应物体表 面位置的深度值。 这种立体测量的方法在算法上是非常简单有效的，其中的困难在于寻找几幅 图像上的点的对应关系，目前还没有能够使图像上的所有像素之前相互正确配对 的方法，只能利用图像上的边缘以及边缘间的交点等稀疏的但可靠的特征点进行 深度的计算。为了最终恢复空间物体的三维形状，立体视觉中一般需要解决一下 三方面的问题：图像平面上的视差计算，由视差恢复某些点的三维坐标以及由稀 疏的二三维数据恢复表面。 1 2 2 光度立体法 光度立体法3 1 方法通过获得同一视觉点在不同的光照方向下的多幅图像来 计算物体表面的方向。它主要是依据物体表面的反射方程来进行的。在物体表面 为朗伯体的情况下，则需要三个光源方向置，足和墨，由墨分别获得的同一景 睡北上业大学硕上学位论文第一章绪论 物视点的图像分别为，( x ，y ) ，i = l ，2 ，3 ，物体上的表面法向量为n ( x ，y ) ，由朗 伯体表面的亮度方程： ，。( 工y ) = p n ( x ，y ) s 。 ( 1 1 ) 其中，p 为光源强度与物体表面反射率的乘积。写成矩阵形式： v = p n m ( 1 2 ) 其中，m = ( s ，s z ，s 3 ) 7 ，v = ( ，( x ，j ，) ，：x ，y ) ，1 3 ( x ，y ) ) 7 ， 从而有： 啪) 2 尚 3 ) 与体视学方法相比，光度立体技术避免了图像间的配准问题，因此在光源可 控制的环境下，是一种恢复物体表面方向的良好方法，它适用于任意表面形状的 重构，并且产生的是准确而稠密的物体表面方向数据。 1 2 3 由明暗重构表面形状 人们意识到，一些重构方法并没有充分利用图像中数据信息，图像中包含有 大量的形状信息线索，于是根据这些线索类型，提出了由明暗恢复形状【3 】、由纹 理恢复形状、由阴影恢复形状以及由轮廓恢复形状等等。 由明暗获取形状的研究是由h o r n 于1 9 7 0 年首先提出的，他首先提 h 对于具 有单一反射率的朗伯体表面，在单一己知方向的平行光源条件下的全局传播算 法；后来又提出了全局最小化算法，将s f s 问题归结为一个变分问题，并提出 采用表面平滑约束能使问题得到收敛。s f s 方法仅需要单幅图像即可做到对形状 信息的稠密计算。也有不少学者对此持否定的态度，认为仅从图像当中的明暗变 化是不可能真正得到形状的，明暗与形状之问的关系具有不确定性。 1 3 由运动重构三维形状信息 从运动恢复形状( s h a p ef r o mm o t i o n ) 是用一部摄像机在场景中的移动来拍 摄关于场景的图像序列，通过对该序列图像进行分析来获得场景的三维形状信 息。 从运动恢复形状( s f m ) 算法大致可以分为两大类，即基于微分技术来计算 密集光流场的方法【5 】和基于特征匹配的方法1 6 j 。前者直接对图像计算光流场，从 而获得图像中密集图像点( 通常是所有像素) 的光流，再根据各点光流和该点所 对应之深度信息的关系，直接计算山第三维，即深度数据；后者首先要对图像序 列中的各帧提取出某些特征，然后建立各帧图像特征点问的对应关系，再从这种 西北工业大学坝上学位论文第一章绪论 对应天系中计算场景的运动年结构。 每一大类又可依据光流场的计算方法不同，或者，提取的特征和匹配方法的 不同再细分成许多不刚的方法。由j 二光流场计算复杂度较高，而重构精度却不高， 闯此本文仅研究基于特征集匹配的方法。 基于特征集匹配的方法通常包括一下四步： 1 ) 提取图像中的特征点( 也称为兴趣点) ： 2 ) 建立相邻图像问特征点的对应关系( 吲匹配) ： 3 ) 根据这种对应关系求解对应点的空间位锭剥摄像机的进行标定： 4 ) 对相邻图像进行稠密匹配，计算出视差( d i s p a r i t y ) ，得到稠密匹配的像 索点集合的深度图，并根据已求得的深度信息图插值来获取所有图像特 征点的深度信息。 其中建立特征点之间的对应关系、稠密匹配是关键。 特征点的选择和提取也会直接影响到其后的匹配和深度估计。目前研究比较 多的是提取各帧图像中的角点作为兴趣点【”。另外一些研究则利用对应线段的匹 配博】，这种方法由于有更多的对应点进行匹配，所以有更高的重构精度，然而， 由 二是利用在运动中连续拍摄的景物图像，因此，在不同帧之间的同一线段，可 能略有变化( 包括中心点、方向、长度、平均灰度) ，这使对应线的检测变得困 难。 为减少搜索范围，提高搜索精度，以便建立正确的特征点间的对应关系，通 常要根据景物的物理特征和几何特点引入一些约束。目前已经提出的一些重要约 束有：a ) 内极线约束( e p i p o l a rc o n s t r a i n t ) ：b ) 相容性约束：c ) 唯一性约束；d ) 连续性约束；e ) 形状连续性约束；f ) 偏差梯度约束等。但不管应用何种约束， 由r 噪声的干扰和摄像机位置及其方向存在测量误差，匹配点可能不会准确地出 现在图像平面中对应的内极线上，此时有必要在内极线的一个小邻域内进行搜 索，因此，小邻域和搜索方法的选取不同就会导致不同的匹配结果。 1 4 本文的研究背景 虽然人们已经对各方面进行了广泛而深入的研究，从运动恢复形状仍然是面 临巨大挑战的课题。 首先，目前已经提出了许多不同的兴趣点检测器，其中对何为兴趣点有了很 多不同的定义。有的检测器检测具有高局部对称性的点；有的搜寻纹理分布区别 最大的区域；还有些则检测角点( c o r n e f p o i n t s ) 。并且没有一个兴趣点检测器能 适用于所有的场合，丽且具有很好的检测成功率、精度、效率和鲁棒性：同佯， 虽然已经提出了各种各样的匹配算法，但是，没有一个匹配方法能够对所有序列 图像都取得良好的效果。也没有发现哪一种序列图像可以在所有的匹配方法下都 有同样的结果。所有基于匹配的计算机视觉系统都对匹配过程有很高的要求，误 匹配的 n 现使得自动的三维重建任务很难完成：最后，三维信息重构是建立在对 西北上业人学硕i ：学位论文筇章绪论 前面所有参数精确估计的基础上的。由1 二图像成像过程中，丢失了深度信息，重 建问题奉身是病态的。而且在三维重建过程巾，需要估计的参数过多，大量的参 数估计导致误差不断增人，积累到最后的重建阶段，重建的结果很难让人满意。 基于上面所述和教研室在计算机视觉方面已开展的一些研究，可以在这一领 域内进一步的做一些工作，研究可能用于重构的各种特征( 包括兴趣点、直线段、 轮廓线) 的提取方法；在特征基元匹配方面，研究结合相关技术和约束的方法， 选择适当的搜索区域和搜索策略；研究能得到尽可能稠密的深度图的匹配方法。 1 5 本文的研究内容 本文需要解决的具体问题是：在一个静态刚体场景中，使用一个未标定的摄 像机，假定摄像机内参数在拍摄过程中不发生变化，在场景的不同位置拍摄，得 到场景的序列图像：以场景的二维序列图像作为输入，通过讣算，恢复 u 场景的 三维形状信息。 本文选择点作为三维信息重构的特征基元，原因是点比较通用，任何场景都 可以用点来描述其基本的形状信息，而直线，线段和二次曲线多存在于人工的场 景中，应用受到了限制。 本文从序列图像中恢复场景目标的三维形状的研究内容包括： 1 、图像特征基元提取。分析、比较常用的一系列角点检测方法。 2 、相邻图像特征基元匹配。研究结合相关技术和约束的方法，选择适当的 搜索区域和搜索策略，建立起相邻图像间特征基元的对应关系。采用基于随机采 样技术的鲁棒估计方法，并考虑到匹配过程和基本矩阵估计的联系，采用把匹配 过程和基本矩阵估计过程结合起来的方法。 3 、摄像机标定和自标定技术。 4 、三维重建等。利用建立起的相邻图像特征基元的匹配对应关系和已得到 的基本矩阵对相邻图像进行校正，然后在与图像轴平行的极线上进行图像的稠密 匹配得到视差图进而得到稠密的深度图。所有的这些研究都在m a r r 视觉理论框 架之内。 全文共分六章，其中， 第一章绪论，介绍三维重构的方法以及s f m 的基本概念、现状、面临的挑 战，以及本文的研究背景和研究内容。 第二章介绍计算机视觉方面必要的几何理论、摄像机模型和一些基本关系。 第三章分析、比较常用的各种角点检测算法。 第四章为相邻图像间的特征基元匹配和基本矩阵估计。采用基于随机采样技 术的鲁棒估计方法，并考虑到匹配过程和基本矩阵估计的联系，把匹配过程和基 本矩阵估计过程进行结合。 第五章重构场景的三维信息。包括对相邻图像的校i e 、视差估计和稠密深度 图的计算。 西北d 人学顸士学位论文第一章绪沧 第六章全文总结。 6 西北j 2 , 1 k 人学硕士学位论文 第二：章计算机视觉几何理论 第二章计算机视觉几何理论 图像是具有定形状和表面特征的物体，在特定的光线条件下，由摄像机感 光板上感应到的与之对应的物体表面处的反射光线的强度所形成的二：维阵列。图 像中每个像素灰度值的大小，主要由其所反映的空间相应位置的局部儿何关系、 该处表面的性质以及光源的分布决定的。本章主要介绍摄像机的几何模型以及计 算机视觉的几何理论基础，这些基本内容是分析s f m 问题的基本模型和理论基 础。 2 1 摄像机几何模型与视觉坐标系统 ：l 1 1 摄像机几何模型 首先讨论三维空间中的物体到视平面的投影关系即摄像机成像几何模型p l 。 理想的投影成像模型是光学中的小孔成像模型，图2 】是小孔成像原理的示意图。 图中平面s 为二维成像平面( 即视平面) ，c 为d , f l 的位置( 光学中心) 。s 上的 点p ( x ，y ) 是三维空间中点p ( x ，y ，z ) 在视平面上的投影，f = d ( s ，c ) 称为该光 学系统的焦距。一般为方便起见，取c 为空间三维坐标的原点，光轴方向为z 方 向，视平面与光轴垂直且其z ，y 轴分别平行于三维空间的工。 ，轴。 图2 - 1d , f l 成像模型 尽管小孔成像具有很好的物理性质，但实际的成像系统通常却是透镜成像 图2 2 是透镜成像原理图，其中f 为透镜的焦距，”为物距，且有： 111 ，“ v ( 2 1 ) 西北工业大学顾l 学位论文 第二章计算机视觉几何理论 o 。专睡二i = j 厂“- 图2 - 2 照相机成像原理 一般地由于z ， ，于是v z ，这时可以将透镜成像模型近似地用小孔模 型代替。 上述模型中，为了方便起见取坐标系为成j e 实像的投影变换坐标系，即将视 平面的位置与光心( 空间坐标系的原点) 的位置对调，以此作为本文中所使用的 视觉坐标系，如图2 3 所示。其中原点。为视点，视平面距视点。的距离为，。 一、 p ( x ，y ，z ) 盖汾 寸f o 、：3 y y 图2 3 视觉坐标系 z 容易验证，在图2 - 3 所示的视觉坐标系中，视平面的点p ( x ，y ) 与空间中对 应点p ( x ，j ，z 1 有如下的几何关系 x = 专 y = 厂三 ( 2 2 ) 视觉坐标系o x y z 在计算机视觉中也常称之为摄像机坐标系，视点即是摄像 机的光心。 2 1 2 摄像机参数 在上一：声中已经说过，对于针孔相机，物点p 的世界坐标，y ，z 与它在成 像平面上的坐标工，y 满足透视方程2 2 。实际上，这个方程成立是有条件的，所 有距离必须在摄像机坐标系下衡量，而且图像坐标的原点要和摄像机的光心( 摄 像机的对称轴穿过成像平面的点) 重合。在实际应用中，用一些物理参数表示摄 像机坐标系与世界坐标系的关系，包括焦距、像素大小、主点的位置、摄像机的 位置和方向。 本节将逐个说明这些参数。首先区分摄像机内部参数和外部参数，前者是摄 西北上业大学硕上学位论文第一章计算机 见觉几何理论 像机坐标系与理想坐标系之前关系，而后者表示摄像机在世界举标系里的位置和 方p l ”。 2 1 2 1 内参数 我们可以为摄像机建立一个归一化图像平面，这个平面平行于摄像机的物理 成像平面，且到针孔的距离为单位长度。接着在这个平面上建立一个坐标系，原 点定在光轴和这个平面的交点处，即图2 4 中的0 。则透视投影方程2 2 可以写 成如下形式： z 三( 尉 州 其中，p = ( d ，1 ) 7 是点尸投影到这个平面上的点p 的齐次坐标表示。 图2 - 4 物理成像和归一化成像坐标系 ( 2 3 ) 物理成像平面的位置一般与我们定义的归一化平面位置不同( 见图2 4 ) ：它 位于距离针孔f l 的位置上。图像坐标( “，v ) 一般用像素表示( 而不是米等单 位) 。而且像素可能不是正方形而是个长方形，所以需要两个额外的比例因子k 和 ，且 卢肼墨 。z y v = t f 二- 。z ( 2 4 ) 首先说明单位长度：假设厂是用米制单位表示的距离，像素的大小疋l e l 一! 一1 ， 尤f 其中k 和，的单位是像素用。参数k 、，和f 是相关的，如果用像素单位来表示， 有口= 可和卢= f ，。 如果足把图像的角而不足中心定为摄像机坐标系的原点( 例如在上图2 4 9 p 一z y i i i i “ v 第二章计算机视觉几何理沦 中，原点是左下角，则图像上一个像素的坐标就是它所在的行数和列数，有时原 点也取左上角) ，则c c d 阵列的中心与光轴穿过的主点c o 不同。需要添加两个参 数和米定义c o 在摄像机坐标系内的位置a 则上式( 2 4 ) 改为 最后由于制造误差，摄像机坐标系口 能会产生偏歪，即两个坐标轴不完全垂 直( 但应和直角相差不大) 。在这种情况下上式( 2 5 ) 改为 j “。口兰z 一口c o t 臼三+ “。：。， p 1 1 l ”南i 。 通过式( 2 3 ) 和式( 2 6 ) ，可以写出物理摄像机坐标系和归一化的图像坐标 p = k p ，其中p vl 且k l ，j aa c o t 0 ”n 0 卫l 。 s i n 0 ” 0 01 ( 2 7 ) 最终得到 1 p = 二m p ，其中，m = ( k0 ) ( 2 8 ) z 表示p = f x ，r ，z ，1 ) 。在摄像机坐标系里的齐次坐标。也即，利用3 4 矩阵m 齐 次坐标可以表示从四维到三维的投影变换。 像素大小和偏歪角度对每个摄像机都是固定的，而且可以在制造过程中测量 得到。对变焦镜头，焦距随时可能改变，如果光轴不完全垂直于图像平面的话， 图像中心也可能变化。摄像机焦距的改变还会影响放大倍数，因为透镜到感光面 的距离改变了。但是我们已经假设摄像机聚焦到无限远。因此本文将忽略这些影 响。 2 1 2 2 外参数 摄像机坐标系c 在世界坐标系矿中的位置记为 州紫铆 代入式( 2 8 ) 得到 )52( + + 一z y z d 声 = 1 | v 西北工业大学硕士学位论文 第二章计算机视觉几何理沦 p ：l m p ，其中，m = f rt 1 ( 2 9 ) z 其中r = 善只是旋转矩阵，t = c o , 是平移向量，p = ( ”x ，”y ，”z ，1 ) 表示向帚尸在 坐标系下的齐次坐标。 这是一般形式的透视投影方程，可以利用它得到摄像机光心o 在世界坐标系 中的位置。事实上，光心的齐次坐标o 满足m o ：o ( 显然光心是唯一个图像 不唯一确定的点) 。若m = f ab 1 ，其中a 是非奇异3 3 矩阵，b 是一个三维向 量，则d 的非齐次坐标为一a b 。 式( 2 ，9 ) 中的深度z 与m 及p 是相关的。令卅i ，m j ，m ；，m j 分别表示m 的三行，则由式( 2 9 ) 可知z = m ，p 。方便起见，可把式( 2 9 ) 写成 m ，p “= j m 3 1 p ( 2 1 0 ) 研p m ，尸 投影矩阵可以由5 个内参数( 口，卢，v 0 ，0 ) 和6 个外参数( 三个表示旋转r 的 角度，另三个表示平移t ) 的显示表达， m = 口彳一ac o t o r r + 彳 熹e 哼 r l o t t , 一口c o t o t y + “o r 。 盎。w ， ( 2 1 1 ) 其中，7 ，一，分表示r 的三行，t x ，0 ，t 是向量f 的坐标。若r 写成三个撼 旋转的积，则n ( i = l ，2 ，3 ) 可以显示地用三个角表示。 2 1 2 3 透视投影矩阵的性质 本节将讨论何种条件的3 x 4 矩阵m 可以写成式( 2 1 1 ) 的形式。不失一般性， 可以设m = f ab 1 其中a 是一个3 x 3 矩阵，b 是一个三维向量，用d ：表示a 的 第三行。显然，如果m 是式( 2 1 1 ) 的一个实例，则d ：必然是一个单位向点量， 因为它等于一，是旋转矩阵的第三行。注意，对任意a 0 ，用a m 代替m 不影 响图像总的实际坐标。因此在本文中把投影矩阵看成是齐次对象，即只定义到比 例关系这一层。因此我们可以选择适当的比例悉数使k i = 1 。式( 2 1 1 ) 中的z 只 有在m 是这种规范形式时才能理解为p 点的深度。还要注意内参数和外参数的 数目正好对应( 齐次) 矩阵m 的1 1 个自由变量。 我们称可以写成式( 2 1 1 ) 形式的3 4 矩阵为透视投影矩阵，其中的变量为 摄像机的内外参数。在实际应用中，一般对内参数加一些限制，因为前面说过， 其中的一部分参数是已知的。若式( 2 1 1 ) 中的0 = 似，则我们称这个3 4 矩阵 西北n i t 大t ：t b f il ：学位论文 第二章计算机视觉几何理论 为无偏歪透视投影矩阵。可以通过适当的图像坐标系变换，把已知偏歪角度和长 度比的变换转变为无偏歪单位艮度比的变换。 定理l 设m = f ab 1 是一个3 4 矩阵，用a i ( f = i ，2 ，3 ) 表示由a 的最左边3 列构成的矩阵m 的各行。 m 是透视投影矩阵的充要条件是d e t ( a ) 0 。 m 是无偏歪透视投影矩阵的充要条件是d e t ( a ) 0 且( q 。q ) t ( q 。q ) = 0 。 m 是无偏歪单位长度比透视投影矩阵的充要条件是： 。e ，c 爿，。 且 ：三：2 ；：三：耄；：吒。吩) ( 呸。q ) 。 2 2 计算机视觉几何理论基础 计算机视觉的主要研究对象是距离和运动的计算，不难理解视觉计算理论的 基础是几何学和运动学。在熟悉的平面解析几何中所使用的坐标系是直角坐标 系，在立体解折几何中使用的是空间直角坐标系。由于三维景物不是水平地投影 到我们人的视网膜上，所以在计算机视觉中，我们接触更多的是射影几何学，而 不仅仅是平面和立体几何学。因此在研究中，常常需要借助射影几何1 3 , 1 0 ) 来研究 投影等性质。 直角坐标系是指所有的坐标轴都相互垂直的坐标系。般习惯刖o x y 和 o x y z 来分别表示平面直角坐标系和空间直角坐标系，其中0 表示原点，m ，d y ， 晚分别表示各自方向上的坐标轴，称为x 轴，y 轴，z 轴。 空间直角坐标系o x y z 的一种等价表达形式是矢量表达形式。设空间中有点 p ，用r = o p 表示从原点到p 的矢径，则p ( x ，y ，z 1 可以等价表示为： ，= x i + j 矿+ z k ( 2 1 2 ) 其中，f ，j ，k 分别称为0 k ，回，晓的基底( 矢量) 。在空间商角坐标系巾 基底是等长的单位矢量。由此，空间直角坐标系可以等价地极为o ；i ，k j 。 直角坐标系的两个主要特点是坐标轴相互垂直和各坐标轴方向上具有单位 相等的单位矢量。如将这规定放宽到单位矢量是不共面的矢量，而且基底的单位 可以是不同的，就得到了仿射坐标系。 右手坐标系是指i ，j ，k 分别对应右手的手指，拇指向上，食指向前，中 指向左，如图2 5 所示。 点p 的x ，y ，z 坐标定义为向量d p 在向量i ，j ，k 上的正交投影。 工= o p j y = o p j 铮 o p = x i + y j + 舶 z = o p k 西北工h t 大学硕士学位论文 第：章计算机视觉几何理论 列向量尸= 1 r 3 称为坐标系f 巾点p 的坐标向垦。任意一个自由向量的磴标 向量也可以按这种方法定义，即在向量i ，j ，k 上的正交投影，显然这个向量 图2 - 5 右手坐标系及点p 的x ，y ，z 坐标 仿射坐标系是指由不共面的基底所确定的出标系。三维仿射坐标系一般记为 d ；q ，e 2 ，e 3 1 。显然，仿射坐标系与直角坐标系的区别在于： 1 仿射坐标系的基底不要求互相垂直： 2 仿射坐标系的基底不要求等长，更不要求一定是单位矢量。 直角坐标系显然是仿射坐标系的子集。 坐标变换是几何学的主要数学方法之一。许多几何性质都是基于坐标变换导 出来的。空间直角坐标系中的变换包括平移和旋转以及二者的组合。可以证明， 空间直角坐标系中的任何满秩正交变换都不会改变变换前空间上任意两点之间 的距离。因此，可以把这些不改变距离的变换称作等距变换。凡是经过一切等距 变化不变的图形性质称作度量性质；经过一切等距变换不变的几何量称作度量不 变量。研究图形的度量性质和度量不变量的几何学称作欧式几何学。所以在欧式 几何学中的所有变换一定是等距变换。欧式几何中的空间也称为欧式空间。 仿射坐标系上的仿射变换是一个满秩线性齐次变换。该变换不一定是等距变 换或等角变换。与欧式几何的关系类似，凡是经过一切仿射变换不变的图形性质 称作仿射性质，经过一切仿射变换不变的几何量q 做仿射不变量。研究图形的仿 射性质和仿射不变量的几何学叫做仿射几何学。仿射几何中的空间称为仿射空 间。 更进一步，凡是经过射影变换不变的图形性质称作射影性质，经过一切射影 变换不变的几何最称作射影不变量。研究图形的射影性质和射影不变量的几何学 叫做射影几何学。 容易理解，仿射几何学是射影几何学的子集，而欧式几何学是仿射几何学的 子集。 本文中，把相当于眼睛视网膜的成像平i i l f 称为视平面。视平面实际是一个平 面射影空间。因而可以利用射影几何学的原理来描述和计算其，卜点与直线的关 系。更进一步，三维空间中的点，直线和平面的几何关系也都可以通过投影变换 西北j ：业大学颁上学位论文第：章计算机视觉几何理论 后再视平面上作统一解释。 点：n 维剁影空间中的一点，可以用一个”+ 1 维的矢量来表示： = x 。，：；r ，其中，至少有一个坐标不为零。这种表示方法是齐次坐标。 如果点x 和点y 的每+ 个子坐标都满足x = 少( 1 i 月+ 1 ) ，则点和点y 相 等。可以记做y 。当x 。= 0 表示无限远处的点或不可能出现的点。 平面：射影空间中的平而是二维射影空间。一个二维射影空间中的点可以记 为m = 【x ，y ，： 7 。同样，直线也使用i 个坐标来表示。一个点m 在直线f 上，当日 仪当，7 m = 0 。这个方程也可以被解释为直线f 在点m 上。这利，表示的对称性，说 明了在二：维射影空问中，点和直线没有表示的差异，称为对偶性。一条经过点m ， 和，的直线，可以由珊x 聊，得到。也可以被记作： f o w 叫 扛煳2 叫玛l 鸭濮啊l 2 一三x 。ij ” 两条真线的交点由公式2 1 3 的对偶形式确定。通过一个特定点的所有直线的 集合被称为线束。如果f 。和，2 是一个线束，中的不同的直线，则线束，可以被表示 为： z f i + 如，2 ( 2 1 4 ) 其中，只有的比值起作用。 如 三维空间：一个三维射影空间中的点可以被表示为m = i x ，y ，z ，r 。在三 维射影空间中，点的对偶实体是平面，和点的表示形式一样。一个点m 位于平 面兀上，当且仅当： 兀7 m = 0 ( 2 1 5 ) 占线可以看作是两个点的线性组合 m ，+ 如鸩，还可以表示为两个平面的交 集兀n n ，。 变换：二维平面上的变换可以由个3 3 的矩阵表示，和兄表示相问 的变换。点和直线的变换公式分别为： m h m ，日一7 ， 同样的，也存在三维射影空问中的变换，可以用一个4 x 4 的矩阵，表示。点 和平面的变换公式分别为： m t m ，兀7 _ 一7 n 二次曲线：二维射影空间中的二次曲线被定义为满足以下二：次方程的点的集 合： s ( m ) = 埘7 c m = 0( 2 1 6 ) c 是一个3 3 的对称矩阵，二次曲线由5 个参数决定。 西北- l 业人学硕士学位论文 第二二章计算机视觉几何理论 二维射影空问中，点的对偶实体是直线。同样，二次曲线的别偶实体为划偶 _ 1 次曲线( d u a lc o n i c ) 。被定义为满足以下二次方程的直线，的集合： 广c ，= 0 ( 2 1 7 ) c + 也是一个3 3 的对称矩阵。c 。= c 一。 直线和二次曲面有两个交点，包括实数点和复数点。如果这两个交点重合， 直线切寸- 二次曲面。给山切点，可以得到切线，： f c 。聊= c m ( 2 1 8 ) 当点m 沿着二次曲线变化时，点m 的切线，则沿着_ 二次曲线的对偶实体变 化。 二次曲线和二次曲线的对偶实体的变换方程分别为： c 一7 c h 一1 c ”h c h 7 ( 2 1 9 ) ( 2 2 0 ) 二次曲面：三维射影空间中的二：次曲面被定义为满足以卜二次方程的点m 的集合： s ( m ) = m 7 q m = 0( 2 2 1 ) g 是一个4 4 的对称矩阵，有9 个参数。 在三维射影空间中，点的对偶实体是平面。二次曲面的对偶实体是对偶_ 二次 曲面( d u a lq u a d r i c ) 。被定义为满足以下二次方程的平面n 的集合： 兀7 q = 0 ( 2 2 2 ) q + 是一个4 4 的对称矩阵，满足q = q 。 当切点m 沿着二次曲面变化时，切点m 的切面n 则沿着二次曲面的对偶实 体变化。给出切点m ，可以得到叨面丌： 兀= g m( 2 2 3 ) 二次曲面和二次曲面的对偶实体的变换方程分别为： q 7 1 。q 一 9 + 叼+ r 7 ( 2 2 4 ) ( 2 2 5 ) 视平面上的齐次坐标：设直线上建立了坐标系，它上面的任意一点j 口的坐标 是：x = o p 。见图2 - 6 ： 拉止砖扣x 图2 - 6 直线f ：的齐次坐标 西北q k 火学碳上学位论文第二章计算机视觉几何理论 现在引入x 2 ，令j ，恐= x ，。0 ，r a q 只要x l x 。不变，x 也不变，称( 葺，恐) 为 直线上点p 的齐次坐标，x 则称为j l 齐次坐标。同理，假设视平面上建立了直角 坐标系。为方便起见，用o x y 表_ ；该卣角坐标系。考虑其l 的点p 和直线，。不 失一般性，引入三个实数构成的齐次坐标( m 。，：，m 3 ) 和( _ ， ：，鸭) 来分别标记观 平面上的点和直线，并约定： 1 当0 时，齐次坐标( ，：，) 的点表示视平面上的点i ，堡，堕l ； l 3 ，鸭 当鸭= 0 时，齐次坐标( 埘；，m ：，m 3 ) 的点表示视平面上的一个无穷远点或不能出现 的点。 2 当v l i 0 或n ：0 时，齐次坐标( n 。， 2 ，n 3 ) 对应视平面l 的直线 月l x + n 2 y 十 3 f = 0 ；当月l = 2 = 0 时，齐次坐标( ，r 2 ，, 3 ) 对应视平面上的一条无 穷远直线，或不能在视平面上出现的直线。 n 矢量： 定义1 ：设( d ，6 ) 为视平酊上的点，称 r 日1 一志ib ，l q 2 6 ) 为点( a ，6 ) 的归化矢量或矢量( 以下，归一化矢量啪简称为欠量m ) 。 定义2 设舢+ 跏+ c = 0 为视平面上的直线，称 1f爿 , = 1 三一1 b ( 2 2 7 ) 4 ：+ b 2 + ( c ，) 2 【c 厂j 为直线一x + 毋+ c = 0 的归一化矢量或矢量( 以下，归化矢量n 简称为欠 量 ) 。 点的n 矢量也记为m = ( 卅1 ，m ：，m 3 ) 7 ，同理，直线的也记为n = ( h l ，n ：，) 7 。 易i 正，无限远点的矢量是m ，= 0 的单位矢量，无限远直线的矢量是啊= n ，：0 的单位欠量。 由点的投影成像关系以及视平面上点的矢量定义不难发现在视觉坐标系 中，矢量具有以下一些性质。 定理l ：视平面上的点p 的矢量m 是由视点0 指向空问中的p 点的单位矢 量。同理，将空间投影关系代入直线方程有 ，x + n 2 y + 力：z = 0 ( 2 2 8 ) 从而有 定理2 ：视平面上的直线f 的矢量n 是由视点0 与直线f 所决定的平而的单 位法矢尽。 定义3 ：一条空间直线上的无穷远线索集在视平面上所形成的收敛点称为消 西j e ：e , j k 大学硕士学位论文 第一：章计算机视觉几何理论 失点( v a n i s hp o i n t ) 。一个空问平面的无穷远面素集在视平面上所形成的收敛线称 为消火线。 在视觉坐标系巾，矢量不仅u 丁以片j 来代表射线的方向和平而的法线方向， 而丑也可以用来说明消失点利消失线。 定理4 ：方向或单位矢量为m 的空间直线在视平面上形成的投影直线的消失 点的矢最是朋。 推论1 ：空间中相互平行的直线族在视平面有相同的消失点。 类似地对空间平面有 定理5 ：单位法向量为”的空间平面在视平面上形成的投影的消失线的矢 量是月。 定理5 说明消失线的矢量与平面在空间中所处的位置无关，从而有如下 推论。 推论2 空间中相互平行的平面族在视平面有相同的消失线。 综上所述，如果空间直线在视平面上的消失点能够被确定的话，则其三维方 向就可以确定；同理，如果视平面上的消失线能够被确定的话，则所对应三维空 间中的平面