(计算机应用技术专业论文)基于点特征从运动恢复三维形状.pdf_第1页
(计算机应用技术专业论文)基于点特征从运动恢复三维形状.pdf_第2页
(计算机应用技术专业论文)基于点特征从运动恢复三维形状.pdf_第3页
(计算机应用技术专业论文)基于点特征从运动恢复三维形状.pdf_第4页
(计算机应用技术专业论文)基于点特征从运动恢复三维形状.pdf_第5页
已阅读5页,还剩60页未读 继续免费阅读

(计算机应用技术专业论文)基于点特征从运动恢复三维形状.pdf.pdf 免费下载

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

摘要西北工业大学硕士学位论文 摘要 从运动恢复三维形状是通过序列图像获取物体深度信息的一种技术。它是 计算机视觉研究领域内的前沿课题之一,具有广泛的应用前景。 本文在国家自然科学基金的资助下,针对摄像机为透视投影模型,重建的 场景为刚体的情况,研究了从未标定的序列图像中,以点作为特征基元,恢复 场景三维形状的问题。 要恢复场景三维形状,首先必须建立序列图像之间的联系。其中包括特征 点的提取,特征点的匹配以及基本矩阵的估计。为了减少错误匹配和提高基本 矩阵估计的精度,本文提出了同时计算特征点的匹配和估计基本矩阵的新方 法。 其次,利用简化的k r u p p a 方程进行摄像机自标定,估计摄像机内参数矩 阵,降低了人机交互的可能性。 最后,利用矩阵分解的方法和三角形法建立了场景的三维模型。通过实际 图像的仿真实验,表明了本文方法的有效性。 关键字:从运动恢复三维形状,匹配,基本矩阵,自标定 兰生坚竺一 堕j ! 三些盔堂堕主兰竺堡苎 。-_。_-,一1。1 a b s t r a c t s h a p e f r o mm o t i o ni st h e t e c h n o l o g y o f o b t a i n i n g t h e d e p t h i n f o r m a t i o no fs c e n e f r o m i m a g es e q u e n c e s a so n eo ft h em o s t c h a l l e n g i n gp r o b l e m s i n c o m p u t e rv i s i o n ,i tc a nb e u s e dt ov a r i o u s a p p l i c a t i o n s t h i s p a p e r ,f i n a n c e db yn a t i o n a ln a t u r es c i e n c ef u n d ,a d d r e s s e s t h e p r o b l e m o f e s t i m a t i n g c a m e r a st h r e e - d i m e n s i o n a l m o t i o na n d r e c o v e m n g s c e n es t r u c t u r ef r o mm o t i o nb a s e d o n p o i n t s w i t h u n c a li b r a t e ds u c c e s s i v e i m a g e s a s l o n g a sap r o j e c t i v ec a m e r aa n da r i g i dr e e o n s t r u c t i o ns c e n ea r ed e f i n e d t or e c o v e rs c e n e s t r u c t u r ef r o m m o t i o n ,f i r s t l y t h er e l a t i o n b e t w e e n s e q u e n t i a li m a g e sm u s t b es e t u pt h r o u g ht h r e e s t e p s a s f e a t u r e p o i n t e x t r a c t i o n ,c o r r e s p o n d i n gm a t c h i n g a n de s t i m a t i o no f f u n d a m e n t a lm a t r i c e s 。am e t h o dt o e s t i m a t e i m a g ec o r r e s p o n d i n ga n d f u n d a m e n t a lm a t r i c e ss i m u l t a n e o u s l yi sp r e s e n t e d ,w h i c hr e d u c e sw r o n g c o r r e s p o n d m g s a n d i m p r o v e sa c c u r a c y o fe s t i m a t e d f u n d a m e n t a l m a t r i c e s s e c o n d l y , i td e t e r m i n e st h e c a m e r a si n t r i n s i c c a l i b r a t i o n p a r a m e t e r s w i t ha s i m p l e f o r mo ft h e k r u p p ae q u a t i o n s ( s e l f c a l i b r a t i o n ) ,w h i c hr e d u c e st h ep o s s i b i l i t yo fh u m a ni n v o l v e m e n t f i n a l l y ,ae u c l i d e a ns c e n er e c o n s t r u c t i o ni ss e t u pu s i n gm a t r i x d e c o m p o s i t i o nm e t h o da n dt r i a n g u l a t i o nm e t h o d 。i ts h o w se x p e r i m e n t a l r e s u l t st od e m o n s t r a t et h ee f f e c t i v e n e s so ft h e p r o p o s e dm e t h o d s k e y w o r d s : s t r u c t u r ef r o m m o t i o n ,c o r r e s p o n d i n g ,f u n d a m e n t a l m a t r i x ,s e i f c a l i b r a t i o n i i 绪论 西北工业大学硕士学位论文 1 1 本文的研究意义 第一章绪论 在照相机,摄像机发明之后,人们获取了大量关于周围环境的二维图像信 息。但是二维图像的获取过程中,去掉周围环境的深度信息,得到的图像对于 客观几何世界的描述是不完整的。于是,获取现实世界中物体的三维模型成为 新的需求。对应于照相机,摄像机等二维信息获取设备,人们发明了激光扫描 仪( 1 a s e rs c a n n e r ) ,s t e r e or i g 等硬件设备,可以直接获取场景的三维形 状信息,获取的三维数据的精度相当高。在一定程度上缓解了对于三维模型的 需求。 但是,这些三维模型获取设备有难以克服的缺点。 1 相对于二维信息获取设备,比较昂贵,不是任何人都可以拥有的: 2 操作复杂。都使用专业的硬件设备和配套的软件,需要专业人员去操 作: 3 有应用范围限制。有的三维获取设备在使用前,需要标定。但不是所有 的应用环境都可以做标定,例如深海作业的机器人的视觉系统; 4 不适用于大型场景的三维模型的获取。例如城市的三维重建。 以上这些三维信息直接获取设备的不足之处,促使人们采用新的思路来获 取周围世界的三维模型。人们注意到,可以使用计算机视觉的方法从序列图像 或视频中获取场景的三维模型。研究人员提出了一些相应的算法,但对于所要 解决的问题而言,结果不能令人满意。 近年来,在三维模型的应用方面,重心发生了变化。传统的三维重建应用 领域如机器人视觉系统,导航。对于这些应用,稀疏的重建结果可以满足要 求。当前新出现的需求方向有:虚拟现实,计算机图像学,通讯。这些需求要 求有真实感,高质量的三维重建。原有的方法还不能满足这些应用的需求。 综上所述,现有三维信息获取设备的缺点和新的需求方向的出现急需新的 方法,新的思路。本文针对以上这些需求做了探讨。所以,本文从序列图像中 恢复场景三维形状的研究很有现实意义。 1 2 从运动恢复三维形状概述 从序列图像中恢复场景三维形状的研究内容包括:特征基元提取,特征基 元匹配,摄像机标定和自标定,三维重建,稠密匹配,纹理提取等 1 。所有的 这些研究都在m a r r 视觉理论框架内。 三维重建是对特征基元进行重建。常用的特征基元包括:点,直线,线 段,二次曲线 3 5 】。研究人员对以上的特征基元发展了不同的三维重建方法。 点作为特征基元是最通用,最基本的。原理上,如果点可以重建出三维形状, 绪论 西北工业大学硕士学位论文 由于别的特征基元都由点组成,别的特征基元也可以重建出三维形状。直线, 线段作为特征基元,做三维重建在计算上有优势,但应用场合被限制到人工场 景。 摄像机模型是对实际摄像机效果的抽象。由于摄像机模型的不同,三维重 建的方法有相应的差异。计算机视觉中常用的摄像机模型有: 1 透视投影模型 2 正投影 3 弱透视 4 平行透视 透视投影晟接近于实际摄像机,别的摄像机模型是对透视投影摄像机模型 的简化,有适合的应用范围。研究人员对不同的摄像机模型发展了相应的三维 重建方法。透视投影摄像机三维重建需要做标定过程。正投影,弱透视和平行 透视摄像机都属于仿射摄像机,它们的三维重建可以不做标定。仿射摄像机情 况下的重构方法由c t o m a s i 和t k a n a d e 提出 9 。 透视投影摄像机需要做标定。早期的标定过程需要已知几何关系的参考 物。近年来,研究人员研究直接从序列图像中估计摄像机的内参数,主要有三 个思路 2 0 : 1 m a y b a n c k 和f a u g e r a s 提出的基于k r u p p a 方程的方法 1 2 ; 2 h a r t l e y 提出的基于标定矩阵线性约束的方法: 3 t r i g g s 提出的直接求解二次曲面的方法 3 2 3 。 这些自标定方法都和绝对二次曲线有关。 从运动恢复三维形状的基本方法自h c l o n g u e t h i g g i n s 2 i 提出后,研究 人员提出了大量的改进方法。这些方法可以分为四类 3 7 : 1 非线性优化的方法; 2 融合k a l m a n 滤波的方法: 3 射影重建的方法: 4 基于不变量的方法。 1 3 本文的研究背景 虽然人们已经进行了广泛而深入的研究,从运动恢复场景三维形状仍然是 面临巨大挑战的课题。 首先,虽然已经提出了各种各样的匹配算法,但是,没有一个匹配方法能 够对所有序列图像都取得良好的效果。也没有发现哪一种序列图像可以在所有 的匹配方法下都有同样的结果。所有基于匹配的计算机视觉系统都对匹配过程 有很高的要求,误匹配的出现使得自动的三维重建任务很难完成。匹配方法成 为计算机视觉的一个难点。 其次,摄像机自标定问题虽然已经提出一些方法e 2 0 ,但是这些方法的计 算都对输入的数据有很高的精度要求。通用的自标定方法不能使用解析式表 达,需要使用非线性优化,非线性优化带来的计算难度不可避免。特殊情况下 的自标定方法可能可以使用解析式表达,但应用范围有限制。 西北工业大学硕士学位论文 最后,欧式重建建立在前面所有参数精确估计的基础上。由于图像成像过 程中,丢失了深度信息,重建问题本身是病态的。三维重建过程中,需要估计 的参数过多,大量的参数估计导致误差不断增大,积累到最后重建阶段,重建 的结果完全没有几何意义。 基于上述这些考虑和本教研室在计算机视觉方面已有的一些研究成果,我 们决定在这一领域进一步做些工作。这项课题的资助来源是国家自然科学基 金:三维表面形状被动重构方法研究,编号6 0 1 4 1 0 2 。 1 - 4 本文的研究内容 本文需要解决的具体问题是:在个静态刚体场景中,使用一个未标定的 摄像机,假定摄像机内参数在拍摄过程中不发生变化,在场景的不同位置拍 摄,得到场景的序列图像;以场景的二维序列图像作为输入,通过计算,恢复 出摄像机的运动参数( m o t i o n ) 和场景的三维形状信息( s t r u c t u r e ) 。摄像机 运动参数包括平移矢量和旋转矩阵。场景的三维形状信息用几百个稀疏的空问 点表示。 本文选择点作为场景恢复的基元,原因是点比较通用,任何场景都可以用 点来表示。直线,线段和二次曲线多存在于人工的场景中,应用受到了限制。 本文针对所提出的问题,研究的算法包括: 在提取特征点方面,研究了角点( c o r n e rp o i n t ) 检测器。通过分析序列 图像的运动模型,使用适合匹配算法的检测器提取特征点。考虑三维重建需要 很高的位置精度,使用二次曲线拟合得到半像素精度的特征点位置。 在匹配方面,研究了结合相关技术和约束的方法。这里使用了极线约束, 把匹配过程的二维搜索范围减小为一维搜索范围。 在基本矩阵估计方面,研究了基于随机采样技术的鲁棒估计。考虑到匹配 过程和基本矩阵估计的联系,提出把匹配过程和基本矩阵估计过程结合起来的 方法。 在摄像机自标定方面,假定摄像机内参数不发生变化,研究了k r u p p a 方程 自标定的方法。使用简化k r u p p a 方程来估计摄像机内参数。 在欧氏重建方面,研究了对本质矩阵分解的方法来估计运动参数,使用三 角形法来恢复场景点的位置。研究了对基本矩阵分解来恢复射影重建。 表1 1本文的主思路 算法输入输出 提取特征点序列图像特征点 匹配特征点匹配点对 估计基本矩阵匹配点对基本矩阵 自标定基本矩阵摄像机内参数矩阵 欧氏重建匹配点对,基本矩阵,运动参数,场景点位 摄像机内参数矩阵置 本文的主要内容分为六章,安排如下 绪论西北工业大学硕士学位论文 第一章介绍从运动恢复三维形状基本概念,发展过程和所面临的挑战,指 出本文的研究背景和主要研究内容。 第二章介绍计算机视觉计算理论的算法基础。内容包括:射影几何,透视 投影摄像机模型,透视投影的各种线性近似。 第三章介绍序列图像之间的联系。内容包括:提取特征点,匹配,基本矩 阵的估计。提出了一个结合匹配过程和基本矩阵估计的算法。 第四章介绍摄像机自标定的算法。包括经典k r u p p a 方程和简化k r u p p a 方 程。使用简化的k r u p p a 方程估计摄像机内参数矩阵。 第五章介绍了摄像机运动参数的估计,投影矩阵的获取,场景三维点的恢 复。 第六章是全文的总结与展望。 4 计算机视觉算法基础 西北工业大学硕士学位论文 第二章计算机视觉算法基础 本章介绍计算机视觉的算法基础,为以后章节的展开做一个铺垫。内容包 括: 1 射影几何e 3 4 ; 2 透视投影摄像机模型 3 5 : 3 透视投影的各种线性近似。 2 1 射影几何基础 从运动恢复三维形状是计算机视觉研究的子领域。计算机视觉的主要研究 对象是距离和运动。不难理解视觉计算理论的基础涉及几何学。平面解析几何 和立体解析几何是大家所熟知的。但是在计算视觉中,接触更多的是射影几何 学,而不仅仅是平面和立体几何学。这是因为三维景物不是水平的投影到视网 膜上,而是经过晶状体投射到视网膜上。因此,需要借助于射影几何来研究投 影等性质。 坐标系,仿射几何: 直角坐标系的两个特点是坐标系相互垂直和各坐标轴方向上具有单位相同 的单位矢量。空间直角坐标系可以记为 o :i ,j ,k 。 如果把这两个规定放宽一些,就可以得到仿射坐标系。所谓仿射坐标系是 指由不共面的基底所确定的坐标系。三维仿射坐标系一般记为 0 :e 1 ,e 2 ,e 3 。 仿射坐标系和直角坐标系的区别在于: 1 ,仿射坐标系的基底不要求相互垂直; 2 ,仿射坐标系的基底不要求等长,更不要求一定是单位矢量。 十分明显,仿射坐标系包含直角坐标系。换句话说,直角坐标系是仿射坐 标系的子集。 坐标变换是几何学的主要数学方法之一。许多几何性质都是基于坐标变换 导出来的。空间直角坐标系中的变换包括平移和旋转以及二者的组合。可以证 明,空间直角坐标系中的任何满秩正交变换都不会改变变换前空间上任意两点 之间的距离。因此,可以把这些不改变距离的变换称作等距变换。在欧式几何 学中的所有变换一定是等距变换。仿射坐标系上的仿射变换是一个满秩线性齐 次变换。该变换不一定是等距变换或等角变换。凡是经过一切仿射变换不变的 图形性质称作仿射性质,经过一切仿射变换不变的几何量叫做仿射不变量。研 究图形的仿射性质和仿射不变量的几何学叫做仿射几何学。 更进一步,凡是经过射影交换不变的图形性质称作射影性质,经过一切射 影变换不变的几何量称作射影不变量。研究图形的射影性质和射影不变量的几 何学叫做射影几何学。 计算帆视觉算法基础西北工业大学硕士学位论文 容易理解,仿射几何学是射影几何学的子集,而欧式几何学是仿射几何学 的子集。 可以把相当于眼睛视网膜的成像平面称为视平面。视平面实际是一个平面 射影空间。因而可以利用射影几何学的原理来描述和计算其上点与直线的关 系。更进一步,三维空间中的点,直线和平面的几何关系也都可以通过投影变 换后再视平面上作统一解释。 点: 一个n 维射影空i n 中的点,用一个n + l 维的矢量来表示, = h ,x z z r ,其中,至少有一个坐标不为零。这种表示方法是齐次坐 标。如果点x 和点y 的每一个子坐标,都满足一2 砂r ( i s f n + 1 ) ,则点x 和点y 相等。可以记做x y 。无限远处的点可以被表示为x w2 0 。 平面: 射影空间中的平面是二维射影空间。一个二维射影空间中的点可以记为 m 2 x ,y ,z 2 。同样,直线也使用三个坐标来表示。一个点m 在直线l 上,当切 仅当,。= 0 。这个方程也可以被解释为直线l 在点m 上。这种表示的对称 性,说明了在二维射影空间中,点和直线没有表示的差异,称为对偶性。一条 经过点“i 和m :的直线l 可以由m l 。删z 得到。也可以被记作: l 0 w iy 1 l ,= m i m 2 = m 1 。m :,其中【m 。】。= | _ w 1 0 工1 i 2 1 ly 。一一0j 两条直线的交点由公式2 1 的对偶形式定。通过一个特定点的所有直线被 称为线束。如果,和o z 是一个线束1 中的不同的直线,则线束1 可以被表示 为: , ,l + a 2 2 2 22 生 其中,只有 2 的比值起作用。 三维空间: 一个三维射影空间中的点可以被表示为m = i x ,y ,z ,矽】。在三维射影空间 中,点的对偶实体是平面,和点的表示形式一样。一个点m 位于平面n 上,当 切仅当: 兀7 m = 0 2 3 直线可以看作是两个点的线性组合 m t + 五z m z ,还可以表示为两个平面的 交集n i 兀2 。 变换: 二维平面上的变换可以由一个3 3 的矩阵h 表示,t t 和m a r 表示相同的变 计算机视觉算法基础 两北工业大学硕士学位论文 换。点和直线的变换公式分别为: h m ,1 h 一7 , 同样的,也存在三维射影空间中的变换,可以用一个4 4 的矩阵t 表示。 点式和平面的变换公式分别为: m t m ,兀f 。n 二次曲线: 二维射影空间中的二次血线被定义为满足以下二次方程的点m 的集合: s ( ) = m 1 c m = 09 d c 是一个3 3 的对称矩阵,二次曲线由5 个参数决定。 二维射影空间中,点的对偶实体是直线。同样,二次曲线的对偶实体为对 偶二次曲线( d u a lc o n i c ) 。被定义为满足以下二次方程的直线1 的集合: l t c 。z = 0 25 c 也是一个3 3 的对称矩阵。c = c 。 直线和二次曲面有两个交点,包括实数点和复数点。如果这两个交点重 合,直线切于二次曲面。给出切点,可以得到切线l : z c 7 m = c ,” 2 6 当点m 沿着二次曲线变化时,点m 的切线l 则沿着二次曲线的对偶实体变 化。 二次曲线和二次曲线的对偶实体的变换方程分别为: c h 一7 c h 一1 c ”h c h 7 2 7 2 8 二次曲面: 三维射影空间中的二次曲面被定义为满足以下二次方程的点m 的集合: s ( m ) = m 1 q m = 09o o 是一个4 4 的对称矩阵,有9 个参数。 在三维射影空间中,点的对偶实体是平面。二次曲面的对偶实体是对偶二 次曲面( d u a lq u a d r i c ) 。被定义为满足以下二次方程的平面n 的集合: n 1 q = 0 ,1 n q + 是一个4 4 的对称矩阵,满足q + = q 。 当切点m 沿着二次曲面变化时,切点m 的切面n 则沿着二次曲面的对偶实 体变化。给出切点m ,可以得到切面兀: = q m 2 】 二次曲面和二次曲面的对偶实体的变换方程分别为: q r _ r q 丁。 q + 砸+ 丁7 2 1 2 2 1 3 视平面上的齐次坐标和n 矢量: 设直线上建立了坐标系,它上面的任意一点p 的坐标是:x = o p 。见图 2 1 : 7 计算机视觉算法基础西北工业大学硕士学位论文 图2 1 直线上的齐次坐标 现在引入x 2 ,令x 1 。22 x ,。2 0 ,则只要:屯不变,j 也不变,称,。2 ) 为直线上点p 的齐次坐标,x 则称为非齐次坐标。同理,假设视平面上建立了 直角坐标系。为方便起见,用删表示该直角坐标系。考虑其上的点p 和直线 ,。不失一般性,引入三个实数构成的齐次坐标t 辨l ,m 2 ,掰,和, r 2 ,“,j 来分别 表记视平面上的点和直线,并约定: l ,当m 3 0 时,齐次坐标( m ,:,m ,) 的点表示视平面上的点( 丝,f m 2 ) ;当 州3历3 m ,= 0 时,齐次坐标,m ,n l ,) 的点表示视平面上的一个无穷远点或不能出 现的点。 2 ,当啊0 或疗:0 时,齐次坐标 ,n :,i , i ,) 对应视平面上的直线 n l x + r t 2 y + n ,厂= o ;当= 1 , 1 2 = 0 时,齐次坐标( 啊,1 t 2 ,n 3 ) 对应视平面上的一 条无穷远直线,或不能在视平面上出现的直线。 定义l :设旧,剀为视平面上的点,称 m = 焘b 一面菰带l 为点( 口,6 ) 的归一化矢量或n 矢量( 以下, 州) 。 2 1 4 归一化矢量所简称为矢量 定义2 :设血+ 缈+ c 20 为视平面上的直线,称 。:! 一f 曰a 4 2 + 丑2 + ( c7 ,) 2 l c ,厂j 2 1 5 为直线血+ 缈+ c 2o 的归一化矢量或矢量( 以下,归一化矢量n 简称为 矢量拧) 。 点的矢量也记为州= ( ,m z ,m ,y ,同理,直线的也记为”2 ( 一,以z ,”,) j 。 易证,无限远点的n 矢量是卅,2o 的单位矢量,无限远直线的n 矢量是 啊2 t 1 22 0 的单位矢量。 由点的投影成像关系以及视平面上点的n 矢量定义不难发现在视觉坐标系 中,n 矢量具有以下一些性质。 定理l :视平面上的点p 的n 矢量m 是由视点d 指向空间中的p 点的单位 矢量。同理,将空间投影关系代入直线方程有 n , x + 以2 l ,+ 九3 z = 0 2 1 6 从而有 定理2 :视平面上的直线z 的n 矢量n 是由视点0 与直线,所决定的平面的 计算机视觉算法基础 西北工业大学硕士学位论文 单位法矢量。 定义3 :一条空间直线上的无穷远线素集在视平面上所形成的收敛点称为消 失点( v a n i s hp o i n t ) 。一个空间平面的无穷远面素集在视平面上所形成的收敛 线称为消失线。 在视觉坐标系中,矢量不仅可以用来代表射线的方向和平面的法线方 向,而且也可以用来说明消失点和消失线。 定理4 :方向的单位矢量为m 的空间直线在视平面上形成的投影直线的消失 点的矢量是m 。 推论1 :空间中相互平行的直线族在视平面有相同的消失点。 类似地对空间平面有 定理5 :单位法向量为”的空间平面在视平面上形成的投影的消失线的矢 量是 。 定理5 说明消失线的矢量与平面在空间中所处的位置无关,从而有如下 推论。 推论2 空间中相互平行的平面族在视平面有相同的消失线。 综上所述,如果空间直线在视平面上的消失点能够被确定的话,则其三维 方向就可以确定;同理,如果视平面上的消失线能够被确定的话,则所对应三 维空间中的平面法线方向就可以确定。更进一步,空间中直线的方向和平面的 法向方向可以由其消失点与消失线的矢量直接得到。这就是点与直线 ,矢量 的物理意义。 平面对偶原理: 在射影几何学中,点与直线是其研究的基本元素, 定义4 :归一化算子n 由下式定义 州“ 。砩u 其间存在对偶性。 2 1 7 其中,| | - l | 是欧几里德范数。由此定义,在视平面上求两条直线的交点或过 两个给定点的直线就可以由以下定理计算。 定理6 :设视平面上矢量为n 的直线,与矢量为n 的直线,的交点为 p ,则p 的矢量肌由下式给定 埘= n n 】 2 1 8 证明:由定义,h 所决定的空间平面5 过视点0 和直线,n 所决定的空间 平面s 过视点0 和直线f r ,因而两平面都通过视点0 。 又由已知,p 点是,和,的交点,从而p 点既在s 平面上,也在s7 平面上, 由于0 与p 不共点,因此s 平面与s 平面的交线过点0 和p 。 再由线的矢量的几何意义有,n 上o p 和n7 上o p ,因而p 的矢量珊的 方向为n n 。考虑归一化运算即得( 2 1 8 ) 式的关系。 定理7 :设视平面上点p 和p 的矢量分别为m 和m ,过点p 和p 的直线 为z ,则f 的矢量月由下式决定: n = u m m 证明:由点的矢量的几何意义知,l 表示点p 的三维方向 2 1 9 m 表示点p , 计算机视觉算法基础 西北工业大学硕士学位论文 的三维方向。换句话说,”表示直线o p 的方向,聊表示直线o p 7 的方向,因 为0 p 和0 p 都在s 平面上,从而有n j _ m 和nj _ 肼,又d p 与d 尸不平行,由 矢量积的关系有”= n m ,l ”。 平面对偶原理:如果平面射影几何的一个定义存在,则其对偶定义也一定 存在:如果一个命题或定理成立,则其对偶命题或定理也一定成立。 平面对偶原理将点线的个性进行了封装,使得求取视平面上直线的交点和 过两点的直线非常地方便。在以后的章节里,这个性质得到了很好的应用。 2 2 透视投影摄像机模型 2 2 1 常用坐标系 图像坐标系 摄像机采集的图像经过数模转换变换成数字图像,每幅数字图像在计算机 内为村x n 数组。在图像上定义直角坐标系“,r ,每一象素的坐标( “,分别是 该象素在数组中的列数和行数,所以,( “,v ) 是以象素为单位的图像坐标系。 成像平面坐标系 由于图像坐标系只表示象素位于数组中的列数和行数,并没有用物理单位 表示出该象素在图像中的位置,因此,需要建立使用物理单位表示的图像坐标 系,即成像平面坐标系。如图2 2 所示,该坐标系以图像内某一点u 为原点, x 轴和y 轴分别与u ,v 轴平行。怛,w 表示以象素为单位的图像坐标系的坐标; 【工,y j 表示以毫米为单位的成像平面坐标系的坐标。原点u l 定义在摄像机光轴 与图像成像面的交点。成像平面坐标系和图像坐标系之间存在一个线性变换, 使用齐次坐标来表示: 1 0 计算机视觉算法基础 西北工业大学硕士学位论文 i = 【制 其中,【一】是一个和摄像机内参数有关的矩阵。 】= 1 0 c , p j 0 1 c 。 p , 。 o01 2 2 0 其中,n 是摄像机象素的宽度,p ,是摄像机象素的高度,。,是主点的x 坐 标,。,是主点的y 坐标。主点是摄像机主轴和成像面的交点。 摄像机坐标系 摄像机成像几何关系可由图2 3 表示,其中c 点称为摄像机的光心,x 轴和 y 轴分别与图像的x 轴和y 轴平行,z 轴为摄像机的光轴,它与图像面垂直。光 轴与图像平面的交点为成像平面坐标系的原点。由点c 与x ,y ,z 轴组成的直 角坐标系称为摄像机坐标系。c p 为摄像机焦距。 x 图2 3 摄像机坐标系 摄像机坐标系和成像平面坐标系之间存在一个线性变换: ;i x l , z 1 2 2 l 世界坐标系 由于摄像机可安放在环境中的任何位置,可以选择一个基准坐标系来描述 o ,o ,o o l 一z = 1;j x y l l 计算机说觉算法基础 西北工业大学硕士学位论文 摄像机的位置,并用它描述环境中任何物体的位置,称为世界坐标系。摄像机 坐标系和世界坐标系之间的关系可以用旋转矩阵r 与平移矢量t 来描述。 2 2 2 透射投影模型 摄像机模型研究如何把三维空间中场景上的点和数字图像中的点联系起 来。在大部分应用环境中可以用理想的透视投影模型( 针孑l 模型) 来近似实际 摄像机。针孔模型的几何关系就是透视投影。 最简单的投影方程是公式2 2 1 ,考虑了焦距对成像的影响。但是假设了基 准坐标系和摄像机坐标系重合,并且不考虑摄像机内部参数的影响。 摄像机内部参数 在摄像机成像过程中,图像坐标和成像面的实际物理坐标是不一致的。这 两个坐标之间的关系取决于摄像机象素的大小和形状以及摄像机内c c d 芯片所 处的相对位置。考虑的因素有: 1 图像坐标系的原点不一定与光轴和图像平面的交点( 即主点) 重合; 2 图像坐标系中两坐标轴的单位由实际设备的采样率决定,它们不一定相 同: 3 图像坐标系中两坐标轴不一定成直角; 图2 4 摄像机的内参数,图像平面上的坐标变换 如果考虑以上因素的影响,得到了一个矩阵a 悼u _ 捌 l tjl j 1 0 c , p , 0 1 c y p , o01 其中, u ,v ,l 】是图像坐标系中的点的齐次坐标,i x ,y l 】是成像面坐标系中点 的齐次坐标。 计算机视觉算法桀础 西北工业大学硕士学位论文 因为a 矩阵中所有的参数只和摄像机的内部参数有关,同时,透视投影模 型2 2 1 中,也有摄像机的内部参数焦距的影响,可以把所有的摄像机内参数放 到一起考虑。得到了一个矩阵k ,这样,考虑摄像机外部参数时( 摄像机的位 置和方向) ,就可以不用理会摄像机的类型( 由摄像机内参数决定) 。 摄像机的内参数矩阵k : ;1 = 料 p x o o 2 2 2 f 是焦距,p ,和p ,分别是象素的宽度和高度,口是摄像机象素的倾斜角, 。2 c x , c y , 1 是主点。这里,【u ,v 1 是图像坐标系中的点的齐次坐标,而 x ,y ,l 】是 归一化后成像面坐标系中点的齐次坐标,注意这里采用的标记方法和成像面坐 标系相同,但归一化的坐标考虑了焦距的影响。以后,如果不做特殊说明,本 文采用i x ,y a 表示归一化后的成像面坐标。 上上 因为只有比例以和岛重要, 2 2 3 其中,s 表示了图像坐标系中u 轴和v 轴是否为垂直,如果象素是方形的 ( 大部分c m o s 和c c d 摄像机满足这个条件) ,则s = 0 。如果象素为正方形, 则jz = 几。可以得到一个简化的摄像机内参数矩阵: , o c , k = j0 厂c ,j 1 0 0l j 一般情况下,主点。r 和。,都位于图像的中心。这些知识可以用来求解摄像 机内参数时,作为一个估计值。 公式2 2 3 中的i x ,y ,l 】称为归一化的图像坐标。这时,归一化的图像坐标和摄 像机坐标之间的坐标变换关系简化为: r 工 i - 1 00 z j y i = io o 1 1 儿0 01 2 2 4 可见,对于归一化的图像坐标而言,透视投影的摄像机焦距为1 。在许多文 献的公式中,假设焦距为l ,其推导过程中使用的都是归一化的图像坐标。在 已知摄像机内参数的情况下,可以利用公式2 2 3 ,将归一化的图像坐标转换成 “ o , 厂一n 上即o 0 助q q 。 方 则s 厂。 化 简, ,厂o o 以l 乙 j叫训业 汁算机视觉算法基础西北工业大学硕上学位论文 实际的 公式2 2 4 是考虑了摄像机内部参数情况下的透视投影方程。 摄像机内参数的获得可以通过察看摄像机生产厂商的说明书,标定或自标 定而获得。本文在摄像机自标定一章来讨论如何获得摄像机内参数。 摄像机外部参数 公式2 2 3 和公式2 2 4 说明了图像坐标和摄像机坐标之间的关系,即在摄像 机坐标系的一个空间点m 如何被透视投影模型投影到图像的一个象素上。如果 采用世界坐标系来描述空间点m ,可以得到以下关系: m 。= 淞 静车 = 瞄 2 2 5 公式描述了世界坐标系和摄像机坐标系之家的关系。其中r 是一个3 x 3 的 正交矩阵,描述了欧式空间中的旋转变换,t 是一个平移矢量,描述了两个坐标 系原点之间的位移。这个公式的几何意义是:先在世界坐标系下做一个r 描述 的旋转变换,然后再做一个t 描述的平移变换,即可以得到摄像机坐标系。 r 和t 被称为摄像机的外参数。r 矩阵为3 3 ,9 个参数,但是只有3 个自 由度,t 是一个3 x l 的矢量,3 个自由度。 通过公式2 。2 2 ,2 2 4 和公式2 ,2 5 ,得到了使用世界坐标系描述的空间点m 和图像象素坐标系的投影关系: 0 乌l j 厂0 0 1 0 1 0f0 :i o ot = 峰y = 鼢 2 2 6 m 一完全有n ,a y ,。x 和。,决定,由于玑,a y ,。x 和。,只与摄像机内部结 构有关,称这些参数为摄像机内参数;m :完全由摄像机相对于世界坐标系的方 位决定,称为摄像机外部参数,确定某一个摄像机的内外部参数,成为摄像机 定标。 p 矩阵完全表述了一般情况下的透视投影关系。p 矩阵被称为摄像机投影矩 阵。 2 2 3 摄像机投影矩阵 简写公式。:。,得到了z c i = 硝,这里,是一个,。的矩阵。,完全描 4 弘非 g 弓o 够o 心p = f * 黔 ,l 一b o o = m 乏 计算机视觉算法基础西北工业大学硕士学位论文 数。不考虑z c 的影响,p 的所有参数可相差一个尺度,因此只有1 1 个独立参 量。 记丹为p 中第i 行第j 列的元素,消去尺度因子z - ,得到 p 1 1 x 。+ p l2 瓦+ p 1 3 z 。+ p 1 4 p 3 i z 。+ p 3 2 y w + p 3 3 z 。+ p 3 4 22 7 。:旦! ! 墨! 旦望当旦望兰! ! 丝 p 3 t x 。+ p 3 2 匕+ p 3 3 z 。+ p 3 4 2 2 8 上两式可用于标定摄像机。如果有六个以上的像点和三维点的对应就可求 出p ,然后从p 中分解出内外参数。这方面的内容就不详述了。 根据p 还可以求出光心c 在世界坐标系中的坐标。令p = bb ,其中b 为 陋6 1 。i = 0 3 3 矩阵,b 为三维列向量。显然有p c = 0 ,即 l 1j ,故有: c = 一曰一b 2 2 9 根据p 和一个像点m 可以得到空间中的一条射线,该射线由光心c 和m 决 定,并且其上的所有点都透视投影为m 。这条射线的参数方程为 m = b 。( - b + 翩) ,其中九为任一正实数。 2 3 透视投影的线性近似 从上节的讨论可以知道,透视投影实际是一个非线性映射。这在实际求解 时可能需要大的计算量;更重要的是,如果透视效果并不明显,直接使用该模 型可能会使实际问题称为病态问题。另外,在某些条件下,例如,摄像机的视 场很小,并且物体的尺寸相对于到观察者的距离也很小,透视模型可以很好地 用线性模型近似。这种近似可大大简化推导和计算。 为简单起见,如果不作特别说明的话,下面的讨论都认为像点用其归一化 坐标表示,三维点用其在摄像机坐标系中的坐标表示。 正投影( o r t h o g r a p h i cp r o j e c t i o n ) : 最简单的线性近似称为正投影。这种近似完全忽略了深度信息。在这种投 影方式下,物体到摄像机的垂直距离( 深度信息) 和物体到光轴的距离( 位置 信息) 都完全丢失了。因此,它只在这两种信息确实可以忽略时才可使用。 正投影的公式为: 2 3 0 弱透视( w e a kp e r s p e c ti r e ) : 如果物体的尺寸相对其到摄像机的距离很小的话,物体上各点的深度可以 用一共同的深度值z o 近似,这个值一般取物体质心的深度。这样透视模型可近 似为 汁算机视觉算法基础西北工业大学硕士学位论文 爿 x = z o y v = 一 。 z o 2 3 1 这种近似可以看作两阶段投影的合成。第一步,整个物体按平行于光轴的 方向正投影到经过物体质心并与图像平面平行的平面上;第二步,再按透视模 型投影到图像平面上,这一步实际是全局的放缩。因此,弱透视也被称为放缩 正投影( s c a l e do r t h o g r a p h i cp r o j e c t i o n ) 。 弱透视的摄像机投影矩阵为: p = 101001 000 l l 000z o i = o oo 1 辜 v = k0 蚓1 0 车 fl = 吲0 l0 得到了一般情况下的投影 矧 类似于公式2 2 7 ,2 2 8 ,消去- l :l 例因子,可以看到二维点和三维点的对应 关系确实是线性的。 下面推导这种近似带来的误差。现在回到归一化坐标系和摄像机坐标系。 设三维点m 的真正深度值为z = z o + a z 。该点按透视模型投影为”,而弱透视的 结果为“”,使用泰勒公式把z 在z o 处展开并略去高阶项,得到两者的差胁一” 为 =壶阡湘=舟等+2-=rap j 犷k 州一堋 聊一2 莉l y j 一瓦l r j 2 瓦l 卜百+一百lj ,j = 一等( 一等+ 爿一 习= 一些z 0 2 上1 x y - 一j , z z 。r 。x ,1 、 。 z o 竽旧x 可以看到有两种原因带来误差,一是厶,即物体的深度信息;二是l 1j ,即 位置信息。误差对物体的不同部分是不同的。在实际应用中为使用弱透视模 型,一般要求z o 1 0 丰j zj 。 1 6 r 旷 1ooop o o 乙 o o o o 1 o 计算机视觉算法基础西北工业大学硕士学位论文 平行透视( p a r a p e r s p e c t i v ep r o j e c t i o n ) : 在弱透视投影中,三维点先被正投影到过物体质心并与图像平面平行的平 面上。这一过程中丢失了物体的位置信息。如果物体离光轴较远,弱透视带来 的误差是很大的。在平行透视中,投影过程仍可分为两步,第一步仍是把物体 平行投影到过质心且与成像平面平行的平面上,不过这次的投影线不是平行于 光轴,而是平行于质心g 和焦心c 的连线c g 。 容易得到平行透视的公式为 1 厂矿、 j :二i 工一兰旦z + z 。i z olz o 。j y :士k 粤z + k1 z olz o 2 3 2 其中( ) ( 。,y o ,z 。) 为质心的三维坐标。 为将该模型写成与透视投影类似的形式,令 则 h ” x y z 1 = 1 o 一誓托 厶0 o 1 一,r o y o 二0 0 00 z o 。即使考虑了摄像机内外参数,二维点与三维点间的对应 关系也仍是线性的。 最后看看平行透视引入的误差。令( x ,y ,z ) t = ( x o + a x ,y 0 + y ,z 0 + a z ) t ,用与 上节类似的方法得到 m e o r = a l p 堋一2 j 面1l k + 4 - a y x j 一瓦1 l 鼠l 卅i a z + z o ) p ) l y o + 脯y j 去 一了a x a z + 瓦xl ( a z o z j 2 + o 恼a z - 31 + 虱z ojl z 。j 一可a y a z + i y a z 十倒3一可+ i l 刮十1 刮 lz ly x 一! y 一二 x ,o z 七x 】 三0 y oz + k z 0 ” 笋z + 托 。0l 当z + ki 可以看到,像点误差是三维点误差的二阶无穷小。而在弱透视的情况下 计算机视觉算法基础 西北工业大学硕士学位论文 像点误差是三维点误差的一阶无穷小。这说明,平行透视确实是比弱透视更好 的近似。 图b 4 是各种线性近似和透视模型的比较。从图中可看到,各模型的近似 程度和前面的分析是一致的。 一 、 彩 l g l 瓦 z i m a g ep l a n e & v e r a g ed e p t hp l a n e 图2 5 透视模型及其各种线性近似的比较 图中x o r t h 、x w p 、x p p 和x p 分别是物体上的三维点m 在正投影、弱透视、 平行透视和透视投影下的投影点。g 为物体的质心。 透视投影有一种误差更小的线性近似,即正透视( o r t h o p e r s p e c t i v e ) 。 同样从两阶段过程来考虑,正透视与平行透视的区别在于第一阶段的投影平面 不是与图像平面平行,而是经过质心和c g ( 即光心和质心的连线) 垂直。它也 可被看作以下三步操作的合成: 1 摄像机绕焦心c 旋转,直至光轴与c g 重合: 2 进行弱透视投影: 3 将摄像机旋转回原位置,这引起图像平面上的一个仿射变换。 正透视的数学表示形

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论