（机械设计及理论专业论文）基于体视原理三维重建的研究.pdf

ab s t r a c t abs tract n o w a d a y s t h e r e s e a r c h i n t h r e e - d i m e n s i o n a l o b j e c t s r e c o g n i t i o n i s v e ry h o t . wit h t h e d e v e l o p m e n t o f s c i e n c e a n d t e c h n o l o g y , t h e a p p l i c a t i o n r a n g e h a s b e e n w i d e r a n d w i d e r . e s p e c i a l l y i n r e c e n t y e a r s , t h e d e v e l o p m e n t o f d i g i t a l i m a g e p r o c e s s i n g t e c h n o lo g y a n d h ig h p e r f o r m a n c e c o m p u t e r c o m i n g i n t o b e i n g p r o v i d e f a v o r a b l e c o n d i t i o n s f o r c o mp u t e r v i s i o n r e s e a r c h a n d a p p l i c a t i o n . t h e t h r e e - d i m e n s i o n a l r e c o n s t r u c t i o n b a s e d o n s t e r e o p r o j e c t i o n i s a t e c h n o l o g y t o o b t a i n t h r e e - d i m e n s i o n a l d a t a b y u s i n g t w o c a m e r a s t h a t a r e p l a c e d i n d i ff e r e n t o r i e n t a t i o n . t h e p o s i t i o n a n d d e p t h o f p o i n t s e x t r a c t e d t h r o u g h f e a t u r e s e x t r a c t i o n c a n b e o b t a i n e d b y t h e d i s p a r i t y a n d s t e r e o m a t c h i n g . t h e i n t e g r a t e d s t e r e o v i s i o n s y s t e m g e n e r a l ly i n c l u d e s c a m e r a c a l i b r a t i o n , f e a t u r e s e x t r a c t i o n , s t e r e o m a t c h i n g , d e p t h r e c o v e ry a n d d e p t h i n t e r p o - l a t io n , e t c . i n t h i s p a p e r , t h e c a m e r a c al i b r a t i o n、f e a t u r e s e x t r a c t i o n a n d t h e s t e r e o m a t c h i n g a re m a i n l y d i s c u s s e d . f i r s t , i n t e r m s o f p e r s p e c t i v e p r o j e c t i o n t r a n s f o r m a t i o n , a n o n - l i n e a r c a m e r a m o d e l c o n s id e r i n g t h e o n e t e r m r a d i a l d i s t o rt i o n w a s u s e d . t h e t h e s i s u s e s t h e l i n e a r l e a s t s q u a r e me t h o d t o c a l c u l a t e t h e e x t e r io r a n d i n t e r i o r p a r a m e t e r s s t e p b y s t e p . t h e r e i s n t n e c e s s a ry a n y a c c u r a t e c a l i b r a t i o n t a r g e t a n d c o m p l e x o p e r a t io n . f o r i m a g e p r e - p r o c e s s i n g , n o i s e s m o o t h n e s s , i m a g e s h a r p e n i n g a n d i m a g e s e g m e n t a t i o n a r e d i s c u s s e d i n d e t a i l . s u b s e q u e n t l y , e d g e d e t e c t i o n u s i n g d i ff e r e n t i al o p e r a t o r a r e i n t r o d u c e d . f o r i m a g e m a t c h i n g , t h e a r e a - r e l a t e d m e t h o d i s u s e d i n t h e f i r s t s t e p t o p e r f o r m t h e r o u g h p o i n t s a n d t h e n a c c u r a t e m a t c h i n g b e p e r f e c t b y u s i n g s i mi l i t u d e c o n s t r a i n t s i n t w o i ma g e s . a l g o r i t h m i s r e al i z e d b y p r o g r a m o f v i s u al c + + . l a s t w e g i v e t h e s t e p s o f r e c o n s t r u c t i o n a n d s o m e p o i n t s v al u e . a t t h e e n d o f d i s s e r t a t i o n , t h e s u mm a ry a n d f u r t h e r re s e a r c h a re p o i n t e d o u t . k e y w o r d s : s t e r e o p r o j e c t i o n ; c a m e r a c a l i b r a t i o n ; i m a g e p r o c e s s i n g ; s t e r e o m a t c h i n g ; 3 d - r e c o n s t r u c t i o n 学位论文独创性声明 学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已 经发表 或撰写 过的研究成果， 也不包含为获得 南昌大学 或其他教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均己在论文中作了明确的说明并表示谢意。 学 41 it 文 作 者 签 名 (手 写 ): 瓤降 签 字 日 期 : 渺 7 年 月 it 学位论文版权使用授权书 本学位论文作者完全了 解南昌大檬有关保留、使 用学位论文的规定， 有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅 和借阅。 本人授权南昌大学可以 将学位论 文的 全部或 部分内 容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学 位 论 文 作 者 签 “ (手 写 ，: 蓦 伟 n 签 字 日 期 : 卜 7 年。 6 月w日 导 师 签 名 (手 写 ): i,e l i 签 字 日 期 : -w l 年v b 月 zs / 日 学位论文作者毕 业后去向: 工作单位: 通讯地址 : 电 话 : t3 t r p6 7 r,+ 乃 邮编: 第一章 绪论 第一章 绪论 1 . 1引言 随着计算机的 飞速发展，怎样利用计 算机通过一幅 或多幅图像认知周围环 境信息， 如物体的 形状、位置、 姿态等，已经成为 人类在基础研究与应用研究 中面临的重大挑战之一其中计算机三维重建技术就是计算机辅助设计与计算 机图 形学中 一个重要的研究领域。 计算机三维重 建是通过物体的两个或两个以 上二维图像的输入，通过计算机进行 自 动检索，获取物体的二维几何信息和拓 扑信息，并建立起三维立体模型。当前有多种方法从平面图像得到逼真的立体 感物体，如全息照片、双筒体视镜、红绿体视图、立体电影、三维幻视图等。 除了 全息照片是通过衍 射重现出 真实存在的物体 光波之外，其他方法都是利用 双眼的视差效应，原理大同小异。 体视投影也是利用人的双眼视差效应，通过两幅图像来重建三维物体。双 目 视差效应重建三维实体就是利用左右两眼的空间 位置不同，来进行空间物体 的重建和定位。体视投影测量技术有两种:其一是由人工观察或用立体坐标测 量仪捕 捉体视图 像对的同名点，求取 物体的 双目 视差，来 得到物体的 三维信息， 这种方法操作人员劳动强度大， 速度慢. 其二是 本课题研究所采用的技术，即 将摄得的数字化体视图像输入到计算机，再对图像进行预处理，特征提取，通 过图 像匹配来自 动搜索同名点， 求得两点 之间的 视差， 再通过体视测量原理来 重建三维立体。 2体视技术测量原理 1 . 2 . 1体视图概念 人两眼从不同 的两个角 度去观察客观三维世界的景 物，由几何光学投影可 知， 离观察者距离不同的物体在左右两眼 视网膜上的像点是在不同的位置上。 这种物体在两眼视网 膜上成像位置的 差异就 称之为 双眼 视差，它反映了 客观景 物的深度。 人能 有深度感知， 就是因为 有了 这个视差，再经大脑加工 而形成的 。 体视图即双中心透视图，它以人的两个眼睛作为两个视点。根据投影关系，对 第一章 绪论 同一物体在画面上作出的透视 图，即 为体视图3 1 图 1 . 1所示在画面近侧的体 视像，称为近交体视像。对应的 观察方法则称为近交观察法。对 于任意的一对体视图， 若将 a b 置于画面的另一侧，也得透视投 影图a zb z , a ,b , ( 两图 形 左右 对 换) ， 观看时 ，在画面 远侧a b处 图1 . 1体视投影图 呈现物 体的 体视像。 这 种在画面远侧的体视像，称 为远交体视像。 1 . 2 . 2体视技术测量原理 远交体视像的 投影关系可 近似的 用图1 . 2 来表 示。 下面用最简单的模型来介 绍其原 理。 双眼相当 于图中的两 个摄像 机c ， 与 c 2 。 物体在视网 膜上成像相当于 两图 像平面 i , 及 1 2 上成的图 像。假设c , 与 c 2 摄像机的焦 距相等， 各内部参数也相等， 而 且两个摄像机的光轴z互相平 行， x轴互相重合， y轴互相平 行。 若点 p在两图 像平面 11 及 1 2 上的投影分别为 尸 : 和 p 2 , 假设 c , 坐标系为 o , x , y ,z , , q 坐标系为 。 2 x zy 2 z 2 ， 则在上 述摄像机配置下， 若任何空间点 p 的 坐标在 c , 坐标系下为 ( x , y , z ) ，则在 c 2 坐标系下为 ( x - b , y , z ) 。 由中 心投影的比 例关系可得: x u , 一u o =a , 一 z p (x , y 么 ) 图 1 .2 体视投影测量原理 (1 . 1) 第一章 绪论 (1 . 2) y-2 a - v , 一v o x 一b u 2 一u o = a , z ( 1 . 3 ) y 、 一 v u = “ ， 丁 (1 . 4) 其 中 ，u 0 , v . , a . . a ， 为 摄 像 机内 部 参 数。 ( u v ) , ( u 2 , v 2 ) 分 别 ) p i p 2 的图像坐标。由上面四式解得: b ( u : 一 u o ) u , 一u 2 b a . ( v , - v o ) a y ( u , - u 2 ) b a . 封 1 一u 2 (1 . 5) 可 见 ， 由p l p z 的 图 像 坐 标 ( u i iv i) ( u 2 + v 2 ) 可以 求 出 空 间 点 p 的 三 维 坐 椒、 y , z . 基于 视差理 论的 立体视觉， 都是运用两个或多个摄像机对同一 景物从 不同 位置成像获得立体图像对，通过各种算法匹配出相应像点，从而计算出视差的 方 法 来 恢 复 深 度 (距 离 ) 信 息 ill 1 . 3体视三维重建主要过 程 体视三维重建主要过程是根据体视学原理，利用对同一物体的不同方向摄 取的 两张照片，来定位物体的空间位置，根据图片上的点来测量物体的实 际尺 寸， 并最终生成三维模型。 主要过程由 下面五部分组成。 1 . 图 像获取 图像获取的方式很多，主要取决于应用的场合和目的，还要考虑视点差异、 光照条件、摄像机性能以及景物特点等因素的影响，以利于立体计算。目前计 算机视觉系统中常用的是c c d摄像 机， 它面向 对象 广泛， 有输入速度快、 灵敏 度高、 使用方便等 特点。不同的场合摄像机的拍摄角度不同 ，在本文中， 两相 机的 相位不要太大。主要是 尽量的 减少摄取过程中 “ 盲区” ，最大限 度的 将图 像上每个像素都能准确的显示出来。 第一章 绪论 2 . 摄 像机标定 摄像机 标定是为了 确定摄像机的 位置、属性参数和建立成像模型，以 确定 空间坐标系中物体点同它在图像平面上像点之间的对应关系。 传统的摄像机标定方法，其特点是要求有摄像机标定块、算法比较复杂、 精度高。一般最经常采用的方法主要有直接线性变换7 l (d ire c t lin e a r t r a n s f o r m a t i o n 变换 ) ， 利用透视变换矩阵的 摄像机标定方 法和8 0 年代中期由t s a i 提出的r a c标 定算法y . 建立一个有效的 摄像机模型，除了 能 够精确的恢复出 空间景物的三维信息外，还有利于解决立体匹配问题。 3 . 图 像预处理、 特征提取 立体视觉研究的对象为二维图像。由于各类图像在传送和转换过程中，常 因图 像受噪声 影响导致某些降 质，如图像 不清晰 或发生 畸变，不利于图 像的 特 征提取，从而影响目标的定位和分析。应通过合适的图像预处理方法对图像进 行处理，设法去补偿降质因素，从而使改善后的图像尽可能的达到我们的预期 目的和要求。 图像特征是景物的物理与几何特性在影像中的反映，理论上是灰度曲面的 不连续点。图 像特征可分为点状特征、 线状特征、 边缘 特征 和面 状特征。 为自 动测量感兴趣的目 标特征， 必须借 助于 相应的图 像特征 提取方法，即 利于一定 算法提取构成明显目 标的图 像特征。图像 特征的 提取是图 像分 析和图 像匹 配的 基础，也是图像处理中重要的任务之一。 合理的选择匹配特征对立体匹配 工作十分重要， 应综合考虑各 种因 素， 根 据不同的景物特点和应用要求来选择。一般地，对于包含有大量非规则形状和 高度突出的场景，比较适合提取点状特征，对于具有规则结构的物体，若线段 和区域特征的 提取比 较容易，应提取 线段特征以 实 现快 速匹 配1 9。 4 .图像的立体匹配 图像的立体匹配是三维重建的 研究 重点。 也是计算机三维重建中 最关键最 困难的部分。所谓图像的立体匹配就是要找出同一目标在不同成像面上的特征 对应关系， 进而可以 求出 二者视差， 用以 恢复图 像的深度信息。图 像匹配的主 要研究内 容包括特征类型的 选择、 特征匹 配准则、 选取有效的 匹配控制策略等 关键问题。选取合适的特征并准确匹配这些特征，才能得到比较准确的目标视 差图 ，从而恢 复目 标的三维信息，实 现三维信息重建。 第一章 绪论 按照匹配基元和方式的不同，目前常用的立体匹配算法大致上分为三大类: 基于面积的匹配、基于特征的匹配和基于相位的匹配。 s . 基 于 面 积的 匹 配 11 0 -1 11 基于面积的匹配 方法( 也称灰 度区 域相关匹配 ) 是研究得最早、 最简单、 最易 于硬件实现的一类匹配方法，该方法是在空间域中直接利用像素灰度进行相关 的算法，其基本思想是假设两幅图像对应点的小邻域内具有相似的灰度分布， 以统计的观点将图像看作三维信号，利用图像上局部相关性来确定两个对应点 间的匹配。 b . 基 于 特 征 的 匹 配 12 -13 1 基于图像特征的匹配方法可以克服基于图像灰度的匹配方法的不足。基于 图 像特征的匹 配方法的匹配基元为 从灰度图 像中 获取的景物的抽象特征，通过 强调空间景物的结构信息来解决匹配歧义性问题。该类匹配方法的匹配基元一 般是经过处理后的图像边界点、直线、曲线或线段的组合、轮廓、区域等。这 些特征 都对应着图 像灰度变化剧烈的 像素 位置， 通常与二维景物的几何结构相 对应。 c . 基 于 相 位 匹 配 1 4- 151 继 区 域 匹 配 和 特 征 匹 配 后， 由 k u g lin 和h in e s 等1 9 7 5 提 出 了 第 三 种 立 体 视 觉匹配算法相位匹配。相位匹配基于这么一个假定，即认为图像中对应点 局部相位是相 等的。 根据傅 立叶 平移定理， 信号 在空间 域上的平移产生频率域 上成比例的相位平移。频率域信号分析在数学表达上更有助于区域分析。一般 地， 相位匹配 方法对带通滤波信号的相 位信息进行处 理而得到对 应点间的 视差。 5空间 点坐标获 取与三维物体表面 造型 得到两幅图像上的匹配点后，根据体视测量原理，可以反求出空间点在世 界坐标系中的 位置。 在得到 有限的 三维坐 标值后， 通过插值处理得到更多的坐 标值，然后根据这些稀疏的三维离散点来恢复整个曲面。 1 . 4体视技术的发展与应用 1 . 4 . 1体视技术的发展 体视技术出 现在1 6 世纪， 在1 7 世纪初g i o v a n n i b a t t i s t a d e l l a 提出t 从 不同角 度绘制精密 “ 图 对” 方法。 历史上，欧几 里德和达 芬奇等人都研究过 第一章 绪论 这 种视差立体 成像的 原理。1 8 3 8年， 英国的查 理士 威斯顿爵士( s i r c h a r l e s w h e a s t o n e ) 发明t 立体双图( s t e r e o p a i r ，即两张描绘同一景 物但却 有视差的 图 像) 及其 观察器， 成了 视差 立体图 像技术的先 驱者。 1 8 3 9 年， 人们发明 了 立体照相机，它有 平行设置的两个 镜头， 两张底片同 时曝光。得到的两张照片虽然照的是同一景物，但拍摄角度却有着细微的差别， 这两张照片即 构成了 立体 双图.1 8 5 3 年 w . r o l l m a n 等发明了 互补色画法，使视 图的观察简便易行。在上世纪下半叶和本世纪初，立体双图在西欧一直是很时 髦， 很热门的 一项技术，并 逐渐和艺术融 合起来。 大量的立 体摄影作品和绘画作 品被创造了出来。同时，这类作品也开始了向东方传播。电子计算机的发明、 发展和 广泛应用， 使视差 立体图像技术发生了 实质性的变化。 2 0世纪 5 0年代以来，体视投影的研究偏重于几何学原理。1 9 5 9 年，雷达 专家贝 勒 ， 居里兹博士( d r . b e l a j u l e s z ) 参照雷达成像的原 理， 第一次用计算 机 作 出t随机点立体双 图( t w o - p i c t u r e s r a n d o m - d o t s t e r e o g r a m ，简称 t w o - p i c t u r e s r . d . s ) ， 居里兹博士的 工作的重大意义在 于: 他首次证明了 立体 双图中的每一幅图不必一定是可观赏的景物，可以是没有什么意义的随机点阵， 而两幅图的叠合却可形成一定的立体图像。 1 9 7 9 年，克里斯多 福 泰勒博士( d r . c h r i s t o p h e r t y l e r ) 实现了视差 立体。 由于人的两眼距离的限制，两幅图的横向宽度均不宜超过 6 . 2厘米，这就大大 限制了其应用范围。而泰勒博士发明的单画面立体图像就突破了这种限制，人 们可以 根据需要制作 任何幅面的立体图 像。 这也是图 像技术中的最重要的 突破。 8 0 年代美国 麻省理工学院 人工智能实 验室的m a r r 提出了 一种视觉计 算理论， 首 先成功的 应用在双眼匹 配上，使两张有视差的平面图 完全由 计算机根据视觉理 论产生t 有深度感的图 形， 英国1 9 9 5 年l i v e r p o o t j o h n m o o r e s 大 学的p e a r s o n , j e r e m y小组在 ( 人造) 电子配件 自 动检测方面的二维形状测量的阶段测量方法进 行了 研究， 并证明了 用模型方式进行三维形状重建加工过程方法的可行性。 当 前， 模仿人类眼睛的 新视力晶片已 面世， 名为 “ 通用视觉处理器” ( g v p p ) 晶 片己由 法国比罗 埃蒂德 斯视力 控股公 司研制出来。 g v p p 能模仿 人类眼晴的 能力， 分辨不同颜色和测出动作，是一种模拟人脑视觉能力的晶片，可透过活动的视 频讯号测出物件，然后确定其位置，进行实时追踪. 在国内 1 9 9 4工程图扫描输入及三维重建方法的研究， 被四川省列为基础科 研项目 ; 四 川大学苏显渝等 完成的 “ 结 构照明 型三维成像 仪器及关键技 术研究” ， 第一章 绪论 研 究 了 结 构 照 明 型 三 维 成 像 仪 器 及 关 键 技 术， 发明 高 精 度 面 形 调 制 正 弦 结 构 照 明光场的制造方法， 使结 构光场非正 弦性 误差为国际 最好成绩，从原理上保证 了 三维 成像仪 器的 精度， 该项目 获得2 0 0 4 年国 家技术发明奖。 浙江大学cad 与计算 机图形学国 家重点实 验室的高 玮、 彭群生、发表了 基于二维视图 特征的三维重建，清华大学国 家cad 工 程中 心的 刘世霞、胡事 民、汪国平、孙家广的基于三维视图形体的重建，分别从不同方向进行研究。 采用计算机视觉的方法进行物体的三维建模，方法效率高，是三维建模的 一 个重要的发展方向 。按照其测量过程中 所采用照明方 式的不同，主要可分为 以下两大类，如图1 . 3 所示: 1 . 主动式方法 是指向被测物体发射可 控制的光束， 然后拍摄光束在物体 表面所形成的图 像， 通过几何关系计算出被测物体距离的 方法。 主要可分为结 构光方法和激光 自 动聚焦法。根据投影光束形态的不同，结构光方法又可以分为光点式结构光 方法、光条式结构光方法、光面式结构光方法等。 2 . 被动式方法 是指不向被测物体发射可控的光束，而是根据直接拍摄的物体图像进行距 离测量的方法。主要可以分为双目 视觉、 三目 视觉、 单目 视觉等方法。另外， 在计算机视觉中用来求取距离的参数还很多，如纹理、遮挡、光流、阴影等。 图1 .3三维建 模技术 第一章 绪论 1 . 4 . 2 体视技术应用 体视技术自从出现以来，己经得到了很广泛的应用，如在影视、测绘、教 育、医学、材料等众多领域。 1 .在影视方 面。 立体电 影是用立体摄像 机摄制而成的，再用立体 放映机 放 大投影在屏幕上。它利用了光的偏振原理，在放映机的两光路中均放入起偏片， 使一个投影仅透过沿水平方向的偏振光，另一个投影仅透过沿垂直方向的偏振 光，观众戴上和起偏片相应的偏振眼镜，双眼就能分别看到左右投影而获得景 物的立体感.立体电视是用电信号进行投影转换的，已有的立体电视是设计了 特有的电路，使接收的电视图像转换成左右相对错位且呈互补色的视图像，观 众戴上互 补色的眼 镜就可以 看到 立体画面 3 1 2 .立体摄影观测方面。立体摄影中拍摄体视图对的方式一般有三种:一是 用双镜头的立体摄影机拍摄;二是使摄影机相对景物匀速运动 ( 移动或转动) ， 在运动中连续拍摄，相邻的两张照片可以构成体视图对;三是摄影机不动，令 物体匀 速移动或 转动， 连续拍 摄而获 得图 对。 双眼分别 通过 放大镜同时 观看 左、 右图，即得到立体景物。这种观察器已做成了各种各样的体视镜。在测绘作业 中广泛应用的立体测图仪是一种精密的光学观测仪器，在光学系统中制有体视 尺标记( 测标 ) ， 用测标和立体景物相比 较，以 绘制出 地形的 等高 线，或 测绘某 景 物的空间 坐标。 3 .医 学和 材料方面的 应用。 随着计算机的迅 速发展， 特别是数字图像 处理 技术的 不断提高， 体视技术 在医学和材料方面的 应用越来越得到更广泛的 发展， 用 x射线的摄影 技术拍摄 人体或金属材料内 部的 体视图 对后，用上述光学 方法 可以 观察 物体的立体结构，测量出人体内 部器官的准确的损伤大小及位置，或 测定 金 属 材 料 内 部 的 缺 陷 位置 2 11 随着我国工业水平的不断提高，体视技术在将来一定会得到更迅速的发展 且发挥更大的作用。 5课题的 选题背景及主要研究的内容 1 . 5 . 1 课题的 选题背 景及 愈义 基于体视原理三维 重建的 研究，是导师根 据学 科的最新发展选定的预演课 题。本论文也是在王付军同学 “ 基于体视原理的空间点的测量与定位”论文基 第一章 绪论 础上的深入和完善。 通过二维图像重建三维物体发展前景 广泛。 近年来，随着光电输入和数字 图像处理的 技术不断提高， 硬件装置 价格的 不断下降，计 算机性能的 不断提高， 也为基于图 像的三维重建技术准备了 条件，并 且由 于此 技术具有非接触测量， 实施较为简单的特点，具有广阔的应用前景，是有待进一步开发的领域。 本课题的 研究顺应了当前c a d 技术的 发展趋势， 其 研究无 论是 对计算机辅 助设计、反求工程，还是对建筑、医学、航空、宏观和微观测量，都具有较大 的理论意义和实际应用价值。 在医学 领域， 体视 技术己经成为辅助医生对病变 体和周围组织进行分析和显示的 有效工具， 它极 大地提高了医疗诊断的准确性 和科学性， 并且对现有人工智能 化发 展有推动作 用。目 前国内从二维图像重建 三维实体的研究不多，因此在此方向上的研究显得十分必要。 1 . 5 . 2课题的主要研究内容及创新之处 1 . 课题的主 要研究内容 本课题研究的主要内容为:根据体视投影原理，利用摄像机对同一物体从 两个不同 方向 拍摄来获取立体图像对，然后利用图像匹 配技术 得到两图 像中 的 对应点，通过 计算得到点的三维坐标来 进行 物体的 重建工作。 第一章 主要介绍了 体视测量原理、 应用及相关过程， 课题的选题背景 及主 要研究的内容 第二章 主 要研究了 摄像机标定，用 一种线性的 方法对摄像机进行了 标定。 第三章 介 绍了图 像的预处理、 增强技术、 以 及特征提取的几种常见的 方法。 第四 章 对图 像的匹 配做了 研究， 并对 模板匹 配法和基于相关约束的 特征匹 配法对图像进行了匹配。 第五章 通过 具体实物， 利用前面的 研究结 果， 得到三维特征点的坐 标值。 第六章 总结 与展望对本文的研究内容和 今后任务 进行了 概况。 2 .取得的创新之处 本文利用 体视原理对空间点的定位， 是 对这一领域方法与理论进行了 发展， 做的新 研究。 通过操作简单、 成本低的 体视摄影系统， 和该系统与 计算机的 连 接， 快速、 精 确地对空间 物体进行三维重建。 a . 在仅仅 考虑一阶径向 畸变的非线性 摄像机模型基础上， 提出了 一种利用 最小二乘法线性的求解摄像机参数的方法，本方法不需要任何的高精度复杂装 第一章 绪论 置，操作简单，并且能达到比较理想的标定结果。 b . 在 本匹 配方法中， 我们首先利 用连续性约束， 区域相 关系数法对图 像进 行了粗匹配，利用相似性约束，引入一个相似性可信度强度测量方法对图像进 行了 精确的匹配。该匹配方 法具有较强的 抗干扰性，而且计 算量小， 速度快， 由于边缘特征往往出现在视差不连续的区域，匹配较易处理立体视觉匹配中的 视差不连续问题。 1 . 6 本章小节 本文通过体视 测量原理来重 建三维物体， 具有操作简单， 成本低等 特点. 具有很广阔的应用前景， 在此方向很有必要进行进一步的研究， 本章主要介绍 了 体视测量原理、 国内外的 研究动态、 以 及体 视学在各 领域的 应用。 并 对基于 此原理的三维重建主要过程做了介绍， 最后对课题的选题背景及主要研究的内 容和创新之处进行概述。 第二章 摄像机标定 第二章 摄像机标定 2 . 1引言 三维计算机视觉系统应能从摄像机获取的图 像信息出发，计算出三维物体 的位置、形状等几何信息，并由此识别环境中的物体。图像上的每一点的亮度 反映了空间物体表面某点反射的强度， 而该点在图 像上的 位置则与空间物体表 面相应点的几何位置有关， 这些位置的 相互关系，由摄 像机成像几何模型所决 定，该几何 模型的 参数称为摄 像机参数。 摄像机是最常用的图像输入装置，它面向对象广泛，有输入速度快、灵敏 度高、使用方便等特点。按照摄像器件的组成，可将摄像机分为很多种。目前 计算机视觉系 统中 常用的是c c d 摄像 机。 要得到物体的空间坐标，首先必须正 确标定摄像机，也就是要建立图 像像 素点位置与空间对应场景点位置之间的关系。摄像机参数包括用于刚体变换的 外部参数和摄像机自身的内部参数，它也是摄像机成像几何模型的参数，该模 型决定了图像上一点与其空间物体表面对应点之间位置的映射关系，这些参数 必须由实验与计算来确定，实验与计算的过程称为摄像机标定。 2 . 2 图像坐标系、摄像机坐 标系和世界坐标系 摄像机成像就是将三维空间点 投影为二维成像平面上的图像点的 过程， 对 三维物体进行拍摄时 会得到怎样的图 像，即三维物体投影到二维计算机图 像平 面，这种物体与计算机图像平面之间的变换用数学表达式怎样描述，为了描述 这一过程需要介绍几个重 要的 坐标系:世界坐标系、 摄像机坐标系、图像 坐标 系，下面分别阐述各 个坐标系的意义 t o 2 . 2 . 1图像坐标系 摄像机摄取的图 像在计算机内以 m x n 数组的形 式存储， 数组中的每一个元素称 为 像 素( p ix e l ) ， 其 值 表 示 图 像 点 的 亮 度 ( 或 称 灰 度 ， 若 为 彩 色 图 像， 则 图 像 的 像 素亮度将由 红绿蓝三 种颜色的亮 度表示 ) 。 如图2 . 1 所示， 在图像上定义直角坐标 系 u -v ， 每 一 像 素 的 坐 标 (u v) 分 别 是 该 像 素 在 图 像 中 的 列 数 和 行 数. 所以 ( u v) 是 第二章 摄像机标定 以 像 素 为 单 位 的 图 像 坐 标 系 的 坐 标。 由 于 ( u , v) 只 表 示 像 素 位 于 图 像中 的 列 数 和 行数，并没有用物理单位表示出该像素 在图像中的物理位置，因而需要再建立 以 物理单位( 例如毫米) 表示的图像坐 标 系 x y ， 该 坐 标 系以 图 像中 某 一 点口 ， 为 原 点， x 轴、 y 轴分别与 u 轴、v 轴 平行，如 图2 . 1 所示. 在本论文的后续章节中，如 不加特别说明， ( 1 . v ) 表示以 像素单 位 度量的图像坐 标系的 坐标，( x , y )表示 以物理单位度量的图像坐标系的坐标。 n :-x 一 坐 标系 中 ， 原 点 。 ， 定 义为 摄 像 图2 . 1图像坐标系 机光轴和像平面的交点，该点一般位于图像的中心处，称为图像的主点。但由 于 摄 像 机 制 作 的 原 因 ， 也 会 有 些 偏 离。 若。 . 在 u 、 坐 标 系 中 的 坐 标 为(u o , , j ， 每 个 像 素 似轴 和 y 轴 方向 上 的 物 理 尺寸 为d , , 凡， 则 图 像 中 任 意 一 个 像 素 在 两 个 坐标系下的关系如下: ( 2 .1 ) u0v0 +十 x-云y-咖 - uv 用齐次坐标和矩阵形式可表示为: ( 2 . 2) 门lweesesesesesesesj xyl r胜.les，esesesesesl ，lesesesee.lwej uc1 do 材v 一 u o d x 一 v o d , 1 ) ! ) i1 ilu ( 2 . 3) .。0矛.-n 1口00，1刁 曰u于!乍一宁、八uo r.seesesesesesl钊夕rlesesesl ，.les.叮j介-，seesesesesesesesj “vij以xyl reseseel.-r卜尸.l 关 逆 2 . 2 . 2摄像机坐标系 摄像机成像 几何关系如图 2 .2 所示， 其中 c 称为 摄像机光心， x c 轴与y c 轴与图 像坐标的 x 轴与 卿 平行， z c 轴为 摄像机光 轴， 它与图像平面垂 直。 光轴与图像 平 第二章 摄 像机标定 面的交点，即为图像坐标系的原点，由点c与x c . y c . z c 轴组成的坐标系称为 摄 像 机 坐 标 系 ， c o . 为 摄 像 机焦 距.f 2 . 2 . 3世界坐标系 虽然摄像机可以 安放在环境中 的任何位置， 但是摄像 机的 光心位置 难以确 定。因此，在环境中还要选择一个基准坐标系来描述摄像机的位置和空间物体 的 位置， 该坐标系称为 世界坐 标系。 记为 灿一 x w y w z w。 摄像机坐标系与世界 坐标系之间的关系可以用旋转矩阵r与平移向量t 来描述，如图2 . 2 所示。 y- ( 砂 ) xc 图2 .2世界坐标系与 摄像机坐标系 如果空间中某一点尸 在世界坐标系和摄像机坐标系下的齐次坐标分别为 ( x w ,y w , z w ,i y 与 (x c , y c ， z c ,1 )t ， 则 存 在 如 下关 系 : ( 2 . 4) 其中 r 为 3 x 3 正 交 单 位 矩 阵 ， 伪三 维 平 移 向 量， 。 气 。 ， 0 , 0 ) t : 场为 4 x 4 矩 阵 。 第二章 摄像 机标定 2 . 3线性 ( 针孔)摄像机模型 如图 2 . 2 所示。空间任何一点 p 在图 像上的 投影都可以 用线性模型 来近似 表 示 ， 即 p 在 图 像 上的 投 影 位 置( x , y ) ， 为 光 心 c 与 p 点 的 连 线 c p 与 图 像 平 面 的 交 点。这种关系也称为中心摄影或透视投影，由比例关系得到以下关系式: 1 x c f y c z=- 二 ，y=- 艺c乙c ( 2 . 5) 其 中 ， ( x , y ) 是 p 点 的图 像 坐 标， ( x c , y c , z c ) 是 空 间 点 p 在 摄 像 机 坐 标 系下的坐标。我们用齐次坐标与矩阵表示上述投影关系: ( 2 . 6) 门.十月!.月 xcyczcl 尸.les惬es.j 一引|引|引 001 0f0 foo 一.l - ，.leses.eses.j xyl 尸.!.l zc 将式 ( 2 . 1 ) , ( 2 . 4 ) 代入 上式， 我们 得到以 世界坐标系表示的 p 点坐标与 其 投影点 p 的 坐标( u , v ) 的关系: 一- ，1.j xwywzwl rll r了 叶!.，l 们|引|引 0 0 n.1 f0 f00 u0v01 01-咖。 f x w u 01,_, i i ii r t ii y w ! y o“ ! 。 ;1 z w 】 一 一 ” i 1 ( 2. 7 ) 11击000九。 r，esesesleseewees.l 一00 门!月，jl月esesee，jj 阮|日l zc 在有些摄像机标定的研究中，又将内参数矩阵写成下面的形式: !卫!.les.j uovol 儿0 人00 reseseseses，eseswel -一 k 其中 参数s 称为扭曲参数。 对于大多数的 标准相机来说扭曲 参数为零。 其中， f = f i d . ， f y = f 1 d y : m 为 3 x 4 矩阵 ， 称为 投 影 矩 阵 : m 1 完 全由 f v a ) 为 第 i 点 的图 像 坐 标 ; i = 1 , . . . 4 ) 分别为矩阵m第 i 行第 j 列元素。式( 2 . 8 ) 包含 第二章 摄像机标定 p u a= m l l x w + m 12 y w + m 1 3 z w + m 14 pv. = m 2 1 x w + m 2 2 y w + m 2 3 z w + m 2 4 p= m 3 1 x w + m 3 2 y w + m 3 3 z w + m 3 4 将式( 2 . 9 ) 中 的第一 式除第三式，第 二式除第三式分 别消 去p 后， 下 两 个 关 于m 。 的 线 性 方 程 : x n : 十 y w 12 + z w m 13 十 ; a,4 - u ,x a3 - u . y w m 23 - u , ,z 3 = u c lm 3 4 x1 + y w m 22 + z ,m 2 3 + m z 4 - v c f w m 2 j - v ,y - v , z w n 133 = v c,m 34 ( 2 . 9 ) 可得到如 ( 2 . 1 0 ) 上式 ( 2 . 1 0 ) 表示， 如果标定块上有n 个己 知点， 并己知他们的 空间坐 标 ( x - y , z . ) 与 图 像 点 坐 标( u , v , ) o 由 式 ( 2 . 8 ) 知 ， m矩 阵 乘 以 任 意 不 为 零 的 常 数 并 不 影 响( x w , y , z w ) 与( u c, , v c, ) 的 关 系 ， 通 常 可以 指 定m 3 4 = 卜 当 2 n 1 1 时， 然后可用最 小二乘法求出上 述线性方程的 解。由 此可见， 有空间6 个以上的己知点与它们的图像点坐标，我们可求出 m矩阵。在一般的标定工作 中，我们都使标定块上有数十个己知点，使方程的个数大大超过未知数的个数， 从而用最小二乘法求解以降低误差造成的影响。这一类标定方法的优点是不需 利用最优化方法来求解摄像机的参数，从而运算速度快，能够实现摄像机参数 的实时的计算。缺点是: 1 . 过程中 不考 虑摄像机镜 头的 非线性畸 变， 标定精度受到影响。 2 . 线性方程中 未知参数的个数大于要求解的独立的摄像机模型参数的 个 数，线性方程中未知数不是相互独立的，没有考虑这些变量之间的约束关系， 因 此，当 数据 有误 差的情况下， 计算结果是有误差的，而且误差在各参数间 的 分配也没有按他们之间的约束关系考虑。 2 . 4 . 2 基于主 动 视觉的 标 定方 法29 3 卜 3 2 从上节我们知 道， 传统的 摄像机标定方 法需要在摄像机 前放一个已知 物体， 在标定过程中， 利用点在世界坐标系中的坐 标与点 在图像 上的坐标的相互对应 关系来求得摄像机的内外参数。但是，由 于摄像机的 焦距要经常调节， 摄像机 的位置也会根据周围的环境而移动，因此， 在每次 调节后对摄像机的内 外参数 需要重新标定， 很不方便，在许多情况下甚至是不 可能的 ( 例如在危险、 恶劣 的环境下作业的 机器人)，近年来，一种不需要 标定参考物的标定技术受到了 很大的重视， 它仅利用摄像机在运动过程中周围 环境及图 像之间的对应关系对 第二章 摄像机标定 摄像机进行 标定， 称为摄 像机自 标定。 自 从1 9 9 2 年 h a rt le y 和 f a u g e ra s 首 次 提出 线 性 ( 小 孔 ) 摄 像 机自 标定 的 思 想 后 ， 线 性摄像机自 标定及相关 研究目 前己 成为计算机视 觉领域的研究热点 之一， 这 里介绍一下马颂德提出的摄像机内部参数自 标定方法，其基本原理如下. 控制摄 像机作 一组三正 交运动， 根据图像对 应点 计算对应的 3个极点的 关 系 ， 由 于 摄 像 机 做 正 交 运 动 ， 极 点 间 存 在 el re , e , = 。u * j ) 的 相