（控制理论与控制工程专业论文）基于计算机立体视觉的三维重建系统研究.pdf

基于计算机立体视觉的三维重建系统研究 摘要 立体视觉三维重建技术的研究是计算机视觉学科的一个重要领域，有助于实 现非接触三维测量与快速建模。该项技术工作效率高，有利于提高工作环境的自 动化程度，是三维建模的一个重要发展方向。目前市场对三维模型的需求与日俱 增，而传统手工建模方法繁琐费力，模型产出率仍然很低。正是这种供求之间矛 盾的日益激化，推动着三维重建技术不断向前发展。三维重建的特点就是整个建 模过程基本上自动完成，仅需少量人为干预，操作方法简单，省时省力，生产率 高而又有一定的精度。高效的三维自动建模能够减少设计费用和缩短设计周期， 创造出巨大的经济效益。 本论文是基于立体视觉的三维重建系统研究，要建立一个三维重建系统，需 要借助视觉坐标测量机和计算机立体视觉中三维重建技术。三维重建系统包括五 个部分：1 摄像机参数及传感器模型的标定。2 被测物体图像的获取。3 图像预处 理和图像特征的提取。4 图像对双目立体匹配。5 确定图像的深度信息和最终实 现物体的三维重建。 本文首次把三维重建系统应用到帕萨特汽车上。论文重点介绍了摄像机标 定，目标图像对处理和双目立体匹配，三维重建。在摄像机标定部分，首次采用 h a r r i s 角点提取算法来对视觉测量机进行标定。在图像对处理和匹配部分，提出 用图像锐化和边缘提取算法来对帕萨特汽车图像对进行处理，并用v c + + 来完成 图像对的双目立体匹配。在三维重建部分：通过图像对的双目立体匹配，可以获 得帕萨特汽车图像的深度信息，最终可以在o p e n g l 中重建出帕萨特汽车的三维 模型。也可以通过3 d m a x 软件来完成对帕萨特汽车的三维重建。 关键词：双目立体视觉；摄像机标定；图像处理；双目立体匹配；三维重建 s t u d yo nt h es y s t e mo ft h r e e d i m e n s l 0 n a l r e c o n s t r u c t i o nb a s e do nc o m p u t e r s t e r e ov i s l 0 n a bs t r a c t t h er e s e a r c ho ft h r e e 。d i m e n s i o n a lr e c o n s t r u c t i o ni sas i g n i f i c a n tf i e l do fc o m p u t e r s t e r e ov i s i o n w h a ti sm o r e ，i tc a nh e l p r e a l i z i n gt h r e e d i m e n s i o n a l u n t o u c h e d m e a s u r e m e n ta n dr a p i dt h r e e - d i m e n s i o n a lm o d e l i n g t h i st e c h n o l o g yi sam a i nw a yo f t h r e e d i m e n s i o n a lr e c o n s t r u c t i o ni nt h ef u t u r eb e c a u s ei ti se f f i c i e n ta n da u t o m a t i c a t p r e s e n t ，t h em o r et h em a r k e to fd e m a n di si n c r e a s e d ，t h em o r et h r e e - d i m e n s i o n a lm o d e l i sd o n e h o w e v e r , t h et r a d i t i o n a lm e t h o dw a s t e st i m ea n de f f o r ta n dm o d e lo u t p u t r e m a i n sl o w s u p p l ya n dd e m a n dc o n t r a d i c t se a c ho t h e r , w h i c hi s d r i v i n gt h e d e v e l o p m e n to ft h r e e - d i m e n s i o n a lr e c o n s t r u c t i o nt e c h n o l o g y t h ec h a r a c t e r i s t i c so f t h r e e - d i m e n s i o n a lr e c o n s t r u c t i o ni sa u t o m a t i cf o rt h ew h o l em o d e l i n gp r o c e s s t h e m e t h o di ss i m p l e ，f o re x a m p l es a v i n gt i m ea n dm a n p o w e r , h i g hp r o d u c u v i t ya n da c e r t a i nd e g r e eo fa c c u r a c y t h ea u t o m a t i cm o d e l i n go ft h r e e - d i m e n s i o n a ld e s i g nc a n r e d u c ec o s t sa n ds h o r t e nt h ed e s i g nc y c l e ，c r e a t i n gh u g ee c o n o m i cb e n e f i t s t h i st h e s i sp r e s e n t sas t e r e ov i s i o n - - b a s e dt h r e e - - d i m e n s i o n a lr e c o n s t r u c t i o no ft h e s y s t e m ，i ti sn e c e s s a r yt oe s t a b l i s hat h r e e d i m e n s i o n a lr e c o n s t r u c t i o ns y s t e m i ti si n n e e do fv i s u a lc o o r d i n a t em e a s u r i n gm a c h i n ea n dc o m p u t e rt h r e e - d i m e n s i o n a l r e c o n s t r u c t i o no fs t e r e ov i s i o nt e c h n o l o g yw h i c hi n c l u d e sf i v ep a r t s ：1 c a m e r am o d e l p a r a m e t e r sa n ds e n s o rc a l i b r a t i o n 2 t oo b t a i ni m a g e so fd e t e c t e do b j e c t s 3 i m a g e p r e - p r o c e s s i n ga n di m a g ef e a t u r ee x t r a c t i o n 4 m a t c h i n gb i n o c u l a rs t e r e oi m a g e s 5 t od e t e r m i n et h ed e p t ho ft h ei m a g ei n f o r m a t i o na n dt h eo b j e c to ft h r e e - d i m e n s i o n a l r e c o n s t r u c t i o nu l t i m a t e l y i nt h i st h e s i s ，t h r e e d i m e n s i o n a lr e c o n s t r u c t i o ns y s t e mi sa p p l i e dt op a s s a tc a ri n t h ef n s tt i m e t h et h e s i sf o c u s e so nt h ec a m e r ac a l i b r a t i o n ，t h et a r g e ti m a g ep r o c e s s i n g a n db i n o c u l a rs t e r e om a t c h i n g ，t h r e e d i m e n s i o n a lr e c o n s t r u c t i o n i np a r to fc a m e r a c a l i b r a t i o n ，i ti su s e dh a r r i sc o m e rd e t e c t i o na l g o r i t h mf o rv i s u a lc a l i b r a t i o nm e a s u r i n g m a c h i n ef o r t h ef i r s tt i m e i np a r t so fi m a g ep r o c e s s i n ga n db i n o c u l a rs t e r e om a t c h i n gi t i su s e di m a g es h a r p e n i n ga n de d g ed e t e c t i o na l g o r i t h mt od e a lw i t ht h ei m a g eo ft h e p a s s a tc a r , t h e nv c + + t ob ec o m p l e t e df o rt h ei m a g eo ft h eb i n o c u l a rs t e r e om a t c h i n g i np a r to ft h r e e - d i m e n s i o n a lr e c o n s t r u c t i o n ：t h ei m a g eo ft h eb i n o c u l a rs t e r e om a t c h i n g c a nb em a d ed e p t hi n f o r m a t i o no fp a s s a ti m a g e ，a n du l t i m a t e l yb ea b l et or e b u i l dt h e i i i t h r e e d i m e n s i o n a lm o d e lo fp a s s a tc a l i no p e n g l 3 d - m a xc a na l s ob eu s e dt o c o m p l e t et h et h r e e d i m e n s i o n a lr e c o n s t r u c t i o nf o rp a s s a tc a r k e yw o r d s ：b i n o c u l a rs t e r e ov i s i o n ；c a m e r ac a l i b r a t i o n ；i m a g ep r o c e s s i n g ； b i n o c u l a rs t e r e om a t c h i n g ；t h r e e - d i m e n s i o n a lr e c o n s t r u c t i o n 基于计算机立体视觉的三维重建系统研究 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中 不包含其他人已经发表或撰写过的研究成果，也不包含本人已用于其他学位申请 的论文或成果。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了 明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：日期：年月日 关于论文使用授权的说明 本学位论文作者完全了解青岛科技大学有关保留、使用学位论文的规定，有 权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借 阅。本人授权学校可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。本人离校后发表或 使用学位论文或与该论文直接相关的学术论文或成果时，署名单位仍然为青岛科 技大学。( 保密的学位论文在解密后适用本授权书) 本学位论文属于： 保密口，在年解密后适用于本声明。 不保密口。 ( 请在以上方框内打“”) 本人签名： 导师签名： 日期： 日期： 年月 日 年月日 青岛科技大学研究生学位论文 1 1 课题研究的背景和意义 第一章绪论 视觉坐标测量机是采用坐标测量机的机械结构加上图像传感器等组成。是测 量机在计算机立体视觉方面的延伸。现在坐标测量机大多通过测头接触被测物体 表面，获得测量物体表面点的三维坐标，完成在线或离线测量。其基本测量过程 均是逐点测量。视觉坐标测量机通过测量机的机械结构可以在空间内进行平移和 旋转，并采用c c d 或者c m o s 作为图像传感器，可以对物体进行非接触测量。 它可以对采集到的图像进行分析、处理、提取对象几何特定信息，来完成对物体 的三维重建。本论文研究的是基于计算机立体视觉的三维重建系统。它属于计算 机立体视觉方面的问题。 计算机立体视觉是指利用计算机来实现人类的视觉功能，即对客观世界的三 维场景的感知、识别和理解。计算机立体视觉的主要研究目标可以归纳为两个， 第一个目标是建立计算机立体视觉系统，完成各种视觉任务；第二个目标是把该 研究作为探索人脑视觉工作的手段，进一步加深对人脑视觉的掌握和理解。反过 来对人脑视觉的充分理解也将促进计算机立体视觉的进一步发展。融合两只眼睛 获得的图像并观察它们之间的差别使我们可以获得明显的深度感。我们称该差别 为视差。相应地，获取三维空间的景物信息也是计算机立体视觉研究中的最基础 的内容。可靠的立体感知算法在机器人视觉导航，地图生成，航空勘测和近距离 摄像测量等领域都有很广阔的应用价值，另外它还广泛应用于目标物体的图像分 割，以及物体的三维重建。 目前来说物体三维建模方法是利用三维建模软件，如a u t o c a d 、3 d m a x 、 m a y a 等。对于三维物体的建模，首先应该测量出物体的特征尺寸，对于手工测 量及其麻烦，费时费力，不利于生产过程自动化程度的提高。随着市场上对三维 模型的需求与日俱增，三维重建的特点就是整个建模过程需要进行计算机视觉测 量，获得物体特征参数，利用建立的三维重建系统可以完成对物体整个特征轮廓 线的三维重建。高效的三维自动建模能够减少设计费用和缩短设计周期，创造出 巨大的经济效益。而基于计算机立体视觉三维重建系统就是采用基于图像的方法 来获得物体表面的特征参数。物体特征参数是指用数字摄像机等作为图像传感 器，综合运用图像处理、视觉计算等技术进行非接触三维测量，用计算机程序自 动获取物体的三维信息。本文采用的是对帕萨特汽车进行三维建模，根据双目立 基于计算机立体视觉的三维重建系统研究 体视觉原理，摄像机可以从左、右两个不同方向获得了两幅图像，然后进行图像 预处理和图像边缘提取，可以提取出汽车的特征信息，然后进行图像对的双目立 体匹配，最终可以确定图像的深度信息并重构出汽车轮廓的三维模型。通过建立 三维重建系统，来对被测物体进行三维重建是当前三维建模的一个重要发展方 向。 1 2 立体视觉的概念及在国内外的发展现状 1 2 1 立体视觉的概念 计算机视觉是基于一系列古典数学算法，并融合神经生理学，现代解剖学， 统计学，运筹学，图论，计算机技术和信号分析与处理等多学科作为一体的综合 性科学，是计算机人工智能领域的一个重要分支。人工智能的其他三个分支是： 学习与推理，语音与听觉，触觉与感知。人类从外界获得的信息约有7 5 来自三 维视觉系引1 1 。人类视觉过程可以看作是一个复杂的从感觉( 感受3 d 世界的2 d 投影图像) 到知觉( 由2 d 图像认知3 d 世界的内容和含义) 的过程。计算机视 觉是指利用计算机实现人类的视觉功能【2 】，对客观世界的三维场景进行感知、识 别和理解，即计算机借助各种视觉传感器( 如c c d 、c m o s 摄像器件等) 获取场景 的图像，感知和恢复3 d 环境中物体的几何性质，姿态结构，运动情况，相应位 置等，并对客观场景进行识别、描述和解释，进而做出决断。 立体视觉目前在整个计算机视觉中已经占据着很重要的地位。立体视觉的基 本原理与人类视觉的感知过程类似，是从两个( 或多个) 视点观察同一被测物体， 以获取在不同视角下的感知图像，通过三角测量原理计算图像像素间的位置偏差 ( 即视差) 来获取景物的二维信息。双目立体视觉是从两个视点观察同一个景物， 以获取在不同视点上的两幅图像，通过双目立体匹配与三角测量原理可以计算同 一景物在两幅图像上成像的偏差来获取被测物体的位置信息，这一过程与人类视 觉的立体感知过程非常相似。由于摄像机拍摄的角度不同，产生的两幅二维图像 会稍有不同。在双目区域中的任意一点，只要没有被其它景物遮挡，就会找到该 点在两幅图像中的对应关系。两幅稍有差别的图像相当于经过左眼和右眼观看而 得到，这会产生视差，从而在大脑中产生三维的感觉。 2 青岛科技大学研究生学位论文 1 2 2 立体视觉在国内外的发展现状 立体视觉的开创性工作开始于2 0 世纪六十年代中期。在1 9 6 5 年美国麻省理 工学院的r o b e r t s 进行了三维景物分析研究【3 j 。他首创了“积木世界下的计算机 视觉试验。计算机立体视觉正是在这种最简单的多面体环境下，对由点、线、面 组成的最简单的物体进行识别和定位开始的。他的工作把以前的二维图像分析推 到了三维景物分析，这标志着立体视觉技术的诞生，在随后的几十年中它迅速发 展并形成了一门新的学科。 2 0 世纪七十年代，立体视觉在图像的预处理技术、提取图像的二维信息和图 像匹配技术等许多方面都有重大突破【4 】。七十年代末，m a n 和p o g g i o 等人创立的 计算机视觉理论对立体视觉发展产生了巨大影响，使得景物可视表面的重建形成 一个完备的体系。近年来，立体视觉理论日臻完善，立体视觉技术研究向实用化 方向发展。在整个计算机视觉学中，立体视觉占据越来越重要的地位。 2 0 世纪8 0 年代中后期，随着移动式机器人等相关应用研究，立体视觉研究 与之密切结合，因而大量运用空间几何的方法以及物理知识来研究立体视觉，这 一时期引入了主动视觉的研究方法，并采用了距离传感器以及引入融合技术等。 由于这种研究方法可直接取得深度图或通过移动获取深度图，因而使很多立体视 觉问题得到解决。 从2 0 世纪9 0 年代以来，关于立体视觉的研究在许多方面开始趋于成熟。最 近十多年来，计算机立体视觉在多个领域内取得了重要进展，包括区域匹配和特 征匹配的新算法技术，遮挡处理方法，多摄像机立体视觉和立体视觉实时实现方 法等。其代表性成果集中体现在：图像识别，图像特征点提取与边缘检测，图像 图形形态变化，色度感知，纹理辨识和三维重建等。下面介绍几个国内外关于双 目立体视觉系统的例子。 1 日本大阪大学白适应机械系统研究院研制了一种自适应双目视觉伺服系统 【5 】。利用双目立体视觉的原理，以每幅图像中相对静止的三个标志为参考，实时 计算目标图像的雅可比矩阵，从而预测出目标下一步的运动方向，实现了对运动 方式未知目标的自适应跟踪。该系统仅要求两幅图像中都有静止的参考标志，无 需摄像机参数。而传统的视觉跟踪伺服系统需事先知道摄像机的运动、光学等参 数和目标的运动方式。 2 华盛顿大学与微软公司合作为“探测者 号卫星研制了宽基线立体视觉系 统【6 】，使“探测者”号能在火星上对其即将跨越的几千米内的地形进行精确的定 位和导航。系统使用同一个摄像机在“探测者 的不同位置上拍摄图像对。拍摄 间距越大，基线越宽，能观测到越远的地貌。系统采用非线性优化得到两次拍摄 基于计算机立体视觉的三维重建系统研究 图像时摄像机的相对准确的位置，利用鲁棒性强的最大似然概率法结合高效的立 体搜索进行图像匹配，得到亚像素精度的视差，并根据此视差计算图像对中各点 的三维坐标。相比传统的视觉系统，能够更精确地绘制“探测者”号周围的地貌 以及更高的精度观可以观测到更远的地形。 3 东北大学人工智能与机器人研究所和中国科学院沈阳自动化研究所的张志 佳等做的国家8 6 3 高技术研究发展计划项目中做了“基于视觉定位的脑外科机器 人的研刭7 | 。这项研究主要是针对和面向医学手术的。 4 哈尔滨工业大学采用异构双目活动视觉系统实现了全自主足球机器人导航 【8 】，将一个固定摄像机和一个可以水平旋转的摄像机分别安装在机器人的顶部和 中下部，可以同时监视不同方位视点，体现出比人类视觉优越的一面。通过合理 的资源分配及协调机制，使机器人在视野范围内的精度及处理速度方面达到最佳 匹配。双目协调技术可使机器人同时捕捉多个有效目标，观测相同目标时通过数 据融合可以提高测量精度。在实际比赛中如果其他传感器突然发成失效情况，则 依靠双目协调仍然可以实现全自主足球机器人导航。 在计算机立体视觉技术的发展过程中，由于其原理和应用目的的不同派生了 许多分类方法。对于字符、图形和片状物体等平面内可识别的理解，检测属于二 维视觉方法；对于三维物体的识别、测量和重建属于三维视觉方法【9 j ，视觉信息 处理方法包括：图像的增强、复原、重建、体征提取、分割、几何处理、识别等。 根据原理的不同又可分为基于区域的视觉方法，基于特征的视觉方法，基于模型 的视觉方法和基于规则的视觉方法等 1 们。自d m a r r 提出关于视觉的计算理论之 后，基于特征( 主要指边缘信息) 的视觉方法引起了广泛的重视。采用不同的边缘 检测方法，可以获得不同精度的边缘信息，研究具有高定位精度的边缘提取方法 是获得高质量视觉信息特征的重要手段【1 1 1 。 4 青岛科技大学研究生学位论文 1 3 论文的结构安排及主要内容 本论文提出的视觉测量机属于非接触测量，通过测量机的机械结构在空间进 行平移和旋转，利用c c d 或c m o s 图像传感器对物体表面进行拍照。在拍照的 过程中通过测量机的机械部分进行匀速的移动。最终来获取物体表面的全貌。本 次论文是基于双目立体视觉理论。分别从两个不同角度对被测物体进行摄像。实 验先对摄像机进行参数标定。对两幅图像进行背景分离，图像预处理，图像边缘 检测。可以确定物体特征轮廓线，根据图像中特征点的坐标和空间中的物体坐标 的对应关系可以求出物体表面的三维坐标点。根据三维重建系统中的确定图像对 的深度信息，可以最终在o p e n g l 中重构出目标物体的三维轮廓线。最后本文又 提出也可以在3 d m a x 中重构出物体的三维模型。 本课题建立基于计算机立体视觉三维重建系统的研究，可以通过c c d 或者 c m o s 采集的二维图像进行处理，最终可以生成物体的三维重建模型。测量对象 是帕萨特汽车，来完成对帕萨特汽车整个边缘轮廓的三维重建。 根据上述研究内容，本论文做如下章节安排： 第二章立体视觉测量与三维重建系统。立体视觉测量主要介绍了视觉坐 标测量机的结构及基本原理，立体视觉测量的基础理论，视觉测量中的线性摄像 机标定基本原理和双目立体视觉基本原理。三维重建的体系结构是本论文的的脉 络线索，第三章、第四章和第五章都是围绕三维重建的体系结构作介绍的。 第三章摄像机成像模型及镜头畸变校正的研究。主要介绍了摄像机线性 模型，摄像机畸变校正等问题。 第四章目标图像处理和图像双目立体匹配。本论文的立体视觉测量对象 为帕萨特汽车。针对c c d 摄像机采集到的图像，进行目标图像与背景分离，目 标图像预处理。包括图像中值滤波，图像锐化，图像边缘检测和图像角点检测。 图像的双目立体匹配包括：立体匹配准则的建立，立体匹配策略和算法以及立体 匹配的基本方法。 第五章三维重建。首先介绍视觉测量机进行三维重建的一般方法，三维 重建系统的实验环境，它包括硬件环境和软件环境，三维重建系统的软件流程图， 摄像机参数标定实验，目标图像预处理及双目立体匹配实验，进行图像对的双目 立体匹配和在o p e n g l 中实现三维重建。也可以在3 d m a x 中根据帕萨特汽车图 像照片及特征参数进行对帕萨特汽车三维重建。 最后一章主要对全文进行了总结，并给出了一些关于未来研究方向和前景 的展望。 基于计算机立体视觉的三维重建系统研究 第二章立体视觉测量与三维重建系统 在这一章主要介绍视觉坐标测量机的结构及原理，立体视觉测量的基本理论 和双目立体视觉三维重建体系结构。 2 1 视觉坐标测量机的结构及原理 2 1 1 视觉坐标测量机的结构 视觉坐标测量机是利用光电成像系统采集被控目标的图像，经计算机或专用 的图像处理模块进行数字处理，根据图像的像素分布、亮度和颜色等信息，进行 尺寸、形状、颜色等的识别的设备。这样，就把计算机的快速性和可重复性，与 人眼视觉的高度智能化和抽象能力相结合，大大提高了生产的柔性和自动化程 度。在坐标测量机方面，目前以机械接触式测量方式为主，对于形状较为简单， 测量精度要求不高的小型测量物体，可以采用手动接触控制的测量机，目前较为 常见的是微力手设备。对于工业上用于测量高精度配件测量设备，对于机械接触 方式的测量机，c m m 已经成为当前制造领域中不可缺少的重要设备；对于非接 触方式现在有影像测量仪和视觉坐标测量机。 视觉测量机包括坐标测量机的机械结构，c c d 摄像机部分以及我们要建立的 摄像机模型。 1 测量机的机械结构： ( 1 ) 固定零件： 工作台和支撑组成的床身是测量机的固定零件。 ( 2 ) 移动零件： 测量机的移动部分是主桥架、中心滑架和主轴： 主桥架是由横梁，左右立柱和工作台组成，主桥架在工作台上运行并代表机 器的y 轴。中心滑架沿主桥架横梁的运行代表的机器的x 轴。主轴是在中心滑架 内的组件，垂直于地面运行，代表着机器的z 轴。测量机的三个轴向运动互相独 立，因此测头探针可以运动到测量空间的任意位置，测量空间是一个平行六面体， 它的边和测量机的轴向方向相同，并且和机器的行程方向一致。测量机的参考系 统为笛卡儿坐标系x 、y 和z 。测量机测量物体时可以在空间内进行水平移动和 旋转，可以拍摄到物体的全貌。对被测目标物体可以采用双目立体视觉的方法， 由于移动过程中在坐标轴x ，y ，z 上有光标尺，所以可以对物体进行左、右两 6 青岛科技人学研究生学位论文 个方向拍摄，可以完成图像对的双目立体匹配 图2 - 1 视觉坐标测量机 f i 9 2 1 t h e v i s i o no f c o o r d i n a t e m e a s u r i n g m a c h i n e 2 测量摄像机 本文采用的是c c d 摄像机，c c d 是电荷耦合器件的简称，它能够将光线变 为电荷并将电荷存储及转移，也可将存储之电荷取出使电压发生变化，因此是理 想的摄像机元件，以其构成的c c d 摄像机具有体积小、重量轻、不受磁场影响、 具有抗震动和撞击之特性而被广泛应用。 摄像机的基本原理是：把光学图像信号转变为电信号，以便于存储或者传输。 当我们拍摄一个物体时，此物体上反射的光被摄像机镜头收集，使其聚焦在摄像 器件的受光面上，再通过摄像器件把光能转变为电能，即得到了“视频信号”。 光电信号很微弱，需通过预放电路进行放火，再经过各种电路进行处理和调整， 最后得到的标准信号可以送到录像机等记录媒介上记录下来，或通过传播系统传 播或送到监视器上显示出柬。 r i 基于计算机立体视觉的三维重建系统研究 3 摄像机模型 视觉坐标测量机的功能就是从c c d 摄像机所获取的图像信息出发，可以计 算出空间物体上的特征点的三维坐标。图像上的每一个点的亮度反映了空间物体 表面某点反射光的强度，而该点在图像平面上的位置则与空间物体表面上对应点 的几何位置有关。这些位置的相互关系，由摄像机成像的几何模型所决定。这些 几何模型的参数称为摄像机参数，这些参数必须由实验与计算来确定，实验与计 算的过程称为摄像机标赳1 2 】。 摄像机模型是光学成像几何模型的简化，最简单的就是线性模型，或称为针 孔模型。本次测量系统采用的测量方法是采用线性模型。视觉坐标测量机的工作 过程通过水平移动测量机的工作台或者垂直移动摄像机来增大测量的覆盖范围， 也可以通过多次移动或旋转来完成测量。在视觉测量机的测量过程中出现的一些 测量体主要可分为面和体两种，对于一些曲面或不规则面的测量可将它们划分到 到对体的测量中，所以我们将测量体分为平面和立体两部分。对于平面的测量， 主要工作在于对平面覆盖的范围，因此对于一定范围的面测量，可以采用多次水 平移动，测量后可以进行图像拼接和图像匹配。对于立体的测量，由于不同立体 的复杂程度不同，我们需要对物体的深度进行计算，因此需要对摄像机进行平移 和旋转运动相结合，则可以对整个物体的三维重建奠定基础。 2 1 2 视觉坐标测量机的基本原理 视觉坐标测量的基本原理是双目或多目立体视觉技术【l3 1 。在三维物体投影到 二维像平面时，只有场景和物体的二维灰度信息被保留，大量的三维信息丢失。 利用立体视觉技术能够根据两幅或多幅图像中的冗余信息恢复丢失的三维信息， 并由此定量分析物体的尺寸，形状特征和物体形变等相关的三维物理量。视觉坐 标测量的基本方法是从两个或多个视点去观察同一个场景【1 4 】，采集在不同视角下 的一组图像，然后通过获得不同图像中对应像素间的视差并应用三角测量原理 l l3 ，进一步计算场景中被测物体点的三维空间坐标。多目视觉立体视觉和双目立 体视觉的测量原理相同，只是多目视觉测量具有更多的冗余信息和几何约束，减 轻了图像立体匹配的困难。多目立体视觉方法的基础是双目立体视觉方法。本文 采用的双目立体视觉的方法，用摄像机在左、右两个方向对被测物体进行图像采 集，然后对采集图像进行图像预处理，图像边缘提取和图像对的双目立体匹配， 最终生成被测物体三维模型。 视觉坐标测量机是在机械式坐标测量机基础上构建的，测量时由精密的伺服 机构驱动，对被测物体进行扫描以获得被测物体的原始图像数据，系统利用c c d 青岛科技大学研究生学位论文 摄像机进行三维测量。其中摄像机在视觉坐标测量机的机械装置的驱动下，可以 在x 轴、y 轴和z 轴三个方向上运动，并由视觉坐标测量机提供当前摄像机的位 置坐标。计算机立体视觉原理表明，要进行测量必须至少有3 个摄像机进行图像 采集，但是在视觉坐标测量机中，我们利用测量机的机械装置只需要一个摄像机 就可以进行测量。使用测量机的机械系统和控制系统，我们可以预先规定一个测 量的运动轨迹。在轨迹上，每隔一段固定的时间或固定的距离就让摄像机拍摄一 次，得到一幅图像，根据时间或距离计算出两次摄像时摄像机的距离值，用做之 后的计算。这样在进行了多次图像采集就可以组成一个含有多个图像的立体视觉 测量系统。如果摄像机的拍摄区域不能够完全覆盖测量物体，那么采用移动过程 中拍摄待测物体在多次测量之后我们可以对计算所得到的数据进行恢复拼接，从 而可以获得整个测量物体的三维数据信息。 基本的测量过程【l5 】可以简单描述为： ( 1 ) 选好被测物体； ( 2 ) 控制图像传感器c c d 在x ，y ，z 三个方向上运动，并以此进行图像 采集，得到双目图像序列：i m a g e ( i d ，x ，y z ) ； ( 3 ) 对图像序列分组形成双目测量组i m a g eg r o u p ( i d ，i m a g e ( i d ) ) ； ( 4 ) 图像预处理过程：如，图像滤波，图像锐化等； ( 5 ) 对测量的两幅图像进行边缘提取和双目立体匹配； ( 6 ) 确定被测物体的深度信息，进行被测物体的三维重建。 2 2 立体视觉测量的基础理论 视觉坐标测量的基本方法是从两个或多个视点去观察同一个场景【1 4 】，采集在 不同视角下的一组图像，然后通过获得不同图像中对应像素间的视差并应用三角 测量原理【1 2 】，进一步计算场景中被测物体的空间点坐标。多目视觉立体视觉和双 目立体视觉的测量原理相同，下面介绍双目立体视觉测量方法中的双目图像立体 匹配。双目立体图像匹配步骤【1 5 j 如下： ( 1 ) 从左( 或右) 图像中选出某些特征点； ( 2 ) 找出它在右( 或左) 图像中的匹配点，这个过程一般称为双目立体匹配； ( 3 ) 根据以上点对的匹配关系，就可以计算出匹配点在摄像机坐标系中的 空间点三维坐标值； 摄像机模型是光学成像模型的简化，目前摄像机的模型有两种：线性模型和 非线性模型。实际成像系统是透镜成像，是一种非线性的模型。根据透镜成像原 理【l3 j 可以获得物距、焦距和相距的关系式： 9 基于计算机立体视觉的三维重建系统研究 ! ：三+ 三( 2 1 )1 一 z o - ， f uv 因为在一般的情况下有u f 所以经常取v ：f ，而整个模型近似为小孔成像模 型，又称为线性模型。 小孔成像系统【1 2 】是一种线性系统。实际应用很少使用小孔成像系统，但是它 是透镜成像系统的很好近似，在测量物距不是很小的情况下误差非常小，而且计 算也简单了许多，因此是实际应用中采用最多的还是线性模型。按线性模型计算， 物体的空间坐标和图像坐标之间的关系是线性的，因此最后可以归结到求解线性 方程组。非线性模型则严格按照透镜成像原理建模，物体和图像之间的关系是非 线性的，计算要复杂很多。而且在此基础上还可以考虑摄像机镜头的非线性失真、 镜头畸变等因素，摄像机模型将更加复杂，适宜于更高精度的场合。 本系统的摄像机采用的是线性模型( 针孔模型) 来计算，在此投影模型图2 2 介绍了三个坐标系，它们分别为：图像坐标系，摄像机坐标系与世界坐标系【l 2 1 。 如下： y w x w 图2 - 2 小孔摄像机的投影模型 f i g 2 - 2p r o j e c t i o nm o d e lo f p i n h o l ec a m e r a 图像坐标系是成像平面上定义的平面坐标系o 。- u v ，每一个点的像素坐标系 ( u ，v ) 分别是该像素的行数与列数，就计算机图像而言，原点o 。多选作该图像的 左上角顶点。由于( u ，v ) 只表示像素在图像数组中的行数与列数，并没有用物理单 位表示出该像素在图像中的位置。因此，需要在建立以物理单位表示的图像坐标 系o u v 。该图像坐标系以图像平面与光轴的交点o 为原点，x 轴、y 轴分别平行 1 0 青岛科技大学研究生学位论文 于u 轴、v 轴。若点0 。在0 。u v 坐标系中的坐标为u ”v 。每一个像素在x 轴、y 轴方向上的物理尺寸为d 】【，d y 。则图像中任意一个像素在两个坐标系中的关系可 表示为： 阡 1 ，、 一u d x n 1 u d e oo ( 2 2 ) 摄像机坐标系0 一x ，定义为：中心点为光学中心，砟轴和”轴分别与c y c z 0 图像坐标系的x 轴、y 轴平行，z 轴与光轴重合，有效焦距f 是图像平面和光心 的距离。世界坐标系是描述环境中物体位置信息的基本标准坐标系。摄像机坐标 系与世界坐标系之间的关系可以用旋转矩阵r 与平移矩阵t 来表示。因此，空间 一点f 点在世界坐标系( x w ，y 。，z 。) 与摄像机坐标系( j c c ，y c ，z c ) 下的坐标分别是和之 间的关系表示如下： x c y c z c l = 瞄 x w y 。 z ， 1 2 3 视党测量中的线性摄像机标定基本原理 1 2 】 ( 2 3 ) 线性摄像机模型标定就是求解其投影矩阵m ，并求出投影矩阵包含的全部内 参数和外参数，即求解摄像机成像过程中，空间点和其成像之间的对应关系。 下面我们介绍在不考虑成像中的非线性畸变的情况下，求解成像投影矩阵m 的算法，从小孔成像的线性模型可以看出，若能知道若干控制点在世界坐标系中 的位置和它们在图像上的投影位置坐标，就能得到如下关系式： 乙 ： = 鞋簋 x w i l ， z w i 1 ( 2 - 4 ) 式中：( x 州，匕，z 埘) 为世界坐标系中第i 点的坐标； 衍，v 州) 为世界坐标系中 第i 点在成像平面上的投影坐标；m 为投影矩阵中第i 行第j 列元素，z 为摄像 机坐标系下第i 点的空间坐标。上式包含三个方程： 基于计算机立体视觉的二维重建系统研究 i 乙f 甜f = m l x 耐+ 铂2 匕f + m 1 3 z 衍+ 4 z “m5m 2 1 x w ，+ ，以2 2 k + ，3 z 州+ ，z 2 4 ( 2 5 ) 【乙= m 3 l x 耐+ ，2 匕f + 鸭3 z 州+ ，鸭4 将上面中的第三式代入第一和第二式，消去互，后，可得到如下两个关于的线 性方程： j x w i m il + 匕f 确2 + z w f n 3 + 4 - u i x w ，m 3 1 - - l t i 匕鸭2 - - l l i z w f 聊3 32 “f m 3 4 ( 2 - 6 ) 【x 。f m 2 l + 匕f m 2 2 + z 衍m 2 3 + m 2 4 一v x 州m 3 l v 匕f ，吩2 一h z w f ，伤32u ，他4 如果被摄物体上有n 个已知点，并且已知它们在世界坐标系中的空间坐标 ( l ，k ，z 耐) 与它们的图像点坐标( 材州，) ( i = l ，n ) ，则我们有2 n 个关于m 矩阵元素的线性方程。用矩阵形式写这些方程，可以得到： 以l 艺l 乙l 1000 0 叫，咒1一艺l一乙l 000 0 丘。艺。乙， 1 一m k 。一u 艺。一v l 乙， x 。l hz 。1 000 0 叫。x 。叫n x 。一l l n z u n 000 0 邑。匕乙1 一k 咒。一屹匕一y n 乙。 ，他4 m ，4 由于m 矩阵乘以任意不为零的常数，并不影响( k ，匕，z 叫) 与( 1 1 w i ， v w ，) 之间 的转化关系，因此在( 2 7 ) 式中可以指定，这样就可以得到关于m 矩阵其他元 素的2 n 个线性方程。在这个方程组中有1 1 个未知参数，即为1 1 维向量m ，将上 式简写成： k m = u( 2 8 ) 其中k 为式左边的2 n x1 1 矩阵；m 为未知的1 1 维向量；u 为式右边的2 n 维向量；k 、u 为已知向量。当2 n l l 时，我们可用最小二乘法求出上述线性方 程组的解： m = ( k 丁k k r u( 2 9 ) m 向量与。= l 构成了所求解的m 矩阵。由上可见，由空间6 个以上的已知 点与它们的图像点坐标，就可以求出m 矩阵。在一般的标定过程中，多使用十多 1 2 lj、l 4 4 7 鸭二 k 0 l 2 ， 4 l 2 3 4 l 2 3 册肌肌肌胞肋肋肋肚肚肚 青岛科技大学研究生学位论文 个已知点，使方程的个数大大超过未知数，从而用最小二乘法求解以降低误差造 成的影响。求出m 矩阵以后，可进一步算出摄像机的全部内外参数。首先，m 矩阵与摄像机内外参数的关系为： 矧= u oo t x 哇t y tt z o r 1 ( 2 1 0 ) 恺。 篓辜 = 耄三麓耄z 三瓷乏 c 2 - ， 得出m 3 4 = 击。再由下式求得吩，u o ，v o ，q ，q y ； l m ，i 3 一n 3 4 i r 3 u o = ( a x r l r + z ，o 巧) 乃= 2 t v o = ( 口，巧+ v o r ：= 慨2 4 聊2 t ( 2 1 2 ) q = 商m 1x m 3 i a y = 砖l 聊：鸭i 其中表示向量积( 叉乘) 运算符。由以上参数可进一步求出以下参数： 巧= 塑( ，z l 一) “工 吃= 塑( 一v o m 3 ) “j 乞= 鸭4 ( 2 1 3 ) 乙= 塑( ，z l 。一) “工 f ，= 塑( 4 一) “j ， 由匕面的公式可以进一步求出旋转分量。通过e 述步骤可以对相机的内部和 1 3 基于计算机立体视觉的三维重建系统研究 外部参数进行标定。这种方法的优点是整个计算过程比较简单直观，并且除了需 要知道被测物体点在二维图像上的坐标和在三维世界坐标系中点的坐标值以外， 并不需要知道其他额外的信息。 2 4 双目立体视觉基本原理 多目立体视觉主要研究如何借助多幅图像成像技术从多幅图像里获取场景 中物体的深度信息。本文采用的双目立体视觉的基本方法就是从两个不同方向去 观察同一场景，获得不同视角下的一组图像，然后通过三角测量原理获得不同图 像中对应像素间的视差，并进而推断场景中目标物体的空间位置等。由不同位置 的两台或者一台摄像机经过移动或旋转拍摄同一幅场景，通过计算空间点在两幅 图像中的视差，来获得该点的三维坐标。在介绍双目立体视觉技术之前先简要说 明视差原理。如图2 3 所示为双目成像视差示意图，图中两个镜头中间的连线称 为系统的基线b 。 ( x l ，y i ) 图像l 图像2 ( x 2 ，y 2 ) l x i l ： f l 7 f 默： ； 7 图2 - 3 双目成像视差示意图 f i g 2 - 3s c h e m a t i cd i a g r a mo fb i n o c u l a rp a r a l l a xi m a g e 双目成像可获得同一场景的两幅不同图像，可以确定具有像平面坐标点 ( 五，乃) 和( 而，见) 的世界点坐标p ( x ，y ，