【毕业学位论文】基于双目的三维立体重建研究

分类号 学校代码 10495 004 学 号 0915133002 武汉纺织大学 硕士学位论文 基于双目的三维立体重建研究 作者姓名： 谢顺意 指导教师： 尹业安 学科门类： 工学 专 业： 计算机科学与技术 研究方向： 图形图像处理 完成日期： 二零一二年三月 . E. D y 012 论文题目：基于双目的三维立体重建研究 专业：计算机应用 硕士生：谢顺意 指导老师：尹业安 摘要 机器视觉是一门涉及人工智能、计算机科学、图像处理和模式识别等诸多领域的 交叉学科。而双目立体视觉由于直接模拟了人类双眼视觉的生理构造，且具有尺寸小、成本低、功耗小和效率高等优良特性，在空间物体的三维测量等领域有广阔的前景。它已经成为当前的研究热点，广泛应用于国民经济发展的各个领域之中。本文先介绍双目立体视觉的研究内容，应用领域和国内外研究现状，本文的研究目标是在采用一台摄像机微小平移的方法拍摄两幅二维图像来重建三维场景信息，可以四大板块：摄像机的标定工作、特征提取、对应点匹配和三维重建。 本人对每个部分的算法和实现方法都进行了研究和分析，每部分的研究工作主要是： 本文先从理想成像模型入手，介绍四个坐标系转化关系，论述了非线性畸变的三种畸变摄像机模型，并描述了摄像机标定的多种传统标定方法原理：定方法，交比不变原理的标定方法、张正友标定法、步法。针对径向畸变的非线性模型，利用现了参数的标定。 接下来介绍了四种具有代表性的边缘特征算子：子、子，描述了两种角点提取算法：行实验验证和比较特征提取效果。通过对后，描述了提取特征点后加入极线校正算法，利用实验结果证明：焦距越大，校正角度越大。 然后，论述特征匹配的原理，立体匹配算法的分类以及相关的几个测度函数和五类约束条件，简要介绍当前几种常见的匹配方法：基于于滑动窗口的匹配，基于兴趣点的匹配，基于上述讨论，本人运用一种改进的最后一步，通过插值和拟合的方法完成双目立体成像的整体过程。 本文使用的段特征提取算法相比，具有对旋转、尺度缩放、亮度变化保持不变性的优势，并能在一定程度上对视角变化、仿射变化也具备较为稳定的特征匹配能力，实验基本达到预期匹配效果。 关键词：三维重建；特征提取，立体特征匹配；传统标定；双目立体视觉 研究类型：应用研究 D is an as so By of is by as so it is to a in as D of It of in of of of is to D by D of It be D in of is as of of It of It of LT of s of of by s of in of on of in By of it is is of of by it of It on of on of on of on of by an of of of of To it a of is to of D 录 I 目 录 1 绪论1 究背景1 物视觉3 算机视觉的发展3 体视觉系统结构5 体视觉国内外研究6 文研究内容和章节安排9 结9 2 成像几何模型10 10 12 线性摄像机模型14 结15 3 摄像机标定16 17 法17 17 正有标定法18 步法19 21 章小结23 4 图像特征提取24 24 缘及边缘特征提取24 子26 子26 子26 27 边缘算子提取实验28 征点提取28 点检测器29 目录 点检测器30 4.4 31 线校正的图像特征34 章小结37 5 立体匹配39 述39 法分类40 束条件和测度函数40 种常见的立体特征匹配算法42 42 43 于44 征匹配与改进44 章的小结46 6立体重建过程47 体重建简述47 维重建系统设计48 章小结48 7 总结与展望49 致谢51 参考文献52 附录56 1 绪论 1 1 绪论 视觉是人类观察世界、认知世界的重要手段1。人类通过眼睛和大脑来获取、处理和理解视觉信息。周围环境中的物体在可见光照射下，在人眼的视网膜上形成图像，由感光细胞转换成神经脉冲信号，经神经纤维传送入大脑皮层进行处理和理解。所以，视觉不仅指对光信号的感受，还包括对视觉信息的获取，传输、处理和理解的全过程。本文重点要讲的是视觉原理，根据生物学家的一项调查表明，在这丰富多彩的多元素世界中应该有80以上的外界的各类信息由视觉系统获得2，这充分体现了视觉信息量的强大，更说明了人类对于外部世界中视觉信息的较高的利用率。 我们人类是靠眼睛以及大脑两个基本部位来获得、分析和处理相关的信息的，这个过程课描述为：我们身边的物体经可见光（只有可见光在人类可视范围内）的照射，在眼睛后部的视网膜上形成了各种图像信息（颜色、位置、方向等），经感光细胞的转换，形成的神经脉冲信号经由神经纤维传送到大脑皮层处理，概括起来视觉形成原理包括感受光信号，视觉信息的获得、传入、处理、分析的系列过程。 视觉科学工作者寄期望于计算机能拥有像人类那样视觉就像人类希望像鸟儿那样飞一样强烈的愿望。信号处理（术的迅速发展使人们尝试利用像机来获得图像，然后将其转化为数字信号，再用计算机进行各类视觉信息的处理，然后通过对应的关系式实现代替人的眼睛对外部世界三维场景的理解。后来由此形成了新兴的学科计算机视觉（也称机器视觉）。机器视觉的研究领域非常广泛，这也涉及了很多学科交叉，如：生物学，信号处理，神经学，数学，光学，物理学，还包括认知科学（，综合性强，发展前景相当好。 机器视觉的目的是使用计算机来模拟人类的视觉。从而使计算机可以和人类一样可以从二维图像中获得了三维信息3，这里分析得到的三维信息，进一步获得现实世界物体的位置和运动等，进而使用合理的描述并采用适当的方式存储，最后对其分析、识别及理解。换言之，机器视觉主要研究怎样能使机器拥有“看”的能力4，除了模拟人的双眼，我们更需要它能完成人眼所不能完成的任务。 伴随着计算机科学的快速发展，机器视觉现在已经广泛的应用在诸多领域：在工业生产领域，机器视觉技术已经成熟的用于工厂机械零件的自动检测，比如：我们对汽车发动机的检验，可以通过内部的小麻点、划痕等生产瑕疵的检测来区分成品的好坏；在对零部件局部文字信息的检测与识别中，机器视觉也发挥着重大作用，序列号是机器零 1 绪论 2 件用来标志其身份的特征之一，它通常被打印在电子元器件、工件的表面，工人采用肉眼对这些标志进行识别的话，不但浪费了大量时间，而且极大影响的生产效率，另外，某些标志是不易于人眼观察的（还没有考虑视疲劳等人为因素）。目前，我们主要利用模式识别，智能控制等技术实现了机器识别，生产效率的大幅提高，从而大大提高了生产力。 在纺织领域中，它能够实现产品的瑕疵检测以及分析羊毛的的细致程度和含有纤维的多少。 农业和林业也是机器视觉的重要应用领域之一：棉花的病虫害检测可以通过对棉花叶表的图像特征信息的观测，经图像分析确定叶子的被虫撕咬的痕迹，以诊断出棉花生长过程的每个阶段的受到棉铃虫害的程度；通过对奶牛体型的长期的定点监测，养牛师傅找到了奶牛产奶和一些身体指标的内在联系；在林业方面，通过计算机视觉来辨别木材的品质、测算木材的重要数据（木材材质，板材表面缺陷）以及识别树的种类给林业生产带来很大的帮助。 医生利用计算机视觉可以分析医学影像，对核磁共振图像、T，进行叠加并综合分析；对一些医学影像统计分析，基于边缘提取和图像分割，统计细胞个数，从而提高了效率。 在军事领域的应用主要集中在视觉导航上，近些年来，中东地区战事不断，为更好的适应现代化战争，一些国家在不惜花费大量的金钱来进行视觉仿生的应用研究，研究学者在对生物的视觉原理的研究上取得了较大的成果，集中在蛙的复眼视觉系统的研究和鹰眼视觉的模型研究上。美军曾使用无人机（巴基斯坦境内发动多次空袭，重点打击塔利班组织以及“基地”组织的目标。无人机的导航系统主要利用传感器来来获取附近的的物体信息，然后对图像进行处理和分析，并进行识别、匹配来确定其位置。无人机的优势在于“无人”无人意味着“零伤亡”，它在侦查、攻击等方面有多种能力，可携带设备，执行多种任务并重复使用。无人机在民用上应用更广，天津海事局将于今年使用无人机检测海域的污染情况，看重的是它的成本低、反馈信息及时，传输信息清晰。 在人机交互领域，计算机视觉也有多方面的应用：人脸识别属于生物识别，它包括人脸的图像定位，图像采集等；情感计算（是指人们希望计算机拥有和人类一样情感特征的能力，终极目标是能进行自然、生动交流，目前主要运用的技术有三维图像建模，图形变化算法；手语，即通过手部行为来实现人机交互，可以基于手部的位置（指尖点击和移动实现对应功能，如：也可以通过手势的复杂状态来实现；唇读（是通过人的口型变化来解读其内容，是主要针对听力有障碍的人而研制的。 在公安系统中，更是利用机器视觉来协助案件的破获。武汉洪山区雄楚大街“1 绪论 3 爆炸案犯就是利用计算机对不同的面部部件组合拼出犯罪嫌疑人的，其相似度极高。 了更好的学习和掌握计算机视觉的原理和功能1，我们很有必要探究一下生物视觉的奥秘，了解其生物构造，特性还有信息处理模式，这些对于我们学习机器视觉是很有启发的。首先，我们通过下面的表格来对计算机视觉和人的视觉进行比较。 器视觉 人类视觉 感光范围 紫外线、红外线、可见光 可见光 运动分析 定量分析，但受限制 定量分析 测距 能力有限 定量分析 边缘检测 对噪声敏感 定量、定性分析 图像机构 需专用软件，能力有限 高度发达 分辨率 能力有限 定量估计 二维解释 对分割完整的目标较好解释 高度发达 处理方式 串、并行处理 每只眼睛处理数据量高达1010 视觉功能 二维，三维的处理能力有限 自然形成立体影像 生物学家主要对猫，猴子等动物进行了细化的研究，发现了很多共通点，把眼睛感受到的信息分为颜色、形状、方位、速度等，并发现这些要素分属于不同的“视觉皮层”。人类对视觉系统的认识经历了多层串行机制到并行处理的过程，而最终认定大脑神奇地集成了不同水平的多个区域，并分工协作来完成不同性质的视觉信息。这个并行的过程是通过通道来实现的，比如：左右眼通道使人产生了视差，也就产生了立体的感觉，这是因为左右两只眼睛各自拥有自己的通道来传递视觉刺激；人类对颜色的感觉是通过三种不同锥体细胞来感觉三种基础色（红色、蓝色、绿色），这些细胞对各色的敏感的程度不同而并行处理这些信息，此外，还有空间方位通道，运动方向通道。 1. 3 计算机视觉的发展 计算机视觉发展之路漫长而又曲折，它开始于在上个世纪五十年代，其产生的标志是统计模式识别，但当时的主要精力集中在二维平面图像上，像一些简单的字符识别，工件的图像分析和理解。二值视觉系统是指系统的数据只有像素0和1，这样表示的图像数据变化度太小，如果没有对比较为明显的的图像，很难表达图像的轮廓。自从使用 1 绪论 4 了灰度图像，图像的表达就更为清楚，检测复杂场景能力强（比如上文说提到的工件的识别及表面特征分析），它的数据变化范围大，它的分辨率可以达到102 。综上所述，灰度分辨率在机器视觉上起着极其重要的作用。 而到了六十年代，教授 创了新的局面三维视觉5。他对于计算机视觉的发展起了积极的引导作用，他所构建出来的“这个领域最初的一个缩小版本，启迪着人们深入研究：既然如此简单的多面体玩具的三维结构能够被机器“读懂”，扩展到更为复杂的三维场景应该问题也不是很大。果然，人们再后来的研究中在他所谓的“行拓展和学习，并在边缘、角点等基元特征要素的提取，几何要素分析还有图像明暗等等的一些方面有了进一步的了解。 英国著名计算机学者。他于1973年在美国的麻省理工学院（人工智能实验室成立了一个人工智能的研究小组，专门从事机器视觉的理论研究工作，综合了神经生理学、临床神经学及图像处理技术等多项理论首次提出了一个全新的不同于“视觉理论7。该理论是八十年代乃至计算机视觉历史上十分重要的理论框架，计算机视觉一词由此大放异彩。下面我们就 首先，于此将本框架的核心分为3个基本的层次：计算理论、表示与算法还有硬件的实现。 计算理论层次在这其中是最高层次，并对后两个层次有很好的指导作用8。它重点关注的是该系统的总的计算的目的和计算的策略，从而回答了我们关于系统的输出目的还有系统各部分的输入和输出（也包括输入和输出的关系和约束条件）。第二个层次则从计算机的角度更进一步的解决了如何来清楚地表示输入和输出，并提出与计算理论层次对应的算法表示，该层次还解决了所谓的算法之间的互相转化问题。算法与表达方式之间存在着这样一种对应关系：不同的表达方式会因解决同一个问题的算法不同而不同，而同一种算法也会出现相应不同的表达方式。第三个层次，也就是硬件实现，它考虑的是与之对应的计算机体系结构和硬件物理实现。 比较来说，这三个层次相互之间有着较为紧凑的逻辑关系，而区分好这三个层次的关系对于我们学习计算机视觉以及生物视觉大有裨益，原因是它们两者在物理实现层次（即硬件实现）显然不同9，但在计算理论层次确是相同的，可以进行比较学习。另外来说，理清这三个层次的相互关系是十分必要的，尤其是第一和第二层次，是我们今后研究的大方向。 授从视觉系统理论处着手，将视觉处理的系统进行了划分10，他认为由二维平面图像像素到物体三维的形状和位置信息，视觉信息一共经历了3个的不同的表达 1 绪论 5 阶段。简言之，这三个阶段被称为早期、中期和后期，要了解这三个阶段，我们需要了 一层次：计算理论 第二层次：表达与算法 第三层次：硬件设计与实现 计算目的、策略 怎样实现上一理论，如何实现表达见转换 在物理层面的设计实现 解以下三个概念：要素图（也叫基元图）、面我们就这三个阶段进行必要的介绍：第一个阶段主要包括我们所说的双目立体匹配，光流计算等，这个阶段主要的工作是提取基元图（也就是二维图像的边缘、曲线、纹理等等），是环境的不完整的三维描述）， 应的，它的局限性和缺陷体现在3个方面11：没有反馈，缺乏高层的指导和修正，对信息处理的被动局面。有鉴于此，人们提出了新的改进方法：在模块中增加了反馈流向以增强人机交互，添加了高层知识模块使其便捷的利用其它学科知识加以引导，另外，添加了图像获取模块来让机器视觉具有主动性。 觉可以分主动照明视觉（利用特殊的光源，结构光视觉）以及被动照明视觉12（利用自然光，双目立体视觉）。主动照明视觉的优势明显，应用广泛，实时性比较强。而被动光照明则受到条件限制。因此，三维视觉使计算机的应用有了更大的发展空间。 层知识 图像获取 早期处理 中期处理 后期处理 视觉目的 反馈 1 绪论 6 为完成二维图像的三维立体重建，需要完成以下六大模块： 摄像机参数标定 摄像机的参数分为两类：内部参数和外部参数，内部参数与场景无关，它决定于摄像机本身，主要是摄像头的畸变系数，焦距，像素间距离；外部参数和摄像机的摆放位置、角度有关，有旋转矩阵和平移向量。标定的方法很多，如何快速，准确和方便的标定这些参数是本模块考虑的问题。摄像机的标定为像点的像素坐标与目标物的世界坐标搭建了一座桥梁，为三维重建工作起了很好的铺垫作用。 获取二维图像 图像是三维立体信息的原始来源，为了详细描述外景，需要两台或以上摄像机多角度拍摄物体。为了获得清晰的三维重建的第一手材料，则需要拍摄者充分注意到光照、场景、像机等外在因素，尽可能的把鲜明的物体几何特征记录（角点、边缘）在图像信息中，尽量避开特征干扰区域（物体有几何重复现象），总之，原则上根据具体情况要获取最大利用价值的图像信息。 提取特征点 特征点的提取以及后来的匹配是一气呵成，因此，对特征点的选择尤为重要。特征点提取算法一直是立体视觉研究的重点。本文主要叙述了边缘、角点两种表现突出的特征以及相应的算法。影响特征提取的因素很多，不如：边缘特征容易受到噪声的影响，使它与边缘混在一起，因此需要必要的算法如设置阈值或进行图像预处理来排除噪声，当然也会损失一部分真正的边缘。特征提取算法的好坏的评价标准有：鲁棒性、精确性。 立体匹配和约束条件 立体匹配的目的是找到左右图像的对应点的位置关系也就是视差，分为区域性的匹配和特征点的匹配。特征点匹配目的是建立左右两图像特征点的一一对应关系，它是建立在特征点选取精度较高的前提下，而区域匹配对此没有要求。匹配要求得到的是最优化匹配，它要受到摄像过程中必然的约束条件限制，然后比较测度函数来确定最佳匹配，由于误差的存在，如何实现较为准确的匹配效果是本块所研究的目标。 三维立体重建 最后在建立好的匹配特征点基础上，结合标定的参数以及二维图像像素坐标系与三维坐标系间的对应关系来实现重建过程。基于特征点的匹配其间涉及到三维曲面的插值和拟合。 体视觉国内外的研究 无论是生产还是科学研究，国外的机器视觉都远远领先于国内的发展，在外国的各行业都渗透了机器视觉的影子，它就像一场新的“工业革命”一样改变着生产的效率和人们的生活。 1 绪论 7 日本大阪大学机械系研制了一种自适应双目视觉伺服系统9，日本奈良科技大学信息学院提出了一种基于双目视觉的增强现实系统(册方法10，日本东京大学将实时双目视觉系统和机器人整体姿态信息集成11。 按照所选取的摄像头的数目将视觉分为单目，双目和多目视觉，我们知道要想获得场景内的三维信息需要两个以上的相机，而最近一项新的算法在美国的史坦福大学诞生，该算法由该大学的安德鲁博士在一个核心信息会议上提出，他认为目前单目视觉应用前景相当可观，他带领它的高徒设计出软件，使机器人能够深入分析静态物体深度信息，这种信息主要通过纹理间距的渐变、角点等特征的微小变化还有一种叫做梦幻感（就像人对于距离的感知）的特点，当然必须确保主题信息的完整，该机器人在就像在一片繁茂的树林里穿梭而不会被撞，误差能够达到35码的距离能够感知在30到40之间，它大约每秒进行十次距离判定。如果将来可以达到长距离的精确距离判定的话，期待能够实现飞机穿越峡谷和深山。 德国拜仁州的埃朗根纽伦堡大学克劳斯教授认为：“机器人的视觉功能将引领着人们更加适应生产环境”当地媒体曾报道，机器人在昏暗的环境中，能进行工业流水线作业中的很多环节，人们将其称为“金眼机器人”，在食品包装，纺织品检测、机器制造的瑕疵检测中扮演着重要角色。 塞尔维亚的科学家马尔里奇一直致力于机器人辅助中风、老年痴呆症、自闭症患者的康复的机器人研究，该机器人除了能帮助病人完成生理性康复意外，她的研究涉及到病人的心理。她所带领的研究小组涉及运动机能、心理学，器械工程学等诸多学科，她还亲自做了心理学测试，测试结果表明患者的性格刚好喜欢和他相近的机器人“相处”融洽。机器人除了具有“眼睛”能“看出”病人的心里状态，还靠“听觉”，“触觉”来感知人类的行为以便于人类更好的康复。 在日本，同样的，众多科学家在从事机器人辅助病人的研究工作，日本名古屋的机器人“护士”并命名完成真人的护理，丰田公司也在其后研发了一种机器人能独立行走，并出色的完成行动功能性障碍患者的看护工作。在日本东京一次学术会议展示了由国内著名研究机构和一家日本公司共同研制的“独眼”机器人为看护病人和老人研究的第三代机器人，是由聚合物制成的，它可以减轻自闭症患者的痛苦能缓慢地“行动”，能听懂几种简单“声音指令”，会简单的言语表达。 在航空航天中，美国一直处在世界前列，而火星（与地球极大的相似性一直是人类最向往的星球之一，“好奇”号（它的前辈“勇气”和“机遇”后于去年底升上太空，开始了它对于火星的新的旅行，是美国到现在为止最庞大、最复杂、最昂贵（投入约 25 亿美元）、最先进的“火星汽车”，为了找寻火星能使微生物适应的生存环境，它将于太空飞行三亿多英里的“漫游生活”，预计2012年8月到达火星，车上除了常规的摄像工具，“手臂”外，还建立了个用于火星上物质分析 1 绪论 8 的小型实验室（长宽高分别为3米，动系统采用摇杆式转向悬挂系统（平地上最快时速达4cm/s，每天可运行200m。其火星手臂摄像机装其“胳膊”的末端，该相机很大程度上不同于该车上的其它的工程相机：它是全彩摄像且焦距可调、配备灯光、可进行摄像，其微距功能很强大，可以接近到目标 21 毫米进行拍摄。它还可以通过一个摄像头实现双目立体拍摄功能，机械臂的微小平移拍摄另一张照片12。 奇号”国在机器视觉的立体视觉领域也有诸多涉及，全国许多的大学和科研机构在进行深入的研究之后，很多研究成果已经能够得到推广和应用，其中大多针对的工农林的生产实践中切实可行的课题。 北京化工大学的王颖博士等人以昆虫飞行的翅膀的系数为研究目标13，研制出一种基于高频单摄像机四目立体视觉测量系统，她把蜜蜂作为研究对象，为昆虫飞行的秘密揭开了新的一章。 清华大学的985重点项目“拟人机器人技术和应用系统”采用了典型的平行式双目立体视觉系统，研究开发了拟人机器人。重100有多关节可以运动的双手双足，同时拥有视觉、触觉和听觉能力。在内部驱动的作用下，该机器人能够自主活动，例如：步行、慢跑、跨越障碍物以及拾取物品等较高级的动作。机器人视觉是智能机器人的关键技术。 “嫦娥计划”是就是中国探月工程，它分为绕、落、回14，嫦娥三号卫星将实现落月进入月球表面，届时就将进入探月工程第三步将要实现探月器的成功返回。作为新的“探月者”，它会携带有一部月球车勘测月球表面，月球车是我国独立研发的的具有高“智商”的机器人，它具有导航等很多功能。哈工大曾造过六轮摇臂转向架式月球车，上海交通大学研发出一款外形炫目的“小蛛行人” 。 我国在已经具备了进一步开展立体视觉研究的技术力量和人才储备，其中中国科学院模式识别国家重点实验室、中国科学院自动化研究所、清华大学智能技术与系统国家 1 绪论 9 重点实验室、天津大学精密测试技术与仪器国家重点实验室、安徽大学人工智能研究所在目前国内的研究领域中处于领先地位。 文是基于双目立体成像原理，在用一个摄像头，采取平移位置的方式，拍摄两幅平面照片，还原图像的三维场景，并对其中的摄像机标定方法、特征点的提取和匹配算法进行研究。论文研究的重点内容体现在以下3个方面：像机的标定，特征提取与匹配，所做的工作有：张正有法标定摄像机内外参数，比较几种常见的特征提取算法，采用对提取到的特征点进行维场景恢复，实现实验目的。 论文从双目立体成像原理展开，分六章进行论述： 第一章：绪论 从视觉的原理分类入手，介绍了立体视觉的发展历程，框架结构，应用前景以及国内外的研究现状，并叙述了本文的行文路线和研究重点。 第二章：成像几何模型 介绍双目视觉的两种成像模型：理想模型和考虑畸变的模型，并涉及4种坐标系及转换，得出二维平面与真实场景之间的转换关系式。 第三章：摄像机标定 简要介绍了摄像机标定种类的分法，重点描述了 3 种传统摄像机标定方法，最后利用张正有法实现对内外参数的标定。 第四章：特征提取 简要介绍基元的分类，阐述了几种边缘提取和角点提取算法，经过比较，选用较为稳定的出了改进，在提取特征前加入了旋转，由此对比不同焦距情形下拉伸的角度问题。 第五章：立体匹配 介绍匹配方法的分类，涉及到测度函数，约束条件的原理和方法，在上文基础上进行第六章：三维重建 基于前文的数据，利用插值的方法实现三维重建工作。 第七章：总结 对论文的工作小结，提出后面的研究目标。 本章介绍了机器视觉及其分支立体视觉，并简要介绍了立体视觉的历史，研究结构，应用的各类领域，以及国内外的发展，明确本文的行文路线和章节安排。 2 立体视觉的成像几何模型 10 2立体视觉的成像几何模型 基本成像系统的目标是从三维环境到二维环境中，可以用数学映射来表示：23: 。光源、采集系统和拍摄场景构成了成像的三个因素，其中光源包括普通光源（如：白炽灯、钠灯）和新型光源（如：常用的摄像机有 像机、像机以及新兴的成像模式因三者情况的不同而不同，如：三者的位置是否在采集过程中发生变化的有：结构光成像、光移成像等，在三者固定，根据摄像机的数目分为：单目成像、双目成像以及多目成像。本文所涉及到的双目立体成像的图像采集工作是在两台相同的摄像机的配合下完成的（也可采取将摄像机沿基线平移一段距离来实现，本文就是这样做的），它的成像原理和一台摄像机是相同的。 本章主要介绍的是图像采集的基本原理，也就是成像模型，它是下一章摄像机标定的理论前提，主要涉及三个大方面的内容：一是双目视觉的几何成像原理二是成像坐标系统的介绍及其之间的转换关系，三是光学畸变的对应模型。 文要介绍的是一种基于一台摄像机来实现双目视觉三维成像的结构。双目成像有两种模式：双目横向模式和双目纵向模式，本文是横向模式。它有两种形式：一是摄像 目视觉成像基本原理 2 立体视觉的成像几何模型 11 机平移一段距离，目标不移动，称为移动像机法，灵活方便，易于操作：还有一种是像机不发生位置变化而目标物移动，实时性好，工厂对零件操作时适宜这种方法，本文采用前一种方法。下面就本文采用模式的原理简要介绍： 点 , ，坐标表示为像素坐标系形式（下一节将会介绍）。M 点坐标在以左右两摄像机光心为原点的世界坐标系下的坐标分别为 , 以及 , 。则由投影比例关系和相似三角形的性质，可得： 这里，,00为摄像机内部参数（下一节将提到）， ，就是前面所提到的视差，求解上式得： 0， 0， （2从上述结果可以看出，已知摄像机的内外部参数和视差信息，上述转化关系可以把图像像素坐标算出外部空间的世界坐标系坐标。 外界的真实场景到计算机平面上的像素图一共经历了4个坐标系，它们的存在使我们更好的理解和表示整个过程，并通过运算建立起它们之间的一一对应关系式。 世界坐标系15，即外部环境的三维坐标系它可以把空间的任意点作为原点，是个由用户自己定义假想的坐标系，也可以描述空间的任何位置。 摄像机光心坐标系，即是以摄像机的光心（原点的三维坐标系光心点设为要与图像平面垂直，通常世界坐标系也是这样设定的，然后从图中就可以认定长度为焦距f 。 图像平面坐标系这是个二维物理坐标系，