基于结构光的双目立体视觉三维测量系统研究.doc

基于结构光的双目立体视觉三维测量系统研究分类号UDC密级号学硕士学位论文崔乐基于结构光的双目立体视觉三维测量系统研究崔乐西安理工大学学科名称：控制理论与控制工程学科门类：指导教师：申请日期：工学教授2014年 3月杨延西 摘要ii iii 摘要iv 摘要论文题目：基于结构光的双目立体视觉三维测量系统研究学科专业：检测技术与自动化装置研究生：崔乐签名：签名：指导教师：杨延西教授摘要如今工业生产过程中，对产品的表面检测、尺寸等各项三维参数的测量越来越多，如钢厂的版型检测，卷曲过程中的直径检测，汽车的外形检测等，而其结果直接决定产品的优劣品质。因此，三维测量技术已经发展成为一个富有挑战的重要研究领域。近年来，立体视觉受到人们越来越多的关注，其具有非接触式测量、无破坏、高精度等优点。因此，本文以bumblebee双目摄像头为基础，对双目立体视觉的关键性技术，进行研究分析，主要工作如下：1，研究双目视觉基本模型，采用基于bumblebee2平行双目相机模型，对模型中各个参数进行标定，采用基于张正友的优化算法进行相机内部参数的标定，包括焦距、畸变参数。在此基础进行双目标定，基距和极线的校准工作，通过棋盘格，利用Herris角点检测算法，得到角点数据，进而得到基距数据，以及极线变换矩阵。2.在实例测量方面，做了卷径空间参数点测量以及平面轮廓测量两方面：在卷径测量方面，利用投影线激光，引入弦边，通过检测弦边来计算直径的方法，并提出了一种简单可靠的卷径轮廓的测量方法。并利用特征区域特征点进行双目匹配，利用弦边测量卷径。在平面轮廓测量方面，针对板型平面纹理特征不明显，利用投影光栅技术，从而达到致密的视差信息。首先通过图像滤波，去除干扰，然后进行条纹细化，进行匹配区域化分，最后利用区域内相位信息进行区域内部二次匹配。3最后通过搭建实验平台，对整个算法进行验证，对结果进行了误差分析，证明了方法的可行性。关键词：三维测量；双目立体视觉；卷径检测；相机标定；立体匹配i AbstractTitle: Studies three-dimensional measurement system based on binocular stereo vision structured light Major: Detection Technology and Automation Devices Name: Le CUI (Signature:(Signature:) ) Supervisor: Prof. Yanxi YANG AbstractToday, industrial process, the detection of the measurement surface of the product, the sizeand the like more and more three-dimensional parameters, such as the steel version detector,detecting the diameter of the crimping process, vehicle detection, shape, and its results directlydecide the merits of the quality of the product. Thus, three-dimensional measurementtechnology has become a challenging area of research is important.In recent years, stereo vision more and more attention by the people, which has anon-contact measurement, non-destructive, high-precision and so on. Therefore, this articlebumblebee binocular camera based on binocular stereo vision key technologies, research andanalysis.Firstly, the basic model of binocular vision, based on bumblebee parallel binocular cameramodel, the parameters of the model is calibrated using the Cameras internal parametersoptimization algorithm based on Zhang Zhengyou calibration, including focal length, distortionparameters, and binocular pole line calibration, the baseline calibration.Then match aspect, roll diameter measurement, the proposed method of measuring volumediameter profile and use the feature region binocular matching feature points using the sides ofthe measurement volume diameter. In the flat profile measurements using fringe projectiontechnique, first by the image filtering to remove interference streak refinement, regionalizationmatch points, and then use the information in the region within the region the second phasematches.Finally, the use of equipment experimental platform to verify the feasibility of the entiremeasurement algorithm.iii AbstractKey words: Three-dimensional measurement；binocular stereo vision；roll diameter detection；camera calibration；Stereo matchingiv 目录目录1绪论. 11.1三维测量技术概述. 11.1.1接触式测量技术. 11.1.2非接触式测量技术 . 21.1.3三维测量技术的应用领域. 31.1.4本文研究方向. 41.2双目立体视觉技术. 41.2.1相机标定. 51.2.2图像采集. 61.2.3图像预处理. 71.2.4立体匹配. 71.2.5三维信息测量. 81.3本课题主要研究内容 . 82双目立体视觉模型. 92.1引言. 92.2相机成像模型. 92.3双目立体模型. 132.4极线约束. 162.5本章小结. 163双目立体视觉标定.173.1引言. 173.2摄像机参数标定 . 173.2.1标定原理. 173.2.2角点检测算法. 193.3双目摄像机参数标定 . 213.3.1双目摄像机基距标定. 213.3.2双目摄像机极线标定. 223.4实验结果. 223.5本章小结. 244匹配算法.254.1引言. 254.2立体匹配概述. 254.3卷径匹配测量. 254.3.14.3.24.3.3激光线细化拟合. 26边缘提取. 27卷径边缘提取. 284.4平面三维测量. 314.4.1图像预处理. 314.4.2光栅匹配. 324.5本章小结. 345三维测量系统实验研究与结果展示.355.1引言. 355.2硬件系统. 35v 西安理工大学硕士学位论文5.3系统工作流程设计.355.4软件系统.365.4.1采集图像.365.4.2标定程序.365.4.3卷径测量程序.375.4.4平面测量程序.385.5实验结果.385.5.1卷径测量结果.385.5.2平面测量结果.395.5.4本章小结.406.总结与展望. 41致谢. 43参考文献. 45vi 绪论1 绪论1.1三维测量技术概述随着社会经济和人生活水品的提高，商品制造加工业快速发展，而在商品生产加工中，各类三维测量工作越来越多，如机械零件尺寸检测，各类板型材料的板型检测，汽车模型检测等，市场需求促使三维测量技术快速的发展，经历从最初的接触式测量到当今流行的非接触式测量，从简单的二维到客观的三维信息测量，越来越多三维测量技术被提出，大致分类如图 1.1，下面从接触式和非接触式两大类进行分类介绍1。接触式测量三维测量探头激光扫描三维测量技术双目立体视觉结构光测量非接触式测量机器视觉其他（电涡流传感器等）图 1.1三维测量技术分类图Figure 1.1 three-dimensional measurement techniques classification map1.1.1 接触式测量技术三维测量技术初期主要是以三维测量探头为基础的接触式测量方法，至今已有几十年的发展历史，在现实生产中，工厂在数控机床上依然应用此类方法，其主要的工作原件是高精度触发式测头，当触发侧头与被测物发生接触时，产生触发力，使内部测量检测元件发生相应的形变，从而产生触发信号，通过数学模型运算，得到三维信息。接触式测量主要特点是，测量精度高、可靠性高，主要应用于精密机械零件生产加工。但随着各类商品的制造需求，其缺点慢慢暴露出来，主要如下：(1)接触式测量的信息获取在于检测探头与被检测物发生接触，这使得一些高精度表面、易碎表面容易造成损坏，同时一些复杂被测表面，恶劣的检测环境易使得测头损坏，影响检测精度，使用寿命大幅减低。(2)接触式测量适用于刚性材料检测，一些表面柔软的被测物体无法得到高精度的测量要求。1 西安理工大学硕士学位论文(3)被测物的抖动，会造成很大的测量误差，接触式测量对测量环境有很高要求。(4)由于驻点式测量，测量缓慢，不适用于大范围测量。越来越多的问题，致使新的能有效适应各种环境的三维测量技术的产生，非接触式光学测量就是在这种背景下产生的。1.1.2 非接触式测量技术非接触式三维测量方法主要有：基于光学、电磁波、声波等的三维测量方法。其较2接触式三维测量方法，有着非接触式测量、高速检测、大面积检测、无破坏性等众多优点，得到了人们的普遍重视，获得了巨大发展。如今在医学检测、道路检测、物体模型检测中得到了广泛应用。最具备代表应用的在20世界70年代出现的基于X射线的CT扫描机，普遍应用于医疗领域，它利用X射线断层扫描，光电探测器接受，最后经过计算机处理得到被测物体的截面图像。它有效的解决了例如物体内部个空洞、内腔等的检测难题。这在利用接触式测量是无法得到的。在众多的非接触式三维测量方法中，近几年随着光电子技术、微电子技术的发展，各类光学相机、数字投影仪，激光器的成本越来越低，光学测量技术得到快速发展，它可以通过视觉非常直观的得到三维轮廓信息，便于各个生产领域有效的检测产品质量，因此开始在一些领域得到广泛应用。非接触式光学测量方法按照检测方式又可以分为主动式和被动式两大类。（1）主动式主动式指通过人为的向被测物体投射特定的结构光，由于被测物体表面三维信息不6同，结果光会发生形变，通过检测出形变量，利用空间几何关系，经过解调得到被测物体的三维轮廓。（2）被动式被动式则是不借助任何人为因素，单纯利用获得图像，通过特有的检测原理，得到物体的三维模型，但是当被测目标的轮廓信息过于单一简单、或过于复杂使得被测目标点之间无明显差异时，这种被动式检测的匹配计算量变得非常困难，以至于散失检测效能。典型的有双目立体视觉，利用双目空间几何关系确定被测物三维轮廓。下面具体介绍几种非接触式测量方法：(1)激光扫描法10激光扫描技术又被称为实景复制技术1112，是上世纪九十年代中期出新的一项高新技术，其工作基本原理实质就是激光测距法，激光测距技术以时间飞行法为代表。由激光发射器发出一个激光脉冲信号，接收器检测出发出到激光经过被测物表面反射后接收到的时间延迟，计算出距离。再结合高速激光三维扫描仪，进行大面积高分辨率快速获取被测对象表面的三维坐标数据。通过建立物体三维点云模型，能有效的得到可视化三维空间模型。2 绪论其具有快速性、高密度、高精度，近几年发展速度相当迅猛，且商品化非常成熟，大量应用在测绘工程、设备结构测量、建筑古迹测量等方面。但同时，由于造价昂贵，且对特殊材质，比如镜面、透明或半透明材料等，无法有效的测量，这使得其并不能满足广泛的用户要求。而随着光电子技术、微电子技术的发展，各种新型器件不断出现，越来越高分辨率的相机和投影仪，价格也越来越便宜，使得基于视觉技术的三维测量方法快速的受到人们关注。(2)结构光测量法132627结构光技术即通过向被测物表面投影辅助光源，利用三角测量原理进行三维检测，主要有点激光测量、线激光测量、面激光测量、光栅条纹测量法等。结构光法其计算简单、体积小、价格低、易于实现。但同时其需要进行严格的标定，其相机与被测物体相对位置关系严格固定，不便于做成移动设备。(3)立体视觉技术立体视觉技术主要是双目视觉，最早是在 80年代，由 Marr，Poggio和 Grimson14提出并实现的，其是基于人类视觉系统感知外界三维信息的方式，通过左右两个相机对被测物体测量，通过双目视觉差，通过空间解析几何原理，获取场景的三维信息。其获取方式和人体双眼获取三维世界方式类似，其不受被测物与摄像头之间的距离，便于移动检测和携带，广泛应用在机器人导航15、三维测量和虚拟现实16中。1.1.3 三维测量技术的应用领域随着近几年三维测量技术的发展，其显著地商业价值也慢慢展现出来，主要有：(1)在工业生产中，需要测量一些机器零件、产品、模具的三维尺寸，例如钢厂板型检测，卷曲卷径检测，汽车车体外壳检测等，由于检测面大，传统的三坐标测量机无法达到测量要求，因此，基于非接触的光学检测技术在其中得到了很广泛的应用。(2)在质量控制中，基于非接触式光学测量技术可以用于在线检测，来保证接下来的工作执行，例如对板型加工过程中，板型的翘曲程度的大小决定后面的轧制工艺，板型的带头带尾检测决定裁剪工艺。(3)在恶劣的条件下，如高温环境中，基于非接触式光学三维检测技术则有更明显的应用前景。(4)测量一些质地柔软的物体表面和表面不能被划伤的物体时，也需要非接触式测量。(5)在医学领域中，可用于人体器官的畸变、增生已癌症的早期诊断等。例如在医院的骨科，用来检测人的手臂、牙齿、头部，以制作假肢、牙模、面膜等。3 西安理工大学硕士学位论文1.1.4 本文研究方向本文针对工业生产中的产品、模具检测，采用光学三维测量方法，由于单目结构光测量方法，适用于平面模具，标定相对于复杂，在一些工业场合无法完成标定，而双目立体视觉，存在匹配难度大，速度慢，针对无纹理特征的物体无法得到准确的三维轮廓信息，因此，本文以双目立体视觉为基础，通过采用结构光技术，来降低匹配难度，同时提高匹配速率，来完成实际测量要求。1.2双目立体视觉技术双目立体视觉345，是非接触式三维测量的一个热门研究对象，它通过两幅图像的视场差来获取物体三维几何数据。其基本原理是从左右相机拍摄同一物体，得到两幅不同视角下的二维图像，通过成像几何解析计算出像素间的位置偏差，计算出深度信息。双目立体视觉系统中，获取深度信息的方法比其他方式较为直接，因此适用面宽，适用于机器三维建模测量。图 1.2为双目立体视觉的检测原理图，左右两个相机的成像平面为 SR和SL，左右相机光心为 OcL、OcR，光轴交成像平面与 OL、OR，称为为成像平面中心点， uv组成相机成像平面像素坐标系， X cYcZc为以摄像机光心为原点的摄像机坐标系， Z轴即为光轴，X wYwZw为世界坐标系，假设 P为空间中任意一点，其投影在左右两个摄像机成像平面坐标为 pL、 pR，我们称 pL、 pR为 p点在一对匹配点。通过图像处理技术，当我们得到匹配点的像坐标后，结合光学相机成像模型，即可得到世界空间 P点的世界三维坐标。这一过程为光学成像逆向工程。整个工程在主要包含摄像机标定、立体匹配、三维信息还原三个步骤。YWZ WOWX WvPvSRORuSLYCOLP rYCZCP lZCXCOcLuOcRXC图 1.2系统模型图Figure1.2 System model diagram4 绪论其实现三维测量的总体流程图 1.3如下：相机标定相机的内部参数双相机的位置参数图像采集图像预处理立体匹配平滑滤波除燥直方图均衡化去除亮度差异针对一些测量，提取边缘信息三维点云信息获取三维信息测量三维模型测量参数的计算图 1.3三维测量总体流程图Figure 1.3 The overall three-dimensional measurement flow chart1.2.1 相机标定由于双目立体视觉依靠成像几何解析计算出被测物体的三维信息，因此在测量前，需要对双目相机的内外参数进行标定，建立相机成像与世界坐标的转换模型，而这一步是实现整个三维测量系统中，最基本也是最重要的一步。因此，相机标定技术也是近几年的研究热点，主要分为以下几大类方法789：(1)线性标定方法一般来说，刻画三维空间坐标系与二维图像坐标系关系的方程是含有摄像机内部参数和外部参数的非线性方程，如果忽略摄像机镜头的非线性畸变，那么从三维到二维的变换就是线性变换，一般求解方法是利用透视变换矩阵和直接线性变换，然后由求得的矩阵再分解求得像机参数。其优点不需要非接触优化算法，从而运算速度快，模型简单，能够实现摄像机参数的实时计算，可以应用在对精度不是很高要求，但模型参数需要实时更新的检测现场。(2)非线性优化方法线性变化忽略了镜头畸变，只能用于视野狭窄的摄像机，当镜头畸变明显，如使用广角镜头，原理图像中心处会有很大畸变，这就需要利用非线性优化方法。非线性优化算法通过假设符合实际需求的复杂的光学成像模型，充分考虑成像过程中的各种因素，求解非线性畸变模型，可以得到较高的标定精度，典型代表有 Faig和 sobel提出的方法。而在优化方面，分为两大类：一类是拟线性化方法，将非线性化问题线性化构成一种迭代格式，用逐次逼近法求解。另一种是完全非线性化，如遗传算法等。5 西安理工大学硕士学位论文其优点是在模型更加接近真实情况，但是要使得结果更准确，必须保证初始的值取得合适，若不合适，其结果反而更加差。(3)两步标定法两步法即结合了线性标定和非线性标定，利用前者求解出较为准确的摄像机初始参数，然后再加入畸变因素，进行非线性迭代优化，这样满足了后者的初始条件，使得结果更加准确。(4)平面模板法21世纪处，Zhang提出了一种平面模板法7，该方法能够获得更高的精度要求，同时方法更加简便，该方法首先通过设定检测模板，检测出标记出的特征检测点的空间位置，计算各特征点的对应关系，对数据进行归一化处理，构建平面模板与对应检测图像的单应性模型，求解模型矩阵。利用摄像机内部参数的约束条件，提出标定计算公式，求得内外参数，再将各参数带入到非线性优化方程，最后得到优化后的所有参数。在实际操作中，它不需要量出模板的尺寸，只需将合适模板在摄像机镜头前任意摆放两个角度或以上即可实现标定。1.2.2 图像采集将标定好的两台内部参数一样的摄像机在不同位置对被测物体拍摄，获得立体图像对，如图 1.4所示：相机相机图 1.4图像采集示意图Figure 1.4 Schematic image acquisition由于双目立体视觉的三维测量，需要进行一个关键步骤，即需要在图像对中寻找相同物体点在两幅图像中的像素点，因此为了算法的简便且准确性高，我们需要尽量保证两台相机的水平摆放，使得光轴平行且垂直于基线，使得后续的匹配尽可能只存在水平差异，使得搜索点最大化的减小。6 绪论1.2.3 图像预处理在采集图像时，双目立体视觉需要两台方位不同的摄像机对同一目标摆设，由于摄像机个体差异性以及视角背景差异，导致接受到的光强稍有不同，再加上采集卡不同通道间的噪声不完全相同等多种原因，使得检测到的图像对应的同名特征点的像素值存在差异。而这些差异值如果没有在立体匹配前进行消除，将严重影响立体匹配结果。因此，在得到立体匹配的图像对时，我们首先要对其进行预处理，来确保后面的匹配工作准确进行。这其中包括噪声平滑滤波22、直方图均衡化、极线校准等处理。1.2.4 立体匹配立体匹配17即在左右像机所成图像中找到所有像素点的匹配关系，它的匹配精度直接决定最后三维检测结果的准确度，其在整个三维测量过程中也是最复杂、困难的一项。双目视觉中，同一像素点，由于摄像机的位置关系的差异，从而可能导致同一像素点成像后位置的差异，灰度值的差异，形状的差异，因此采取何种匹配方法显的尤为重要。目前包含三大类，区域匹配、特征匹配和相位匹配。(1)区域匹配区域匹配1829是以被检测点为中心，其周围组成的一个矩形区域为匹配区域，通过该匹配区域内的像素值分布来表示该中心匹配点，然后以同样大小的区域，对待检测图中逐点计算以每点为中心的匹配区域的像素值分布，比较两个区域的相似程度，通过设定阈值判断匹配点是否为同一特征点。通过区域匹配算法最终可以得到完整的致密的视差图，但在实际应用中匹配窗口选取，直接影响匹配结果，而窗口的选取又无法准确的得到，而且其计算量很大，同时其对光照也很敏感，若由于摄像头角度差异而导致的图像像素值产生的误差，将很大降低匹配准确性。(2)特征匹配特征匹配1920算法是对被测像素点周围邻近区域建立抽象的特征描述子，例如梯度、角度等，选取的特征能有效抵抗由于光照不同和噪声带来的误差影响。近几年比较流行的有 SIFT特征描述子21、SURF22、ORB2317等。其具有快速性、准确性、稳定性等特点，因此在双目立体视觉立体匹配方向得到了广泛的应用。但对于一些表面纹理单一简单等物体，此方法则无法准确得到匹配视差图。(3)相位匹配相位匹配24是一种比较新的匹配算法。它将相位信息作为匹配依据，本身能够很好的描述自身的结构信息，且能很好的抑制图像的高频噪声，适用于并行处理，且精度很高，能达到亚像素级别，但同时也存很多问题，例如相位奇点、相位卷绕等问题。7 西安理工大学硕士学位论文1.2.5 三维信息测量得到匹配视差图后，利用空间几何模型求解，即可得到空间三维点云模型，然后利用空间几何关系，进而得到所需要的测量参数。1.3本课题主要研究内容(1)了解三维测量技术的发展现状、方法和理论。(2)研究双目立体视觉关键技术，双目视觉模型，摄像机标定方法，基线标定方法。(3)研究图像预处理方法，图像滤波，灰度图像的直方图归一化，平衡两幅图之间的亮度差异。(4)研究卷径检测、测量技术，提出一种符合实际情况的检测技术，并利用弦边测量直径。(5)针对板型检测，利用投影光栅投影进行图像匹配，并完成三维轮廓提取。8 双目立体视觉标定2 双目立体视觉模型2.1引言本章主要介绍双目立体视觉的模型，首先了解相机成像原理，建立相机和世界坐标的关系，但是通过单目相机二维图像无法准确的得到世界目标三维信息，因此再建立双目立体视觉模型，利用视差准确求解。常用的有平行式立体视觉模型和汇聚式立体视觉模型两种。前一种方法在空间的几何关系较为直接，但对硬件相机的位置关系有较严格的要求。后者则可针对任意角度的相机位置关系。2.2相机成像模型首先建立成像所用到的坐标系，这些坐标系是用来作为空间或者平面某点的参考，具体如下：（1 ）图像坐标系摄像机通过感光传感器获取捕捉到的外界图像，以数字形式将图像以数组的形式存储在计算中，称之为数字图像，每一个数组中的元素表示感光器件捕捉的亮度值，我们称该元素为数字图像中的灰度值，