基于工业摄影和机器视觉的三维形貌与变形测量关键技术研究.doc

基于工业摄影和机器视觉的三维形貌与变形测量关键技术研究 三维形貌与变形测量在产品质量控制、逆向设计、材料与工程结构测试、生物医学、文物保护等众多领域中的需求日益增加。过去传统的测量内容和测量方法己经不能满足需要，物体的三维尺寸、表面形貌和运动变形数据的获取成为测量领域的研究热点和前沿课题。本文针对目前光学三维形貌与变形测量研究中存在的不足，采用理论分析和实验研究相结合的研究方法，综合机械工程、光学电子、计算机视觉、数字图像处理和摄影测量学等多个学科对三维形貌与变形测量关键技术进行了系统、深入的研究。主要研究内容和研究成果如下: (1讨论了光学三维形貌与变形测量技术原理和优缺点，对研究现状和发展趋势进行了系统的分析。研究了工业摄影测量和机器视觉中坐标转换、摄影几何约束、空间交汇和三维重建的基本理论。为本文的研究工作提供基本的理论依据。 (2)机器视觉系统参数标定是三维测量技术中的关键问题之一，其标定精度直接决定后续三维重建的精度。为进一步提高视觉系统测量精度，提出了一种基于工业摄影测量的相机柔性标定方法，给出了相机成像模型和十参数镜头畸变模型，并进行了相机标定实验及重投影误差分析。该方法使用不同尺寸的标定板和标定十字架，无需标定物世界坐标，可以对不同视场单个或者多个相机进行标定。标定参数初始值由摄影测量中相对定向和直接线性变换方法得到，然后使用捆绑调整算法整体优化物方坐标及相机内外参数。实验结果表明，标定重投影误差小于0.0_5像素，标准尺(221.001士0.003mm)平均测量误差0.03mm，与传统方法相比，标定精度有较大提高。 (3)系统地研究了单相机、双相机和多相机的高精度三维重建方法，推导了在不同情况下的三维重建方程。提出了基于外插多频相移的双目面结构光测量方法，并进行了精度实验验证和误差分析。基于外插多频相移的相位展开算法，相位展开过程主要依赖不同频率正弦光栅图像的相位主值，对被测物体表面颜色不敏感，无需表面处理，计算过程更稳定，且可对每种频率的相移均进行相位展开，后续三维重建时使用多个连续的相位值进行平均计算，提高了三维重建的精度。 (4)针对大型结构件变形，提出了一种基于工业摄影测量的三维静态变形测量方法。该方法可以方便地获得大型结构件在不同载荷条件下的整体位移场信息。研究了同名点匹配和搜索算法，改进了坐标配准算法，提高了坐标配准的效率，并实现了静态变形测量数据中变形点的匹配，从而计算出实际的位移变形场。提出了一种相关拼合的算法，通过使用相关点进行坐标配准和相同变形点匹配，提高了相同变形点匹配的效率。 (5)针对全场位移和应变测量，结合双目立体视觉，提出了一种基于数字图像相关的三维应变测量方法。研究了数字图像相关方法的基本原理，涉及的关键技术包括相关系数、相关搜索、相关区域校正和位移场数据的平滑等。通过引入盒滤波思想，改进了整像素相关搜索算法，提高了匹配效率，对影响测量精度的因素进行了分析并提出了散斑图像光照不均匀的校正方法。 在上述理论与技术的基础上，将研制的双目面扫描系统、静态变形测量系统、动态变形测量系统在大型飞机全尺寸形貌测量、汽车饭金件、电力塔架真型试验、薄板焊接变形试验、材料拉伸试验中进行了应用和实验，并取得了良好的效果。1绪论 本章主要论述了选题意义及应用背景、国内外研究现状分析及论文的主要研究内容等。首先介绍课题背景、工业摄影测量和机器视觉的发展与联系，然后对光学三维测量技术的研究现状和发展趋势进行了系统的分析，最后介绍了论文的主要研究内容、关键技术和创新点。课题背景 制造业和先进制造技术的发展水平己经成为当前衡量一个国家科技发展程度的重要标准。因此，世界上许多国家，尤其是发达国家都把先进制造技术与信息科学技术、材料科学技术和生物科学技术同列为21世纪的四大支柱科技加以重视。现代测量技术是制造业发展的技术基础，测量技术在一定程度上决定了制造业乃至整个科学技术的发展水平2-4。在过去的几十年中，经典的几何量诸如长度、角度、平面度、直线度等的钡量技术与检测手段己经日益成熟5。随着先进制造技术水平的提高，过去传统的测量内容和测量方法己经不能满足需要，物体的三维尺寸、表面形貌和运动变形数据的获取成为人们在测量领域一个新的重要的研究方向阵”。 近年来，三维形貌与变形测量在产品质量控制、逆向设计、材料于工程结构测试、生物医学、文物保护等众多领域中的需求日益增加yo-i6，见图1-1。传统接触式三维测量技术速度慢、量程受限制、操作不方便，有时甚至无法测量m,is。光学三维测量具有非接触、高精度和易于自动化的优点，巨大的应用需求，促使了光学三维测量技术的快速发展f191随着计算机技术、数字图像获取设备和光学器件的发展子、计算机视觉、数字图像处理和摄影测量学等多个学科，式三维形貌与变形测量己成为国内外研究的热点和前沿课题，涉及机械工程、光学电基于计算机视觉的非接触。1.2工业摄影测量与机器视觉 1.2.1工业摄影测量概述 摄影测量(Photogrammetry)是一门通过分析记录在胶片或电子载体上的影像来确定被测物体的位置、形状和大小的科学，属于测绘学的分支学科27。它包括航空摄影测量、航天摄影测量和近景摄影测量等ZS。其中，近景摄影测量是指测量范围小于100米，相机布设在物体附近的摄影测量29。摄影测量在工业测量和工程测量中的应用一般称为近景摄影测量或非地形摄影测量。它经历了从模拟、解析到数字方法的变革，硬件也从胶片像机发展到数字相机30。本文将针对工业测量应用的数字近景摄影测量称为工业摄影测量。近年来，随着微电子和半导体技术的飞速发展，尤其是固体阵列相机和计算机硬件的发展，使得工业摄影测量己进入全数字近景摄影测量时代31 1.2.2机器视觉概述 机器视觉又称计算机视觉，是一门新兴的学科，它的发展得益于神经生理学、心理学与认知科学对动物视觉系统的研究，计算机视觉的研究目标是使计算机具有通过二维图像认知三维环境信息的能力66。这种能力将不仅使机器能感知三维环境中物体的几何信息，包括它的位置、形状、姿态、运动等，而且能对它们进行描述、存储、识别和理解。伴随着视觉认知和计算机技术的快速发展，利用计算机模拟人类的视觉系统成为科学技术发展的必然趋势。机器视觉己经成为令人感兴趣的前沿研究领域之一67。通过对人类视觉的模拟，可以帮助人类重新认识人的视觉机理，从而在许多未知问题上产生重大突破。 近十年来，随着机器视觉理论的迅速发展，它逐渐发展成一门由计算机技术、控制理论、人工智能和模式识别等众多领域交叉综合的新学科，它在一些科技领域中卓有成效的应用，引起了学术界和工业界的极大兴趣，其应用范围也日益扩大，涉及到机器人、工业检测、医学图像分析、交通管理和军事导航等诸多领域。 1.2.3工业摄影测量与机器视觉的联系 工业摄影测量是测绘学科的一个分支，它是通过对二维图像进行分析，测量物体在三维空间的形状、位置，乃至物体的运动参数。摄影测量在近百年的历史中经历了模拟、解析和数字摄影三个阶段。 机器视觉的研究目标是使计算机具有通过二维图像认知三维环境信息的能力，这种能力将不仅使机器感知三维环境中物体的几何信息，包括它的形状、位置、和运动等，而且还能对它们进行描述、存储、识别和理解。 近年来，共同的理论基础、类似的处理方法和基于数字图像测量技术等特征，使得工业摄影测量与机器视觉学科间的交叉越来越多。摄影测量中的图像处理和特征识别方法来自机器视觉;反过来，摄影测量中的平差方法和误差传递理论又为机器视觉所采用。学科间的交叉、融合是当前研究领域的大势所趋。本文正是顺应这种态势，结合工业摄影测量和机器视觉理论来研究工业实用的物体三维形貌与变形测量关键技术。1.3基于工业摄影与机器视觉的三维测量技术综述 1.3.1三维形貌与变形测量技术 光学三维形貌与变形测量技术经过近年来的快速发展，涌现出多种技术及方法。其中主要有:时间飞行法、全息干涉法、莫尔条纹法、结构光方法(点、线、面)、数字摄影测量法和数字图像相关法等，下面介绍几种常用的三维测量方法，并分析在这些方面的研究发展情况。 1)时间飞行法 时间飞行法基于三维形貌对激光束产生的时间调制。原理如图1-3所示。激光脉冲信号从发射器发出，经待测物体表面反射后，沿近乎相同的路径反向传回接收器，检测激光脉冲从发出到接收时刻之间的时间差，就可以计算出距离。结合扫描装置使激光脉冲扫描整个物体就可以得到三维形貌数据。 时间飞行法的分辨率约为1 mm。若采用亚皮秒激光脉冲和高分辨率的电子器件，深度分辨率可达亚毫米级。采用时间相干的单光子计数法，测量lm距离，深度分辨率可达30 m;另一种称之为飞行光全息技术的测量方法利用超短光脉冲结合数字重建，深度分辨率可达6._5 m，这种方法的优点是不存在阴影和遮挡问题。但是要得到较高的测量精度，对信号处理系统的时间分辨率有较高的要求。 _5)数字摄影测量法 数字摄影测量24系统如图1-7所示，通过在物体的表面及其周围放置标志点，包括编码点和非编码点，然后从不同的角度和位置对物体进行拍摄，得到一定数量的照片，经过数字图像处理、标志点的定位、编码点的识别，可以得到编码点的编码以及标志点中心的图像坐标。利用这些结果，经过相对定向、绝对定向、三维重建、以及平差计算，最后加入标尺约束及温度补偿，可以得到标志点准确的三维坐标。 国外对摄影测量技术的研究起步较早，因此相应的生产厂家和产品比较多，比较典型的有美国GSI公司的V-STARS系统、德国AICON 3D公司DPA-Pro系统、德国GOM公司的Tritop系统、加拿大EOS公司的PhotoModeler系统、挪威Metronor公司的Metrono:系统等88-93。工业摄影测量系统使用高分辨率数码相机，从多个角度拍摄预先布置的圆形参考点和带有编码的参考点，然后自动三维重建，得到工件表面参考点的三维坐标，精度可达0.1 mm/m。这些系统己经大量应用于航空、航天、汽车、轮船等领域的工业检测以及逆向设计工作中。 数字摄影测量能在较短时间内准确地获得被测物体关键点的三维信息，从而实现物体的三维数字化建模，尤其适用于大型复杂工件的三维检测，具有无接触、灵活、快速等优势，因此在反求工程、机械零件测量、虚拟现实等方面具有广泛的应用前景。 6)数字图像相关法 数字图像相关法(Digital Image Correlation Method, DICM ) g0是一种光测力学变形测量方法。数字图像相关法又称为数字散斑相关法(Digital Speckle CorrelationMethod, DSCM。数字散斑相关方法是在二十世纪80年代由日本I. Yamaguchi和美国South Carolina大学的Ranson和Peter等人同时独立提出的3 o I. Yamaguchi在研究物体小变形时，采用测量物体变形前后光强的互相关函数峰值来计算物体的位移。同时，Ranson和Peter则采用电视摄像机记录被测物体加载前后的激光散斑图，经过模数转换得到数字灰度场，而后计算相关系数随试凑位移及其导数的变化过程，找出相关系数的极值进而得到相应的变形参数。 数字图像相关法的原理是通过图像匹配的方法分析试件表面变形前后的散斑图像，来跟踪试件表面上几何点的运动位移场，然后计算得到应变场。在数字图像相关法算法中，图像匹配时常用图像子区的相关性来衡量不同图像上两个子区的相似程度，因此该图像子区常称为“相关窗”。与其它变形测量方法相比，数字图像相关法对复杂环境的适应性更好，这是由数字图像相关法的特性决定的。首先，数字图像相关法处理对象是数字化的散斑图像，散斑图像是指一类含随机斑点分布的图像，散斑指图像中的随机斑点。散斑可以由激光照在漫反射表面干涉产生;也可由特殊涂料(如哑光漆等)喷涂在试件表面形成(人工散斑);甚至某些材料表面的纹理也能直接构成散斑(天然散斑)。后两种散斑是图像相关法测量中最常见的。因此，数字图像相关法测量中散斑图像在获取时可直接采用白光照明。这一点克服了前面提到的以干涉为基础的光测方法的缺点，也是数字图像相关法具有更好的适应性的直接原因。其次，数字图像相关法归根结底是一种二维数字图像的分析方法。该方法的测量分辨率与成像系统的物面分辨率(指数字图像上1个像素代表的实际长度)密切相关，物面分辨率高则测量分辨率高;数字图像相关法的an,量范围取决于成像系统的视场范围。因此，数字图像相关法测量范围和测量分辨率可以方便地进行调整。这也是数字图像相关法对复杂环境适应性更好的另一个原因。此外，数字图像相关法实验装置简单、实验准备快，数据处理自动化程度高，这些都使数字图像相关法更方便易用，适应性更好。 数字图像相关法提出二十多年来，其理论研究和应用发展非常迅速。正是由于数字图像相关法具备上述特点，目前，在超大和超小试件变形测量、复杂材料变形测量和复杂环境变形测量等方面，数字图像相关法具有很大的优势。随着图像采集设备、数字信号处理技术和计算机技术的发展，数字图像相关法的测量分辨率和测量精度大大提高，应用领域迅速扩展:借助各种显微镜设备，数字图像相关法可以实现微观变形测量;利用高速摄影，数字图像相关法还可以用于高速动态变形测量。 1.3.2三维形貌与变形测量研究现状 综上所述，三维形貌与变形测量研究己取得了很大进展，部分技术己应用于商业测量系统，包括数字工业近景摄影测量、条纹投影面结构光三维形貌测量、数字图像相关法动态变形测量等。在国际上，美国斯坦福大学、美国哈佛大学、德国亚深应用科技大学、德国IAPG研究所、澳大利亚墨尔本大学等在三维形貌与变形测量方面均己开展了许多非常有意义的研究工作，并取得了较好的研究成果。国内清华大学、西安交通大学、天津大学、四川大学以及华中科技大学等也开展了广泛的研究，并取得了较好的阶段性研究成果。 1.3.3三维形貌与变形测量发展趋势及存在的问题 通过以上分析，高速度、高精度、大尺度和复杂变形是光学三维形貌与变形测量的研究重点和难点，而这些难题正是机器视觉测量的发展趋势。归纳起来主要有以下几个方面: 1高精度全自动测量 测量精度是测量领域永远追求的目标，对于机器视觉测量系统来说，影响测量精度的因素包括图像获取、图像处理、相机标定、立体匹配和三维重建等，其中，相机标定和三维重建算法是影响视觉测量精度的关键因素。因此，研究高精度视觉系统标定算法和三维重建算法是机器视觉领域的重要方向。 2)大尺寸、大变形三维测量 在航空、航天、汽车、轮船等工业领域内，零部件的负载变形和热变形检测需求随着对于产品要求的提高而增多，同时对于产品在各个不同状态下的形态检测(如飞机机翼不同飞行状态下的形态检测)精度及效率要求越来越高，特别是大尺寸、大变形量测量，原有方法难以满足需要。 3)位移场和应变场三维测量 传统的二维数字散斑相关方法，只能测量物体表面的面内位移，而且要得到准确可靠的测量结果，对于被测物体、被测物体的变形状态以及成像系统还有一系列要求，包括被测物体表面近似平面、被测物体变形主要发生在面内、摄像机光轴应当和被测面垂直等，这些条件在实际应用中难以满足，三维的位移场和应变场测量是非常必要的，三维数字图像相关方法尚不完善。 4)阴影遮挡问题 在工业现场测量环境中，往往存在遮挡、阴影等因素，影响正常的测量过程。通过各种视觉方法实现的三维测量，阴影和遮挡问题是难以避免的，这是视觉测量研究中的瓶颈问题。针对这一问题，多年来人们花费了大量精力去研究和尝试，也提出了很多解决问题的方法，但问题还远未得到根本解决。 _5)光滑金属表面直接型面测量 使用机器视觉技术测量模具等高镜面反射光滑金属表面是一项困难的任务，虽然近年来在这方面取得了一些研究成果，但收效甚微。目前相对成熟的测量方法都需要在被测表面喷涂粉末或者哑光涂层，但这种方法降低了测量速度和测量精度。透明及无反射的特殊型面的三维测量也是视觉测量的难点。 6)海量测量点云后续处理问题 使用结构光等视觉测量方法可以快速的得到大量测量点云，在测量得到的点云中存在因遮挡、阴影等因素造成的孔洞和噪音点，在贴有标志点的地方也会形成凸起和孔洞，多视场拼接中的数据融合问题。这些问题是点云后续处理的难点，近年来出现了大量的点云处理算法试图解决这一难题，但距离实际应用尚存在较大困难。1.4本文的主要研究内容、目的和意义 1.4.1主要研究内容 针对目前光学三维形貌与变形测量研究中存在的不足，本文采用理论分析和实验研究相结合的研究方法，综合机械工程、光学电子、计算机视觉、数字图像处理和摄影测量学等多个学科对三维形貌与变形测量关键技术进行了系统、深入的研究。主要研究内容如下: (1基于工业摄影测量和机器视觉的基本理论，研究单视几何、双视几何和多视几何中的约束方程及其定向方法。研究摄影测量中捆绑调整优化算法的基本原理、数学模型和解算思路，讨论捆绑调整算法可靠性和粗差剔除方法，为三维形貌与变形测量关键技术研究奠定理论基础。 (2)研究相机成像畸变模型，采用十个修正参数补偿相机镜头带来的成像畸变(包括径向畸变、偏心畸变、像平面畸变、焦距和主点误差等)。研究基于工业摄影测量的相机柔性标定方法和高精度圆形标志点中心定位算法，通过标志点中心检测实验和相机标定对比实验，验证算法的精度和有效性。 (3)研究单相机摄影测量实现方案以及相关的核线匹配和三维重建算法，设计实验框架并进行精度验证。研究基于外插多频相移的双相机结构光测量方法，通过标准球测量实验研究了不同相机镜头对测量精度的影响规律。 (4)针对大尺度变形测量，研究基于工业摄影的静态变形测量方法及其实现流程，研究相同变形点匹配和坐标配准算法。针对全场位移和应变三维测量，研究三维数字图像相关方法及关键技术，分析影响测量精度的因素。 (5)在上述理论与技术研究的基础上，将研制的双目面扫描系统、静态变形测量系统、动态变形测量系统在大型飞机全尺寸形貌测量、汽车饭金件检测、电力塔架真型加载试验、薄板焊接变形试验、金属材料拉伸试验中进行实验应用。 1.4.2目的和意义 本课题是国家863高科技计划“大型复杂曲面产品的反求和三维快速检测系统研究”项目的一部分，同时得到国家自然科学基金项目“大型飞机风洞试验的三维视频动态变形测量方法和实验研究”的资助。高速度、高精度、大尺度和复杂变形测量是机器视觉三维测量中的难点和发展趋势，属学科交叉的前沿研究领域。基于工业摄影和机器视觉的三维形貌与变形测量研究包括理论研究和技术探索，机器视觉是一个发展中的学科，其理论体系还不完备，新理论、新算法、新应用还在不断涌现。研究这一课题主要是研究新方法、提出新算法、应用新技术，这就涉及到视觉计算、图像处理、射影几何、人工智能以及光学等方面理论和计算机、信息、光电器件与测量等方面技术。在理论研究和实验研究的基础上，将课题的创新成果应用于生产实际，实现了使用自主研发的光学三维测量系统进行大型飞机全尺寸形貌的快速测量。该课题研究既具有重要的理论意义，又具有重大的实用价值，应用前景非常广阔，并能创造可观的经济效益。4基于机器视觉的高精度三维重建研究4.1引言 利用相机成像数学模型从获取的二维图像恢复物体的三维形貌是机器视觉研究领域的经典问题之一，多年来学者们提出了三维重建的多种算法，这些算法归纳起来主要分为三类:W己知图像间的特征点的匹配关系，提取相机内参数，计算各个视角图像的位置关系，最后获取三维信息，如近景摄影测量;(2己知图像间的对应关系，包括相机内参数矩阵、旋转和平移矩阵，再通过投射光栅条纹，增加密集点相位匹配关系，实现三维形貌重建，如双目立体视觉系统;(3)直接从序列图像灰度恢复三维信息，如明暗恢复形貌(Shape from Shading，即SFS) 132-134。其中，单相机三维重建适合应用近景摄影测量技术实现，双相机及多相机适合应用立体视觉技术实现，直接从序列图像灰度恢复三维信息的视觉算法尚不成熟，难以实现高精度的三维重建。 本章首先提出了摄影测量系统方案，然后根据这个方案，详细阐述了核线匹配方法和三维坐标计算方法，并对单相机三维重建精度进行了实验验证。对双相机面结构光测量系统的软硬件组成和多频外插密集点云相移测量技术进行研究并搭建测试平台，引入国际最新的VDI/VDE-2634光学系统精度测试标准，以此为依据设计并实施精度测试方案，通过大量实验对影响三维面结构光测量系统精度的光学系统进行实验分析并加以改进，最终使单次测量精度可达0.03mm，能够满足大型复杂曲面工件快速检测的精度要求。最后对整个测量过程进行研究和总结，分析了测量过程中影响精度的因素。4.2单相机三维重建 4.2.1单相机三维重建原理 图4-1为本文所采用的摄影测量系统方案流程。在获取图像之后，首先进行标志点检测，得到标志点亚像素级的图像坐标，高精度的标志点检测是保证整个摄影测量计算精度的基础，如何对标志点图像中心进行高精度的检测己在第三章进行了详细介绍。得到标志点中心之后，接下来就是利用这些图像点中心坐标进行标志点的三维重建，这一部分是整个系统的关键。 首先按照公共标志点数目的多少，选用两幅图片进行相对定向，计算出五个外参数(使用共面方程列误差方程，迭代运算)，如果此两副图像相机夹角小于30度则改用下一幅图进行相对定向，直到找出相机夹角大于30度的两副图片，完成相对定向，并重建出至少_5个编码点的三维坐标作为控制点。然后根据这些图片包含的控制点数目，依次循环处理剩余的图片:首先利用控制点定向该图片，然后与己经定向好的图片分别搜索公共的未重建的编码标志点，然后重建出来。每定向完毕一幅图片后，利用捆绑调整算法同时调整外参数和物体点的三维坐标。所有图片都定向完毕后，利用捆绑调整算法同时调整内、外参数和物体点的三维坐标。然后利用核线约束匹配并重建非编码点，再利用捆绑调整算法同时调整内、外参数和物体点的三维坐标。最后加入比例尺和温度补偿，得到最终的物体点三维坐标。如果需要可以利用3-2-1对齐方法与数模进行坐标对齐以方便偏差分析。具体流程如图4-1所示。 在利用控制点对照片进行了定向之后，为了进行平差计算，需要计算照片上其余标志点(非控制点)的三维坐标，即三维重建。三维重建包括标志点匹配和计算三维坐标两部分。对于编码点来说，可以利用其编号进行直接匹配，对于非编码点来说，需要通过其它方法进行匹配。非编码点的匹配常用的方法有基于特征的匹配38、最小二乘匹配135、核线约束条件匹配136等。基于核线约束条件的匹配，如果只用两张照片进行匹配，产生错误匹配的几率较大，本文采用基于多张照片的核线匹配，极大的减少了误匹配，取得了很好的匹配效果。4.3双相机面结构光三维重建 4.3.1双相机面结构光测量系统构成 三维面结构光测量系统采用结构光非接触式照相测量原理，结合结构光、相位测量、计算机视觉等技术于一体，通过光栅投影装置投影数幅特定编码的条纹光栅到待测物体上，并由成一定夹角的两个摄像机同步采集相应图像，然后对图像进行解码和相位计算，并利用外差式多频相移技术，将空间频率接近的多个投影条纹解相，计算出两个摄像机公共视区内像素点的三维坐标，从而实现物体的三维信息数字化和测量。 本文所开发的XJTUOM三维面结构光测量系统主要由光学投影仪、双目数码摄像机和高性能计算机系统组成m。整个测量系统分为硬件和软件两部分。硬件部分的工作主要包括扫描平台的搭建，光栅投射器和数码摄像机的性能参数选取等，软件部分的工作主要是数据采集和数据处理工作。 1)硬件结构组成 1)光栅投射器:选用光学稳定性较好的数字光栅投射器，分辨率为1280 x 1024 ; 2)数码摄像机:使用工业级数字摄像机，该摄像机在1280 x1024分辨率下的最大输出可以达到7._5帧，而且提供二次开发SDK可以方便的对其进行编程控制; 3)组合平台一个:包括投影仪底座，相机万向头，连接杆，重型架等; 4)高性能计算机一台:通过控制光栅投射器以及对扫描数据进行处理。整个系统的硬件部分结构如图4-4所示。、数码摄像机来完成整个扫描过程，2)软件功能组成软件部分实现的功能主要有:图像采集、图像预处理、摄像机标定、立体匹配和三维重建，如图4-_5所示:各部分的功能简述如下:二维图像的获取是系统的基础，图像采集质量的好坏直接影响后续的步骤。l)本系统采用投影仪将经过编码的条纹光栅投射到实体上，通过两个摄像头同时采集实体图像。 2)采集到的二维图像包含了各种各样的随机噪声和畸变，因此需要对原始图像进行预处理。图像预处理的目的主要有两个:一是改善图像的视觉效果，提高图像清晰度;二是使图像变得更有利于计算机处理，便于各种特征分析，如特征点识别、定位等。 3)摄像机标定是为了确定摄像机的位置、属性参数和建立成像模型，以便确定空间坐标系中物体点与它在图像平面上像点之间的对应关系。摄像机标定需要确定内部参数和外部参数，内部参数包括摄像机内部的几何和光学特性，外部参数是指相对一个物方坐标系的摄像机坐标系的三维位置和方向。本系统中，使用两个摄像头，需要在进行测量之前同时进行标定。 4)立体匹配是指根据对所选特征的计算，依照一定的约束条件，建立特征之间的对应关系，从而将同一个空间物理点在不同图像中的映像点对应起来，为后续的三维重建提供基础。 5)三维重建是指在立体匹配得到视差图像之后，恢复场景三维信息，并确定点云。影响距离测量精度的主要因素有:数字量化效应、摄像机标定误差、特征检测与匹配定位精度等。 4.3.2多频外差密集点云相移测量技术 三维面结构光测量系统采用结构光非接触式测量原理，如图4-6所示，它结合结构光、相位测量、计算机视觉等技术于一体，通过光栅投影装置将数幅特定编码的条纹光栅投射到待测物体上，并由成一定夹角的两个摄像头同步采集相应图像，然后对图像进行解码和相位计算，并利用立体匹配技术和三角形测量原理，计算出两个摄像机公共视区内像素点的三维坐标，从而实现物体的三维信息数字化和测量。 双目视觉系统使用两套光学镜头和CCD相机，采集光学投影装置投射到物体表面的面结构光，利用系统初始时的标定值可解算出被测工件表面每个点的三维坐标信息。 当光栅图案投射到被测物表面时，受物体表面轮廓的调制，光栅条纹会产生形变，这种变形条纹可解释为相位和振幅均被调制的空间载波信号。采集变形条纹并且对其进行解调可以得到包含轮廓信息的相位变化，最后根据三角法原理计算出表面形貌，这类方法又称为相位法。基于相位测量的三维轮廓测量技术的理论依据也是光学三角法，但与光学三角法的轮廓术有所不同，它不直接去寻找和判断由于物体高度变动后的像点，而是通过相位测量间接地实现，由于相位信息的参与，使得这类方法与单纯光学三角法有很大区别，其精度也有较大提高。 相位测量轮廓术需要精密的相移装置和正弦性良好的条纹，相移不准和投影条纹的非正弦性会对测量引入高次谐波误差。随着投影方式从早期的幻灯机投影到现在的LCD(Liquid Crystal Display)及DLP ( Digital light processor)投影的发展，相移的准确性己可以得到较好的保证。LCD和DLP一个显著优点是可编程性，可以根据需要在计算机内产生有一定相差的若干帧相移条纹，然后按照相移顺序由DLP依次投影到物体上，实现相移。这种相移方法可以实现零相移误差，避免由于相移不准引起的测量误差。 相位测量轮廓法(PMP)的难点在于解包裹方法。目前常用解包裹方法为格雷Gray码法136，如图4-7所示: 投影Gray编码的条纹时，第一次投影与待解相条纹节距相同的Gray码条纹，并以摄像机摄取其图像;第二次投影节距2倍于待解相条纹的Gray码条纹，同样以摄像机摄取其图像。以此类推，直到Gray码条纹的节距达到视场一半时为止。 解码时，首先把上面得到的各图像进行二值化;然后在图像上任意一点，获取该点在各图像中的码值(黑色图像点的码值为0，白色图像点的码值为1)，把获取的各码值按顺序排列(Gray条纹节距大的其码值排在前)，得到该点的Gray码;将Gray码转换为二进制码，然后再转化为十进制码，该十进制码就是该点所在条纹的级数。 格雷码方法己经比较成熟，其优点是条纹定级非常方便，直接根据黑白分布求得格雷码，再解码便获成功，算法实现简单，易于实现产品化。但是缺点非常明显:一是格雷码只是用于对测量幅面的分级，对计算物体的相位没有帮助，无法提高测量精度;二是格雷码的使用造成测量系统对测量工件的表面明暗比较敏感，黑白交界处容易受到噪声的干扰，一般要喷显影剂才能测量，无法测量较暗和表面剧烈变化的工件;三是单次测量幅面较小，一般小于400 mm o 对于格雷码加相移的三维测量技术的缺点，国外一直在研究新的替代方法，提出了很多测量技术，其中外差式多频相移技术是发展较快的方法。国内外研究者以前提出过双频相移技术，虽然摆脱了格雷码，提出了采用查找表法的双频相移技术、贝叶斯估计法的双频相移技术等，但是实际测量效果都不理想，大量试验和理论证明采用双频相移技术无法满足实际测量需要，外差式多频相移技术是在双频相移技术的基础上发展而来的，其光栅数目大于两个，一般为3至6个，而且多种频率光栅需要进行多次相移，因此其技术难度大大增加。 采用多频外插相移技术与传统的格雷码加相移相比，具有以下突出优点: 1)测量工件不受明暗的影响。该技术放弃了格雷码，采用多频相移技术，因此该技术就避免了格雷码带来的问题，对测量工件的明暗基本不受影响，可在自然光照下，不用喷显影剂就可测量大多数的工件。 2) au量幅面可以更大，而测量时间减少。如果采用格雷码，测量幅面增大后，必须增加格雷码的编码位数，必须投射更多幅的格雷码，增加了测量时间。外差式多频相移技术更适于测量更大幅面的工件。 3)测量精度更高。采用格雷码加相移的三维测量技术，其测量精度主要由一幅光栅四次相移决定，格雷码的使用没有提高测量精度。而外差式多频相移三维光学测量技术采用多个频率的光栅相移，比只投射一种频率的光栅精度更高，抗干扰能力强。 4)可以测量非连续、表面剧烈变化的工件。 这种方法分别投影多种不同空间频率的条纹于待测面上，摄像机摄取变形的条纹图，并利用相移法求取多种条纹的相位主值，把相位主值代入一个非常简洁的表达式就可以恢复出条纹的真实相位。此解包裹过程针对各点单独进行，所以不会出现误差传递的现象，可以有效保证点云识别的精确程度，比原来所采用的格雷码结构光投影加相移的方法更加精确，更能够适应工业现场精密检测的需要。 4.3.3光学系统的精度分析 1光学镜头的性能指标 光学器件的光学性能规格对机器视觉系统的性能和精度有很大的影响。如何正确分析测量头的光学性能规格，从而选择出最适合测量需求的光学器件，对整个系统的测量精度有积极的意义。 视觉系统光学性能的4项最基本参数是视场(field of view )、分辨率(resolution ) ,工作距离(working distance)和景深(depth of field。同时根据不同的应用需要，还要考虑包括焦距(f)、失真(distortion )、镜头畸变等特性30 从系统结构和硬件组成来讲，针对不同的被测物体，根据其大小、形状、精度要求，选择不同的镜头组和测量方式进行测量，也对测量结果的精度有影响。即使是针对同一幅面的测量要求，不同品牌、型号、焦段的镜头光学性能的差异，甚至同一型号镜头之间的个体差异，都会影响最终的测量精度和检测结果。本章重点做了对光学系统的精度测试和选型工作。 2)三维光学系统精度测试的国际标准 针对三维光学系统的精度测试分析，本文研究并采用了VDI/VDE协会一一照相测量和自动控制(GMA，和德国照相测量和遥感协会的近距摄影工作组起草的VDI/VDE-2634标准。本规则自2002年提出Partl，并不断修改完善，直至2006年提出的Part3是目前国际上针对光学测量系统进行精度评估的最新标准。德国GOM公司在2007年的用户大会上也开始提到该标准，并准备将其ATOS系统应用于工业检测领域。本文在国内首先引入该标准设计并实施了针对三维面结构光测量系统的精度测试方案，并通过大量实验，对XJTUOM三维面结构光测量系统的精度进行评估和提高。 4.3.4影响测量精度的因素分析 通过对大量的实验和实际测量工作，总结出三维面结构光测量系统的测量误差主要表现为以下几种形式: (1)采集数据缺失或数据密度达不到要求。用这种不完整的数据进行点云拟合， 误差较大，难以达到要求的测量精度。 (2)对同一表面的数据采集结果表现为多层点云。这种情况往往出现于大型工件。 (3)单幅采集数据不准确，影响整体测量精度。 (4)多幅点云的拼接累积误差过大，使测量结果出现明显偏差。 (5)点云拼接错误，导致较大测量误差。 (6)测量结果中粗大点(噪音)数据过多。 针对上述问题，在前期点云采集的过程中，经过多方面的实验和测试分析，将产生较大测量误差的主要原因归纳为:标定不当;镜头组合选择不当;测量顺序不当;工件表面标志点分布不当;工件被测表面预处理不当;后处理不当等。4.4多相机三维重建 在具体的工业测量作业环境中，往往存在遮挡、振动等因素，影响正常的测量过程，因此需要采用三个或者三个以上的相机组成测量系统，见图4-21，避免遮挡问题，增加系统冗余度，提高测量精度。5三维变形测量方法研究5.1引言 随着工业现代化的发展，对于大型工件的静态大变形的测量需求日益增加，如飞机蒙皮变形、船舶壳体变形、汽车负载变形、大型水轮机叶片变形、风力发电机叶片变形、大型结构件变形等。这些变形测量的结果，将为工件的加工设计提供可靠的参考依据。同时对于某些特殊要求下的检测，如飞机机翼不同位置状态下，左右机翼对称性的检测等，可以视为特殊的变形情况测量。而原有的测量手段，如应变片测量仅能获得被测物体局部的应力应变情况，并不能反映其整体的形状变形;位移传感器的测量量程有限，且无法反应整体位移场的变形信息。而随着ccD技术、计算机视觉技术等的发展，工业摄影测量技术研究有了长足的发展，使用摄影测量技术可以高效、准确、非接触地获取被测物体表面所设置的关键点的三维空间信息。本章正是基于工业摄影测量技术，研究了如何将各个状态下的被测物体的三维空间信息相互匹配，从而获得被测物体在多个变形状态下的三维空间位移变形信息，实现大型工件静态变形测量。 数字图像相关方法作为一种非接触式光测力学实验方法，可用于测量物体的动态 数字图像相关方法作为一种非接触式光测力学实验方法，可用于测量物体的动态变形。该方法所具有的优势，可以弥补一些传统变形测量方法中存在的布线复杂费时、不易得到全场数据以及测量环境要求过高等不足。在深入研究国内外己有变形测量理论的基础上，考虑了实验和实际工程测量需要，本文将立体视觉技术和数字图像相关方法相结合，研究并实现了基于数字图像相关法的三维动态变形测量方法。研究了数字图像相关的基本原理、相关系数、相关搜索算法以及相关区域校正模型，通过引入盒滤波改进了整像素相关搜索算法。对影响测量精度的因素进行了分析并提出了散斑图像光照不均匀的校正方法。5.2静态变形测量 5.2.1静态变形测量原理 本文研究的静态变形测量所采用的方法为:通过测量放置在被测物体上的标志点在各个变形状态下的空间三维坐标信息的改变，从而反映出被测物体的整体位移变形场信息。采用摄影测量技术获得大型工件上所放置的人工标志点的三维空间信息，具有精度高、自动化程度高、放置简单、工作量小等优点。 图_5-1为静态变形测量系统测量流程图。其中(a)为在线测量流程图，Cb)为离线测量流程图。 1)放置全球点 在被测物体四周，不发生变形的位置(如地面、固定支撑物等)放置编码标志点作为全球点，全球点在后期坐标配准中使用。全球点的放置应满足: (a)全球点作为各个状态间相互转换的基准，应放置在不随工件发生变形的位置，以保证变形过程中全球点的空间位置不发生改变。 (b)根据不同的工件尺寸和形状，放置全球点时应不少于4个，并且所有全球点应不在同一平面内。 (c)所有全球点所构成的区域应将变形工件包围在内。 2)放置标志点 根据摄影测量的要求，在被测物体周围和被测物体的表面放置(一般多为粘贴)标志点(包括编码标志点和非编码标志点)，标志点将随工件的变形而改变空间位置，以作为后期反映工件变形量的计算数据。标志点的放置应满足: (a)标志点作为后期变形计算的数据，应紧密粘贴在工件的变形区域，使其在变形过程中不会发生脱落，粘贴时切勿折叠或弄脏变形点; (b)要求编码标志点的粘贴密度应满足每张照片中有大于4个编码标志点; (c)摆放非编码标志点时应满足各个方向的拍照都能看到8个点以上; (d)要求非编码标志点每2个点之间的距离应大于变形工件每个变形状态之间最大变形量的2倍。 3)获取被测物体图像信息 根据摄影测量技术要求，从不同角度对被测物体进行拍摄，获取被测物体的图像信息，用于摄影测量重建。对变形状态进行取样拍摄时应满足: (a)标尺不要压在工件上以免工件变形; (b所有变形状态中应使用同一标尺; (e)拍摄时相机应使用黑白模式，感光度Zoo为佳，光线特别暗时，可以调高感光度，但要注意拍摄时保持稳定; (d)拍摄时相机应使用自动对焦模式，闪光等处于打开状态;保持恒定焦距，在拍摄过程中不要调焦距; (e)拍摄时相机不要抖动，保证照片不要模糊; 帅按被测物大小不同，每个被测物应拍摄30-100张不同角度的照片; (g)保证每张照片包含至少8个非编码标志点; (h)保证每个编标志码点至少在8张照片中出现; (i)标尺被整体拍到的次数在三次以上。 一般图像由许多连续的交叠的图像组成，比如在与被测物体成4_5度的方向顺时针拍摄一周。选择测量的标尺，一般情况下两个标尺都要用。理想情况下物体的大小与标尺应为1: 1，并且标尺和被测量的物体至少在一张图片中被完全包含，这样会在很多相匹配的图片中有很多共同的非编码标志点，可以提高测量精度，并且自动计算出非编码标志点。当测量一个无法在一张图像中完全显示的大件物体时，可以使用拼接的方法。 4)加载变形 如果变形过程尚未结束则需要继续进行加载，使被测物体继续变形。加载变形要求:加载变形不得改变全球点的空间位置。 _5)状态标志点信息重建 通过对每个状态所获得的图像信息进行处理，将各个状态的变形点信息进行重建。各状态的变形点信息的重建采用光学摄影测量的原理，包括对拍摄图像的图像识别以获得标志点在各个图像上的中心坐标，再通过捆绑调整和图像匹配的方法对变形点的空间位置进行精确重建，并对每个变形点进行编号。重建变形点信息应满足: (a)基准状态的全球点应全部重建成功; (b)其余变形状态的全球点数目应多于4个; (c)各个变形状态的标尺使用成功; (d)所有变形状态中的变形点信息均重建成功。 6)坐标配准 通过全球点进行坐标配准。根据全球点在不同状态重建后的坐标信息，使用本章中的坐标配准算法进行坐标配准，将所有状态下的变形点坐标转换到同一坐标系下。 7)相同变形点匹配 根据各个状态下的非编码点坐标，通过本章介绍的方法将相同非编码标志点在不同状态下的编号信息置为相同，使相同变形点在各个变形状态之间相互匹配。相同变形点匹配应满足:通过相同变形点匹配算法，将同一变形点在各个变形状态下的编号信息置为相同。 8)计算变形量，绘制变形色谱图 根据全球点所转换的同一坐标下的所有变形点的坐标信息和ID编号信息，将相同ID编号的变形点相互匹配起来，计算坐标信息在各个变形状态下的差值，计算位移变形量的大小、方向并绘制位移变形色谱图。计算位移变形量应满足:同一变形点在各个变形状态下的ID编号信息应为相同。 5.2.2坐标配准算法 在摄影测量过程中