【优秀硕士博士论文】基于工业摄影和机器视觉的三维形貌与变形测量关键技术研究

基于工业摄影和机器视觉的三维形貌与变形测量关键技术研究,863课题:大型复杂曲面产品的反求和三维快速检测系统研究（2007AA04Z124）；国家自然科学基金项目:大型飞机风洞试验的三维视频动态变形测量方法和实验研究（50975219）,报告提纲,绪论三维视觉几何及其定向方法研究基于工业摄影测量的相机标定方法基于机器视觉的高精度三维重建方法三维变形测量方法研究三维形貌变形测量实验与应用分析结论与展望主要研究成果,绪论,课题背景课题来源、目的和意义工业摄影测量与机器视觉三维光学测量技术研究现状三维形貌与变形测量存在的问题主要研究内容拟解决的关键问题及创新点,绪论,课题背景,绪论,制造业和先进制造技术成为衡量国家科技发展程度的重要标准现代测量技术是制造业发展的技术基础，决定了制造业乃至整个科学技术的发展水平传统的测量内容和测量方法已不能满足发展的需要物体的三维尺寸、表面形貌和运动变形数据的获取成为测量领域一个新的重要的研究方向,课题来源、目的和意义,国家863项目：“大型复杂曲面产品的反求和三维快速检测系统研究” 国家自然科学基金项目：“大型飞机风洞试验的三维视频动态变形测量方法和实验研究” 高速度、高精度、大尺度和复杂变形测量是机器视觉三维测量中的难点和发展趋势，属学科交叉的前沿研究领域。 机器视觉是一个发展中的学科，其理论体系还不完备，新理论、新算法、新应用还在不断涌现。该课题研究既具有重要的理论意义，又具有重大的实用价值，应用前景非常广阔，并能创造可观的经济效益。,绪论,工业摄影测量与机器视觉,摄影测量(Photogrammetry)是一门通过分析记录在胶片或电子载体上的影像，来确定被测物体的位置、大小和形状的科学，属于测绘学的分支学科 。机器视觉(Computer Vision) 是使计算机具有通过二维图像认知三维环境信息的能力的一门新兴学科。,绪论,摄影测量,机器视觉,图像处理特征识别三维重建,三维光学测量技术研究现状,时间飞行法(Time of Flight)全息干涉法莫尔条纹法结构光法摄影测量法图像相关法,绪论,三维形貌与变形测量存在的问题,高精度全自动测量大尺寸、大变形三维测量位移场、应变场三维测量阴影遮挡问题光滑金属表面直接型面测量海量测量点云后续处理问题,绪论,主要研究内容,三维视觉几何及其定向算法研究基于工业摄影测量的相机标定方法基于机器视觉的高精度三维重建方法三维变形测量方法研究三维形貌变形测量实验与应用分析,绪论,主要创新点,研究了相机的畸变模型，提出了一种基于工业摄影测量的相机柔性标定方法。 针对双目三维重建，提出了一种基于外插多频相移的双目面结构光测量方法。 针对大尺度变形，提出了一种基于工业摄影测量的静态变形测量方法。研究了数字图像相关方法的基本原理，对影响测量精度的因素进行了分析并提出了散斑图像光照不均匀的校正方法。,绪论,三维视觉几何及其定向算法研究,中心透视投影单视几何双视几何多视几何捆绑调整优化算法,三维视觉几何及其定向算法研究,中心透视投影及常用坐标系,三维视觉几何及其定向算法研究,单视几何,共线方程,单像空间后方交会 单像空间后方交会是利用一张照片包含的一定数量的控制点和其对应的像点，求解像片外方位元素的过程,三维视觉几何及其定向算法研究,双视几何,共面方程,相对定向是以左像片为基准，求出右像片相对于左像片的五个定向元素：相对定向的计算基于共面方程，对应的误差方程：,三维视觉几何及其定向算法研究,多视几何,三视张量,空间前方交会空间前方交会算法，是根据已知内、外方位元素的两张或两张以上像片，把待定点的像点坐标坐标视作观测值，以求解其或是值并逐点求解待定点物方空间坐标的过程。,三维视觉几何及其定向算法研究,捆绑调整优化算法1,基于共线条件方程的摄影测量捆绑调整算法（Method of Bundle Adjustment），亦称光束平差算法，是一种把控制点的像点坐标、待定点的像坐标以及其他量测数据的一部分或者全部均视作观测值，以整体的求解它们地或是值和待定点空间坐标的解算方法,其中X1,X2,X3分别是内参数、外参数和物方坐标的改正数向量。A,B,C分别为对应的系数矩阵矩阵。L为观测值向量。,三维视觉几何及其定向算法研究,捆绑调整优化算法2,以共线方程式作为基本模型，像片坐标观测值是未知数的非线性函数，因此需要经过线性化处理后，才能用最小二乘法原理进行计算。这里的最小二乘问题，实际上是属于非线性的最小二乘解算，需要在提供一个近似解的基础上，通过逐渐趋近的方法求出最佳解。,三维视觉几何及其定向算法研究,基于工业摄影的相机标定方法,相机成像畸变模型基于捆绑调整的自标定算法标定步骤圆形标志点检测标定实验,基于工业摄影的相机标定方法,相机成像畸变模型,基于工业摄影的相机标定方法,径向畸变切向畸变像平面畸变内参数误差,相机标定,70年代直接线性变换(DLT)80年代Tsai提出RAC经典两步法90年代末张正友提出平面模板柔性标定法,标定是建立拍摄对象与相机图像之间的对应关系的过程,张正友标定法局限性：,将平面模板当成理想平面，忽略平板加工误差角点识别精度难以提高只考虑了两阶径向畸变，忽略切向畸变和薄棱镜畸变,基于工业摄影的相机标定方法,标定模板设计,基于工业摄影的相机标定方法,基于捆绑调整的自标定,基于工业摄影的相机标定方法,所谓的自标定是指讲内、外参数放在一起同时进行整体平差计算，也就是带有附加参数的整体平差。自标定不需要知道任何物方点的坐标，只需要知道至少一个空间点对的距离，就可以利用光束平差的方法，同时计算出相机内、外参数和物方点的坐标，实现相机的标定。,其中X1,X2,X3分别是内参数（包含畸变参数）、外参数和物方坐标的改正数向量。A,B,C分别为对应的系数矩阵矩阵。L为观测值向量。,标定步骤,基于工业摄影的相机标定方法,将编码标定板或者十字架放置于相机前标准测量距离处，通过移动编码标定板或者十字架获取标定板或十字架在八个不同位置和姿态的相机图像 通过图像处理，识别出八组图像中圆形特征点的图像坐标和编码点对应的编码值 通过摄影测量中相对定向算法计算出前两组图像的相对位置关系，并重建出编码标志点物方坐标 通过直接线性变换法(DLT)和角锥法定向出其他组图像位置，重建出非编码标志点的物方坐标 通过捆绑调整优化算法对相机内部参数、外部参数、物方特征点坐标进行整体的迭代优化 优化结束后就得到了相机内部参数、外部参数，完成了相机标定,圆形标志点中心检测算法,基于工业摄影的相机标定方法,像素级边缘检测算法：Canny检测算法亚像素边缘算法：梯度均值算法精度：0.02像素,相机标定实验,基于工业摄影的相机标定方法,同时用张正有算法和自标定算法进行标定计算，然后利用所得到的两组参数进行重投影误差计算，以对比标定的精度。,相机标定实验,张正友算法重投影误差：,基于工业摄影的相机标定方法,相机标定实验,本文标定算法重投影误差：,基于工业摄影的相机标定方法,相机标定实验,基于工业摄影的相机标定方法,美国Brunson仪器公司 803-MCP因瓦合金组合标尺一套，对其中一个精确长度为221.0010.003mm 的标准尺，进行多次不同角度的拍摄并重建其两端圆点中心长度,基于机器视觉的高精度三维重建方法,单相机三维重建双相机面结构光三维重建多频外插相移测量光学系统精度测量标准及实验多相机三维重建,高精度三维重建方法,单相机三维重建,高精度三维重建方法,核线匹配,核线约束是指，如果已知道其中一张图片上的像点u，则另外一张图片上的对应像点u必然在像点u的在第二张图片上对应的核线上上，反之亦然 矩阵F是立体视觉与运动视觉中一个非常重要的矩阵，称为基础矩阵(fundamental matrix),高精度三维重建方法,最小二乘三维坐标计算,高精度三维重建方法,两个相机的投影矩阵分别为：两幅照片上匹配的图像坐标分别为：用最小二乘的算法，得出点的物方坐标：,单相机三维重建精度试验,参照国外研究机构对工业近景摄影测量的测试方法，我们采用如图所示的测试框架，在框架各处布置参考点和标尺，然后在多个方向拍摄照片，重建出参考点坐标后测量5组参考点距离，重复拍摄7次，同时使用德国TRITOP系统（经过德国国家计量研究院PTB精度认证，精度优于0.1mm/m）进行计算，对比测量结果,高精度三维重建方法,单相机三维重建精度试验,高精度三维重建方法,本文方法测量结果(mm),单相机三维重建精度试验,高精度三维重建方法,德国GOM-Tritop测量结果(mm),经过德国国家计量研究院PTB精度认证，精度优于0.1mm/m,双相机面结构光测量系统,三维面结构光测量系统采用结构光非接触式照相测量原理，结合结构光、相位测量、立体视觉等技术于一体，通过光栅投影装置投影数幅特定编码的光栅到待测物体上，并由成一定夹角的两个摄像机同步采集相应图像，然后对图像进行处理和相位解算，计算出两个摄像机公共视区内像素点的三维坐标,高精度三维重建方法,相位测量格雷码,高精度三维重建方法,四步相移,格雷码,相位测量多频外插,高精度三维重建方法,三维光学系统精度测试国际标准,VDI/VDE协会照相测量和自动控制（GMA），和德国照相测量和遥感协会的近距摄影工作组起草的VDI/VDE -2634标准,高精度三维重建方法,双相机面结构光系统精度试验,选取了Schneider 17mm镜头、Computar 16mm镜头和Tamron 16mm的两组镜头，分别对Q5、Q6、Q7、Q8四个标准钢球进行测量,高精度三维重建方法,双相机面结构光系统精度试验,Schneider 17mm镜头 一致性最好，Computar 16mm镜头最接近真实值,高精度三维重建方法,多相机三维重建,在具体的工业测量作业环境中，往往存在遮挡、振动等因素，影响正常的测量过程，因此需要采用三个或者三个以上的相机组成测量系统，避免遮挡问题，增加系统冗余度，提高测量精度,高精度三维重建方法,三维变形测量方法研究,大尺度静态变形测量 位移计等传统手段测点有限、量程有限、无法反映变形场信息等问题，无法满足大工件大变形的测量要求基于数字图像相关的动态变形测量 引伸计、应变片等传统手段无法得到全场位移和应变,三维变形测量方法研究,静态变形测量,三维变形测量方法研究,在线测量流程图 离线测量流程图,坐标配准与相同变形点匹配,坐标配准坐标配准的转换关系坐标配准算法流程相同变形点匹配邻域搜索算法相关拼合,三维变形测量方法研究,坐标配准,为了静态变形测量中相同变形点的关联和变形量的计算，必须在摄影测量结束后将所有变形状态之间的坐标系进行统一。,三维变形测量方法研究,坐标配准的转换关系,变形状态i的全球点重建信息为： 基础状态的全球点重建信息为：点的转换关系为：坐标配准目的：求旋转矩阵R和平移矩阵T,三维变形测量方法研究,坐标配准算法流程,求取全球点形心 和 计算全球点相对形心的 坐标 和旋转矩阵关系为：可求的旋转矩阵R，并对其规一化：平移矩阵T为：根据R和T进行坐标配准：,三维变形测量方法研究,相同变形点匹配,由于摄影测量重建时的编号为连续编排，无法使相同变形点准确对应。为了解决这一问题，需要对相同变形点匹配算法进行了研究。,三维变形测量方法研究,邻域搜索算法,假设状态i中存在一点 ，其在状态i+1中的相同变形点搜索方法为：判断状态i+1中是否存在唯一一个点 与搜索点 的点间距小于邻域搜索阀值，不存在则搜索失败；以点 为搜索中心，在状态i中搜索与其点间距小于搜索邻域阀值的点，如不仅为点 则搜索失败；搜索成功后，则将点 的ID编号重置为点 的ID编号。,三维变形测量方法研究,相关拼合,为了解决当被测物体所发生的变形较为特殊时，相同变形点匹配存在的不足。相关拼合方法实现研究 ：相关点拼合和相同变形点匹配 全球点坐标配准绘制变形射谱图,摄影测量重建数据,未相关拼合结果,相关拼合结果,三维变形测量方法研究,数字图像相关法原理,三维变形测量方法研究,数字图像相关法（Digital Image Correlation）是一种对全场位移和应变进行量化分析的光测实验力学方法。该方法的基本思想就是在变形前的图像中选取一个子区（一般为矩形），利用子区中的散斑灰度信息，在变形后的图像中寻找其所对应的位置，从而获得子区位置和形状的变化，从这些信息中，我们可以得到物体在这一点上的位移和应变的数值,相关法系数的计算,三维变形测量方法研究,（其中，C：相关系数；f，g：图像点灰度；：求平均）,相关系数计算公式：衡量散斑图像匹配程度的公式,相关系数的计算,三维变形测量方法研究,整像素相关搜索,三维变形测量方法研究,整像素相关搜索引入盒滤波思想进行整像素相关搜索，以提高计算速度,假设I0,I1分别为物体变形前、后的散斑图像，大小均为MN，在I0中指定大小为(2K+1)(2L+1)的一块区域作为相关窗口（即相关区域），窗口中心记为(x,y)，在I1中进行相关搜索，相应的相关窗口中心记为 ，则相关系数表示为：,求解相关系数的速度直接影响了相关的计算效率，而盒滤波的核心思想是利用前后和上下两个相关窗口之间的相关性来减少上式的求和计算量。,亚像素相关搜索,三维变形测量方法研究,亚像素相关搜索 采用曲面拟合法进行亚像素相关搜索，以提高匹配精度,曲面拟合法原理：利用整像素匹配的结果及其在八邻域像素点的相关系数矩阵拟合二次曲面，则所拟合曲面的极值点即为要求解的亚像素中心。假设整像素相关搜索的结果 及其8邻域像素点的相关系数矩阵可拟合为由下面二元二次函数表示的二次曲面：,则拟合曲面的极值点即为变形后图像子区中心位置,亚像素相关搜索,三维变形测量方法研究,利用模拟散斑对曲面拟合法进行亚像素定位的精度验证,其中,(2).标准差：,(1).均值误差：,模拟散斑,计算机数值模拟变形前后散斑图像的灰度表示函数：,亚像素相关搜索,三维变形测量方法研究,结论：采用曲面拟合法进行亚像素定位的精度优于0.005 像素，精度较高。,曲面拟合法进行亚像素定位的精度验证,相关区域校正模型,三维变形测量方法研究,变形前，相关区域一般为矩形或正方形，变形后相关区域会发生形变，可能被平移、旋转、拉伸、剪切或弯曲，因此，在进行相关运算时，需要对变形后的相关区域进行校正。校正模型：表示了变形前后相关区域中每一点的关系。,可根据下式求解：,其中,相关区域校正模型,三维变形测量方法研究,校正效果验证：,变形前,变形后,位移场数据平滑,三维变形测量方法研究,平滑方法：基于样条曲线及曲面拟合理论进行数据平滑,B样条曲线方程：,曲线拟合：含噪声数据 ,平滑后数据 ，则,曲面拟合：含噪声数据 平滑后数据 ,则,位移场数据平滑,三维变形测量方法研究,平滑效果验证：,平滑前X方向位移场,平滑前Y方向位移场,平滑后X方向位移场,平滑后Y方向位移场,平滑前Z方向位移场,平滑后Z方向位移场,散斑图像校正,三维变形测量方法研究,背景光强的不均匀变化，会显著影响图像匹配等处理的精度。因此，对散斑图像光照的不均匀进行校正，将有利于提高系统测量精度,三维形貌变形实验与应用分析,某大型飞机三维形貌测量汽车钣金件形貌检测电力塔架真型静态加载试验薄板焊接三维动态变形测量材料拉伸试验全场位移、应变测量,三维形貌变形实验与应用分析,某大型飞机三维形貌测量,三维形貌变形实验与应用分析,飞机模型I,飞机模型II,测量结果示意图,汽车钣金件形貌检测,三维形貌变形实验与应用分析,钣金制件,圆形标志点,测量结果,电力塔架真型静态加载试验,三维形貌变形实验与应用分析,薄板焊接三维动态变形测量,三维形貌变形实验与应用分析,薄板焊接三维动态变形测量,三维形貌变形实验与应用分析,第一点 第二点 第三点,薄板焊接三维动态变形测量,10 S 20 S 30 S,三维形貌变形实验与应用分析,40 S 50 S 60 S,材料拉伸试验全场位移、应变测量,三维形貌变形实验与应用分析,材料拉伸试验全场位移、应变测量,三维形貌变形实验与应用分析,载荷为8846.437 N时,载荷为8548.887 N时,材料拉伸试验全场位移、应变测量,三维形貌变形实验与应用分析,利用应变片和本文方法测量得到的关键点应变 对比,材料拉伸试验全场位移、应变测量,利用引伸计和本文方法测量得到的某一变形区域的平均应变 对比,三维形貌变形实验与应用分析,结论 1,（1） 系统地研究了单视几何、双视几何和多视几何中交会和定向方法。详细阐述了摄影测量中捆绑调整优化算法的基本原理、数学模型、解算思路，并讨论了捆绑调整算法可靠性和粗差剔除方法，为提高三维重建精度奠定了理论基础。（2） 研究了相机的畸变模型，提出了一种基于工业摄影测量的相机柔性标定方法。该方法采用十参数相机模型以补偿镜头带来的成像畸变，无需标定板物方坐标，可以对不同视场单个或者多个相机进行标定。实验结果表明，标定重投影误差小于0.05像素，标准尺(221.0010.003mm)平均测量误差0.03mm，与传统标定方法相比，显著地提高了标定精度。,结论与展望,结论 2,（3） 提出了单相机摄影测量系统的实现方案，详细阐述了相关的核线匹配和三维重建算法，并进行了精度试验验证；针对双目三维重建，提出了一种基于外插多频相移的双目面结构光测量方法。该方法相位展开过程主要依赖不同频率正弦光栅图像的相位主值，对被测物体表面颜色不敏感，无需表面处理，计算过程更稳定。实验结果表明，系统的单次测量精度提高至0.020.03mm，可用于大型复杂曲面工件的高精度检测。 （4） 针对大尺度变形测量，提出了一种基于工业摄影的静态变形测量方法及其实现流程，改进了坐标配准算法并提出了相同变形点匹配算法。新的坐标拼合算法提高了坐标配准的效率和精度。提出了一种相关拼合的方法，通过使用相关点进行坐标配准和相同变形点匹配，提高了相同变形点匹配的效率和精度。,结论与展望,结论 3,（5）研究了数字图像相关方法的基本原理，涉及的关键技术包括相关系数、相关搜索、相关区域校正和位移场数据的平滑等。对影响测量精度的因素进行了分析并提出了散斑图像光照不均匀的校正方法。将数字散斑相关法应用于材料拉伸试验，利用引伸计和本文方法测量得到的某一变形区域的平均应变，两种方法测得的应变变化趋势非常一致，两种方法测得结果相对误差小于0.1%，能够很好的测量试件全场位移和应变，可用于材料力学性能实验和分析,结论与展望,展望,光滑自由曲面和透明物体直接三维形貌测量技术 微纳尺度的三维形貌与变形测量技术 高温物体的三维形貌与变形测量技术,结论与展望,主要研究成果 1,Zhenzhong Xiao,Jin Liang,Dehong Yu, et al. Rapid Three-dimension Optical Deformation Measurement for Transmission Tower with Different Loads J. Optics and Lasers in Engineering, UK., 2010.Zhenzhong Xiao,Jin Liang,Dehong Yu, et al. A Cross-Target-based Accurate Calibration Method of Binocular Stereo Systems with Large-scale Field-of-View J. Measurement, UK., 2010,Vol. 43(6):747-754.Zhenzhong Xiao,Jin Liang,Dehong Yu, et al. Study on the Technologies of Rapid Three-dimension Optical Measurement for Welding Deformation of Sheet Materials J. Advanced Materials Research, Switzerland, 2010,Vols. 97-101:4251-4