【优秀硕士博士论文】大视场三维动态变形视频测量系统关键技术研究

1,大视场三维动态变形视频测量系统关键技术研究,2,报告提纲,课题背景大视场视频测量系统设计大视场多像机立体视觉系统的标定视频测量数据处理中的关键技术研究大视场三维动态变形测量实验获得的结论和创新点,3,1.1 三维动态变形测量的意义,变化和运动是客观世界的本质属性，变形作为一种物理现象普遍存在于自然界、工业和工程领域。变形是指物体在各种影响因素的作用下，其形状、大小及位置在时空域中的变化。本文把变形速度较快，物体形态持续变化，中间状态不能保持的物体变形过程称为动态变形。把变形方向在三维空间自由变化的动态变形过程称作三维动态变形。,4,1.1 三维动态变形测量的意义,对物体进行变形测量具有两方面的意义：（1）科学方面的意义：了解物体或材料的变形机理，验证已有的假说和理论，通过实测建立有关理论或经验公式，掌握物体变形规律。（2）应用方面的意义：监控被测对象的安全状况，及时发现问题，预防出现事故。如工业领域内对零部在附加载荷下的变形检测，产品受热变形和受力变形检测，桥梁承受动态载荷时的振动测量等。,5,1.2 现有动态变形测量方法,传统变形测量方法及其局陷,接触式传感器法：加速度传感器、LVDT 位移计、电阻应变片等。自动跟踪全站仪和激光跟踪仪。GPS法数字散斑相关方法数字近景摄影测量法,(a)摄影测量原理(b)美国GSI公司的V-STARS/M摄影测量系统图 14 数字近景摄影测量系统,6,1.3 视频测量技术,视频测量（Videogrammetry 或 Videometrics）是近十几年来国际上迅速发展起来的新兴学科，它是由传统的光学测量、摄影测量学、计算机视觉和数字图像处理分析等学科交叉、融合，取各学科的优势和长处而形成。它的处理对象以时间序列数字视频图像为主。,摄影测量是一种基于图像的测量技术，它通过对成像系统拍摄的多视角图像进行分析计算，恢复出某一时间点被摄物体在三维空间中的几何模型。如果将摄影测量的处理对象换成物体运动或变形的时间序列图像，则这种技术称作视频测量技术。,7,1.3 视频测量技术的研究现状,国外的研究成果中多与军事试验相关，许多都呈保密或半保密状态，具体实现技术细节在公开文献中较难查询；国内鲜有学者涉足。,美国航空航天局（NASA）在飞机模型风洞变形实验中，在机身上粘贴人工标志点，通过跟踪和测量这些标志点的空间位置随时间变化的关系来分析模型在动态负载下的变形情况。法国国家航宇研究局（ONERA）在风洞飞机模型变形测量方面作了大量实验，以了解飞机的空气动力学特性。,8,1.3 存在的问题及发展趋势,1）高精度、全自动测量2）大尺寸、大变形测量3）动态测量和运动测量4）三维测量和全场测量5）实时测量,9,1.4 课题来源和主要研究内容,本课题是国家自然科学基金项目“大型飞机风洞试验的三维视频动态变形测量方法和实验研究”的一部分，硬件平台和实验部分得到解放军总装某部“高速运动测量和分析系统”项目的支持。,主要研究内容：研究了大视场多像机立体视觉系统的全局标定问题。研究了视频图像中人工特征的快速提取算法。研究了立体相对中同名标志点的匹配问题。研究了相似多目标在不同时刻的序列匹配问题。构建了大视场多像机立体视觉动态视频获取系统，开发了三维动态变形测量软件，对开发的系统进行了精度测试和应用实验。,10,1.5 技术路线,11,2 大视场视频测量系统设计,2.1 视频测量原理2.2 大视场多像机立体视觉视频获取系统设计2.3 视频测量软件功能及界面设计2.4视频测量数据处理流程设计,12,2.1 视频测量原理,13,2.2 大视场多像机立体视觉视频获取系统设计,四目立体视觉视频获取系统,双目立体视觉视频获取系统,14,2.3 视频测量软件功能及界面设计,主要功能模块包括：工程资源文件的管理，相机光源和快门控制、摄像机标定和校正，图像处理三维重建，目标跟踪和变形场计算，采集图像的实时显示，计算结果的可视化分析和导出报告等。,15,2.4视频测量数据处理流程设计,16,3 大视场多像机立体视觉系统的标定,存在的关键问题：大视场多像机立体视觉系统往往需要现场标定，标定参考物难以制作和携带，除了确定各像机的内部参数外，各像机还需要进行全局定向，现有各标定方法都很难满足实际需求。主要研究内容：3.1 非线性像机成像模型的选择3.2 大视场标定参考物设计3.3 标定图像的获取3.4多像机系统的标定及全局定向算法3.5大视场四目系统的全局标定实验,17,3.1 非线性像机成像模型的选择,像差方程：考虑像差的共线方程：,18,3.1 非线性像机成像模型的选择,共线方程的误差方程：其中：,19,3.2 大视场标定参考物设计,十字架正反两个表面粘贴有环形的编码标志点和圆形的非编码标志点，所有标志点无需精确定位，物方坐标均为未知，标定图像采集过程中十字架各姿态无需精确控制，只需在视场范围内各个方位近似均匀出现。此型标定十字架易拆卸、携带和组装，不易变形，适宜大视场现场标定。,(a) 2米视场标定十字架(b) 5米视场标定十字架图 35 标定参考物,20,3.2 标定十字架结构数据的获取,标定十字架在现场组装完成后，参考标志点之间原来的结构数据利用本单位先期开发的工业摄影测量XJTUDP系统测得。,21,3.3 标定图像的获取,22,3.4多像机系统的标定及全局定向算法,单像机标定及全局定向算法：（1）将同一像机拍摄的所有不同位置姿态的标定十字架图像编号，构成单像机标定图像组；（2）使用第4章中的标志点检测方法，识别出所有图像中圆形特征点的图像坐标和编码点对应的编码值；（3）以标定十字架坐标系为世界坐标系，以3.4.3得到的编码标志点作为控制点，从第一幅图像开始绝对定向。利用控制点的世界坐标，根据图像上识别出的控制点的多少选择使用DLT法或者角锥法，计算图像的旋转矩阵R，再计算平移矩阵T。（4）所有图片都定向完毕后，将DLT中线性像机模型改为附加十参数的非线性模型。以所有控制点为物方坐标初始值，以图像定向结果为其外参数初始值，根据立体视觉原理求得像机内参数的初始值，利用光束平差对所有图像的内外参数、编码控制点的物方坐标进行整体求解。（5）得到每张图像的内外部参数后，利用核线约束逐对图像匹配非编码点，并对应到非编码物方点列表中；所有图像非编码点匹配完成后，再利用光束平差算法同时调整所有图像的内、外参数和所有标志点三维坐标，完成对本像机的标定。,23,3.5大视场四目系统的全局标定实验,24,3.5大视场四目系统的全局标定实验,25,3.5大视场四目系统的全局标定实验,26,4 视频图像中的特征识别与定位,存在的关键问题：本文通过在物体表面粘贴人工合作标志点对待测变形点进行定位，并提高算法的通用性和测量系统的自动化程度；标志点提取的速度关系到测量系统的实时性能；标志点图像坐标的测量精度直接关系到立体匹配和三维重建的精度。主要内容：4.1 人工合作标志点的选择4.2 基于梯度图像的标志点快速检测4.3 标志点中心的亚像素定位4.4标志点识别与定位实验,27,4.1 人工合作标志点的选择,28,4.2 基于梯度图像的标志点快速检测,为了提高图像检测的速度，对图片进行分块检测，首先找到标志点大体的位置，然后对包含标志点的局部图像进行Canny边缘检测，这样就可以减少耗时较长的平滑以及梯度运算，从而节省时间。,29,4.3 标志点中心的亚像素定位,30,4.4标志点识别与中心定位实验,31,5 标志点的立体匹配与三维重建,存在的关键问题：特征匹配问题一直是视觉领域的一个瓶颈问题。核线匹配在标志点较为稀疏时可以工作的很好，得到较高的匹配率。为实现全场测量，在三维动态变形测量中常常稠密使用标志点，核线匹配容易出现误匹配。主要内容：5.1 核线匹配及其误匹配5.2 基于区域分割和匹配传播的立体匹配算法5.3稠密标志点匹配实验5.4匹配标志点的三维重建算法及实验,32,5.1 核线匹配及其误匹配,33,5.2 基于区域分割和匹配传播的立体匹配算法,1.确定初始匹配对,34,5.2 基于区域分割和匹配传播的立体匹配算法,2.以初始匹配点为顶点划分Delaunay三角形,35,5.2 基于区域分割和匹配传播的立体匹配算法,3.同名三角形内匹配传播算法,1）选取可靠的匹配参考点（种子点）,36,5.2 基于区域分割和匹配传播的立体匹配算法,2）三角形内匹配传播,37,5.3稠密标志点匹配实验,38,5.4匹配标志点的三维重建算法,39,5.4匹配标志点的三维重建实验,40,6 标志点的序列匹配与变形计算,存在的关键问题：标志点的序列匹配是指同一像机不同时刻图像间的特征点对应问题，序列匹配是变形和运动参数计算的前提。人眼往往是通过标志点与其周边的背景关系来确定标志点间的对应关系的，但由于物体变形过程这些关系是变化的且具有不确定性，这种方法很难在计算机上实现。同时，立体匹配中的大多数约束条件不适用于变形（运动）视频图像的序列匹配，因而众多相似标志点的序列匹配也是变形和运动测量中最为困难的问题之一。主要内容：6.1 目标运动轨迹预测用于序列匹配的优点6.2 图像空间多目标跟踪的局限性6.3基于卡尔曼滤波器的三维标志点轨迹预测6.4基于三维轨迹关联的标志点序列匹配6.5多目标跟踪实验,41,6.1 目标运动轨迹预测用于序列匹配的优点,（1）通过较准确的目标轨迹预测，可将搜索窗口限制在一个很小的范围，从而可以减少计算量，提高搜索的速度；（2）当图像中有多个相似搜索目标时，分别对各个目标进行运动轨迹预测，能够更方便和可靠地将当前图像中的多个目标与前幅图像中的各个目标正确匹配；（3）图像中有可能出现与目标特征相似的噪声或其他物体时，利用目标运动轨迹预测，可以方便地将目标与其他物体区别开来，通常可以定义与预测位置最接近的物体就是要找的目标。,42,6.2 图像空间多目标跟踪的局限性,由于CCD像机所采集序列图像的特性，基于二维图像空间的多目标跟踪方法存在诸多难题：（1）各帧中目标数目不一致。（2）遮挡。（3）阴影。（4）图像序列中目标的动态管理。,43,6.3基于卡尔曼滤波器的三维标志点轨迹预测,1. 标志点三维运动的状态方程与观测方程,44,6.3基于卡尔曼滤波的三维标志点跟踪算法,2. 利用卡尔曼滤波器预测和滤波标志点的三维轨迹,45,6.3基于卡尔曼滤波的三维标志点跟踪算法,3. 卡尔曼滤波器初始条件的确定为了得到卡尔曼滤波中的初始状态，即目标在 时的运动状态向量，需要知道第1帧和第2帧空间中的标志点及其对应关系，以便确定每个标志点在卡尔曼初始帧空间中的位置、速度等运动状态分量。本文使用在相邻两帧空间中进行邻域搜索的方法完成第1帧（t=1）和第2帧(t=2)间标志点的对应。然后再根据定义计算初始值。,46,6.4基于三维轨迹关联的标志点序列匹配,1. 构造运动平滑代价函数运动平滑代价函数是在以下三个原则的基础上提出的：1）代价函数的值是非负的。2）代价函数必须反映出速度的变化情况,在其他因素相同的前提下,速度大小的变化越小时,代价函数的值越小。3）代价函数也应反映出轨迹运动方向的变化情况,在其他因素相同的前提下,运动轨迹的方向变化越小时,代价函数的值越小。,47,6.4基于三维轨迹关联的标志点序列匹配,2. 标记点与轨迹的匹配对于轨迹i，将第k+1帧空间中的每一个标志点代入式（6-25）中，并计算出最小的M(i,j) ，此时点j可以归入轨迹i中。,48,6.4基于三维轨迹关联的标志点序列匹配,现将本文标志点序列匹配方法的实现步骤总结如下：1）将首帧空间中的标志点三维坐标作为运动轨迹的起始点。滤波器初始条件采用目标在t=2时刻的状态参数。2）用卡尔曼滤波器预测各轨迹在下一帧空间中的位置。3）根据所得到的预测位置,利用代价函数式使下一帧空间中的标志点分别归入不同的运动轨迹。4）以下一帧空间中的标志点位置作为观测值,并以此更新卡尔曼滤波器的参数。5）当所有帧空间都经过处理后，则结束运算。否则转至步骤2。,49,6.5多目标跟踪实验,50,6.5多目标序列匹配实验,51,7 三维动态变形视频测量系统实验及应用,为了验证本文中所述算法及系统，设计了多个测量实验，对由“XJTUDA三维动态变形测量系统”软件和不同视频捕捉硬件构建的多个三维动态变形视频测量系统进行了性能测试。其中包括：7.1精度评估实验7.2金属薄板焊接过程变形测量实验7.3自由落体运动变形测量实验,52,7.1精度评估实验,参照VDI-2634 part1精度测试标准，采用长度校准值为600.057mm（精度为0.003mm）的铟瓦合金高精度标尺作为长度基准，使用双目测量系统对其进行多次不同角度的拍摄并重建出三维长度，与基准长度作对比，来评估系统在三维空间中的标志点测量精度。,53,7.1精度评估实验,（1）标尺多个位置静止测量（2）标尺运动中多个方向和位置测量,经过对已知长度标尺在不同状态、不同位置下的长度进行测量，可以看出本系统对静态物体的测量精度高于对动态物体的测量精度。测量结果显示本系统不管是对静止还是运动中标志点的空间定位精度都优于0.5mm（0.25像素），相对精度约为1/4000。,54,7.1精度评估实验,标志点的三维空间定位是动态变形及运动测量的基础，因此其三维重建的精度决定了系统三维动态变形测量的精度。影响标志点三维重建精度的主要因素有：（1）CCD像机的质量和分辨率。（2）多台像机的同步性。（3）光照不均匀。（4）立体视觉系统的标定精度。（5）立体匹配算法的正确率。,55,7.2金属薄板焊接过程变形测量实验,由于焊接现场高温，强电磁干扰等因素，传统的变形测量手段如应变片，位移传感器等的测量结果与实际变形存在较大误差。采用开发的非接触式视频三维变形测量方法，通过双目CCD像机跟踪粘贴在金属薄板表面的标志点，计算标志点三维坐标在不同时刻的位移信息，来观察金属薄板在焊接过程中的整体变形情况。1. 测量方案,56,7.2金属薄板焊接过程变形测量实验,测量结果对3个位移计的测量结果和对应视频测量测点进行了对比：,57,7.2金属薄板焊接过程变形测量实验,测量结果由于得到的是某时刻多个标志点的三维坐标，通过数值插值可以得到薄板的表面拟合模型；还可以根据不同时刻各点的变形值拟合得到焊件整个表面的动态变形云图：,58,7.3自由落体运动变形测量实验,1.测量对象选择的自由落体对象为一个直径约0.8米的卡车内轮胎。测量前在轮胎表面密集粘贴两种规格的非编码标志点和部分编码标志点。研究人员将轮胎分别举至空中1米和3米高度，测量开始后释放轮胎让其自由下落，视频测量系统记录并测量运动及变形全过程。,59,7.3自由落体运动变形测量实验,2.2米视场双目像机测量方案高速摄像机的布置如图 7 10所示，桌面上两个边沿处分别固定着2台像机，光心之间的基线长度大约2.5米，测量距离约为5米，由此构成了30度左右的交会角。测量视场约为2m*2m*2m。,60,7.3自由落体运动变形测量实验,2）原始视频,61,7.3自由落体运动变形测量实验,3）测量结果,从测量结果3D图中可以看出，轮胎刚刚被释放时，左侧先行下移，然后才是整体自由下落，这和实验人员松开轮胎的方式一致。越接近地面时，相邻两帧间的变形越大，标志点的下落速度越快，这也符合自由落体运动的一般规律。,62,7.3自由落体运动变形测量实验,2.5米视场双目像机测量方案四目系统高速摄像机的布置如下图所示，基中一部出了照片下部边界：左下角两部像机构成一组双目系统；上侧和右侧的两部像机构成另一组双目系统。每组双目像机之间构成了 左右的交会角，基线长度大约6米，测量距离约为11米，其整体系统布设示意图见第二章。测量视场约为5m*5m*5m。,63,7.3自由落体运动变形测量实验,2）原始视频,64,7.3自由落体运动变形测量实验,3）测量结果,从测量结果可以看出，在任意时刻，轮胎两个侧表面上的众多标志点构成了运动中的轮胎轮廓，其外表面变形场能够直观地反映了轮胎目标整体的运动变形全貌，这也是其他测量手段所无法完成的功能。,65,8.总结,创新点提出并实现了一种基于视觉的三维动态变形全场测量方法。构建了适用于多种类变形情况测量的大视场多像机立体视觉获取系统，解决了视频测量数据处理流程中的关键问题，开发了三维动态变形视频测量软件系统。与传统动态变形测量方法相比，本文方法不与被测对象接触，不会干扰其自身的变形过程；能够对大尺寸大变形进行测量；能够在瞬间对大批测点的三维变形进行同步测量，实现全场测量；测量结果丰富，能够直观地反映目标整体的变形全貌；测量中不需在被测量对象上安装设备，适用于测量运动或动态目标，在某些情况下甚至是唯一可行的测量手段。,66,8.总结,