【优秀硕士博士论文】数字近景摄影测量技术研究与实现

数字近景摄影测量技术研究与实现,1.1 选题的背景和意义,随着现代科学技术和工业生产的不断发展，越来越多的领域对工件的三维尺寸和表面轮廓等参数提出了测量需要。在很多行业和领域（如汽车制造业）测量己深入到生产过程中进行在线检测。传统的三坐标测量无法满足现代生产的要求：速度慢、受行程限制、无法进行在线测量,1.1 选题的背景和意义,本文提出了一种基于数字图像处理技术、摄影测量技术大尺寸工件三维关键点测量方法，该方法利用数字相机采集的一系列图像对工件上的关键点进行三维重建，具有快速、高精度、灵活、适用于在线测量等优点。,1.2 课题来源,天津汽车模具厂需要对泡沫实型、铸件、模具型面等进行检测,1.2 课题来源,四川东风电机厂需要进行叶片检测,1.2 课题来源,本研究受以下基金支持：国家863计划(2007AA04Z124)“大型复杂曲面产品的反求和三维快速检测系统研究”江苏省科技支撑计划(BE2008058)“三维光学快速质量检测系统研发”,1.3 国内外研究现状,摄影测量技术在国外的发展 美国GSI公司的V-STARS系统德国AICON 3D公司DPA-Pro系统德国GOM公司的TRITOP系统挪威METRONOR公司的METRONOR系统等精度 0.1mm/m国内高校和研究机构武汉大学近景摄影测量有着深入的研究，主要应用于建筑、航拍大地量测。天津大学对摄影测量技术也做了大量的研究。国内尚未出现针对大型复杂工件的自动化近景摄影测量系统。,1.3 国内外研究现状,目前国外已有不少成熟的摄影测量系统，但这些系统对于国内的应用有诸多不足:1. 价格昂贵;2. 使用不方便，有的还需要特殊的硬件及系统要求，如TRITOP系统必须在LINUX系统下运行;3. 无法根据国内用户需求进行有针对性的功能开发等等。而国内又尚未出现可用的近景摄影测量系统;,1.4 技术路线图,1.5 主要工作内容,近景摄影测量理论研究基于亚像素边缘拟合的高精度标志点中心检测编码点设计及编码点自动检测摄影测量的相机标定及三维重建摄影测量系统实现、精度评定及生产应用,2 近景摄影测量理论研究及实现方案,2.1 中心透视投影2.2 共线方程2.3 共面方程2.4 相对定向2.5 绝对定向与空间后方交会2.6 空间前方交会2.7 光束平差,2.1 中心透视投影,物方点经过相机镜头摄影后成像到像平面上，理想的投影成像模型是几何光学中的小孔成像模型，其本质就是射影几何中的中心透视投影过程。,2.2 共线方程,对于理想的相机来说，物方点、镜头中心和像点三点是共线的。但在实际中是不存在理想的相机的，由于各种因素的干扰，使得像点在焦平面上相对其理论位置存在一定的偏差。对基于数字相机的摄影测量来说，引起偏差的因素主要有相机镜头的径向畸变和偏心畸变、像平面不平畸变和像平面内比例及正交畸变。,2.2 共线方程,顾及到像点系统误差的影响，则共线方程可以写成 相机的内方位元素和镜头的光学畸变系数统称为相机的内部参数，外方位元素称为外部参数。,2.3 共面方程,物体点在两张照片上形成的两个像点与对应的相机光心之间的两条连线处于同一个平面内。由此得到摄影测量的另一个基本关系式，共面方程：,2.4 相对定向,相对定向是以左像片为基准，求出右像片相对于左像片的五个定向元素：相对定向的计算基于共面方程，对应的误差方程：,2.5 绝对定向与空间后方交会,确定图像在世界坐标系中的绝对方位的过程叫作绝对定向，也就是利用图片上图像点坐标和对应的控制点的三维坐标来确定相机在世界坐标系下的绝对方位：,2.5 绝对定向与空间后方交会,单像空间后方交会解法，是把一张照片覆盖的一定数量的控制点的像点坐标作为观测值，以求解该像片内、外方位元素的过程 。在内方位元素已知，控制点坐标为真值的情况下，共线方程对应的误差方程：因为外方位元素只有6个未知数，所以只需要3个控制点即可进行计算。单像空间后方交会算法是对非线性方程进行线性化后的迭代运算 。,2.6 空间前方交会,空间前方交会算法，是根据已知内、外方位元素的两张或两张以上像片，把待定点的像点坐标坐标视作观测值，以求解其或是值并逐点求解待定点物方空间坐标的过程。在空间前方交会中，因内、外方位元素已知，则式对应的误差方程可表示为：,2.7 光束平差算法,基于共线条件方程的摄影测量光束平差算法（Method of Bundle Adjustment），是一种把控制点的像点坐标、待定点的像坐标以及其他内业、外业量测数据的一部分或者全部均视作观测值，以整体的求解它们地或是值和待定点空间坐标地解算方法。其求解原则是使得各类观测值地改正数满足为最小。基于共线方程列出的光束平差的误差方程为：其中t，X1，X2，Xad分别是外参数，内参数，物方坐标及畸变参数的改正数向量。A,B,C,Dad分别为对应的系数矩阵矩阵。L为观测值向量。,2.7 光束平差算法,光束平差算法原理图：,3 标志点识别,3.1 标志点设计3.2 图像获取3.3 基于亚像素边缘拟合的高精度标志点中心检测3.4 编码标志点自动识别,3.1 标志点设计,非编码点：,编码点：编码标志又分为8位、10位、12位、14位、15位等几种编码。,3.2 图像获取,本研究采用的相机为NIKON-D90，传感器类型为CMOS，传感器尺寸为23.615.8mm，最大分辨率为3872*2592像素,3.3 基于亚像素边缘拟合的高精度标志点中心检测,像素级边缘检测算法：Canny检测算法亚像素边缘算法：梯度均值算法精度：0.02像素,3.3 基于亚像素边缘拟合的高精度标志点中心检测,与TRITOP检测结果对比分析,3.4 编码标志点自动识别,3.4 编码标志点自动识别,首先按照编码标志和非编码标志的区别，用前面得到的标志点的椭圆参数，对标志点的外圈环带进行采样，对采样的灰度数据进行分析，得到标志点的类型。若是编码标志点，则分析得到编码标志环带的径向范围，并根据标志点的几何尺寸把环带分成n（n为编码位数的整数倍）等份，得到n个扇环区域。对环带进行灰度采样，对采样的灰度值进行处理得到一个灰度阈值。由灰度阈值，并对每个扇环的采样值进行滤波，得到n位编码序列。由n位编码序列经过循环移位和合并，得到标志点的编码序列。由标志点的编码序列经循环移位找到编码序列的最小值，然后查表得到其编码值。,3.5 基于梯度的分块检测,利用基于梯度的分块法检测可以使1000万像素图片的检测时间由7-8秒减少到1-2秒，而精度保持不变。,4 摄影测量的相机标定及三维重建技术,相机的标定是指确定其内部参数和外部参数的过程。 传统的标定方法需要设计一个高精度的几何物体，常用的主要有Tsais和张正友的两步法。摄影测量的相机标定不需要有精确的标定物体。摄影测量不需要利用标定板进行单独的相机标定，摄影测量相机标定的过程也就是三维重建的过程。摄影测量的相机标定主要包括一下几个过程：相对定向、绝对定向、求待定点三维坐标初值、光束平差,4.1 相机镜头畸变,径向畸变偏心畸变像平面畸变内方位元素误差任一像点的系统性误差是径向畸变、偏心畸变、像平面内畸变和内方位元素不准确引起的畸变的总和，这些内部参数所引起的像点坐标偏差称之为像点的系统误差，写成下式：,4.2 待标定的相机模型,本文采用十参数畸变模型。对加入畸变参数的共线方程进行线性化后得到对应的误差方程：其中，V是像点坐标残差，X1、X2、X3分别为内参数（包括畸变参数）、外参数和物方点坐标的改正数，A、B、C分别是它们对应的偏导数矩阵，L是观测值向量。,4.3 实验场法标定,利用一定数量的已知空间坐标、距离的控制点建立控制场，用待标定的数码相机从不同的角度对控制场进行拍照，利用后方交会对数码相机进行标定的方法成为实验场法。实验场法计算简单、结果稳定，但是需要控制点，测量范围受实验场大小限制，因此不够灵活，不适用于在线测量。,4.4 自标定,所谓的自标定是指讲内、外参数放在一起同时进行整体平差计算，也就是带有附加参数的整体平差。自标定不需要知道任何物方点的坐标，只需要知道至少一个空间点对的距离，就可以利用光束平差的方法，同时计算出相机内、外参数和物方点的坐标，实现相机的标定。,4.5 相机标定实验,同时用张正有算法和自标定算法进行标定计算，然后利用所得到的两组参数进行重投影误差计算，以对比标定的精度。标定用的图像序列：,4.5 相机标定实验,张正有算法标定结果重投影误差：重投影平均误差在0.23个像素左右，最大误差在0.42个像素,4.5 相机标定实验,自标定法重投影误差：标志点圆心的重投影平均误差在0.07个像素左右，最大误差在0.25个像素,4.6 核线匹配,对极几何矩阵F是立体视觉与运动视觉中一个非常重要的矩阵，称为基础矩阵(fundamental matrix),4.6 核线匹配,仅考虑两幅图片时，很容易产生歧义性，即沿某一极线搜索时有多个像点会被选为对应像点。一般来说，利用要三幅或者四幅图之间相互进行极线匹配就可以大大降低匹配的出错率。匹配成功后，利用两个位置相机的内、外参数，以及对应的像点，则可以重建得到点的物方三维坐标。,4.7 计算未知点三维坐标,两个相机的投影矩阵分别为：两幅照片上匹配的图像坐标分别为：用最小二乘的算法，得出点的物方坐标：,5.1 系统实现,程序界面图像处理模块三维重建模块对比模块321对齐功能、测距功能,5.2 摄影测量精度测定和评价方法与实验结果,参照国外研究机构对工业近景摄影测量的测试方法，我们采用如图所示的测试框架，在框架各处布置参考点和标尺，然后在多个方向拍摄照片，重建出参考点坐标后测量5组参考点距离，重复拍摄7次，同时使用TRITOP进行计算，对比测量结果。,5.2 摄影测量精度测定和评价方法与实验结果,摄影测量结果(mm),5.2 摄影测量精度测定和评价方法与实验结果,TRITOP测量结果(mm),5.2 摄影测量精度测定和评价方法与实验结果,从结果中可以看出，使用光束平差算法重建的结果与TRITOP结果基本一致，两个重复精度较高，优于0.1mm/m。,5.3 工业近景摄影测量技术在泡沫实型检测中的应用,5.3 工业近景摄影测量技术在大型水轮叶片检测中的应用,5.3 工业近景摄影测量技术在汽车逆向设计中的应用,结论,1. 在对摄影测量理论进行了详细研究的基础上，提出了摄影测量系统的实现方案：利用图像处理得到的结果（标志点图像坐标），依次进行相对定向、绝对定向、三维重建、捆绑调整等过程并加入比例尺，最终实现物体点三维坐标的准确重建。2. 实现了数字图像的自动化处理。设计了一种能够依据图像处理理论自动提取其特征的标志点编码方案。利用canny检测与改进的梯度均值提取亚像素的方法实现了高精度的标志点中心检测，精度达到0.02像素。设计并实现了编码点的快速检测算法。提出了基于梯度的分块检测算法，极大的提高了检测速度，对1000万像素的图片检测仅需1-2秒。,结论,3.实现了数字像机的高精度标定。研究像了机的畸变规律。采用十参数的数字像机模型，利用光束法自标定实现了像机的高精度标定，与传统的标定的方法相比，显著地提高了标定精度。4.实现了物体点准确的三维重建。利用多张图片的极线匹配实现了非编码点的高精度匹配，极大的降低了匹配错误率。5.在对摄影测量理论进行了细致研究的基础上，本文在Windows xp环境下，利用VC+6.0开发出了一套摄影测量系统。对该系统进行了严格的精度验证，精度达到0.1mm/m，与国外同类产品精度相当。将该系统应用于汽车模具等大型工件的测量当中，取得到了很好的效果。,展望,1. 定向反光点材料在图像处理的鲁棒性以及精度方面有其独特的优势，可以予以尝试。编码标志点的设计方案，本文采用的环形编码，而分布式编码的识别未作研究。2. 由于各种外在因素的影响，图像处理结果总是会存在一定几率的误差甚至粗差，重建过程中对大误差数据的排除非常关键。如果不能正确排除错误数据，可能会造成重建结果误差较大甚至完全错误。在这方面的研究尚待进一步深入。3. 摄影测量在各种静态变形、动态变形的应用非常广阔，包括材料测试、冲压变形测量、飞机风洞试验等方面。由于时间的原因，本文未做尝试，但是变形测量的研究应该予以重视。,王朝晖老师提问,1.论文P18页中公式（2.25）求解长度参数sp1,sp2,sp3需用迭代求解，试说明具体的迭代算法和收敛情况。2.论文在泡沫实型检测试验中，用彩色偏差图谱，建议对应的实验图（5-10）等彩色印刷为好。答：所用的算法为基于最小二乘的非线性方程迭代求解算法。对于非线性方程组 ，利用泰勒公式将其展开为线性方程组：其中J为对应的雅克比矩阵： .利用最小二乘算法求解上述线性方程可得：得到的dX加到X的初始值上，再以现在的X为初值反复进行上述计算，直到得到的dX足够小，则可以认为收敛，结束计算。,庄健老师提问,1. 如果编码标志点与相机夹角比较大时，对算法精度有影响吗？如果有，其具体有什么规律，如果没