CN115170434B 一种用于线结构光3d相机的误差校正方法以及装置（江苏集萃智能光电系统研究所有限公司）

(19)国家知识产权局(12)发明专利限公司旭路258号东安大厦1301室夏彪杨威刘浩审查员李富贵一种用于线结构光3D相机的误差校正方法以及装置本发明提供了一种用于线结构光3D相机的三维标定板放置于线结构光3D相机视野中的不所在直线与线结构光3D相机的激光面之间的倾通过三维标定板上角点间的空间向量约束关系将三维标定板放置于线结构光3将三维标定板放置于线结构光3D相机视野中的对得到的点云数据进行处理，计算获得每组点云数据对通过三维标定板上角点间的空间向量约束关系求解型参数步骤5步骤1步骤2步骤3步骤421.一种用于线结构光3D相机的误差校正方法，其特将三维标定板放置于线结构光3D相机视野中的不同位置，线结构光3D相机与三维标定板之间发生相对运动、扫描三维标定板，得到不同位置下的三维标定板的多组点云数据；对得到的点云数据进行处理，计算获得每组点云数据对应的三维标定板的角点坐标；将因误差产生的相对运动方向所在直线与线结构光3D相机的激光面之间的倾角，作为通过三维标定板上角点间的空间向量约束关系求解误差校正模型参数；将误差校正模型用于被测物体的点云数据，得到无畸变的点云数据。2.根据权利要求1所述的一种用于线结构光3D相机的误差校正方法，其特征在于：所述三维标定板包括一个正方形平面，所述正方形平面的四边分别连接有侧平面，所述正方形平面与所述侧平面之间构成有夹角。3.根据权利要求2所述的一种用于线结构光3D相机的误差校正方法，其特征在于：所述夹角的取值范围为15至45度。4.根据权利要求2所述的一种用于线结构光3D相机的误差校正方法，其特征在于：对得到的点云数据进行处理，计算获得每组点云数据对应的三维标定板的角点坐标，具体包括以下步骤：对得到的点云数据进行滤波处理，将三维标定板的5个平面数据分离成5个独立的3D点分别将正方形平面的四个角点周边的三个平面方程联立方程组，表示为：依次求解角点周边的三个平面方程，得到正方形平面的四个角点的坐标，每组点云数据得到一组正方形平面的四个角点的坐标。5.根据权利要求4所述的一种用于线结构光3D相机的误差校正方法，其特征在于：所述对于每个点，计算点与所有邻居点之间的平均距离，如果点的平均距离在由全局距离平均数和标准差定义的区间之外，则视为稀疏离群点，将稀疏离群点从点云数据集中去除。6.根据权利要求4所述的一种用于线结构光3D相机的误差校正方法，其特征在于：线结构光3D相机拍摄三维标定板时，存在的对测量精度具有影响的倾角，包括线结构光3D相机绕世界坐标系的Z轴旋转a度形成的倾角和绕世界坐标系的X轴旋转β度形成的倾角，世界坐标系的Y轴平行于线结构光3D相机拍摄三维标定板时的相对运动方向，构建误差校正模型表示为：3校正模型参数。7.根据权利要求6所述的一种用于线结构光3D相机的误差校正方法，其特征在于：通过三维标定板上角点间的空间向量约束关系求解误差校正模型参数，包括以下步骤：确定三维标定板上角点间的空间向量约束关系，包括三维标定板的正方形平面满足对角线向量内积为0以及三维标定板的正方形平面两对角线模长等于正方形平面边长的√2设定单组三维标定板校正后对角线向量内积的平方为目标函数，目标函数通过角点坐标和误差校正模型参数进行表示；采用拉格朗日乘数法求解目标函数，基于多组三维标定板的角点数据设置优化函数；将三维标定板的正方形平面满足对角线向量内积为0以及三维标定板的正方形平面两对角线模长等于正方形平面的边长的√2倍作为拉格朗日乘数法中的约束条件；建立拉格朗日函数，令拉格朗日函数对于各个误差校正模型参数和拉格朗日乘数的一阶偏导数等于零，求解得到误差校正模型参数。8.根据权利要求7所述的一种用于线结构光3D相机的误差校正方法，其特征在于：所述的通过三维标定板上角点间的空间向量约束关系求解误差校正模型参数，包括：令误差校正模型x₁=cosa,x₂=sina,x₃=sinβ,x₄=cosβ,三维标定板的正方形平面的四个角点顺时针排列分别为A、B、C和D,校正后满足对角线向量内积为0,表示为：AC·BD=0,且两对角线模长等于正方形平面边长的√2倍，表示为：|AC|=|BD|=√2L,式中L为三维标定板的正方形平面的边长；设定单组三维标定板校正后对角线向量内积的平方为目标函数：f(x₁,x₂,x₃,x₄)=(AC*BD)²=((Pc-Pa)·(Pa-Pb))²=((△Xac*x₁,△Yac+△Xac*X₂+△Zac*x₃,△Zac*x₄)·(△Xb基于拉格朗日乘数法求解目标函数，设置优化函数为：式中j为三维标定板不同位置下成像的次数，f;(x₁,X₂,₃,x4)为第i次成像时三维标定板的目标函数；优化函数满足约束条件：4且满足4i(x)=0,i=1、2、3、4;分别对x₁,x₂,X₃,×4,λ求偏导，并令导数为0,求得x₁,x₂,X₃,x₄为优化函数在满足约束条件下的极值点，作为误差校正模型参数。所述程序存储在所述存储器中，所述处理器调用存储器存储的程序，以执行权利要求1所述的一种用于线结构光3D相机的误差校正方法。10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质用于存储程序，所述程序用于执行权利要求1所述的一种用于线结构光3D相机的误差校正方法。5技术领域[0001]本发明涉及3D视觉技术领域，具体涉及一种用于线结构光3D相机的误差校正方法以及装置。背景技术[0002]随着机器视觉的快速发展，3D视觉技术的应用变得越来越普遍，现有的3D成像技术原理上主要有双目立体视觉法、激光三角法、结构光3D成像、飞行时间法ToF,光场成像工业领域这三种原理的3D相机被广泛应用。其中基于单线结构光的3D相机原理简单、测量[0003]根据激光面与相对运动方向所在直线的夹角关系可将线结构光3D相机划分为垂直式和斜入式，对于垂直式单线结构光3D相机，线结构光3D相机拍到激光线轮廓后由激光线中心提取算法得到激光线的中心轮廓，再经过标定得到的转换矩阵运算后得到被测物体表面的单条3D轮廓线，最终由多条轮廓线组合成被测物体表面完整的3D点云。[0004]单线结构光3D相机成像需要被测物体与相机之间产生相对运动，理想的安装位置需满足相对运动方向所在的直线完全垂直于激光面，但实际应用中3D相机安装很难保证达到理想的安装位置。由于机构件的加工误差和3D相机的安装误差，很难保证运动方向所在的直线完全垂直于激光面，线结构光3D相机的安装一旦有角度倾斜，将会导致采集到的点云产生扭曲，从而影响了三维测量系统的测量精度。因此，研究如何校正线结构光3D相机的安装误差，是提高线结构光3D测量系统可靠性与保证三维测量精度的重要手段。发明内容[0005]针对上述问题，本发明提供了一种用于线结构光3D相机的误差校正方法以及装置，有效解决了因误差导致的线结构光3D相机的点云扭曲问题，提高了线结构光3D相机的成像精度，为后续的高精度3D图像处理提供了保障。括以下步骤：[0007]将三维标定板放置于线结构光3D相机视野中的不同位置，线结构光3D相机与三维标定板之间发生相对于运动扫描三维标定板，得到不同位置下的三维标定板的多组点云数[0008]对得到的点云数据进行处理，计算获得每组点云数据对应的三维标定板的角点坐[0009]将因误差产生的相对运动方向所在直线与线结构光3D相机的激光面之间的倾角，作为误差模型校正参数，构建误差校正模型；[0010]通过三维标定板上角点间的空间向量约束关系求解误差校正模型参数；[0011]将误差校正模型用于被测物体的点云数据，得到无畸变的点云数据。6[0024]进一步的，通过三维标定板上角点间的空间向量约束关系求解误差校正模型参足对角线向量内积为0以及三维标定板的正方形平面两对角线模长等于正方形平面边长的数；将三维标定板的正方形平面满足对角线向量内积为0以及三维标定板的正方形平面两7的一阶偏导数等于零，求解得到误差校正模型参数。[0029]进一步的，所述的通过三维标定板上角点间的空间向量约束关系求解误差校正模[0030]令误差校正模型x₁=cosα,x₂=sinα,x₃=sinβ,x₄=cosβ,三维标定板的正方形平面的四个角点顺时针排列分别为A、B、C和D,校正后满足对角线向量内积为0,表示为：AC·BD=0,且两对角线模长等于正方形平面边长的√2倍，表示为：A|C|=|BD|=√2L,式中L为三维标定板的正方形平面的边长；[0031]设定单组三维标定板校正后对角线向量内积的平方为目标函数：f(x₁,x₂,x₃,x₄)=(AC*BD)²=([0032]=((△Xac*x₁,△Yac+△Xac*X₂+△Zac*x₃,△Zac*x₄)·(△Xbd*X₁,△Ybd[0034]基于拉格朗日乘数法求解目标函数，设置优化函数为：[0036]式中j为三维标定板不同位置下成像的次数，f;(x₁,X₂,X₃,x4)为第i次成像时三维标定板的目标函数；[0037]优化函数满足约束条件：[0040]建立拉格朗日函数F(x₁,x₂,x₃,x₄,λ1,λ2,λ3,λ4)=Z7=1fi(x₁,x₂,X₃,x₄)+∑:=1λi*[0042]分别对x₁,x₂,X₃,4,λ求偏导，并令导数为0,求得x₁,X₂,x₃,x₄为优化函数在满足约束条件下的极值点，作为误差校正模型参数。[0044]所述程序存储在所述存储器中，所述处理器调用存储器存储的程序，以执行上述的一种用于线结构光3D相机的误差校正方法。[0045]一种计算机可读存储介质，其特征在于：所述计算机可读存储介质用于存储程序，所述程序用于执行上述的一种用于线结构光3D相机的误差校正方法。[0046]本发明的用于线结构光3D相机的误差校正方法，设计了一个三维标定板，通过线8结构光3D相机拍摄不同位置的三维标定板，进而获得三维标定板上的角点坐标，根据线结构光3D相机拍摄三维标定板时，实际可能存在的对测量精度具有影响的倾角设置了误差校正模型参数，依据误差校正模型参数构建了误差校正模型，然后通过三维标定板上的角点之间的空间向量约束求解得到误差校正模型参数，最终可以采用误差校正模型校正被测物体的点云数据，得到无畸变的点云数据，本发明的方法具有以下优点：[0047]1、本发明设计的三维标定板结构简单，易于加工，且标定板通用性强，可重复利[0048]2、采用本发明设计的三维标定板，仅需要基于空间中平面交线的交点作为特征角机的安装误差导致的点云扭曲问题，提高了线结构光3D相机的成像精度，为后续的高精度3D图像处理提供了保障。[0050]4、本发明的方法具有通用性和扩展性。可用于一般推扫式3D成像场合，方法具有通用性，同时可扩展为斜入式线结构光3D相机的应用场景。附图说明[0051]图1为本发明的一个实施例中的一种用于线结构光3D相机的误差校正方法的步骤示意图；[0052]图2为实施例中的三维标定板的示意图；[0053]图3为线结构光3D相机拍摄物品的示意图；[0054]图4为实际中线结构光3D相机产生安装误差绕Z轴旋转α度的俯视示意图；[0055]图5为实际中线结构光3D相机产生安装误差绕X轴旋转度的示意图；[0056]图6为一个实施例中计算机装置的内部结构图。具体实施方式[0057]线结构光3D相机在成像时需要相机与目标之间有相对运动，在搭建线结构光3D相机成像系统时大多都是靠机械工装约束使得相对运动方向所在的直线与3D相机Y轴所在的直线平行，这将对机械加工和安装精度有较高的要求，实际应用中实现难度大成本高。为此本发明在实施例中提供了一种用于线结构光3D相机的误差校正方法，包括以下步骤：[0058]步骤1:将三维标定板放置于线结构光3D相机视野中的不同位置，线结构光3D相机与三维标定板之间发生相对于运动扫描三维标定板，得到不同位置下的三维标定板的多组点云数据；[0059]步骤2:对得到的点云数据进行处理，计算获得每组点云数据对应的三维标定板的角点坐标；[0060]步骤3:将因误差产生的相对运动方向所在直线与线结构光3D相机的激光面之间[0061]步骤4:通过三维标定板上角点间的空间向量约束关系求解误差校正模型参数；[0062]步骤5:将误差校正模型用于被测物体的点云数据，得到无畸变的点云数据。[0063]具体在本发明的一个实施例中，在步骤1中，在使用线结构光3D相机前，需要对于9线结构光3D相机进行标定。[0064]采用线结构光3D相机拍摄棋盘格标定板，提取图像中棋盘格标定板角点的像素坐标，通过像素坐标和三维世界坐标对应关系求出单应矩阵，进而得出相机的内参矩阵、镜头畸变参数、外参矩阵，最后通过最优化方法得到最优参数。像素坐标系和世界坐标系之间的关系如下：[0066]式中f=f/d,fy=f/d,,f/d表示使用像素来描述X轴方向焦距的长度，f/d,表示[0067]图像畸变模型包括径向畸变和切向畸变，畸变模型如下所示：为理想状态下的坐标，(x′,y')为带有畸变的坐标。[0070]本步骤中采用张正友标定法，使用最大似然估计法优化标定结果，最后再将运算得到的结果作为初始值，使用LM最小二乘优化得出更为精确的内参和外参矩阵。[0071]在步骤1中，在使用线结构光3D相机前，还需要对于线结构光3D相机进行激光面位姿标定。[0072]线结构光3D相机中的激光器投射的扇形区域可看作一个光平面，如果我们知道了激光平面方程，就可以计算图像平面与激光平面的单应性矩阵。通过单应性矩阵即可计算得到被测物体表面的三维坐标，计算关系如下所示：的三维坐标，为单应性矩阵。[0075]激光面的平面方程表示为：APx+BPy+CPz+DP=0,AP、BP、CP、DP为激光面的平面系[0076]将背光棋盘格标定板放置于相机视野内的不同位置，分别拍摄一张背光标定板图像和一张带激光线的图像，使用COG算法提取激光中心线轮廓，再通过标定板坐标系和相机坐标系的转换关系T得到相机坐标系下的激光线三维点。理论上通过三个非共线点即可求解激光面方程，但是为了减小误差，我们采用多组激光线三维点拟合得到激光平面的平面系数。[0077]见图2,本步骤中采用的三维标定板包括一个正方形平面1,正方形平面的四边分别连接有侧平面2,正方形平面1与侧平面之间2构成有夹角，本实施例中侧平面2均为长方形，正方形平面1与侧平面之间2的夹角取值在15-45度之间，角度参数的选择要满足两个要求：1)能够与中间的正方形平面区分开；2)当标定板在空间中有一定倾斜角度时可以保证图中的5个平面均能采集到足够多的3D点，本实施例中夹角选择的角度为30度。[0078]在完成标定后，即可以将本实施中设计的三维标定板放置于线结构光3D相机视野中，线结构光3D相机与三维标定板之间发生相对于运动扫描三维标定板，即可以的到三维标定板的一组3D点云数据，将三维标定板放置于线结构光3D相机视野中其他位置，再次发生相对于运动扫描三维标定板，可以再获得一组三维标定板的3D点云数据，三维标定板调整多个不同的位置，即可以得到不同位置下的三维标定板的多组点云数据。[0079]在本发明的一个实施例中，在步骤2中，对得到的点云数据进行处理，计算获得每组点云数据对应的三维标定板的角点坐标；具体包括以下步骤：[0080]步骤201:对得到的点云数据进行滤波处理：扫描得到的点云数据可能会有一些的噪声，为了提高后续的标定精度故先对得到点云进行滤波，去除稀疏离群点。对于每个点，计算它与所有邻居点之间的平均距离。假设结果分布是具有平均数和标准差的高斯分布，所有平均距离在由全局距离平均数和标准差定义的区间之外的点都可以被视为稀疏离群点，将离群点从点云数据集中修剪掉。[0081]步骤202:将三维标定板的5个平面数据分离成5个独立的3D点集。[0082]步骤203:采用基于RANSAC算法的平面拟合方法，经过拟合得到三维标定板的5个[0085]步骤204:三维标定板特征角点提取：分别将正方形平面的四个角点周边的三个平[0088]依次求解角点周边的三个平面方程，可以得到四个角点的坐标。[0089]已知由于机构件的加工误差和3D相机的安装误差，很难保证运动方向所在的直线完全垂直于激光面，从而实际中存在因误差产生的相对运动方向所在直线与线结构光3D相机的激光面之间的倾角，为此实施例中分别分析几种倾角会对测量精度具有影响。[0090]垂直式的线结构光3D相机扫描成像的示意图如图3所示：理想的线结构光3D相机的安装位置为运动方向所在的直线垂直于激光面，但是由于误差存在，存在以下3种情况：[0091]情况1:当线结构光3D相机安装绕着图中世界坐标系的Z轴旋转α度时，俯视图如图[0094]情况2:当线结构光3D相机安装仅绕着图中的世界坐标系的Y轴旋转，仅相当于被束关系，包括三维标定板的正方形平面满足对角线向量内积为0以及三维标定板的正方形数；将三维标定板的正方形平面满足对角线向量内积为0以及三维标定板的正方形平面两的一阶偏导数等于零，求解得到误差校正模型参数。[0110]令误差校正模型x₁=cosα,x₂=sinα,x₃=sinβ,x₄=cosβ,三维标定板的正方形平面的四个角点顺时针排列分别为A、B、C和D,校正后满足对角线向量内积为0,表示为：AC·BD=0,且两对角线模长等于正方形平面边长的√2倍，表示为：|AC|=|BD|=√2L,式中L为三维标定板的正方形平面的边长；[0111]设定单组三维标定板校正后对角线向量内积的平方为目标函数：f(x₁,x₂,x₃,x4)=(AC*BD)²=((Pc[0112]=((△Xac*x₁,△Yac+△Xac*X₂+△Zac*x₃,△Zac*x₄)·(△Xbd*X₁,△Ybd[0114]基于拉格朗日乘数法求解目标函数，设置优化函数为：[0116]式中j为三维标定板不同位置下成像的次数，f;(x₁,X₂,X₃,x4)为第i次成像时三维标定板的目标函数，n可以设置10-20之间；[0117]优化函数满足约束条件：[0120]为寻找优化函数F(X)在约束条件下的极值点，先做拉格朗日函数，表示为：[0121]F(x₁,x₂,x₃,x₄,λ1,λ2,λ3,λ4)=∑=1fi(x₁,x₂,x₃,x4)+∑4=1λi*φi(x₁,X₂,x₃,x4),[0123]然后分别对x₁,X₂,X₃,x₄,λ求偏导，并令导数为0,求得x₁,X₂,X₃,x4,得到的x₁,X₂,X₃,x₄为优化函数在满足约束条件下的极值点，然后通过反三角函数计算得到误差校正模型[0124]拉格朗日乘数法是一种寻找变量受一个或多个条件所限制的多元函数的极值的方法。这种方法将一个有n个变量与k个约束条件的最优化问题转换为一个有n+k个变量的方程组的极值问题，本发明中拉格朗日乘数法在计算误差校正模型参数时的应用，可得到[0125]在步骤5中，将已经计算得到误差校正模型参数α和β的误差校正模型用于被测物体的点云数据，可以得到无畸变的点云数据。[0126]由于线结构光3D相机搭建时各个部件的加工和组装精度问题，很难保证空间中3D相机Y轴所在的直线与相对运动方向所在的直线平行，这将导致3D相机获得的点云产生畸变，畸变将影响到整个3D系统的定位及测量精度。[0127]本实施例提供的方法，首先标定相机参数和激光面参数，标定完成后即可重构得到被测物体表面的单轮廓3D数据；相对运动扫描三维标定板，得到标定板表面3D点云数据；采用RANSAC算法拟合标定板表面的多个平面，计算相邻三个平面的交点作为三维标定板特征角点；根据激光三角法成像原理构建误差校正模型，采用拉格朗日乘数法求解校正模型参数，本方法针对基于线结构光3D相机的视觉系统提升测量系统的准确率与测量精度，具有重要实际意义。[0128]在本发明的实施例中，还提供了一种计算机装置，其包括：包括处理器、存储器以[0129]程序存储在存储器中，处理器调用存储器存储的程序，以执行上述的一种用于线结构光3D相机的误差校正方法。[0130]该计算机装置可以是终端，其内部结构图可以如图6所示。该计算机装置包括通过于提供计算和控制能力。该计算机装置的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机装置的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现用于线结构光3D相机的误差校正方法。该计算机装置的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机装置的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机装置外壳上设置的按键、轨迹球或触控板，还可只读存储器(ReadOnlyMemory,简称：ROM),可编程只读存储器(ProgrammableRead-OnlyMemory,简称：PROM),可擦除只读存储器(ErasableProgrammableRead-OnlyM[0132]处理器可以是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(CentralProcessProcessor,简称：NP)等。该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessorASIC)、现场可编程门阵列(Field-ProgrammableGateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器[0133]本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结