CN114463406B 基于曼哈顿假设下室内环境的相机旋转估计方法 （北京工业大学）

(19)国家知识产权局(12)发明专利有限公司11203基于曼哈顿假设下室内环境的相机旋转估结束直线一种基于曼哈顿结构假设下室内场景中相机旋转运动估计的方法，属于计算机视觉领域，本发明(1)采用新的方法来进行平面拟合，从室内环境深度图片的三维点云数据中随机选取三将主导平面也以法向量的形式投影到高斯球面2步骤1:主导平面的检测：对室内环境深度图像的点云数据做平面拟合，检测出最多数步骤2:在高斯球面上计算曼哈顿坐标系的正交方向；使用LSD算法对RGB图像做直线检测，将直线投影到高斯球面上得到一个圆，用圆的法向量V0与步骤1中主导平面的法向量VP1做叉乘，得到第二个坐标轴VP3,将得到的两个坐标轴再做向量叉乘得到第三个坐标轴步骤3:利用代价函数进行非线性优化；提出一个代价步骤4:利用旋转矩阵求解相机旋转；曼哈顿坐标系一旦确定就保持不变，在每一帧中线段长度1;图像平面上第i条线段端点d₁、d₂与消失点之2.根据权利要求1所述的一种基于曼哈顿假设下室内环境中相机旋转估计方法，其特对输入深度图像的点云数据进行平面拟合，首先随机选取三个序概率比测试；3汰掉模型重新选取样本进行拟合，λ小于等于给定的阈值4.4就继续对结果进行Lo-RANSAC优化；使用从上一步的顺序概率比测试中返回的符合模型的内点，重新进行采样，生成平面模型，设定10到20次的迭代，然后选取最优的局部结果作为改进的结果；重复上述的所有过程，直到内点的比例达到设定的阈值0.2,最终得到当前的主导平面；将主导平面投影到高斯球面上，用法向量VP1表示，为了使后续帧中的场景与第一帧检测出的主导平面对齐，使用MeanShift算法对主导平面法向量周围的表面法向量进行跟踪。3.根据权利要求1所述的一种基于曼哈顿假设下室内环境中相机旋转估计方法，其特征在于，步骤2中所述的在高斯球面上计算曼哈顿坐标系的正交方向，具体步骤如下：对于检测相同的方法，每次选取一条直线投影到高斯球面上，得到的投影为一个大圆；将大圆的法向量V0与主导平面的法向量VP1做叉乘，得到曼哈顿坐标系的第二个坐标轴VP3,基于坐标系的正交性，将VP1与VP3叉乘就可以得到VP2,对于确定的曼哈顿坐标系模型，对其进行比例高于0.8时停止迭代。4.根据权利要求1所述的一种基于曼哈顿假设下室内环境中相机旋转估计方法，其特征在于，步骤4中所述的利用旋转矩阵求解相机旋转，具体步骤如下：曼哈顿坐标系的方向相对于世界坐标系一直是固定的，在每一帧中以曼哈顿坐标系为基准求出相机与曼哈顿坐标系的旋转矩阵，从而解出相机相对于世界坐标系的旋转。4基于曼哈顿假设下室内环境的相机旋转估计方法技术领域[0001]本发明中设计一种基于曼哈顿假设下室内环境的相机旋转估计方法。本方法对室内环境中的平面和直线特征进行提取，仅使用单个平面和直线来确定曼哈顿坐标系的结构，利用约束条件对估计结果进行非线性优化，再通过相机与曼哈顿坐标系之间的旋转矩阵求解出相机的旋转运动，提高了室内环境中相机旋转估计的精度，提高了算法对环境的适应性。背景技术[0002]室内定位和导航的重点问题就是从当前环境确定相机的位置，一些室内机器人使用激光雷达传感器获取环境数据。随着光学技术的进步和计算能力的提高，基于视觉的方法引起了人们的兴趣。相比于成本较高的激光技术，在一些民用领域，基于视觉的定位技术可以大大降低成本，在定位的过程中，相对于相机的平移运动来说，相机的旋转运动对定位的影响更大。室内环境虽然有复杂的遮挡物和较低的纹理度，但是环境中的物体和结构通常以正交和平行平面的形式表现出高度的组织性，曼哈顿假设的引入使得室内场景下对相机的旋转估计更加方便。[0003]目前针对室内场景下曼哈顿坐标系的估计方法主要分为两类：一种是在二维的图像域估计正交的消失点，这种方法通过在图像平面通过透视关系寻找消失点，但是由于缺少必要的深度信息，很难对消失点的正交性作出严格约束，而且效率也比较低。另一种方法是在三维域中估计三个正交的主要方向，通过在空间中对曼哈顿结果作出假设，结合必要的深度信息进行搜索验证，可以得到相对满意的结果，但是这些研究需要相机的先验信息，对于单幅图片的估计成本也比较高，近些年，基于曼哈顿假设下室内环境中相机的旋转估计方法被提出。例如，Straub等人提出的曼哈顿框架概率混合算法(J.Straub,0.Freifeld,G.Rosman,J.J.LeonardandJ.W.Fisher,"TheManhattanFrameModel—ManhattanAnalysisandMachineIntelligence,vol.40,no.1,pp.235-249,Jan.2018),利用场景的表面正态分布推导了一个简单的MAP推理算法和一个基于Gibbs采样的算法，该算法使用Metropolis-Hastings对表面法向量进行分割/合并，调整了MF的数量，以最好地捕捉场景的表面正态分布。但是该方法对于环境的依赖度较高，当环境中不存在足够数量的正交平[0004]为了解决当前研究算法的局限性并提高估计效率，本发明提出一种基于曼哈顿假设下室内环境中相机的旋转估计方法。利用室内环境中存在的单个平面和单条直线的空间位置关系，在高斯球面上计算出曼哈顿坐标系的结构。其次，利用代价函数来优化曼哈顿坐标系的估计结果，通过曼哈顿坐标系与相机坐标系之间的旋转矩阵解出相机的方向并在连续的视频序列中稳定的跟踪相机的旋转。5发明内容[0005]本发明提出了一种基于曼哈顿假设下室内环境中相机旋转估计的方法，解决了室内环境下纹理度低、遮挡物复杂等影响相机旋转估计精度的问题，降低了算法对于室内环境结构的依赖度，提高了3自由度相机的无漂移旋转估计精度。具体来说，首先本发明通过对深度图片的点云数据进行主导平面检测，然后，对RGB图像进行直线检测，在高斯球面上，仅使用单个平面和单条直线估计出曼哈顿坐标系的结构。接着，利用图像平面上消失点与直线的约束关系，提出一个代价函数，来优化曼哈顿坐标系的计算结果。最后，利用相机与曼哈顿坐标系之间的旋转矩阵得到相机的方向。[0006]为了实现上述目的，本发明提供了如下方案：[0007]一种基于曼哈顿假设下室内环境中相机旋转的估计方法，所述方法包括：[0008]步骤1:对室内环境的深度图检测主导平面；[0009]步骤2:在高斯球面上计算曼哈顿坐标系的结构；[0010]步骤3:利用代价函数进行非线性优化；[0011]步骤4:利用旋转矩阵求解相机方向。[0012]所述的对室内环境的深度图检测主导平面，具体过程如下：[0013]对于深度图片的点云数据，随机选取三个数据点，对其进行平面拟合。代入平面的空间方程解出待定系数。首先对模型进行退化验证，确保选取的三个数据点本身不共线，然后对平面模型进行顺序概率比测试：点不符合该模型的概率，b为bad,p(x|Hg)为第x,个数据点符合该模型的概率，g为good,对每一个数据点依次测试符合模型的概率和不符合模型的概率，最终λ大于给定的阈值4.4就淘汰掉模型，重新在点云数据中选取样本进行拟合，λ小于等于给定的阈值4.4就继续下一步。对于通过顺序概率比测试的模型，继续对其进行Lo-RANSAC优化。使用从上一步的顺序概率比测试中返回的符合模型的内点中，重新进行采样，生成平面模型，设定迭代10到20次，然后选取最优的局部结果作为改进的结果。重复的迭代上述过程，迭代上限为100万次，直到内点的比例达到设定的阈值0.2,最终得到当前的主导平面。将主导平面以法向量的形式投影到高斯球面上，使用MeanShift算法持续跟踪主导平面法向量VP1周围的表面法向[0016]所述的在高斯球面上计算曼哈顿坐标系的结构，具体包括如下步骤：[0017]步骤1):对于输入的RGB图像，利用LSD算法进行直线检测，将图像中的直线数据作为样本，每次选取一条直线进行计算。[0018]步骤2):将选取的直线投影到高斯球面上，在高斯球面上的投影为一个大圆，以大圆的法向量VO表示，主导平面的法向量为曼哈顿坐标系的一个轴VP1,将主导平面的法向量与大圆的法向量做叉乘，得到曼哈顿坐标系的第二个轴VP3,根据坐标系和向量叉乘的正交性，将得到的两个轴再做一次叉乘得到曼哈顿坐标系的最后一个坐标轴VP2。[0019]步骤3):对步骤2得到的曼哈顿坐标系模型进行顺序概率比测试和Lo-RANSAC优化，重复上述步骤1和步骤2,找到最多的直线数据点支持的曼哈顿坐标系模型，当内点的比6相机与曼哈顿坐标系的旋转矩阵，曼哈顿坐标系的方向相对于世界坐标系一直是固定的，附图说明[0031]图2是本发明提供的基于曼哈顿假设下室内环境中相机旋转估计方法的实施例处7直线特征的提取，在高斯球面上计算曼哈顿坐标系的方向，以此为基准，在后续帧中计算每一帧的旋转矩阵从而求出相机的旋转运动。本发明的基于曼哈顿假设下室内环境中相机旋转估计方法不仅可以稳定的估计相机的旋转，在保证效率和精度的同时，还可以有效的降低对环境结构的依赖，即使在复杂环境中也可以稳定、准确的估计并跟踪相机的旋转运动。[0033]下面将结合附图对本发明加以详细说明，应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。[0034]图1是本发明提供的基于曼哈顿假设下室内环境中相机旋转估计方法的流程图；图2是本发明提供的基于曼哈顿假设下室内环境中相机旋转估计方法的实施例处理流程示意图。[0035]本发明提供的基于曼哈顿假设下室内环境中相机旋转估计方法具体包括：[0036]步骤1:对室内环境的深度图像检测主导平面；[0037]为了使检测的主导平面更精确，本发明在平面拟合的过程中加入了两个测试，首先对点云数据进行采样拟合，然后对于生成的模型进行退化验证，保证选取的三个点本身不共线。对平面模型进行顺序概率比测试和Lo-RANSAC优化。重复该过比例超过给定的阈值。在本发明中为0.2。该方法可以快速、准确的检测出当前环境中的主导平面并在后续帧中进行跟踪。[0038]步骤2:在高斯球面上计算曼哈顿坐标系的结构；[0039]本发明通过对RGB图像采用LSD算法对其进行直线检测，将检测到的直线信息作为样本，利用步骤1中主导平面检测的方法，每次选取一条直线投影到高斯球面上，得到的投影为一个大圆。将大圆的法向量V0与主导平面的法向量VP1做叉乘，得到曼哈顿坐标系的第二个坐标轴VP3,基于坐标系的正交性，将VP1与VP3叉乘就可以得到VP2,对于确定的曼哈顿坐标系模型，对其进行顺序概率比测试和Lo-RANSAC优化顿模型的直线内点比例达到0.8时停止迭代。[0040]步骤3:利用代价函数优化计算结果；[0041]在求解出曼哈顿坐标系的结构后，根据图像空间内，消失点与直线的约束关系，提出代价函数对计算结果进行非线性优化，利用Levenberg-Marquardt算法最小化代价函数，找到最大的一致线集。[0042]本发明实施例中，通过对各个要素的影响分析，对权重@₁、@₂、@3分别赋值为[0043