CN112868225A 结合数据以构建平面图的方法和装置 （阿里·埃布拉希米·阿夫鲁兹）

PCT/US2019/053662201WO2020/023982EN2020.01提供一种结合相机(如深度相机)的感知深2工作环境中一移动机器人上的一个或多个传感机器人上的各个不同位姿的传感器到工作环境中相对于各个不同传感器位姿的物体的深各自的深度图像包含多个深度数据，所述的深度数据是利用所述机器人上的一个或多个处理器，根据多个深度图像的视野之间的重叠区域，使用所述机器人上的一个或多个处理器，根据至少使用所述机器人的一个或多个处理器，控制机器人的致动器沿着所述的确定路径移深度数据与各别的测量值相关联，其中各别的测量从机器人发射激光并由各个物体反射到机器人图像传感4.根据权利要求1所述的方法，其中所述一个或多个传感器包括至少一个图像传感器在多个深度图像中，确定第二深度图像和第三6.根据权利要求5所述的方法，其中确定至少一个第一个重叠区域以及第二个重叠区在第一个深度图像中深度数据的一个或多个空间坐标3在第一个深度图像中深度数据的一个或多个空间坐标在第二个深度图像中深度数据的一个或多个空间坐标在至少部分第一深度图像和至少部分第二深度图像的重叠区域中，根据重叠区域的在第一深度图像的降低分辨率版本与第二深度图像的降低分在第一深度图像和第二深度图像的重叠区域中，确定在多个候选对齐中，选择一个可以产生最低总差异量在一个或多个传感器的第一参考系中，确定第一值确定第二值，所述第二值表示在取得第一深度利用核函数将卷积应用于所述第一深度图像及在工作环境的第一参考系中，获得一个向量，所述向4一个或多个处理器，用以从所述一个或多个传感器接收感知数据并控制所述致动器；工作环境中一移动机器人上的一个或多个传感机器人上的各个不同位姿的传感器到工作环境中相对于各个不同传感器位姿的物体的深各自的深度图像是根据所述机器人移动到工作环境中各自的深度图像包含多个深度数据，所述的深度数据是感知从所述至少一个相机到第一个视野内物体的深度，以便在第一个视野5感知从所述至少一个相机到第二个视野内物体的深度，以便在第二个视野使用一个或多个处理器，当第一视野和第二视在已识别的重叠区域将第一个视野的深度与第二个重复所述方法的步骤，通过结合连续重叠视野的中给落在所述调整范围之内的深度增加权重，给落在所述调整范围之外的深度降低权重，将第一视野的深度与第二个视野的深度结合在重叠区6使用第一个视野和第二个视野的重叠深度和数学模型来30.根据权利要求21所述的方法，其中所述的7[0001]本申请要求2017年7月27日提交的美国临时申请第2018年1月18日提交的美国临时申请第62/618,964号和2017年11月28日提交的美国临时申曼过滤器(EKF)技术来构建地图(请参阅美国专利申请号2007/0293985，美国专利申请号2006/0027404和美国专利申请号2014/0350839)。任一构建出的地图都可以被视为完整的建出的地图质量通常高度取决于测量噪声协方差矩阵的准确性，而这通常都是先验条件。8996,292号描述了使用传感器检测反射光的距离来构建栅格地图的方法，其中机器人装置9[0029]图9A_9C说明了在一些实施例中，如何使用原始像素强度数据以及结合重叠点的[0030]图10A_10C说明了在一些实施例中，如何使用原始像素强度数据以及结合重叠点度相机来侦测环境中的物体深度数据(或推断深度数据)，包括但不限于(同时在本文中的感测飞行时间相机发射光源)飞行到物体并反射回装置所需的时间推断物体的深度。进一[0034]机器人和安装在机器人上的相机可以旋转来取得与第一视野部分重叠的第二视是根据两组独立测量值组合计算得出的。新计算出来的深度被当作新的重叠区域的深度，环境深度(或表示深度的像素强度)，控制系统则结合重叠区域的深度以构建出环境平面以及一个或多个时钟或同步设备。机器人或机器人设备还可以包括用于供应电源(在某些情况下是存储电源)的电源模块、用于侦测环境和根据观测到的环境发送命令的传感器模块、以及一控制模块用于存储现在的操作状态并对观测环境或用户输入做出相对应的回的更快的中央处理器(CPU)相比，这种计算上的优势使所提出的构建地图的方法可以在例专用集成电路与另一个分离的单元或中央处理器合作，以本文所述的方式来分析视频帧[0037]预期一些实施例的其他方面将进一步降低计算成本，或者在给与分布密度一起呈现从设备到环境边界的深度。与某些使用占用栅格的传统技术(将环境述是限制性的)各种格式的可量化的属性(包括大于或小于某些阈值的二值化分类)、将可的组合。相对于水平面成一定角度放置的电荷耦合组件相机或互补金属氧化物半导体相以调整各种不同的配置以达到最佳性能。可以使用的相机包括OmniVision技术公司的OmniPixel3_HS相机系列或4DSystemsPtyLtd的UCAM_IIJPEG相机系列。也可以使用任第二个图像传感器捕获的图像的激光投射光的位移量，用于估计激光投射到物体的深度两投影光点在影像中的距离，然后将光点距离在对照表中查表得到物体的深度(或将值输入到输出近似此表的公式中)(参见美国专利申请号62/208791)。美国专利申请第15/耦合共同来测量深度(参见美国专利申请号15/674310)。线激光器将投射一条激光线到物到物体并反射返回到深度感知设备所用的时间推断，也可以通过多种其他技术推断出来。或多个红外线(或与频谱中其他频率的光合并使用)发射器(如安装在机器人上的发射器)的投影结果可以通过一个或多个相机来感知(如相机可以装置与发射器向水平方向平移的[0041]在实施例中，原始数据可以以矩阵形式或有序列表的形式提供(这并不是表示矩单位的深度测量值(其中可能包括推断或以其他方式感知地图的一部份，比如以另一个技技术与陀螺仪或里程表的读数和(或)两组原始数据的卷积，可用于推断更准确的重叠区[0043]在一些实施例中，把机器人(或照相机)的位置设为原点，测量从机器人(或照相例中，深度感知装置可以根据光线传播到达反射物体并返回所需的时间来推断物体的深量；或者机器人上可能有两个或多个相机处于不同位置(也就不同位姿)以捕获两个视野；另一个实施例中，根据深度感知装置的预定的角度变化或测量到的角度变化(在某些情况因为不同的区域或物体具有不同的像素强度范围。例如，在图像中的物体(具有高像素强中，可以使用一个指标来指示两组感知深度之间重叠程度的好坏。例如，Szymkiewicz_Simpson系数是通过将两个重叠数据集(例如X和Y)之间的重叠区域(交集)除以两个数据集并且与Szymkiewicz_Simps实施例中，可以确定机器人在图像之间的位移向量在垂直方向上的分量是否小于阈值(例重叠区域中深度向量不一致的总数，使用上述的贝叶斯技术来调低之前地图的置信量值。与该深度也同时出现在其他帧中的重叠区域的数量成正比。一些实施例可以结合重叠深情况下，可能高于三维)，有至少一阈值数的其他深度向量与核心深度向量在一阈值距离形上的节点被标示非核心深度向量(也就是到达核心深度向量一阈值距离内的深度向量)工作环境的扩展地图，而扩展地图可能具有在第一地图和(或)第二地图中未发现的区域。[0069]图1A说明了本发明的实施例，安装在机器人设备101(机器人设备101至少有一个[0071]参考图2B示出了分别从绘制的深度102和200，取得近似的二维平面图片段106和的深度200与第一视野104内拍摄的深度102进行比较，可识别出由204和107的最内侧虚线域之前和之后的多个深度。二维平面图片段106(从第一视野104内的绘制深度102得到)与二维平面图片段203(从第二视野201内绘制深度200得到)在重叠区域处结合成二维平面图考值，而第二组深度200(与第一组深度102重叠)被变换成匹配固定参考102，使地图片段维平面图600可被机器人设备601与安装在设备上的相机602一起使用，在执行任务过程中[0082]本发明在一些实施例中提供了一种方法，该方法结合测量结果来构建环境平面标准化像素强度，应用高斯模糊以减少噪声影响，检测模糊输出中的边缘(例如Canny或域903和图像901的区域904捕获到环境中的相同区域，因此，在图像900的区域903和图像发射器和图像传感器。相反的，在图像1004和1005中，具有较高位置的激光线(如激光线用于从红外线发射器和图像传感器推断物体表面的深度(参见美国专利申请号15/674,执行所述功能的特定设备(如专用计算机或类似专用电子处理/计算设备)的动作或流程。的坐标和至少一个指示深度的坐标；以及至少某些视野与相对应的前面一个视野部分重4.实施例1_3的任何一种方法，其中所述一个或多个传感器包括至少一个图像传第一深度图像和至少部分第二深度图像的重叠区域中，根据重叠区域的Szymkiewicz_少一部分第一深度图像与至少一部分第二深度图像之间的总测量差异值；以及选择一对30.实施例21_29中的任何一种方法，其中所述的至少一个相机包括一个360度的配置为感知第一个视野内物体的深度并且所述控制系统配置为记录第一个视野内每一个二个视野内物体的深度并且所述控制系统配置为记录第二个视野内每一个指定角度的每36.实施例33_35的任何一种装置，其中所述至少一个相机包括一个360度的激光