CN114766039B 对象检测方法、对象检测设备、终端设备、以及介质 （Oppo广东移动通信有限公司）

2022.06.06PCT/CN2020/1140622020.09.08WO2021/114775EN2021.06.17本公开提供一种对象检测方法。该方法包的三维点云；(103)将场景图像分割为多个子区域；(104)根据三维点云合并多个子区域以生成多个候选区域；(105)对多个候选区域执行对象2根据子区域之间的图像相似度和子区域之间的三维点相似度合并所述多个子区域以一的子三维点云中的每个三维点与所述两个子区域的另一的子三维点云中的每个三维点通过同步定位与地图构建(SLAM)系统扫描所述场景以生成所述场景的所述三获取与第一子区域至第n子区域对应的第一子图像至第n子图像以及第一子三维点云根据所述第一子图像至所述第n子图像以及所述第一子三维点云至所述第n子三维点4.根据权利要求3所述的方法，其中，根据所述第一子根据所述第i子区域的第i子图像和所述第j子区域的第j子图像，生成所述第i子区域根据所述第i子区域的第i子三维点云和所述第j子区域的第根据所述图像相似度和所述三维点相似度合并所述第i子区域和所述第当所述图像相似度大于图像相似度阈值并且所述三维点相似度大于三维点相似度阈合并模块，被配置为根据子区域之间的图像相似度和子区域之间的计算两个子区域之一的子三维点云中的每个三维点与所述两个子区域的另一的子三维点云中的每个三维点之间的距离来确定的，并且三维点之间的距离和三维点相似度成反比；检测模块，被配置为对所述多个候选区域执行对象检测，以确定所3构建(SLAM)系统扫描所述场景以生成所述获取单元，被配置为获取与第一子区域至第n子区域对应的合并单元，被配置为根据所述第一子图像至所述第n子图像以及所述第一子三维点云至所述第n子三维点云合并n个子区域以形成所根据所述第i子区域的第i子图像和所述第j子区域的第j子图像，生成所述第i子区域根据所述第i子区域的第i子三维点云和所述第j子区域的第根据所述图像相似度和所述三维点相似度合并所述第i子区域和所述第图像相似度阈值并且所述三维点相似度大于三维点相似度阈值时，合并所述第i子区域和4[0002]本申请要求于2019年12月12日向美国专利商标局提交的申请号为62/947,372的5[0014]从以下参考附图的描述中，本公开的实施例的上述和/或另外的方面和优点将变6后再执行图框103处的动作，或者可以先执行图框103处的动作然后再执行图框102处的动[0040]详细地，可以通过按照在图框104a和图框104b处的动作来实现在图框104处的动区域，则可以根据场景图像获取与第一子区域至第n子区域对应的第一子图像至第n子图取从第一子三维点云到第n子三维点云的子三维点云之间的三维点相似度。根据图像相似7然后采用分类方法识别每个候选区域中的对象的类别，再对每个对象的边界框进行回归，[0049]可以理解的是，本公开的实施例的对象检测方法可以应用于AR软件开发工具包[0054]在图框202处，通过同步定位与地图构建(SLAM)系统扫描场景以生成场景的三维[0058]视觉前端的主要任务是通过使用相机在运动期间在不同时刻采集的图像帧以及8[0060]SLAM系统的优化后端主要是优化和微调由视觉前端获得的不准确的相机位姿和[0063]为了校准相机，可以先在A4纸上打印7*9黑白校准板，校准板上的棋盘格尺寸为0[0069]根据相机的内部参数和相机拍摄场景时得到的场景图像的高度和宽度，按照DSO9[0073]在图框204处，获取与第一子区域至第n子区域对应的第一子图像至第n子图像以[0079]详细地，可通过计算第i子区域的第i子三维点云中的每个三维点与第j子区域的第j子三维点云中的每个三维点之间的距离来确定第i子区域与第j子区域之间的三维点相距离，或者第i子三维点云中的三维点与第j子三维点云中的三维点之间的距离的平均值，生成第i子区域与第j子区域之间的三维点[0081]在本实施方式中，可以预先设置三维点之间的距离与三i子三维点云中的三维点与第j子三维点云中的三维点之间的距离的平均值，生成第i子区j子三维点云中的每个三维点用第二预设模型拟合，然后确定第一预设模型与第二预设模域和第j子区域之间的图像相似度和三维点相似度之后，比较图像相似度和图像相似度阈且三维点相似度大于三维点相似度阈值，则可以确定第i子区域的第i子图像和第j子区域[0091]此外，如果第i子区域和第j子区域之间的图像相似度小于或等于图像相似度阈区域的三维点相似度小于70％。区域2与其他区域的图像相似度小于80区域2与其他区域的三维点相似度小于70％。区域3与其他区域的图像相似度小于80区域3与其他区域似度对子区域进行合并以生成多个候选区域，进而确定场景图像中的待检测的目标对象，[0104]在一个示例性实施例中，第二获取模块12被配置为通过同步定位与地图构建[0110]获取单元141被配置为获取与第一子区域至第n子区域对应的第一子图像至第n子[0111]合并单元142被配置为根据第一子图像至第n子图像以及第一子三维点云至第n子据图像相似度和三维点相似度来合并第i子区[0113]在示例性实施例中，合并单元142被配置为当图像相似度大于图像相似度阈值并[0125]流程图中描述的或本文以其他方式描述的任何过程或方法可以被理解为包括用于实现过程中的特定逻辑功能或步骤的可执行指令