CN119494942A 数据处理方法、装置、设备、存储介质及计算机程序产品 （北京字跳网络技术有限公司）

本公开实施例提供一种数据处理方法、装括：将当前帧多目观测图像拼接为一张目标图2将所述目标图像与各张历史图像进行相似度匹配，确在确定当前帧数据包为待处理的数据包时，通过标点为在当前帧之前的连续前N帧多目观测图像中出现且未在当前帧多目观测图像中出现若确定存在所述目标点，则根据所述前N帧多目观测图像对应的位姿和所述目标点在当前帧的位姿和所述前N帧多目观测图像，更新所述当前帧多目观测图像中各特征点对应的位姿和所述目标点在所述前N帧多目观测图像中对应的像素坐标，确定所述目标点的三根据所述前N帧多目观测图像对应的位姿和所述目标点在所述前N帧多目观测图像中的位姿和所述前N帧多目观测图像，更新所述当前帧多目观测图像中各特征点对应的三维根据所述目标点的三维坐标，将所述目标点投影到所述前N帧多目观测图像中的各帧观测图像中除所述目标点以外的3D点在相应观测图像中的深度并存储所述目标点的深度根据所述当前帧的位姿和所述相似帧图像对应的所述深度，更新所3其中，空间中各3D点包括当前帧多目观测图根据当前帧数据包中的多目相机的位姿和上一帧数据包中第二处理模块，用于将所述目标图像与各张所述处理器执行所述存储器存储的计算机执行指令，使4子产品的要求也越来越多，比如虚拟现实(VirtualReality，VR)头戴设备和增强现实5这里可以通过相似帧图像中对应特征点的三维坐标和当前帧多目观测图像的特征点的像[0027]应当理解，本公开的方法实施方式中记载的各个步骤可以按照义将在下文描述中给出。6[0031]本公开实施方式中的多个装置或模块之间所交互的消息或者信息的名称仅用于关键帧中特征点的2D坐标以及对应的3D坐标，然后通过上述关键帧的信息不断地更新位戴使用头戴设备的状态为在线状态，当头戴设备处于在线状态时进行建图)的方式计算当并采集当前帧观测图像；头戴设备基于4目相机采集的当前帧多目观测图像以及当前帧相7[0039]此外，还可以通过离线优化(用户脱掉或摘掉头戴设备时或待机状态时为离线状目观测图像对应的历史观测图像中存在与当前帧多目观测图像相似度匹配成功的相似帧8姿，所述目标点为在当前帧之前的连续前N帧多目观测图像中出现且未在当前帧多目观测[0055]本公开实施例的方法可以应用在电子设备中，这里的电子设备[0056]具体的，以VR头戴设备为例，比如VR头盔，由于VR头盔具有视觉惯性里程计相机的位姿和上一帧数据包中多目相机的位姿进行比较，如果位姿变化超过位姿差异阈，9像中各特征点对应的三维坐标，更新所述当前帧多目观测图像中各特征点对应的三维坐[0066]为了节约算力，并且基于头戴设备观测的特性(可能连续几帧相机位姿变化很与当前帧观测图像对应的相似帧图像，然后结合相似帧图像中各特征点对应的三维坐标，[0068]因此，本公开通过使用VR头盔中的多目相机进行在线建图+离线优化地图的三维重建，生成的视觉三维地图，主要用于给VR头盔设备进行三维空间6个自由度(即6DOF，[0069]本公开实施例数据处理方法中，首先在确定当前帧数据包为待像和所述多目相机的位姿，所述目标点为在当前帧之前的连续前N帧观测图像中出现且未观测图像对应的位姿和所述目标点在所述前N帧观测图像中对应的像素坐标，确定所述目[0076]其中，这里匹配时只让多张图像分别与自己对应的图像进行匹配(如左上图只与[0077]在本公开的一个实施例中，所述根据所述前N帧多目观测图像对应的位姿和所述[0078]根据所述前N帧多目观测图像对应的位姿和所述目标点在所述前N帧多目观测图在各帧多目观测图像中除所述目标点以外的3D点在相应观测图像中的深度并存储所述目[0103]全局优化：优化变量为相机的位姿(Rwctwc)和空间中3D点的位置(即三维坐标)[0108]对应于上文公开实施例的数据处理方法，图5为本公开实施例提供的数据处理装目相机的位姿，所述目标点为在当前帧之前的连续前N帧多目观测图像中出现且未在当前的位姿和所述目标点在所述前N帧多目观测图像中对应的像素坐标，确定所述目标点的三[0124]根据所述前N帧多目观测图像对应的位姿和所述目标点在所述前N帧多目观测图[0126]根据所述目标点的三维坐标，将所述目标点投影到所述前N帧多目观测图像中的多目观测图像中除所述目标点以外的3D点在相应观测图像中的深度并存储所述目标点的和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速导航终端)、可穿戴电子设备等等的移动终端以及诸如数字TV、台式计算机等等的固定终可以根据存储在只读存储器(ReadOnlyMemory，简称ROM)602中的程序或者从存储装置608加载到随机访问存储器(RandomAccessMemory，简称RAM)603中的程序而执行各种适601、ROM602以及RAM603通过总线604彼此[0148]可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。[0151]本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例目标点为在当前帧之前的连续前N帧多目观测图像中出现且未在当前帧多目观测图像中出[0160]若确定存在所述目标点，则根据所述前N帧多目观测图像对应的位姿和所述目标[0166]根据本公开的一个或多个实施例，所述根据所述前N帧多目观测图像对应的位姿[0167]根据所述前N帧多目观测图像对应的位姿和所述目标点在所述前N帧多目观测图所述前N帧多目观测图像，更新所述当前帧多目观测图像中各特征点对应的三维坐标，包[0169]根据所述目标点的三维坐标，将所述目标点投影到所述前N帧多目观测图像中的多目观测图像中除所述目标点以外的3D点在相应观测图像中的深度并存储所述目标点的目相机的位姿，所述目标点为在当前帧之前的连续前N帧多目观测图像中出现且未在当前的位姿和所述目标点在所述前N帧多目观测图像中对应的像素坐标，确定所述目标点的三[0191]根据所述前N帧多目观测图像对应的位姿和所述目标点在所述前N帧多目观测图[0193]根据所述目标点的三维坐标，将所述目标点投影到所述前N帧多目观测图像中的多目观测图像中除所述目标点以外