CN119494922A 基于深度学习的物体三维重建方法及其装置 （远光软件股份有限公司）

基于深度学习的物体三维重建方法及其装置本发明公开了一种基于深度学习的物体三目标物体的目标物体视频，并基于目标物体视发明解决了相关技术中对物体进行三维重建的2采用相机成像设备采集目标物体的目标物体视频，并基于所基于所述目标图像集合，确定目标相机参数和初始相机位姿，并将所述目标图像集合、所述目标相机参数和所述目标相机位姿基于预设时间间隔，对每个所述单视角视频进行下采样，得到对于每个所述第一图像集合，剔除所述第一图像集合中的模糊图像，得到对每个所述第二图像集合进行采样，得到第三图像集合，并将每个对于所述第一图像集合中的每张第一图像，基于所述第一确定每张所述灰度图像的拉普拉斯算子，并基于所述拉将小于所述预设方差阈值的所述方差值指示的所确定旋转矩阵以及放缩比例，其中，所述旋转矩阵用于表示基于所述旋转矩阵以及所述放缩比例，对所述初始相机位姿进3获取所述相机成像设备中相机在拍摄所述目标物体时的相基于所述真实坐标系的方向轴，确定方向向量，并基于所述平面法确定所述平面法向量以及所述方向向量之间的余弦值，并在所确定第一半径以及第二半径，其中，所述第一半径是从所述目标图二半径是基于所述相机成像设备确定的所述相机与所述目标物体在所述真实坐标系下的基于所述相机位姿优化器、所述预设密度网络结构以及所述预设颜采集历史图像集合，并对所述历史图像集合中的每张历史图像进将关联所述标注信息的所有所述历史图像表征为采用所述训练数据集合训练所述初始神经辐射场模型，得到所述预设神经辐射场模发射到每张所述目标图像上的像素点构成的对所述射线采样点的位置进行编码，得到位置编码，并对所述射基于所述位置编码，采用所述预设密度网络结构，确定所述射线基于所述方向编码以及所述多维特征向量，采用所述预设颜色网络4基于每个所述射线采样点的所述体积密度信息以及所述颜色信息，确定初始图像曝光率，并基于所述初始图像曝光率、所述体基于所述二维图像与所述目标图像，对所述初始图像曝光率、所确定单元，用于采用相机成像设备采集目标物体的目标物体视输出单元，用于将所述目标图像集合、所述目标相机参数和所述目5[0002]三维重建技术通过采集物体表面的几何和纹理信息，从而重建出物体的三维模出点云模型，如SFM(structurefrommotion，即从运动恢复结构)、MVS(multi_6三图像集合中的每张第三图像加入至所述目标述虚拟坐标系与所述真实坐标系之间的尺度关系；基于所述旋转矩阵以及所述放缩比例，7[0015]进一步地，在基于每个所述射线采样点的所述体积密度89被处理器执行时实现上述任意一项所述的物体体的物体三维模型，进而解决了相关技术中对物体进行三维重建的准确性较低的技术问[0043]图14是根据本发明实施例的一种用于物体三维重建方法的电子设备(或移动设员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范[0051]图1是根据本发明实施例的一种可选的物体三维重建方法圈表示上成像轨迹(即Upperimagingtrajectory)，圆点虚线圆圈表示下成像轨迹(即[0057]在一些可选地实施例中，可以使用成像设备拍摄三视角视频或者更多视角的视[0060]在本实施例中，可以采用SFM从无序图像集合中估计目标相机参数和初始相机位行SFM，首先可以从所有图像中选择一对具有最多几何一致匹配的图像，对于选定的图像[0065]可选地，预设神经辐射场模型至少包括预设密度网络结构以及预设颜色网络结[0069]在本实施例中，MarchingCubes算法需要一个预定义的感兴趣区域(相机围绕物体拍摄的区域，即前景区域)以及一个密度阈值(用于确定体素是否属于感兴趣区域的表括Areaofinterest(即感兴趣区域)、Upperimagingorbit(即上成像轨道)、Lower[0072]为了准确地得到目标图像集合，在本申请实施例一提供的质量。因此，需要确定重建质量和重建时(如两个单视角视频)进行下采样，得到每个单[0077]为了准确地得到第二图像集合，在本申请实施例一提供度图像中的每个像素生成一个新数值(即灰度图在该点的二阶导数近似值)，根据该像素的平均方差值小于预设方差阈值(预先根据[0087]为了准确地确定目标相机位姿，在本申请实施例一提供[0094]为了提高确定旋转矩阵的准确性，在本申请实施例一提供的物体三维重建方法标系的z轴(即方向轴)平行，可以获取相机成像设备中相机在拍摄目标物体时的相机位置入一个L2正则化项。层MLP网络(MultilayerPerceptron，即人工神经网络))以及预设颜色网络结构(如三层表示ReLU(RectifiedLinearUnit，即一种激活函数)激活层，短划线虚线箭头表示[0119]图8是根据本发明实施例的一种可选的神经辐射场模型的优化过程的示意图，如绕目标物体拍摄的区域)，也是空间中的体积密集区域，前景区域内的神经辐射场的质量射线采样点选取。其中，射线上的黑点表示高体积密度采样点(即HighvolumedensityNeuralGraphicsPrimitives，即一种基于神经网络的图形基元)中的多分辨率哈希技术级和第9层级，哈希表的分辨率可以不按等比例增加(如第9层级的分辨率是第8层级的四码以及预设密度网络结构预测得到的多维特征向量进行拼接，将其输入预设颜色网络结过程中，将每张图像的曝光率作为一个可学[0140]图12是根据本发明实施例的一种可选的物体三维重建流程的示意图，如图12所该目标物体视频进行下采样得到每个单视角视频的第一图像集合，对于每个第一图像集[0146]图13是根据本发明实施例的一种可选的物体三维重建装置的示意图，如图13所[0151]上述物体三维重建装置，可以通过确定单元130采用相机成像设备采集目标物体[0162]上述存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器[0166]图14是根据本发明实施例的一种用于物体三维重建方法的电子设备(或移动设[0173]所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式