CN119494923A 一种基于YOLOv8标注的目标物体精细化三维重建方法 （吉首大学）

一种基于YOLOv8标注的目标物体精细化三本发明公开一种基于YOLOv8标注的目标物体精细化三维重建方法，包括以下步骤：构建YOLOv8标注模型识别的目标区域的二维坐标和HashNeRF模型对目标区域进行不同视角下的精细化重建，根据不同视角的深度图识别遮挡区场景重建中遮挡区域重建精度不足以及多视角2S3、基于YOLOv8标注模型识别的目标区域的二维坐标和第一S4、构建第二HashNeRF模型，通过第二HashNeRF模型2.根据权利要求1所述的一种基于YOLOv8标注的目标物体精细化三维重建方法，其特通过YOLOv8标注模型对输入图像数据的每一帧图像进行检测，并生成目标区域的掩3.根据权利要求1_2任一项所述的一种基于YOLOv8标注的目标物体精细化三维重建方4.根据权利要求1_2任一项所述的一种基于YOLOv8标注的目标物体精细化三维重建方根据YOLOv8标注模型标注的目标区域的二维坐标以及对应视角下根据当前视角相机位姿将目标区域的三维点转换为世界坐标将世界坐标系下的三维点转换为新视角的相机坐标系下的三维坐标，并5.根据权利要求4所述的一种基于YOLOv8标注的目标物体精细化三维重建方法，其特征在于，所述根据YOLOv8标注模型标注的目标区域的二维坐标以及对应视角下的深度值，3根据YOLOv8标注模型标注的目标区域的二维坐标以及对应视角6.根据权利要求4所述的一种基于YOLOv8标注的目标物体精细化三维重建方法，其特征在于，所述根据当前视角相机位姿将目标区域的三维点转换为世界坐标系下的三维点，ww7.根据权利要求4所述的一种基于YOLOv8标注的目标物体精细化三维重建方法，其特获取目标区域在世界坐标系下的三维点，根据新视角的相机外参，转8.根据权利要求4所述的一种基于YOLOv8标注的目标物体精细化三维重建方法，其特根据新视角的相机内参矩阵，将相机坐标系中的三维坐标投影到二维图像49.根据权利要求1_2任一项所述的一种基于YOLOv8标注的目标物体精细化三维重建方输入新视角下的视角位姿，以及目标区域在新视角下的二维坐标，通过第10.根据权利要求1_2任一项所述的一种基于YOLOv8标注的目标物体精细化三维重建将YOLOv8标注模型标注的目标区域的三维坐标通过坐标转换映射至切换视通过第二HashNeRF模型实现对切换视角下目标区域的精细重建，也即5中遮挡区域重建精度不足以及多视角目标区域一致性差的[0003]本发明的主要目的是提出一种基于YOLOv8标注的目标物旨在解决现有通过NeRF技术进行三维场景重建中遮挡区域重建精度不足以及多视角目标67[0038]根据新视角的相机内参矩阵，将相机坐标系中的三维坐[0042]输入新视角下的视角位姿，以及目标区域在新视角下的二维坐标，通过第二HashNeRF模型生成新视角下的位置坐标的颜色图[0044]当切换至不同视角时，通过第一HashNeRF模型生成该视角下目标物体的全局视[0045]将YOLOv8标注模型标注的目标区域的三维坐标通过坐标8无遮挡区域和目标区域；构建第一HashNeRF模型，输入多个视角的图像数据，通过第一HashNeRF模型进行目标物体的全局三维重建，并输出各视角的颜色图和深度图；基于景重建中遮挡区域重建精度不足以及多视角目标区域一致性[0048]在本发明中，通过设置第一HashNeRF模型和第二HashNeRF模型，通过第一HashNeRF模型进行全局场景的重建，在进行场景渲染时，第二HashNeRF模型利用第一[0052]图1为本发明实施例一种基于YOLOv8标注的目标物体精细化三维重建方法的示意[0056]下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清9[0068]S22、使用多个哈希表的特征，将不同分辨率的编码结果进行三维线性插值与拼哈希编码对空间进行高效表示，再几何轻量级的多层感知机进行场景的密度和颜色预测，位置坐标，得到该视角下的位置标的的颜色图和深度图，所述第一HashNeRF模型与第二标，精准定位目标区域在多个视角中的位置；通过多视角的深度图和相机位姿信息，将[0097]根据新视角的相机内参矩阵，将相机坐标系中的三维坐[0102]当切换至不同视角时，通过第一HashNeRF模型生成该视角下目标物体的全局视[0103]将YOLOv8标注模型标注的目标区域的三维坐标通过坐标区域进行复杂的手