CN119313828B 一种大场景无人机图像的3d高斯重建方法 （宝略科技(浙江)有限公司）

本发明涉及一种大场景无人机图像的3D高区域进行均匀分块；依次对每块小区域进行训2S1、利用无人机对大场景进行拍摄获取若干无S2、对每张无人机图像进行处理生成对应的像素点云以及对应的虚拟相机的相机参S4、将步骤S1得到的所述无人机图像的尺寸进行压模型输出每张无人机图像中每个像素点的真S5、读取所述的训练后的全景3D高斯先验模型S7、根据步骤S4得到的每张无人机图像中每个3.根据权利要求1或2所述的一种大场景无人机图像的3D高斯重建方法，其特征在于：;;高斯的透明度，表示3D高斯投影到二维像素空间的相关函数；j表示比i小的整数，3;=；;;机图像的所有原始像素的方差；表示所述无人机图像的所有经过渲染后的像素的方差；；表示采用DepthAnythingV2算法预估出来的每个像素点的预估深度值；表示在每轮训练中由全景3D高斯先验模表示sigmoid函数H表示熵函数,H(x)=-xlog(x)-(1-x)log(1-x)；o入ow均表示系数。高斯先验模型的高斯中心点以及所有的无人机图像对应的相机坐标位置投影到X_Y平面4;;5效地通过高斯函数的透明度和球谐函数的颜色模拟来捕捉场景中透明和反射[0006]针对现有技术存在的问题，本发明提供一种大场景无人机图像的3D高斯重建方练时显存不足以及三维高斯重建后大场景视6先验模型输出每张无人机图像中每个像素点人机图像对应的虚拟相机的相机坐标位置将所有的高斯中心点收缩图像在世界坐标上的投影区域图像存在部分投影区域或全部投影区域出现在该块小区域metashape软件获取每张无人机图像对应的虚拟相机的相机参数，并通过图像匹配技术将所有的无人机图像对齐后生成各自对应的像素点云；所述的相机参数包括相机坐标位置、,表示3D高斯的透明度，表示3D高斯投影到二维像7差；GY表示无人机图像的原始像素与经过渲染后的像素之间的相关性；和cz均表示常[0030]；表示采用DepthAnyth来的每个像素点的预估深度值；表示在每轮训练中由全景3D高斯入ow均表示系数。景3D高斯先验模型的高斯中心点以及所有的无人机图像对应的相机坐标位置投影到X_Y平到旋转后的高斯中心点，所述的旋转后的高斯中心点具体表示为：l_p(ux)=R(ux-c)；[0036]S5.5、根据所述的旋转矩阵R对所8后的像素点深度值。9[0062]对每张无人机图像进行处理生成对应的像素点云以及对应的虚拟相机的相机参[0069]其中，i表示第i个对像素点有贡献的3D高斯中心点，color(u)表示像素点u的颜色，a;=a;(u)，表示3D高斯的透明度,表示3D高斯投影到二维像素空间的相关函到的无人机图像的像素尺寸约为原图像的1/4，然后将压缩后的图像输入到所述全景3D高先验模型用于输出每张无人机图像中每个像素点差；GY表示无人机图像的原始像素与经过渲染后的像素之间的相关性；和cz均表示常[0083]；表示采用DepthAnyth来的每个像素点的预估深度值；表示在每轮训练中由全景3D高斯N以及入ow均表示系数；景的三维结构，所以通过DepthAnythingV2等单目深度估计算法为每幅图像生成真实世应的虚拟相机的相机坐标位置将所有的高斯中心点收缩到心点以及所有的无人机图像对应的相机坐标位置投影到[0094]由所述的直线与x轴之间的夹角构成旋转角度，根据所述的旋转角度得到旋转矩[0095]根据所述的旋转矩阵R对所述的全景3D高斯模型的高斯中心点进行旋转，得到旋[0096]根据所述的旋转矩阵R对所有无人机图像对应的虚拟相机的中心点进行旋转，得[0097]根据得到的旋转后的虚拟相机的中心点，找出其在X坐标上的最大值和最小值以[0102]根据得到的矩形边界，将得到的旋转后的高斯中心点全部收缩到固定区域;[0105]对包含有高斯中心点的固定区域[-y,y]2进行均匀分块，分割为N×M块含有高斯[0110]根据步骤四得到的每张无人机图像中每个像素点的真实深度值以及每个像素点[0121]采用三个大规模三维场景重建数据集进行实验并展示实验结果，即Mill_19数据面积136平方公里的大型真实城市场景和虚拟城市场景。此外还包含高精度激光雷达扫描和数百个具有不同观察模式的图像集。UrbanScene3D中的Residence包含2582张5480×[0124]评价指标：使用SSIM、PSNR、LPIPS和高斯点的数量作为3DGS模型在Mill_19和[0125]训练细节：在配备RTX4090DGPU的Linux系统上进行实验。使用下采样后宽度为景进行30000次迭代训练，从迭代1000到15000次进行致密化，致密化间隔设置为100，每[0128]通过实验，得到表1的实验评价指标结果。表1为不同三维重建模型在Building、据集中的不同评价指标下均有较好的表现，特别是针对Building和Rubble数据集。而在Residence和Sci_Art中评分稍逊的原因在于原