CN110458939A 基于视角生成的室内场景建模方法 （大连理工大学）

角下的深度图进行信息补全以完成单视角场景2为生成多视角点云融合模块所需的属于不同视图补全网络，得到6张补全后的完整点云深度图，为下一步的多视角点云融合模块提供输高维度特征提取，并且在逐层卷积之后使用ROI下采样操作进行显著性特征提取；具体的单元的全连接层组成；低分辨率特征编码器由ResNet18模型的前4个残差块与2个包含300粗精度预测网络基于VGG16网络结构，整个网络由5个卷积3深度补全网络由基于跳连接的自编码器和解码其余均为3x3；第一个自编码器分支输入点云与体素深度图对以及输入深度图所对应的掩解码器由7个局部卷积块组成，每个局部卷积块均由上采样层和卷积核于视角生成的统一性，6个分属于不同深度图的点云中点的坐标也被反投影至同一世界坐4单视角建模网络在SUNCG数据集上进行训练，数据集中的标注项包括目标对象包围盒与三维结构信息；单视角体素建模网络使用前景概率f代表包围盒中的对象属于前景与背单视角建模网络使用ResNet18进行模型参数初始化；ResN3.根据权利要求1或2所述的基于视角生54.根据权利要求1或2所述的基于视角生成其中，M矩阵中值为0的区域表示所输入的点云深度图中对应comp表示Iout与Igt组合后的深度图像，pn(I)表示使用VGG16网络对I进行特征提取操作后第n层网络所输出的特征表达，感知损失函数Lperceptual通过计算Icomp和Iout的特征(c)风格损失的损失函数通过约束每个特征图之间的自相关矩阵以达到预测图片与真Le表示Icomp对应的风格损失函数，Kn是一n分别表示VGG16网络中第n层网络的特征6其中，M矩阵中值为0的区域表示所输入的点云深度图中对应comp表示Iout与Igt组合后的深度图像，pn(I)表示使用VGG16网络对I进行特征提取操作后第n层网络所输出的特征表达，感知损失函数Lperceptual通过计算Icomp和Iout的特征(c)风格损失的损失函数通过约束每个特征图之间的自相关矩阵以达到预测图片与真n分别表示VGG16网络中第n层网络的特征7倒角距离用来衡量两个点云集合之间的相近程度，通过计算两个点云之间的距离实到S2点集的最短距离之和以及S2点集中所有点到S1点集的最短距离之和，衡量两个点集之倒角距离用来衡量两个点云集合之间的相近程度，通过计算两个点云之间的距离实到S2点集的最短距离之和以及S2点集中所有点到S1点集的最短距离之和，衡量两个点集之88.根据权利要求4所述的基于视角生成的室倒角距离用来衡量两个点云集合之间的相近程度，通过计算两个点云之间的距离实到S2点集的最短距离之和以及S2点集中所有点到S1点集的最短距离之和，衡量两个点集之征图，分别对16张子特征图进行最大池化操作；再将初始特征图均匀划分为2x2的子特征从而对初始特征图的每个通道均可得到16+4+19分为多视角建模方式与单视角建模方式。多视角建模主要从多张深度图中归纳场景信息，KinectFusion提出新的建模框架，通过深度相机获取场景的RGB-D信息，利用体素融合与ICP(迭代最近点算法)追踪算法完成建模。BundleFusion算法在前人工作的基础上进行创[0005]基于RGBD数据的室内场景建模技术因结合深度相机的几何信息和彩色相机的视扫描与识别这两个阶段实现对信息缺失的点云场景完成重建。首先是信息采集与分析阶能处理场景中具有较大重复性的目标对象并且要求最初的点云场景有较准确的分割结果。杭州师范大学的许巍巍等人提出一种交互重建算法，首先对用户采集的RGB-D图像进行自[0010]多视角场景建模算法如Kinect、BundleFusion使用低成本的采集设备获取场景[0012]为解决上述问题，Li与Ruwen等提出补洞与面片优化算法来将缺失的信息进行补行补全。但此类算法均只能对部分较小区域进行补充，并且主要依赖先验知识。Shen与Suryanarayana、Thabet、Chen等采用不同的先验与优化模型来补全深度信息。David、[0015]室内场景建模作为机器人进行交互的技术前提，直接决定了机器人的智能化程特征融合与级联的方式彩色图片的低维度特征被映射到高维度特征空间；在映射的过程个单元的全连接层组成；低分辨率特征编码器由ResNet18模型的前4个残差块与2个包含点云深度图对分别进行上述补全操作，即得到6张与初始视角相邻的完整高精度点云深度[0036]首先，分别对6张补全后的深度图依据其相应的相机视角反投影为点云模型；其[0043]L,=-log(k⃞)(2)[0051]单视角建模网络在SUNCG数据集上进行训练，数据集中的标注项包括目标对象包围盒与三维结构信息；单视角体素建模网络使用前景概率f代表包围盒中的对象属于前景[0054]局部卷积操作指在卷积神经网络中卷积核对只针对某些特定[0064]其中，M矩阵中值为0的区域表示所输入的点云深度图中对应的征提取操作后第n层网络所输出的特征表达，感知损失函数Lperceptual通过计算Icomp和Iout的[0069](c)风格损失的损失函数通过约束每个特征图之间的自相关矩阵以达到预测图片n分别表示VGG16网络中第n层网络的有点到S2点集的最短距离之和以及S2点集中所有点到S1点集的最短距离之和，衡量两个点[0088]ROI下采样操作指在对初始特征图进行下采样之前，先将初始特征图均匀划分为[0090](1)基于视角生成的方式进行单视角场景建模。通过低分辨体素场景提供的结构的客观联系，基于深度图生成与融合的方式进行深度图的预测并完成室内场景建模的过[0092](3)本发明的单视角建模框架，结合了单视角的彩色图片信息、低分辨率场景信成多个随机视角并利用视角融合模块将相邻视特征融合与级联的方式彩色图片的低维度特征被映射到高维度特征空间；在映射的过程个单元的全连接层组成；低分辨率特征编码器由ResNet18模型的前4个残差块与2个包含点云深度图对分别进行上述补全操作，即得到6张与初始视角相邻的完整高精度点云深度[0114]首先，分别对6张补全后的深度图依据其相应的相机视角反投影为点云模型；其[0117]本发明提出的多视角深度图生成模块中网络部分的训练所需的数据包括彩色图[