CN117132704B 一种动态结构光的三维重建方法及其系统、计算设备 （杭州电子科技大学）

一种动态结构光的三维重建方法及其系统、本发明公开一种动态结构光的三维重建方一个生成器，交替进行直到达到预设的训练轮发明方法在重建质量上接近十二步相移结合多2步骤S2、利用动态结构光模型RPSNet对上述多张所述生成器AIR2U_net采用U_net网络基本架构，采用编码_解码结构；通过编码器中所述编码器下采样过程第2_N层在现有U_net网络编码器每层后端各自串联一个IRR模所述解码器上采样过程第2_N层在现有U_net网络解码层每层前端各自串联一个所述编码器和所述解码器第2_N层采用跳跃连接，每层跳跃连接上串联一个注意力机所述Concatenation模块用于对编码器当前层的输出与解码器上一层的输出进行拼所述IRR模块以Inception_ResNet模块为基础网络框架，加入循环卷所述1x1瓶颈层接收1x1RCB、3x3RCB、5x5RCB的输出，对其进行通道维度的降维和所述拼接层接收所述残差连接输出的原输入特征和所述1x1瓶颈层输出的特征，对其其中I)(-1)分别是标准的卷积经过多尺度的RCB分别对输入利用循环卷积的思想进行特征的有效积累，将结果输入至1x1瓶颈层中，最后将输入Xl和1x1瓶颈层卷积操作的输出进行残差拼接，拼接后的结3其中F(xsws)、F(xs,,w)、F(xsyws3)分别为卷积核大小为1x1、3x3、5x5的RCB2.根据权利要求1所述方法，其特征在于所述注意力机制模块RCAM包括通道注意力模通道注意力模块首先分别对输入的每个通道做全局的最大值池化和平均值池化操作，然后使用一个共享权重的全连接层分别对池化操作后的特征图进行不同通道的权重计算，空间注意力模块首先使用最大值池化和平均值池化3.根据权利要求2所述方法，其特征在于所述注意力机制模块RCAM整个过程使用以下e分别表示解码器和编码器输出的特征图，Conv(·cs4.根据权利要求1所述方法，其特征在于所述动态结构光模型RPSNet的训练和测试过第一部分是被测物体的光栅图x经过生成器GXY转换为被测物体的深度图y'，再由生成45.根据权利要求4所述方法，其特征在于所述动态结构光模型RPSNet的训练时的损失所述生成器的损失函数包括对抗损失、循环一致性损失和恒等损失三维重建模块，利用动态结构光模型RPSNet对上述多张光栅图进行5数字化等方面得到了广泛的应用。基于FPP(FringeProjectionProfilometry)的结构光次重建所需的图像数量来提高测量效率，而传统的结构光测量方法理论上至少需要3幅相[0005]本发明的目的是针对现有技术的不足，提出了一种新的动态结构光三维重建方[0006]本发明提出一种适应随机相移步长的相移方法，该方法基于RPSNet(RandomPhase_shiftingNetwork)网络模型来实现，该模型以CycleGAN(CycleGenerative[0007]生成器网络采用了AIR2U_net网络，该网络模型是以U_ne6器以U_net为基础，加入残差机制、注意力机制使生成器能够充分学习到输入特征图的特7[0039]所述编码器下采样过程第2_N层在现有U_net网络编码器每层后端各自串联一个[0040]所述解码层上采样过程第2_N层在现有U_net网络解码层每层前端各自串联一个[0041]所述编码器和所述解码器第2_N层采用跳跃连接，每层跳跃连接上串联一个注意[0042]所述Concatenation模块用于对编码器当前层的输出与解码器上一层的输出进行[0043]如图3所述IRR模块以Inception_ResNet模块为基础网络框架，加入循环卷积块[0045]所述拼接层接收所述残差连接输出的原输入特征和所述18I)0和分别是标准的[0053]经过多尺度的RCB分别对输入利用循环卷积的思想进行特征的有效积累，将结果[0057]通道注意力模块首先分别对输入的每个通道做全局的最大值池化和平均值池化cs9的输出过于激进，失去了原输入图像的特征，在生成图像的过程中还加入了一致性损失[0075]所述动态结构光模型RPSNet的训练时的损失函数由生成器的损失函数和判别器[0076]所述生成器的损失函数包括对抗损失(Adversarialloss)、循环一致性损失(Cycleconsistencyloss)和恒等损失(Identityloss)；由于RP[0079]由于CycleGAN有两个生成器，因此CycleGAN的对抗生成损失函数由如下公式表[0087]判别器的损失函数同样使用Wasserstein距离作为相似度衡量指标；判别器为了[0089]如图5判别器采用了简单的多层卷积网络结构，判别器的输入为生成器的输出结的三维重建任务，利用Thing10k3D模型库建立数据集并在该数据集上进行模型的训练和生成对应的边缘图像和深度图像。[0097]为了使虚拟FFP系统更加接近真实的工厂环境，本发明采用了多种方法对真实环界面中进行手动调节无疑是巨大的工作量。而Blender中提供了Python脚本的方式来建立整个仿真系统，这对于使用者来说是极其便利的。因此上述的FFP虚拟系统的搭建均使用为IntelCorei7_11700，显卡为NVIDIARTX2080TI，内存为16GB，实验中所有代码使用函数和恒等损失函数均采用L1loss，而对抗损失函数则采用Wasserstein距离定义损失函通过反向传播来更新模型参数。为了保证训练效果，本发明中将训练样本的批量大小择多频外差结合十二步相移的重建算法在被测物体保持静态的情况下进行测量作为[0104]关于对比实验中的各个方案采用的具体重建算法以及对应实验的相关设置说明用多频外差的方法进行相位解包裹。为了保证多频外差得到的总周期能够覆盖整个视场，[0107]·RPSNet：该方案使用本发明提出的适应随机相移步长的动态结构光测量模型[0109]图12展示了本次对比实验的结果，从图12(a)中可以看出3Step&Gray结构光重建影仪的非线性、物体表面的反光等因素引入的误差等都无法处理而导致的。图12(b)是[0113]从上表可以看出三步相移配合格雷码的结构光测量方案在测量运动对象时存在[0124]表2展示了关于IRR模块的消融实验在标准件上的对比实[0132]关于RCAM模块的消融实验在标准件上的对比实验结果如表3所示，通过该表可以[0133]综上，本发明针对的是动态场景下使用结构