CN119445129A 一种模型训练方法、点云表示方法以及装置 （华为技术有限公司）

本申请提供计算机视觉领域的一种模型训通过编码模型输出的特征获取第一点云特征和2将所述第一增强点云数据和所述第二增强点云数据分别作为编码模所述编码模型针对所述第二增强点云数据输出的特征进行变分得根据所述第一点云特征、所述第二点云特征以及所述第一点云特征以及所述第一点云特征和所述第二点云特征之间的第一相似度更新所述编码模型，通过解码模型获取所述第一点云特征对应的第一生成点云数据和所述第二点云特征根据所述第一生成点云数据、所述第二生成点云数据以及所述第一相根据所述第一生成点云数据、所述第一增强点云数据、所述第根据所述第一损失值和所述第二损失值更新所述编码模型，得到所述根据第二相似度、第三相似度、第四相似度或者第五相似度中的至似度，所述第四相似度包括所述第一生成点云数据和所述第一增强点云数据之间的相似将所述第一增强点云数据和所述第二增强点云数据分别作为编码模述第一增强点云数据对应的第一特征和所述第二增强点云数据对应将所述第一特征和所述第二特征分别约束至服从对应的高斯分布，得3将所述输入点云数据作为编码模型的输入，根据所述编码模型输入点云数据对应的点云特征，所述编码模型包括通过如权利要求1_7中任一项所述的方法增强模块，用于对所述点云数据进行至少两次增强，得到第编码模块，用于将所述第一增强点云数据和所述第点云特征为根据所述编码模型针对所述第二增强点云数据输出的特征进训练模块，用于根据所述第一点云特征、所述第二点解码模块，用于通过解码模型获取所述第一点云特征对应的第一生所述训练模块，还用于根据所述第一生成点云数据、所述第二生根据所述第一生成点云数据、所述第一增强点云数据、所述第根据所述第一损失值和所述第二损失值更新所述编码模型，得到所述4将所述第一增强点云数据和所述第二增强点云数据分别作为编码模述第一增强点云数据对应的第一特征和所述第二增强点云数据对应将所述第一特征和所述第二特征分别约束至服从对应的高斯分布，得编码模块，用于将所述输入点云数据作为编码模器存储有程序，当所述存储器存储的程序指令被所述处理器执行时实现权利要求8所述的5即服从一定分布规律的特征代替现有的固定特征，从而可以避免在单个数据领域上过拟6出值计算得到的损失值更新编码模型，从而可以利用解码模型的输出来实现自监督学习，用交叉监督和/或自监督的方式来进行更新，从而利用对特征进行交叉采样重建的方式来特征服从的分布之间的距离；根据第一特征服从的分布与第二特征服从的分布之间的距78[0040]该编码模型的训练过程可以参阅前述第一方面或第一方面任一可选实施方式的9[0061]本申请提供的方法可以应用于人工智能(artificialintelligence,AI)场景映从数据的获取到处理的一列过程。举例来说，可以是智能信息感知、智能信息表示与形提供给基础平台提供的分布式计算系统中的智能芯片[0066]基础设施的上一层的数据用于表示人工智能领域的数据来源。数据涉及到图形、[0076]本申请实施例涉及了神经网络的相关应用，为了更好地理解本申请实施例的方[0078]神经网络可以是由神经单元组成的，神经单元可以是指以xs和截距1为输入的运[0083]虽然DNN看起来很复杂，其每一层可以表示为线性关系表达式：其系数定义为上标3代表系数W所在的层数，而下标对应的是输出的第三层索引2和输入[0087]卷积神经网络(convolutionalneuronnetwork，CNN)是一种带有卷积结构的深取器可以看作是滤波器。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元图数据进行节点分类(nodeclassification)、图分类(graphclassification)、边预测间的差异情况来更新每一层神经网络的权重于衡量预测值和目标值的差异的重要方程。其中，以损失函数举例，损失函数的输出值(loss)越高表示差异越大，那么深度神经网络的训练就变成了尽可能缩小这个loss的过用误差均方作为损失函数，定义为具体可以根据实际应用场景[0100]无监督学习常常被用于数据挖掘，用于在大量无标签数据中学习数据之间的关[0103]也可以称为对比学习，构建代理任务(pretexttask)。自监督学习通过这些pretexttask，在没有标签信息的情况下使得基于深度学习的特征提取器(encoder)拥有[0106]本申请实施例提供的方法可以在服务器上被执行，还可以在终端设备上被执其中该终端设备可以是具有图像处理功能的移动电话、平板个人电脑(tabletpersonal230维护的训练数据进行目标模型/规则201的训练，也有可能从云端或其他地方获取训练[0111]根据训练设备220训练得到的目标模型/规则201可以应用于不同的系统或设备[0112]在执行设备210对输入数据进行预处理，或者在执行设备210的计算模块212执行执行设备210是外部存储器，在其它情况下，也可以将数据存储系统250置于执行设备210在本申请实施例中可以是本申请中训练后或者更310可以使用数据存储系统250中的数据，或者调用数据存储系统250中的程序代码实现本[0119]用户可以操作各自的用户设备(例如本地设备101和本地设备102)与服务器集群[0120]每个用户的本地设备可以通过任何通信机制/通信标准的通信网络与服务器集群evolution，LTE)系统、全球移动通信系统(globalsystemformobileco牙(bluetooth)、紫蜂协议(Zigbee)、射频识别技术(radio示的模型，解码器可以是任何模型)。使用学习到的编码器权重作为任何下游任务的初始支，通过在渲染的2D图像特征和点云原型特征之间引入对比损失来简单地制定跨模态对结合附图对本申请提供的方法以及应用场景进[0140]302、对点云数据进行至少两次增强，得到第一增强点云数据和第二增强点云数然也可以不同的组合增强方式，或者前述的多种不同类别或者不同增强值的组合方式等，码模型针对第二增强点云数据输出的特征进行变分得型获取第一点云特征对应的第一生成点云数据和第二点云特征对应的第二生成点云数据。第一生成点云数据与第二生成点云数据以及对应的第一增强点云数据和第二增强点云数[0159]前述对本申请提供的训练阶段的方法流程进行了介绍，下面结合具体的应用场从的分布进行约束，输出服从高斯分布的点云特征1(即第一点云特征)和点云特征2(即第[0171]对于经过数据增强得到的点云数据p和q，可以将其作为一个共享权重的编码器Egengengengengengengengen因此采用交叉监督的方式同时也有利于两个分布趋于相近，而这正是对比学习的优化目[0216]本申请提供的模型训练方法，提供了一种自监督点云表[0218]以实际应用场景采集到的数据为例，在实际采集的数据中将点云配置的精度从果。如在ScanObjectNN数据集的线性分类任务中精度达到87.4比CrossPoint(SOTA)的效果提升了5.7在小样本线性分类任务中，在ModelNet40数据集的精度92.4比CrossPoint(SOTA)的效果提升了2.7在ScanObjectNN数据集的精度是83.6比CrossPoint(SOTA)的效果提升了10.9可见本申请提供的方法训练的编码模型具有很强在设备中的编码模型可以如图5中所示出的编码器E(.)以及用于投影的全连接层fcμ(.)和[0233]编码模块703，用于将第一增强点云数据和第二增强点云数据分别作为编码模型变分得到，第二点云特征为根据编码模型针对第二增强点云数据输出的特征进行变分得[0236]解码模块705，用于通过解码模型获取第一点云特征对应的第一生成点云数据和二增强点云数据对应的第二特征；将第一特征和第二特征分别约束至服从对应的高斯分[0252]处理器901用于执行前述图3一图5中任一实施例所示的模型训练装置执行的方法[0268]具体地，前述的处理单元或者处理器可以是中央处理器(centralprocessing路(applicationspecificintegratedcircuit,ASIC)或现场可编程逻辑门阵列芯片可以表现为神经网络处理器NPU110，NPU11矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器[0275]DMAC主要用于将外部存储器DDR中的输入数据搬运到统一存储器1106或将权重数据搬运到权重存储器1102中或将输入数据数据搬运到输入存[0277]在一些实现中，向量计算单元1107能将经处理的输出的向量存储到统一存储器[0280]其中，循环神经网络中各层的运算可以由运算电路