CN114692667B 一种模型训练方法及相关装置 （华为技术有限公司）

US2020388287A1,2020.WO2019071201A1,2019.0络输出的第一输出数据和分类网络输出的第二降噪网络的中间层输出的第三输出数据和分类2获取样本对，所述样本对包括噪声数据和所述噪声数据对应的无噪将所述无噪声数据输入降噪分类网络，得到第一输出数据和第二将所述噪声数据输入所述降噪分类网络，得到第三输出数根据所述第一输出数据和所述第三输出数据确定第一损失函数，所述第一根据所述第二输出数据和所述第四输出数据确定第二损失函数，所述第二于表示所述第二输出数据以及所述第四输出数据与所述无噪声数据的真实类别标签之间至少根据所述第一损失函数和所述第二损失函数，训练所所述第一输出数据为所述编码器的输出，所述第三输出数据是基于将所述噪声数据输入所述降噪分类网络，得到所述降噪网络的中间层输出的特征数将所述特征数据划分为多个子特征数据，得到所述第三输出数据，确定所述第三输出数据中每个子特征数据与所述第一输出数根据所述每个子特征数据与所述第一输出数据之间的差异值，确定所述第一损失函按照时间顺序将所述特征数据均匀地划分为多个子特征数据，得到所述第三输出数3分别对所述第一输出数据和所述第三输出数据中的每个子特征数据执行维度对齐操确定维度对齐的第三输出数据中每个子特征数据与维度对齐的第一输出数据之间的确定所述第二输出数据与所述无噪声数据的真实类别标签之间确定所述第四输出数据与所述无噪声数据的真实类别标签之间获取第一特征，并根据所述第一特征预测所述无噪声数获取第二特征，并根据所述第二特征预测所述噪声数据对应的二分根据所述第一预测结果和所述无噪声数据的真实二分类标签、所述至少根据所述第一损失函数、所述第二损失函数和所述第其中，所述无噪声数据对应的二分类结果为无噪声类型或噪至少根据所述第一损失函数和所述第二损失函数，通过误4[0002]人工智能(artificialintelligence，AI)是利用数字计算机或者数字计算有的分类方法对降噪后的稀疏时序数据进行分于无噪声数据在降噪分类网络的降噪网络的输出以及噪声数据在该降噪网络的中间层的网络在降噪阶段能够学习到更完备的全局特征，增强了网络抑制局部噪声和扰动的能力，5用于表示第二输出数据以及第四输出数据与无噪声数据的真实类别标签之间的差异。例6[0018]具体地，终端确定第三输出数据中每个子特征数据与第一输出数据之间的差异噪分类网络中的分类网络提取的。终端根据第一预测结果和无噪声数据的真实二分类标7所述降噪分类网络包括降噪网络和分类网络，所述第一输出数据为所述降噪网络的输出，器用于对输入数据进行压缩编码，所述解码器用于对所述编码器输出的数据进行数据重8待分类数据进行降噪处理以及分类，所述目标网络是基于第一方面所述的方法训练得到9[0056]图9b为本申请实施例提供的一种构造局部-全局特征关联损失和混合分类损失的提供给基础平台提供的分布式计算系统中的智能芯片[0070]基础设施的上一层的数据用于表示人工智能领域的数据来源。数据涉及到图形、用户设备得到的该数据执行数据降噪分类应用，从而得到针对该数据的对应的处理结果。[0088]上述图2a和图2b中的用户设备具体可以是图2c中的本地设备301或者本地设备[0089]图2a和图2b中的处理器可以通过神经网络模型或者其它模型(例如，基于支持向量机的模型)进行数据训练/机器学习/深度学习，并利用数据最终训练或者学习得到的模[0091]在执行设备110对输入数据进行预处理，或者在执行设备110的计算模块111执行计算等相关的处理(比如进行本申请中神经网络的功能实现)过程中，执行设备110可以调入I/O接口112的输入数据及输出I/O接口112的输出结果，作为新的样本数据存入数据库设置在如图3a所示的训练设备120中，用以完成训练设备120的训练工作并输出目标模型/规则。器控制运算电路提取存储器(权重存储器或输入存储器)中络计算，如池化(pooling)，批归一化(batchnormalization)，局部响应归一化(local[0103]权重数据直接通过存储单元访问控制器(directmemoryaccesscontroller，[0107]一般地，统一存储器，输入存储器，权重存储器以及取指存储器均为片上(On-态随机存储器(doubledataratesynchronousdynamicrandomaccessmemory，DDR施例涉及的相关术语及神经网络等相关概念[0110]神经网络可以是由神经单元组成的，神经单元可以是指以xs和截距1为输入的运中的每一个值表示该层神经网络中的一个神经元的权重值。该向量W决定着上文所述的输出值(loss)越高表示差异越大，那么神经网络的训练就变成了尽可能缩小这个loss的过例如为图像，常见的稀疏时序数据则例如包括体感游戏中多帧输入的人体骨骼点坐标数[0123]上述所提及的各类应用场景均建立在能够对时序数据执在将上述具有噪声问题的骨骼点坐标数据作为输入时，容易出现人体动作识别错误的现基于数据无位姿歧义、时序平滑和/或保持视觉合理性等方式为目标来实现降噪网络的训的输出求取第二损失函数，并基于第一损失函数和第二损失函数对降噪分类网络进行训ntrol)中的无线终端、无人驾驶(selfdriving)中的无线终端、远程手术(remotemedicalsurgery)中的无线终端、智能电网(smartgrid)中的无线终端、运输安全人体位姿数据、描述用户凝视方向意图的头部姿态数据和/或描述用户表情意图的脸部关用户凝视方向意图的头部姿态数据以及描述用户手势意图的手部关键点数据这两种数据；的循环神经网络(RecurrentNeur类别(即跑步)为IMU数据所属的类别。出数据和第三输出数据之后，可以基于第一输出数据和第三输出数据确定第一损失函数，第二子特征数据和第三子特征数据对应的时间引导降噪网络更充分地学习全局时序特征，从而增强降噪网络抑制局部噪声和扰动的能每个子特征数据与维度对齐的第一输出数据之[0160]具体地，采用GRU为基本单元的维度对齐子网络可以形式化表示为GRU(x，num_于表示第二输出数据以及第四输出数据与无噪声数据的真实类二输出数据与无噪声数据的真实类别标签的第一差异值以及第四输出数据与无噪声数据声数据的真实类别标签的第一差异值与第四输出数据与无噪声数据的真实类别标签的第Lmul(Xnormal)表示第二输出数据与无噪声数据的真实失函数也可以是将第一损失函数与第一比例系数的乘积加上第二损失函数与第二比例系Lbin(Xnormal)表示第一预测结果和无噪声数据的真实[0190]降噪分类网络503包括有降噪网络5031和分类网络5032。降噪网络5031中包括编块50321用于对解码器50312所输出的数据进行特征提取，分类器50322则用于基于特征提对应的预测类别。度对齐子网络5042，特征划分模块5041用于获取噪声数据在编码器50311的中间层对应的[0193]混合分类器505则用于基于分类器50322的输出以及降噪分类网络503的原始输入还用于特征划分模块5041的输出以及降噪分类网络503的原始输入数据对应的真实二分类成的，多类别分类器5052可以是由时空图神经网络构成的人体动作识别(HumanAction[0194]在训练过程中，服务器500基于局部-全局特征关联模块504求得的第一损失函数以及混合分类器505求得的第二损失函数和第三损失函数，通过误差反向传播算法对降噪计算得到的总损失函数，采用误差反向传播算法对降噪分类网络503中的降噪网络5031和务器基于维度对齐子网络对划分后的中间层时序特征以及内容向量g进行维度对齐，并构噪声数据和噪声数据，混合分类器可以分别计算无噪声数据Xnormal和噪声数据Xnoise对应的Xnoise对应的混合分类损失的过程可以如以下的公式4binnoise)表示第二预测结果和噪声数据的真实二分类标签之间的交叉熵损失；Lmul(Xnormal)表示第二输出数据与无噪声数据的真实类别标签之间的交叉熵损mul[0208]可以参阅图9b，图9b为本申请实施例提供的一种构造局部-全局特征关联损失和中间层所输出的特征数据，并且对获取到的特征数据进行均分划分，得到子特征数据[0210]在基于步骤三和步骤四得到局部-全局特征关联损失和混合分类损失之后，服务器以局部-全局特征关联损失和混合分类损失之间的比例和作为整个降噪分类网络的总损[0214]可以参阅图10，图10为本申请实施例提供的现有方案与本申请方案的对比示意坐标为训练阶段现有方案中的分类网络以及采用本申请方法所训练的降噪分类网络在验在迭代次数为20000时，其验证集损失已经低于现有方案中的分类网络。在迭代次数大于例提供的模型训练方法训练得到的降噪分类网络噪声级别＝1噪声级别＝3器用于对输入数据进行压缩编码，所述解码器用于对所述编码器输出的数据进行数据重特征是在所述无噪声数据输入降噪分类网络之后，所述降噪分类网络中的分类网络提取数据。存储器1304的一部分还可以包括非易失性随机存取存储器(non-volatilerandom[0235]上述本申请实施例揭示的方法可以应用于处理器1303中，或者由处理器1303实理器或微控制器，还可进一步包括专用集成电路(applicationspecificintegrated1400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器个或一个以上存储应用程序1442或数据1444的存储介质1430(例如一个或一个以上海量存设备1400上执行存储介质1430中的一只读存储器(read-onlymemory，ROM)或可存储静态信息和指令的其他类型的静态存储设片可以表现为神经网络处理器NPU1500，NPU150矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器元访问控制器1505从外部存储器获取输入矩阵A或者权重矩[0249]DMAC主要用于将外部存储器DDR中的输入数据搬运到统一存储器1506或将权重数据搬运到权重存储器1502中或将输入数据数据搬运到输入存[0251]在一些实现中，向量计算单元1507能将经处理的输出的向量存储到统一存储器