CN119496913A 网络训练方法及电子设备 （华为技术有限公司）

本申请实施例提供了一种网络训练方法及视频处理网络对视频数据编码后再基于第一视图像的累积误差大于第k帧重建图像的累积误2基于第一视频处理网络对所述视频数据编码后再基于所述第一视频处理网络对所述确定所述多帧重建图像中每帧重建图像的第一损失则所述第i帧重建图像的累积误差大于所述第k帧重建图像的累积误差；所述第i帧重建图帧重建图像中的第j帧重建图像的目标损失是根据所述j帧重建图像的第一损失和所述第j确定所述第j帧重建图像的第一损失与所述第j帧重建图像对应的参考重建图像的第基于所述第j帧重建图像的损失差值与预设范围，确4.根据权利要求3所述的方法，其特征在于，所述基于所述基于所述第j帧重建图像的损失差值与预设范围，确定所述第j帧重建图像的权重系将所述第j帧重建图像的权重系数与上一个迭代周期所述第j帧重建图像的第一损失所述基于所述第j帧重建图像的损失差值与预设范围，确定3其中，所述第一预设系数大于所述第三预设系数且小于所述第二预设系数，j为正整基于第二视频处理网络对所述第j帧原始图像进行编码后再基于所述第二视频处理网参考重建图像的第一损失为所述第j帧重建图像的前m帧重建图像的第一损失的平均值，m确定所述每帧重建图像对应的时序信息，所获取所述多帧重建图像中每帧重建图像的第二损失和所述每帧重建图像的第二损失其中，所述第j帧重建图像的目标损失是根据所述第述j帧重建图像的第二损失权重，对所述j帧重建图像的第一损失和所述j帧重建图像的第像的第一损失权重包括所述每帧重建图像的多于多帧重建图像的目标损失进行训练的，所述多帧重建图像中的第j帧重建图像的目标损失是根据所述j帧重建图像的第一损失和所述第j帧重建图像的第一损失权重的乘积确定所述第i帧重建图像的累积误差大于所述第k帧重建图像的累积误差；所述第i帧重建图像是基于多帧重建图像的目标损失进行训练的，所述多帧重建图像中的第j帧重建图像的目标损失是根据所述j帧重建图像的第一损失和所述第j帧重建图像的第一损失权重的乘积确定的，j为正整数；若第i帧重建图像的第一损失权重大于第k帧重建图像的第一损失权4压缩模块，用于基于第一视频处理网络对所述损失和权重确定模块，用于确定所述多帧重训练模块，用于基于所述多帧重建图像的目标损所述存储器存储有程序指令，当所述程序指令由所述所述存储器存储有程序指令，当所述程序指令由所述处理所述存储器存储有程序指令，当所述程序指令由所述处理计算机指令被计算机或处理器执行时，使得如权利要求1至11任一项所述的方法的步骤被5最小化第i帧重建图像的目标损失为目标对第一视频处理网络进行训练后，使用训练后的第一视频处理网络编解码得到的第i帧重建图像的累积误差就会减小，进而训练后的第一6第i帧对应参考帧的原始图像之间的误差在编码第i帧原始图像过程中引入的误差。例如，1在编码第3帧原始图像过程引入的误差3和编码第3帧原始图像的部分步骤引入的误差4；图像编码框架对视频数据的每个图像组中的第1帧原始图像进行编码，以及基于AI图像解[0015]也就说，当第i帧重建图像的第一损失权重大于第k帧的重建图像第一损失权重当第i重建图像的累积误差大于第k帧重建图像的累积误差时，第i帧重建图像的第一损失像的累积误差大的较多(例如，第i重建图像的7像的第一损失减去重建图像对应参考重建图像的第一损失，则重建图像的损失差值越大；若重建图像的损失差值为重建图像对应参考重建图像的第一损失减去重建图像的第一损值和第二边界值，第一边界值小于第二边界值；基于第j帧重建图像的损失差值与预设范可以提高第一视频处理网络对对应重建图像的损8考重建图像包括以下至少一种：基于第二视频处理网络对第j帧原始图像进行编码后再基[0029]示例性的，第二视频处理网络可以是由AIconditionI视频编码网络和AIconditionI视频解码网络组成的视频处理网络(AIconditionI视频编码网络是对原始第一损失权重和j帧重建图像的第二损失权重，对j帧重建图像的第一损失和j帧重建图像9视频数据编码后再基于视频解码网络对视频数据的编码结果进行解码，得到重建视频数于视频编码网络和采用算法实现的模块对视频数据编码后再基于视频解码网络和采用算一损失权重大于第k帧重建图像的第一损失权重，则第i帧重建图像的累积误差大于第k帧[0041]第二方面以及第二方面的任意一种实现方式分别与第一方面以及第一方面的任第一损失权重大于第k帧重建图像的第一损失权重，则第i帧重建图像的累积误差大于第k[0043]第三方面以及第三方面的任意一种实现方式分别与第一方面以及第一方面的任建图像的第一损失权重，则第i帧重建图像的累积误差大于第k帧重建图像的累积误差第i中，多帧重建图像中的第j帧重建图像的目标损失是根据j帧重建图像的第一损失和第j帧[0050]第四方面以及第四方面的任意一种实现方式分别与第一方面以及第一方面的任[0052]第五方面以及第五方面的任意一种实现方式分别与第一方面以及第一方面的任[0054]第六方面以及第六方面的任意一种实现方式分别与第一方面以及第一方面的任[0056]第七方面以及第七方面的任意一种实现方式分别与第一方面以及第一方面的任[0058]第八方面以及第八方面的任意一种实现方式分别与第一方面以及第一方面的任[0060]第九方面以及第九方面的任意一种实现方式分别与第二方面以及第二方面的任参见上述第二方面以及第二方面的任意一种[0062]第十方面以及第十方面的任意一种实现方式分别与第三方面以及第三方面的任[0085]图1为示例性示出的人工智能主体框架示意图，该主体框架描述了人工智能系统础平台实现支撑。通过传感器与外部沟通；计算能力由智能芯片(中央处理器(Central图形处理器(GraphicsProcessingUnit，GPU)、专用集成电路(ApplicationSpecific[0092]基础设施的上一层的数据用于表示人工智能领域的数据来源。数据涉及到图形、中的每一个值表示该层神经网络中的一个神经元的权重值。该向量W决定着上文的输入空[0104]训练神经网络的目的，也就是最终得到训练好的神经网络的所有层的权重矩阵[0105]本申请涉及的第一视频处理网络可以包括视频编码网络和视频AI编码网络可以针对视频数据中的每一帧图像可以进行以下处理：进行预测(包括帧内预络可以针对视频数据中的每一帧图像可以进行以下处理：进行预测(包括帧内预测和帧间网络。光流编码网络(也可以称为光流特征提取网络)可以对当前帧的第一光流进行编码特征信息(也可以称为当前帧的第一光流的压缩特征)并输[0133]示例性的，第一熵估计网络可以对当前帧的第一光流的特征信码，得到当前帧解码后的第一光流的特征信息(也可以称为当前帧的第二光流的特征信[0137]示例性的，光流解码网络可以对当前帧的第二光流的特征信息进行解码(需要说据当前帧的第二光流和参考帧的重建图像的特征信息进行预测，得到当前帧的预测信息；帧的原始图像的特征信息和当前帧的预测信息，输出当前帧的残差信息(后续称为当前帧差(其中，第一残差可以是指当前帧的原始图像的特征信息和当前帧的预测信息之间的残建图像输入至预测网络，由预测网络根据当前帧的第二光流和参考帧的重建图像进行预[0144]示例性的，残差解码网络可以对当前帧熵解码后的第一残差信息进行解码(需要第一残差信息为当前帧的第一残差的特征信息时，该步骤中的解码包括熵解码和特征恢可以根据参考帧的重建图像或参考帧的预测信息或参考帧的重建图像的特征信息等等进[0157]示例性的，残差解码网络可以对当前帧熵解码后的第一残差信得到当前帧的第二残差信息并将当前帧的第二残据当前帧的第二光流和参考帧的重建图像的特征信息进行预测，得到当前帧的预测信息；建图像输入至预测网络，由预测网络根据当前帧的第二光流和参考帧的重建图像进行预[0160]应该理解的是，本发明对图3B中示出的AI视频编码框架包含的进行编码，以及基于AI图像解码框架(包括AI图像解码网络)对第1帧原始图像的编码结果失(失真损失可以是指原始图像与重建图像之间的差异(如误差))等，本申请对此不作限*Loss11对AI图像编码网络和AI图像解码使用训练后的第一视频处理网络编解码得到的第i帧重建图像的累积误差就会减小，进而[0186]参照图5A，本申请还可以获取多帧重建图像中每帧重建图像的码率损失(码率损失可以是指编码过程中进行码率估计得到的码率，码率损失后续称为第二损失)和对应的[0187]图5B为示例性示出的训练过程示意图。在图5B为在图5A的基础上示出的训练过的第一损失权重大于第k帧重建图像的第一损失权重，第i帧重建图像的累积误差大于第k重和第j帧重建的第二损失权重，对第j帧重建图像的第一损失和第j帧重建的第二损失进(即feature_basedloss)，作为率损失权重。其中，特征类损失可以包括结构相似度(StructuralSimilarity，SSIM)、多尺度结构相似度(Multi_ScaleStructuralSimilarity，MSSSIM)、图像感知相似度(LearnedPerceptualI失权、第j帧重建图像的U分量的第一损失权重和第j帧重建图像的V分量的第一损失权重；失权、第j帧重建图像的U分量的第一损失权重和第j帧重建图像的V分量的第一损失权重；重建图像的U分量和V分量与对应原始图像的U分量和V分量之间的累积误差更大。对应的，重建图像的Y分量的第一损失权重、U分量的第一损失权重和V分量的第一损失权重的比例值信噪比(PeakSignaltoNoiseRatio，PSNR)，以及现有技术的视频处理网络相对于[0262]示例性的，上述确定每帧重建图像的第一损失权重的过程，可以参照如下S704~[0264]一种可能的方式中，第j帧重建图像对应的参考重建图像为基于第二视频处理网络对第j帧原始图像进行编码后再基于第二视频处理网络对第j帧原始图像的编码结果进conditionI视频编码网络和AIconditionI视频解码网络组成的视频处理网络(AIconditionI视频编码网络是对原始图像的特征信息进行编码，且计算的第一光流不用于码网络和AIconditionI视频解码网络输出的重建图像不存在累积误差)，作为第二视频=β为上一个迭代周期第j帧重建图像的第一损失权重个迭代周期第j帧重建图像的Y分量的第一损失权重，x2Y为Y分量的第二预设系数。当Δ个迭代周期第j帧重建图像的U分量的第一损失权重，x2U为U分量的第二预设系数。当Δ个迭代周期第j帧重建图像的V分量的第一损失权重，x2V为V分量的第二预设系数。当Δ技术的视频处理网络输出的重建图像的目标损失，可见采用本申请图7A实施例的训练方[0309]压缩模块802，用于基于第一视频处理网络对视频数据编码后再基于第一视频处重建图像的第一损失权重，则第i帧重建图像的累积误差大于第k帧重建图像的累积误差；[0311]训练模块804，用于基于多帧重建图像的目标损失，对第一视频处理网络进行训练；多帧重建图像中的第j帧重建图像的目标损失是根据j帧重建图像的第一损失和第j帧[0314]确定第j帧重建图像的第一损失与第j帧重建图像对应的参考重建图像的第一损[0316]将第j帧重建图像的权重系数与上一个迭代周期第j帧重建图像的第一损失权重处理网络对第j帧原始图像进行编码后再基于第二视频处理网络对第j帧原始图像的编码中，第j帧重建图像对应的参考重建图像的第一损失为第j帧重建图像的前m帧重建图像的[0322]示例性的，损失和权重确定模块803，具体用于确定每帧重建图像对应的时序信[0327]一个示例中，图