CN119496910A 训练方法及装置 （华为技术有限公司）

中间帧的第一压缩信息是基于中间帧的残差特本申请中通过在训练图像序列中增加第二图像2将训练图像序列输入压缩模型，获取所述压缩模型输出的所述所述中间帧的压缩信息包括第一压缩信息，所述第一压缩信息为所述述中间帧的残差特征参数获取到的，所述残差特征参数是基于所述中间帧的参考帧得到所述第二图像帧的压缩信息包括第二压缩信息，所述第二压缩信息为所所述第一图像帧为I帧，所述多个中间帧包括至少一个P帧和至少一个基于所述中间帧的失真率、所述中间帧的光流码3基于所述第二图像帧的失真率、所述第二图像帧的光流码率和所述第基于所述第一图像帧的码率、所述至少一个中间帧中的每第一获取模块，用于将训练图像序列输入所述压缩模型，获第二获取模块，用于基于所述训练图像序列中的每个图所述中间帧的压缩信息包括第一压缩信息，所述第一压缩信息为所述述中间帧的残差特征参数获取到的，所述残差特征参数是基于所述中间帧的参考帧得到所述第二图像帧的压缩信息包括第二压缩信息，所述第二压缩信息为所所述第一图像帧为I帧，所述多个中间帧包括至少一个P帧和至少一个4基于所述中间帧的失真率、所述中间帧的光流码基于所述第二图像帧的失真率、所述第二图像帧的光流码率和所述第基于所述第一图像帧的码率、所述至少一个中间帧中的每所述中间帧的压缩信息包括第一压缩信息，所述第一压缩信息为所述述中间帧的残差特征参数获取到的，所述残差特征参数是基于所述中间帧的参考帧得到所述第二图像帧的压缩信息包括第二压缩信息，所述第二压缩信息为所5所述存储器存储有程序指令，当所述程序指令由所述处理器执行时所述存储器存储有程序指令，当所述程序指令由所述处理器执行时6计算机视觉任务中的表现远超传统算法，越来越多的研究者开始探索基于深度学习的图获取图像特征的编码概率的过程)时，由于压缩模型基于参考帧以对第二图像的图像特征7的遇见测试过程中可能出现的累积误差的问题，从而在训练过程中针对该问题进行训练，8[0023]在一种可能的实现方式中，第一图像帧的压缩信息为第[0025]在一种可能的实现方式中，第二图像帧的压缩信息为第9[0037]在一种可能的实现方式中，第一图像帧的压缩信息为第[0039]在一种可能的实现方式中，第二图像帧的压缩信息为第的压缩信息用于获取解码网络的损失值，解码网络的损失值用于更新解码网络的权重值；二压缩信息，第二压缩信息为解码网络基于第二图像帧的图像特征的编码概率获取到的，第二图像帧的图像特征的编码概率是基于第二图像帧[0082]4.多尺度结构相似性(Multi_ScaleStructuralSimilarityIndexmeasure，[0084]6.编解码器(Codec)，指的是一个能够的输入可以与前一层的局部感受野(localreceptivefield)相连，来提取局部感受野的层的第2个神经元的线性系数定义为上标3代表系数W所在的层数，而下标对应的是输[0101]卷积神经网络(convolutionalneuronnetwork，CNN)是一种带有卷积结构的深法，在不同的抽象层级上进行多个层次的学习。作为一种深度学习架构，CNN是一种前馈个像素接着一个像素(或两个像素接着两个像素……这取决于步长stride的取值)的进行的图像中每个像素点表示输入池化层的图像的对应子区域的该多层隐含层中所包含的参数可以根据具体的任务类型的相关训练数据进行预先训练得间的差异情况来更新每一层神经网络的权重向量(loss)越高表示差异越大，那么深度神经网络的训练就变成了尽可能缩小这个loss的过计算机视觉任务中的表现远超传统算法，越来越多的研究者开始探索基于深度学习的图频解码器30(或简称为解码器30)代表可用于根据本申请中描述的各种示例执行各技术的据21提供给用于对编码图像数据21进行解[0117]视频源16可包括或可以为任意类型的用于捕获现实世界和/或任意类型的图像生成设备，例如用于生成计算机动画图像的计算机图形处理器或任[0123]目的设备14中的通信接口28用于直接从源设备12或从存储设备等任意其它源设[0124]通信接口22和通信接口28可用于通过源设备12与目的设备14之间的直连通信链[0127]通信接口22和通信接口28均可配置为如图1A中从源设备12指向目的设备14的对[0129]后处理器32用于对解码后的图像等解码图像数据31(也称为重建后的图像数据)示设备34等显示的解码图像数据31等任何其硅基液晶显示器(liquidcrystalonsilicon，LCoS)、数字光处理器(digitallight[0131]译码系统10还包括训练引擎25，训练引擎25用于训练编码器20和/或解码器30以设备14或对应功能可以使用相同硬件和/或软件或通过单独的硬件和/或软件或其任意组[0135]根据描述，图1A所示的源设备12和/或目的设备14中的不同单元或功能的存在和[0136]编码器20(例如视频编码器20)或解码器30(例如视频解码器30)或两者都可通过各种模块和/或本文描述的任何其它编码器系统或子系统。解码器30可以通过处理电路46中的其中一个可作为组合编解码器(encoder/decoder，CODEC)的一部分集成在单个设备编码数据到存储器和/或从存储器中检索并解码数据的设[0139]图1B是视频译码系统40的实例的说明图。视频译码系统40可以包含成像设备41、些实例中，显示设备45可以用于呈现视频数据。处理电路46可以包含专用集成电路器(staticrandomaccessmemory，SRAM)、动态随机存储器(dynamicrandomaccess图3的视频解码器30和/或本文中所描述的任何其它解码器系统或子系统所论述的各种模实施参照图3和/或本文中所描述的任何其它解码器系统或子系统所论述的[0146]为便于描述，参考通用视频编码(Versatilevideocoding，VVC)参考软件或由ITU_T视频编码专家组(VideoCodingExpertsGroup，VCEG)和ISO/IEC运动图像专家组(MotionPictureExpertsGroup，MPEG)的视频编码联合工作组(JointCollaborationTeamonVideoCoding，JCT_VC)开发的高性能视频编码(High_EfficiencyVideoCoding，HEVC)描述本发明实施例。本领域普通技术人员理解本发明实施例不限于HEVC或[0147]图2为本发明实施例提供的视频译码设备400的示意图。视频译码设备400适用于[0148]视频译码设备400包括：用于接收数据的入端口410(或输入端口410)和接收单元(receiverunit，Rx)420；用于处理数据的处理器、逻辑单元或中央处理器(central[0150]存储器460包括一个或多个磁盘、磁带机和固态硬盘，可以用作溢出数据存储设addressablememory，TCAM)和/或静态随机存取存储器(staticrandom_accessmemory，[0151]图3为示例性实施例提供的装置500的简化框图，装置500可用作图1A中的源设备的处理器502等单个处理器来实施已公开的实现方式，但使用一个以上的处理器速度更快[0153]在一种实现方式中，装置500中的存储器504可以是只读存储器(ROM)设备或随机以包括处理器502通过总线512访问的代码和数据506。存储器504还可包括操作系统508和[0155]虽然装置500中的总线512在本文中描述为单个总线，但是总线512可以包括多个AI)图像/视频编码网络对图像/视频进行从特征提取得到冗余度较低的图像特征，进而基[0159]存储/传输模块将压缩得到的码流/图像文件针对不同业务进行存储(例如，终端到重建的图像特征。解码网络对熵解码输出的图像特征进行反变换，将其解析为图像/视[0163]可选的，AI编码单元、AI解码单元和熵估计单元可以采用网络处理器(Network[0171]步骤1.特征提取模块对当前帧xt和参考帧进行特征提取，得到xt的图像特征流[0178]步骤6.预测模块基于参考帧的重建图像的图像特征ft-1和解码光流进行预测，[0179]步骤7.残差编码模块基于当前帧的预测特征和当前帧的图像特征f进行残差编fefe中，Ri=R⃞+Rf,i=0,1,2,…,n-1Di表示每一帧的失真损失值。训练设备可基于P帧(即图7的残差编码模型进行视频残差压缩时，在训练过出的VTM压缩方式的PSNR值和AI残差压缩方式的PSNR变化示意图。如图9所示(横轴为图像[0216]步骤7.特征编码模块对当前帧的图像特征ft进行特征编码(也可以称为特征压[0217]步骤8.特征熵估计模块基于图像压缩特征和预测特征，计算图像压缩特征概率[0221]示例性的，在对图11中的神经网络(以下简称CI帧编码模[0224]示例性的，训练设备可通过图11所示的CI帧编码模型对GO获取每个P帧对应的重建图像和码率Ri。其中，P帧的码率Ri包括特征码率Rf和光流码率[0238]在本申请实施例中，第三编解码模型可选地为图10或图11所示的CI帧编解码模编码模型输出单一P帧对应的压缩信息(包括但不限于码率和重建图像等)。第三编码模型[0250]步骤2.通过第二编解码模型对n_1个P帧逐一进行压缩，输出单一P帧的码率Ri和1对x1的压缩过程。具体压缩过程可参照图7中的残差编解码模型的压缩流程，此处不再赘[0255]步骤3.基于n_1个P帧以及P帧的重建图像计算每个P帧对应的失真值lossDi,i一个P帧)用于第三编解码模型对CI帧的压缩过程。具体训练过程可参照图11的相关描述，[0261]示例性的，训练设备可基于CI帧的原图像以及CI对应的重建图像计算出CI帧[0268]在一种可能的实现方式中，为使CI帧具有较高的质量(即可以用于对每个序列中的至少一个中间CI帧进行压缩。具体使用方式可根据实际需求设[0272]图15为示例性示出的基于图14中所示的训练后的压缩模型进行测试的RD性能测[0274]图16为示例性示出的基于图14中所示的训练后的压缩模型进行测试的测试结以使得整体(即压缩模型)的loss更小，CI帧的参考帧([0276]下面对上述文所述的增加虚拟P帧的训练方式进行详细说明。如图17所示为训练输出I帧的压缩信息(包括但不限于码率和重建图像等)。第二编解码模型逐一对P帧(包括的重建图像用于P帧的压缩过程。第二编码模型输出单一P帧对应的压缩信息(包括但不限[0282]步骤2.通过第二编解码模型对k个虚拟Px1'帧的重建图像名'用于第二编解码模[0287]步骤3.通过第二编解码模型对n_1个P帧逐一进行压缩，输出单一P帧的码率Ri和1对x1的压缩过程。具体压缩过程可参照图7中的残差编解码模型的压缩流程，此处不再赘[0292]步骤4.基于n_1个P帧以及P帧的重建图像计算[0295]示例性的，训练设备可基于公式(2)计算本次迭代中的压缩模型对应的损失值[0298]在一种可能的实现方式中，k可基于测试场景中的图像序列的长度进行设置，例[0299]在测试场景中，基于图18所示的训练后的压缩模型(即包括第一编码模型和第二测试结果表明：本申请实施例中的压缩模型比传统压缩模型的BD_rate更小，平均可提升[0307]在一种可能的实现方式中，第一图像帧的压缩信息为第[0309]在一种可能的实现方式中，第二图像帧的压缩信息为第processor,DSP)、特定应用集成电路(application_specificintegratedc