CN115735359B 用于视频解码的方法和设备 （腾讯美国有限责任公司）

2022.11.04PCT/US2022/0720232022.04.29WO2022/232842EN2022.11.03US2020160565A1,2020.05.21WO2020165493A1,2020.08.201-4章节和图1.本公开内容的各方面提供了用于视频解码特流中的用于视频解码器中的神经网络的神经图像并且指示与预训练参数中的预训练参数对23对编码比特流中的用于视频解码器中的神经网络的神经网络更新基于用于所述编码图像的所更新的神经网络对所述编码图所述编码比特流还指示一个或更多个编码比特，所述一个或更多个通过所述熵解码器基于所述编码图像生成所述编码图像的经量化的对所述编码图像进行解码包括使用所述主解码器网络和所述上下文模型对所述编码所述预训练参数是预训练偏置项。所述神经网络更新信息指示与用于所述神经网络的所述预训练参数中的多个预训练所述更新包括基于包括所述替换参数的所述多个替换参数，来更新所述基于所更新的神经网络对所述编码比特流中的另外的编码图神经网络更新信息解码模块，用于对编码比特流对应于要重构的编码图像并且指示与所述预训练参数中的预训练参数对4所述编码比特流还指示一个或更多个编码比特，所述一个或更多个通过所述熵解码器基于所述编码图像生成所述编码图像的经量化的对所述编码图像进行解码包括使用所述主解码器网络和所述上下文模型对所述编码所述预训练参数是预训练偏置项。所述神经网络更新信息指示与用于所述神经网络的所述预训练参数中的多个预训练所述更新模块用于基于包括所述替换参数的所述多个替换参数来更新所述视频解码所述设备还包括确定模块，用于根据所述预训练参数和所述差之基于所更新的神经网络对所述编码比特流中的另外的编码图所述处理器用于根据所述程序代码中的指令执行权利要求1-6中任意一项所述的方14.一种存储程序的非暂态计算机可读存储介质，所述程序能够由至少一个处理器执5优先权的权益，该美国专利申请要求于2021年4月30日提交的美国临时申请第63/182,396他方式描述为现有技术的描述的各方面既没有明确地也没有隐含地被承认为针对本公开每个样本8比特的1080p604:2:0视频(60Hz帧速率下的1920×1080亮度样本分辨率)需要[0006]视频编码和解码的一个目的可以是通过压缩减少输入图像和/或视频信号中的冗自先前重构的参考图片的样本或其他数据的情况下表示样本值。在一些视频编解码6且解码顺序在先的数据块的编码和/或解码期间获得的元数据进行尝试的技术。这样的技有子模式和/或参数，并且这些子模式和/或参数可以被单独编码或被包括在模式码字中。并且因此用于将码字转换成比特流的熵编码技术也可以通过帧内预测影[0012]神经图像压缩技术和/或神经视频压缩技术，诸如基于人工智能(AI)的神经图像[0013]可以基于训练图像的集合中的图像和/或块来训练包括视频编码器和视频解码器更新信息对应于要重构的编码图像并且指示与预训练参数中的预训练参数对应的替换参络更新信息对应于要重构的编码图像并且指示与所述预训练参数中的预训练参数对应的7文模型网络可用的编码图像的经量化的潜在和一个或更多个解码比特使用上下文模型网[0024]本公开内容的方面还提供一种计算机装置。计算机装置包括处理器以及存储更新信息对应于要重构的编码图像并且指示与预训练参数中的预训练参数对应的替换参8[0038]图10示出了根据本公开内容的实施方式的主编码器网络的示例性卷积神经网络H.265的33个可能预测器方向(对应于35个帧内模式的33个角度模式)已知的九个预测器方本并且是X维度上(从左侧起)的第一样本。类似地，样本S44是在Y维度和X维度两者上块[0053]帧内图片预测可以通过从沿着用信令通知的预测方向合适的相邻样本复制参考9致的预测方向——即，根据与水平线成45度角的右上方的一个或多个预测样本来预测样[0057]编码视频比特流中表示方向的帧内预测方向比特的映射可以根据不同的视频编码技术而不同；并且该映射的范围可以例如从预测方向的简单直接映射到帧内预测模式，[0059]在一些视频压缩技术中，可以根据其他MV预测适用于样本例如根据与样本数据的与重构下的区域在空间上相邻的另一区域有关并且在解码顺序上[0062]图3示出了根据本公开内容的实施方式的通信系统(300)的简化框图。通信系统和(320)执行数据的单向传输。例如，终端装置(310)可以对视频数据(例如，由终端装置视频数据可以以一个或更多个编码视频比特流的形式传输。终端装置(320)可以从网络[0063]在另一示例中，通信系统(300)包括执行编码视频数据的双向传输的第二对终端一终端装置传输的编码视频数据，并且可以对该编码视频数据进行解码以恢复视频图片，并且可以根据所恢复的视频数据在可访问的显示装置处显示视(连线的)和/或无线通信网络。通信网络(350)可以在电路交换信道和/或分组交换信道中除非下面在本文中说明，否则网络(350)的架构和拓扑对于本公开内容的操作而言可能是[0065]作为所公开的主题的应用的示例，图4示出了视频编码器和视频解码器在流式传包括由数字摄像机拍摄的样本。视频图片流(402)被描绘为粗线以强调当与编码视频数据(404)(或编码视频比特流)比较时高的数据量，该视频图片流(402)可以由耦接至视频源(401)的包括视频编码器(403)的电子装置(420)进行处理。视频编码器(403)可以包括硬据(404)(或编码视频比特流(404))被的数据量，编码视频数据(404)(或编码视频比特流(404))可以存储在流式传输服务器(405)上以供将来使用。一个或更多个流式传输客户端子系统例如图4中的客户端子系统(406)和(408)可以访问流式传输服务器(405)以检索编码视频数据(404)的副本(407)和器(410)对传入的编码视频数据的副本(407)进行解码，并且创建可以在显示器(412)(例[0068]图5示出了根据本公开内容的实施方式的视频解码器(510)的框图。视频解码器[0069]接收器(531)可以接收要由视频解码器(510)解码的一个或更(510)外部可以存在缓冲存储器(未描绘)以例如防止网络抖动，并且另外在视频解码器(510)内部可以存在另一缓冲存储器(515)以例如处理播出时序。当接收器(5够带宽和可控性的存储/转发装置或从等时同步网络接收数据时，可能不需要缓冲存储器利地具有自适应大小，并且可以至少部分地在视频解码器(510)外部的操作系统或类似元[0070]视频解码器(510)可以包括解析器(520)以根据编码视频序列重构符号(521)。这增强信息(SupplementalEnhancementInformation，SEI消息)或视频可用性信息(Video解码器中的像素子组中的至少一个子组的子组参数集。子组可以包括：图片组(Groupof[0071]解析器(520)可以对从缓冲存储器(515)接收的视频序列执行熵解码/解析操作，解析器(520)与下面的多个单元之间的这样的子组控[0073]除已经提到的功能块以外，视频解码器(510)可以在概念上被细分为如下所述的[0074]第一单元是缩放器/逆变换单元(551)。缩放器/逆变换单元(551)从解析器(520)矩阵等)作为(一个或多个)符号(521)。缩放器/逆变换单元(551)可以输出包括样本值的来自先前重构的图片的预测性信息但可以使用来自当前图片的先前重构部分的预测性信预测单元(552)使用从当前图片缓冲器(558)获取的周围已重构信息生成大小和形状与重预测信息添加至如由缩放器/逆变换单元(551)提供经运动补偿的块。在这样的情况下，运动补偿预测单元(553)可以访问参考图片存储器[0077]聚合器(555)的输出样本可以在环路滤波器单元(556)中经受各种环路滤波技视频压缩技术可以包括环路内滤波器技术，所述环路内滤波器技术受控于编码视频序列(也被称为编码视频比特流)中包括的参数，所述参数可以作为来自解析器(520)的符号[0078]环路滤波器单元(556)的输出可以是样本流，该样本流可以被输出至呈现装置[0079]一旦被完全重构，某些编码图片就可以被用作参考图片以供在将来预测中使例如，一旦与当前图片对应的编码图片被完全重构，并且该编码图片(通过例如解析器[0080]视频解码器(510)可以根据诸如ITU-TH.265建议书的标准中的预定的视频压缩大小等。在一些情况下，由级别设置的限制可以通过假想参考解码器(Hypothetical据可以被包括为(一个或多个)编码视频序列的一部分。附加数据可以由视频解码器(510)使用以对数据进行适当解码以及/或者更准确地重构原始视频数据。附加数据可以呈例如[0082]图6示出了根据本公开内容的实施方式的视频编码器(603)的框图。视频编码器视频编码器(603)可以代替图4的示例中的视频编码器(403)使分)接收视频样本，视频源(601)可以捕获要由视频编码器(603)进行编码的(一个或多个)[0084]视频源(601)可以提供要由视频编码器(603)进行编码的呈数字视频样本流形式[0085]根据实施方式，视频编码器(603)可以实时地或者在应用所需的任何其他时间约束下将源视频序列的图片编码并压缩成编码视频序列(643)。施行适当的编码速度是控制创建样本数据(因为在所公开的主题中所考虑的视频压缩技术中，符号与编码视频比特流考图片样本。参考图片同步性的这种基本原理(以及在例如由于信道误差而无法维持同步此可以不在本地解码器(633)中完全实现视频解码器(510)的包括缓冲存储器(515)和解析[0088]在实施方式中，除了存在于解码器中的解析/熵解码之外的任何解码器技术以相作该输入图片的(一个或多个)预测参考的(一个或多个)参考图片的像素块之间的差异进编码视频数据可以在视频解码器(图6中未示出)处被解码时，重构的视频序列通常可以是源视频序列的带有一些误差的副本。本地视频解码器(633)复制可以由视频解码器对参考图片执行的解码处理，并且可以使重构的参考图片存储在参考图片缓存(634)中。以此方[0093]所有以上提及的功能单元的输出可以在熵编码器(645)中经受熵编码。熵编码器储装置的硬件/软件链路。传输器(640)可以将来自视频编码器(603)的编码视频数据与要[0096]帧内图片(I图片)，其可以是可以在不将序列中的任何其他图片用作预测源的情[0097]预测性图片(P图片)，其可以是可以使用利用至多一个运动矢量和参考索引来预测每个块的样本值的帧间预测或帧内预测进行[0098]双向预测性图片(B图片)，其可以是可以使用利用至多两个运动矢量和参考索引性图片可以使用多于两个参考图片和相关联元数据以用于单个块[0100]视频编码器(603)可以根据诸如ITU-TH.265建议书的预定的视频编码技术或标[0101]在实施方式中，传输器(640)可以连同编码视频一起传输附加数据。源编码器[0102]视频可以按时间序列被捕获为多个源图片(视频图片)。帧内图片预测(通常被简过被称作运动矢量的矢量对当前图片中的块进行编码。运动矢量指向参考图片中的参考使用两个参考图片，例如按解码次序均在视频中的当前图片之前(但按显示次序可能分别在过去和将来)的第一参考图片和第二参考图片。可以通过指向第一参考图片中的第一参考块的第一运动矢量和指向第二参考图片中的第二参考块的第二运动矢量对当前图片中预测的预测。例如，根据HEVC标准，将视频图片序列中的图片分割成编码树单元(coding两个色度CTB。每个CTU可以被递归地以四叉树分成一个或多个编码单元(codingunit，并且将处理块编码到作为编码视频序列的一部分的编码图片中。在示例中，视频编码器[0107]在HEVC示例中，视频编码器(703)接收处理块例如8×8样本的预测块等的样本值器(703)可以使用帧内预测技术将处理块编码到编码图片中；而在将以帧间模式或双向预测模式对处理块进行编码的情况下，视频编码器(703)可以分别使用帧间预测或双向预测[0108]在图7的示例中，视频编码器(703)包括如图7所示的耦接在一起的帧间编码器示例中，帧内编码器(722)还基于帧内预测信息和同一图片中的参考块计算帧内预测结果[0111]总体控制器(721)被配置成确定总体控制数据并且基于总体控制数据来控制视频制信号提供至开关(726)。例如，当所述模式是帧内模式时，总体控制器(721)控制开关(726)以选择帧内模式结果以供残差计算器(723)使用，并且控制熵编码器(72体控制器(721)控制开关(726)以选择帧间预测结果以供残差计算器(723)使用，并且控制熵编码器(725)以选择帧间预测信息并且将所述帧间预测信息包[0112]残差计算器(723)被配置成计算所接收的块与选自帧内编码器(722)或帧间编码变换系数。在各种实施方式中，视频编码器(703)还包括残差解码器(728)。残差解码器(728)被配置成执行逆变换，并且生成解码残差数据。解码残差数据可以由帧内编码器间预测信息来生成解码块，以及帧内编码器(722)可以基于解码残差数据和帧内预测信息(810)被配置成接收作为编码视频序列的一部分的编码图片，并且对[0115]在图8的示例中，视频解码器(810)包括如图8所示的耦接在一起的熵解码器[0116]熵解码器(871)可以被配置成根据编码图片来重构某些符号，这些符号表示构成(872)或帧间解码器(880)使用以进行预测的某些样本或元数据的预测[0117]帧间解码器(880)被配置成接收帧间预测信息，并且基于帧间预测信息生成帧间[0118]帧内解码器(872)被配置成接收帧内预测信息，并且基于帧内预测信息生成预测[0119]残差解码器(873)被配置成执行逆量化以提取去量化的变换系数，并且处理所述信息(以包括量化器参数(QuantizerParameter，QP))，并且所述信息可以由熵解码器[0120]重构模块(874)被配置成在空间域中将由残差解码器(873)输出的残差与预测结以使用执行软件指令的一个或更多个处理器来实现视频编码器(403)、(603)和(603)以及[0122]本公开内容描述了与神经图像压缩技术和/或神经视频压缩技术相关的视频编码自适应在线训练，例如用于基于神经网络的端到端(E2E)优化的图像编码框架的NIC方法。[0124]示例性NIC框架或系统可以描述如下。NIC框架可以使用输入图像x作为神经网络编码器(例如，基于诸如DNN的神经网络的编码器)的输入来计算可以紧凑以例如用于存储络的解码器)可以使用压缩表示作为输入来重构输出图像(也称为重构图像)灭。在各种实施方式中，输入图像x和重构图像灭在空间域中，并且压缩表示在与空间域不同的域实现重构图像灭的失真损失D(X,习与具有权衡超参数λ的紧凑表示的比特消耗R之间的[0127]神经网络(例如，ANN)可以从示例中学习执行任务，而无需针对特定任务进行编置可以通过使用可以迭代调整权重和/或偏置的示例训练ANN来获得。配置有确定的权重执行的2D卷积在卷积核(也称为滤波器或通道，例如5×5矩阵)与到卷积层的输入信号(例[0134]在各种实施方式中，CNN具有以下益处。CNN中的许多可学习参数(即要训练的参[0136]池化层可用于通过将来自一层中的多个节点的输出组合到下一层中的单个节点的特征可以例如通过取平均池中的平均值或最大池中的最大值来独立地下采样(或池化)[0138]池化层可以减小表示的大小，从而减少参数的数量、内存占用以及CNN中的计算θ1)式2[0146]主解码器网络(915)可以对(921)、量化器(922)、熵编码器(923)、熵解码器(924)和超解码器(925)。上下文模型NN(916)和超神经网络的数据可以通过熵参数NN(917)来组合。熵参数NN(917)NN(916)中。在解码器侧，来自熵解码器(914)的经量化的潜在被馈送至上下文模型NN[0153]来自上下文模型NN(916)的输出ocm，i和来自超解码器(925)的输出ohc被馈送至熵θ4)式5差(如果在熵参数NN(917)中使用偏差)。熵参数NN(917)的输出oep可以用于确定(例如，调[0156]下面可以描述第二子NN(952)。潜在y可以被馈送至超编码器(921)中以生成超潜θ5)式6器(923)使用无损压缩对经量化的潜在进行压缩，以生成诸如来自超神经网络的编码比边信息可以在编码比特流中例如与编码图像(931)改图9中所示的一个或更多个部件以及/或者包括图9中未示出的一个或更多个部件。在示NIC框架包括NIC框架(900)中除熵编码器(923)和熵解码器(924)之外的部[0167]图10示出了根据本公开内容的实施方式的主编码器网络(911)的示例性CNN。例图10中所示的一个或更多个层可以被修改和/或省略。可以将另外的层添加到主编码器网[0168]图11示出了根据本公开内容的实施方式的主解码器网络(915)的示例性CNN。例如，主解码器网络(915)包括三组层，其中每组层包括跟随有IGDN层的去卷积层5x5c192编码器(921)包括跟随有泄漏ReLU的卷积层3x3c192s1，跟随有泄漏ReLU的卷积层5x5解码器(925)包括跟随有泄漏ReLU的去卷积层5x5c192s2、跟随有泄漏ReLU的去卷积层5x5c288s2以及去卷积层3x3c384s1。图13中所示的一个或更多个层可以被修改和/或[0171]图14示出了根据本公开内容的实施方式的上下文模型NN(916)的示例性CNN。例参数NN(917)包括跟随有泄漏ReLU的卷积层1x1c640s1、跟随有泄漏ReLU的卷积层1x1网络)来实现NIC框架(900)中的一个或更多个部件(例如，(911)、(915)、(916)、(917)、[0174]包括神经网络(例如，CNN)的NIC框架(900)可以被训练以学习神经网络中使用的码器网络(915)中的卷积核中使用的权重和偏差(如果在主解码器网络(915)中使用偏差)、型NN(916)中的卷积核中使用的权重和偏差(如果在上下文模型NN(916)中使用偏差)以及熵参数NN(917)中的卷积核中使用的权重和偏差(如果在熵参×5的卷积核和192个通道。因此，在主编码器网络(911)中的卷积核中使用的权重数量为19200(即，4×5×5×192)。主编码器网络(911)中使用的参数包括19200权重和可选的偏上下文模型NN(916)和熵参数NN(917)中的一个或更多个。至少一个部件可以被单独训练。和/或包括残差数据的残差图像)可以被划分成具有合适大小的块，并且这些块和/或图像式1中的权衡超参数λ可以用于优化联合R-D损失L，其中作为λD和R的总和的L可以被优化。经网络(例如，编码DNN)以及诸如要在解码器侧使用的视频解码器的解码神经网络(例如，解码DNN)。在示例中，参照图9，编码神经网络可以包括主编码器网络(911)、超编码器视频解码器可以包括基于NN和/或不基于NN的其码神经网络在训练过程中基于反向传播梯度以E2E方式置成将输入图像x编码成要在比特流中传输的编码图像(931)。视频编码器可以包括NIC框(917)、熵解码器(924)和超解码器(925)。参照图16A至图16B，在编码器解码器(1600B)可以接收编码图像(931)和编码比特(932)并对编码图像(931)和编码比特[0188]图17至图18分别示出了根据本公开内容的实施方式的示例性视频编码器(1700)和相应的视频解码器(1800)。参照图17，编码器(1700)包括主编码器网络(911)、量化器[0189]如上所述，可以基于训练图像的集合中的图像和/或块来训练包括视频编码器和训练的视频编码器和视频解码器对一个或更多个图像进行编码和解码会导致相对较差的[0190]为了区分基于训练图像的集合的训练过程和基于要压缩(例如，编码)和/或传输的一个或更多个图像的内容自适应在线训练过程，通过训练图像的集合训练的NIC框架或预训练的视频解码器中的参数分别被称为NIC预训练参数、编码器预训练参数和解码器[0191]内容自适应在线训练过程可以被称为微调过程并且在下面进行描述。预训练的NIC框架(900)中的NIC预训练参数中的一个或更多个预训练参数可以基于要编码和/或传练图像的集合。可以通过基于一个或更多个图像对联合R-D损失L进行优化来微调NIC预训参数的第一子集和一个或更多个替换参数的[0193]一个或更多个预训练参数的第一子集在预训练的视频编码器中被使用并且例如[0194]在解码器侧，一个或更多个预训练参数的第二子集被用在预训练的视频解码器练上下文模型NN(916)中的N1个预训练参数和预训练主解码器网络(915)中的N2个预训练中的N1个预训练参数可以被N1个对应替换参数替换，使得预训练的视频编码器(1600A)可个预训练参数可以被N2个对应替换参数替换，将预训练上下文模型NN(916)更新为更新后的上下文模型NN(916)，并将预训练主解码器网络(915)更新为更新后的主解码器网络数可以被N2个对应替换参数替换，这将预训练主解码器网络(915)更新为更新后的主解码器网络(915)。因此，预训练的视频解码器(1600B)可以被更新为更新后的视频解码器以被一个或更多个替换参数替换，使得预训练的视频编码器(1600A)可以被更新为更新后的视频编码器(1600A)。预训练主编码器网络(911)也被更新为更新后的主编码器网络像进行编码相比，可以通过使用更新后的视频编码器和/或更新后的视频解码器对一个或[0203]内容自适应在线训练方法可以用作用于提高预训练E2ENIC压缩方法的压缩性能的视频编码器和/或解码器侧的更新后的视频解码器可以用于对单个输入图像和可选的其的视频编码器和/或解码器侧的更新后的解码器可以用于对多个输入图像和可选的其他输入图像进行编码。神经网络更新信息可以与编码后的多个输入图像一起被编码到比特流[0206]速率损失R可以随着神经网络更新信息在比特流中的信号发送而增加。当一个或速率损失R的第一增加用于指示由于每个图像的神经网络更新信息的信号发送而导致的速入图像被用信号发送并且被多个输入图像共享，并且速率损失R的第二增加被用于指示由于每个图像的神经网络更新信息的信号发送而导致的速率损失R的增加。因为神经网络更新信息由多个输入图像共享，所以速率损失R的第二增加可以小于速率损失R的第一增加。且预训练的NIC框架(900)的其他部件超解码器(925)。可以根据预训练的NIC框架(900)中的部件中的哪些部件被更新来更新预并且因此预训练的上下文模型NN(916)被更新而剩余部件(911)、(915)、(921)、(917)和码器包括预训练的上下文模型NN(916)，并且因此预训练的视频编码器和预训练的视频解[0212]如上所述，在示例中，要更新的一个或更多个预训练参数在预训练的NIC框架NIC框架(900)的预训练的视频编码器和预训练的视频解码器CNN时，权重可以包括卷积核中的元素。可以使用一种或更多种类型的参数来指定神经网的一个或更多个预训练参数包括权重和(一个或更多个)偏置项，并且包括权重和(一个或长和最大步数)。可以将最大迭代次数用作终止微调过程的最大迭代次数的阈值。在示例执行的反向传播计算或梯度下降算法中使用步长。可以使用任何合适的方法来确定步长。且一个或更多个更新参数的第二子集对应于一个或更多个替换参数的第基于上述一个或更多个更新参数与一个或更多个替换参数之间的关系来获得一个或更多[0225]NIC框架可以包括任何类型的神经网络并且使用任何基于神经网络的图像压缩方[0226]与相关的E2E图像压缩方法相比，本公开内容中的内容自适应在线训练方法和装[0227]图19示出了概述根据本公开内容的实施方式的处理(S1900)的流程图。处理(S1900)可以用来对图像诸如原始图像或残差图像进行编码。在各种实施方式中，处理(S1900)由处理电路系统执行，处理电路系统包括例如终端装置(310)、(320)、(330)和码器(1700)的功能的处理电路系统。在示例中，处理电路系统执行(i)视频编码器(403)、(603)和(703)中的一者与(ii)视频编码器(1600A)和视频编码器(1700)中的一者的功能的图9，来自残差计算器的残差数据被组合成图像并被馈送至NIC框架中的主编码器网络[0232]在(S1920)处，可以使用具有至少一个更新的神经网络的视频编码器对一个或更[0234]在(S1930)处，可以将指示一个或更多个替换参数的第二子集的神经网络更新信[0235]在(S1940)处，可以传输包括一个或更多个图像中的编码图像和神经网络更新信像中的一个图像进行编码之外，一个或更多个图像中的其他图像诸如剩余图像在(S1920)[0237]在处理(S1900)的一些示例中，一个或更多个图像中的一个图像由更新的视频编[0238]在一些示例中，神经网络更新信息还指示一个或更多个预训练参数的第二子集DeConv：5×5c3s2的第二信道的卷积核。因此，更新预训练主解码器网络(915)中的者与(ii)视频解码器(1600B)或视频解码器(1800)中的一者的功能的组合。在一些实施方新信息可以对应于要重构的编码图像并且指示与预训练参数中的预训练参数对应的替换神经网络更新信息可以指示用于多个神经网络中的一个或更多个剩余神经网络的更新信个神经网络中的一个或更多个预训练偏置项以及一个或更多个预[0249]在(S2030)处，可以基于替换参数例如通过在神经网络中用替换参数来替换预训[0250]在(S2040)处，可以由更新的视频解码器例如基于更新的神经网络对比特流中的编码图像进行解码。在(S2040)处生成的输出图像可以是具有任何合适尺寸的任何合适图器网络(915)的残差数据和对应的预测结果被馈送至重构模块(874)以新信息对应于要重构的编码图像并且指示与预训练参数中的预训练参数对应的替换参数。包括替换参数的多个替换参数来更新视频解码够由至少一个处理器执行以执行上述用于视频通过处理电路(例如，一个或更多个处理器或一个或更多个集成电路)来实现方法(或实施[0266]本公开内容不对用于编码器(诸如基于神经网络的编码器)、解码器(诸如基于神一个或更多个计算机中央处理单元(centralprocessingunit，CPU)、图形处理单元应当被解释为具有与计算机系统(2100)的示例性实施方式中示出的部件中的任何一个部出)或操纵杆(2105)进行的触