CN119450076A 图像解码方法、图像编码方法、解码器以及编码器 （腾讯科技（深圳）有限公司）

2对当前图像的码流进行解码得到所述当前图像的残差值通过合成变换网络对所述当前图像的变换值进行处理，得到所述当前图像的重建图其中，所述合成变换网络中的一个或多个层为第一上2.根据权利要求1所述的方法，其特征在于，所述合成其中，所述通过合成变换网络对所述当前图像的变换利用所述合成变换网络的前i_1个层，基于所述当前图像的变换值确定所述当前图像利用所述合成变换网络中除前i个层之外的层，基3述第一多头部转置注意力模块的输入特征信息跳跃连接至所述第五连接层，所述第三分第二注意力模块，所述第二注意力模块位于所述合成变换网络中的以下位置的至少一项：用于对所述局部特征信息划分为多个网格并对所述多个网格进行注意力处理得到输出的第三注意力模块，所述第三注意力模块位于所述合成变换网络中的以下位置的至少一项：4其中，所述分析变换网络中的一个或多个层为第一上解码单元，用于对当前图像的码流进行解码得到所述当前重建单元，用于通过合成变换网络对所述当前图像其中，所述合成变换网络中的一个或多个层为第一上其中，所述分析变换网络中的一个或多个层为第一上计算机可读存储介质，所述计算机可读存储介质中存序被所述处理器执行时，实现根据权利要求1至14中任一项所述的方法或根据权利要求15在计算机上运行时，使得计算机执行根据权利要求1至14中任一项所述的方法或根据权利20.一种码流，其特征在于，所述码流为根据权利要5[0007]通过合成变换网络对该当前图像的变换值进行处理，得到该当前图像的重建图6备执行上文涉及的第一方面涉及的解码方法或上文涉得该计算机设备执行上文涉及的第一方面涉及的解码方法或上文涉及的第二方面涉及的方法中涉及的码流或如上文涉及的第二方面[0036]图2是本申请实施例提供的基于深度学习的端到端图像编解码模型的示意性结构7外，本申请提供的方案可结合联合图像专家组人工智能(JointPhotographicExperts8议约定。“协议”可以指编解码领域的任意一种标准协议，本申请对此不做限定。术语 以便于传输以及存储等。可以理解为具有视频或图像进行解码的功能的设备。编码设备110可根据通信标准来调制[0072]信道130可以包括能够将编码后的数据从编码设备110传输到解码设备120的一个或多个媒体和/或装置。信道130可以包括使编码设备110能够实时地将编码后的数据直接9[0074]其中，输出接口113可以包含调制器/解调器(调制解调器)和/或发射器。编码器112经由输出接口113将编码后的数据直接传输到解码设备120。编码后的数据还可存储于(pictureparameterset，PPS)及其它语法结构。SPS可含有应用于一个或多个序列的参[0077]解码设备120包含输入接口121和解码器122。输入接口121可包含接收器及/或调实施例的技术方案不限于图1所示的系统框架，例如本申请的技术还可以应用于单侧的视换值y经过超级编码网络处理，得到待编码数据接着对待编码数据进行四舍五入后再色度分量的变换值和之后再将亮度分量以及色度分量的变换值和作为输入，网络，其网络结构相同且由上至下均依次包括：2个残差块(ResBlock，RB)、反卷积层数形成的单元，残差激活单元用于将输出表述为输入和输入的一个非线性变换的线性叠[0090]值得注意的是，亮度分量采用的合成变换网络中的反卷积层(Deconvolution，DConv)和色度分量采用的合成变换网络中的反卷积层(Deconvolution，DConv)的参数(包w1out[0094]为了进一步提升基于深度学习的端到端的图像/视频编码方案的性能并有效控制前图像的变换值j。[0102]如图6所示，该第一上采样层包括第一卷积层和连接在该第一卷积层之后的像素2C×H×W的特征图转换为一张C×sH×sW的图像。一上采样层，该K个上采样层中的另一部分上采样层为类型与该第一上采样层不同的第二[0109]解码器利用该合成变换网络的前i_1个层，基于该当前图像的变换值确定该当前用的码率越大和/或该合成变换网络的计算复杂度的上限值越大，则该合成变换网络中该用的码率越大和/或该合成变换网络的计算复杂度的上限值越大，则该合成变换网络中该该合成变换网络为第二分量使用的网络时该合成变换网络中各个上采样层的上采样倍数[0139]示例性地，该第一残差块可以是对参考残差块的结构进行简化后得到的残差[0142]本实施例中，该第一残差块可以是对图7所示的参考残差块的结构进行简化后得非局部残差块中模块的数量或简化该参考非局部转置注意力模块将基于查询信息Q得到的输入信息和基于键值信息K得到的输入信息相时，该第一多头部转置注意力模块将转置注意力图A与基于值项信息V得到的输入信息相注意力模块可以将基于该转置注意力信息得到的信息与针对该第一多头部转置注意力模连接层，该第五连接层通过一个连接层(例如图中所示的带R的圆圈)和一个卷积层连接至[0172]在数据处理过程中，该参考多头部转置注意力模块使用1x1卷积聚合像素级别的是一个所有数值为0_1的mask矩阵(可以理解为attentionscore矩阵)，而V表示的是输入将如图13所示的多头部转置注意力模块中的部分或全部分支上的1×1卷积层和3×3卷积置注意力模块可以是：去掉如图13所示的部分卷积层(例如和第六连接层连接的1×1卷积以及该第五分支均依次包括一个第一残差块和一个连接层(例如图中所示的带R的圆圈)；[0180]示例性地，该第一门控前馈网络使用门控机制(gatingmechanism)进行特征提六分支依次包括两个卷积层，该第七分支依次包括两个卷积层和一个激活函数(例如图中络中的部分或全部分支上的1×1卷积层和3×3卷积层替换为上文涉及的第一残差块后得如和第八连接层连接的1×1卷积层)后得六分支仅包括一个第一残差块，该第七分支依次包括一个第一残差块和一个激活函数(例注意力模块可以包括第一多头部转置注意力模块和该参考多头部转置注意力模块之后连单元用于对该局部特征信息划分为多个网格并对该多个网格进行注意力处理得到输出的[0195]示例性地，该窗口注意力单元包括块自注意力(BlockSelfAttention，Block_[0196]示例性地，该网格窗口注意力单元包括网格自注意力(GridSelfAttention，有深度可分离卷积的倒置线性瓶颈单元依次包括串联的第一个卷积层、挤压激励层(即SE[0203]需要说明的是，本申请对该合成变换网络中注意力模块的分布方式不作具体限假设合成变换网络包括4个上采样层，这4个上采样层中的第3个上采样层之后连接有串联假设分析变换网络包括4个上采样层，这4个上采样层中的第3个上采样层之后连接有串联假设合成变换网络包括4个上采样层，这4个上采样层中的第3个上采样层之后连接有并联但不限于：Sigmoid激活函数、Rule激活函数、LeakyReLu激活函数、指数线性单元现矩阵相加(Elementwiseaddition)的连接层(例如图14中所示的带加号的圆圈)、用于实现点积(Elementwisemultiplication)的连接层(例如图16中所示的带黑点的圆圈)、用于实现矩阵乘法(Matrixmultiplication)的连接层(例如图14中所示的带乘号的圆圈)、用于实现重塑(Reshape)的连接层(例如图14中所示的带R的圆圈)以及用于实现激活(例如GELU激活(GELUActivation))处理[0223]利用该分析变换网络的前i_1个层，基于该当前图像的变换值确定该当前图像的该分析变换网络为第二分量使用的网络时该分析变换网络中各个上采样层的上采样倍数元用于将针对该第二注意力模块输入的特征信息划分为多个子块并对该多个子块进行注[0249]利用该合成变换网络的前i_1个层，基于该当前图像的变换值确定该当前图像的该合成变换网络为第二分量使用的网络时该合成变换网络中各个上采样层的上采样倍数元用于将针对该第二注意力模块输入的特征信息划分为多个子块并对该多个子块进行注和其它操作和/或功能分别为了实现解码方[0272]利用该分析变换网络的前i_1个层，基于该当前图像的变换值确定该当前图像的该分析变换网络为第二分量使用的网络时该分析变换网络中各个上采样层的上采样倍数元用于将针对该第二注意力模块输入的特征信息划分为多个子块并对该多个子块进行注和其它操作和/或功能分别为了实现编码方法300等器500中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样体地，本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本申请实施例公开的方法的步骤可以直接体现为硬件译计算机可读存储介质620存储的计算机指令。处理器610是电子设备600的计算核心以及控理器610可以包括但不限于：通用处理器、数字信号处理器(DigitalSignalProcessor，阵列(FieldProgrammableGateArray，FPGA)或者其他可编程逻辑器件、晶体管逻辑器限于：易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器读存储器(ErasablePROM，EPROM)、电可擦除可编程只读存储器(ElectricallyEPROM，步连接动态随机存取存储器(synchlinkDRAM，SLDRAM)和直接内存总线随机存取存储器算机可读存储介质620中的第一计算机指令由处理器610加载并执行相应步骤，为避免重算机可读存储介质620中的第二计算机指令由处理器610加载并执行相应步骤，为避免重计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令