CN116405701B 图像滤波方法、装置、设备及存储介质 （腾讯科技（深圳）有限公司）

块，确定当前图像块的色度分量的目标滤波顺序，目标滤波顺序是通过解码码流或基于N种滤将当前图像块的第一色度分量和第二色度分量2对于所述重建图像中待滤波的当前图像块，确定所述当前图二色度分量的目标滤波顺序，所述目标滤波顺序是通过解码码流或基于N种滤波顺序的滤基于所述目标滤波顺序，将所述当前图像块的第一色度分标滤波顺序是基于所述N种滤波顺序中每一种滤波顺序的第一滤波代价确定的，所述滤波分量输入所述神经网络滤波器中进行滤波时确定的滤波基于所述N种滤波顺序分别对应的第二滤波代价，从所述N6.根据权利要求4所述的方法，其特征在于，7.根据权利要求1_6任一项所述的方法，3个CTU为一个训练单元训练得到，或者所述神经网络滤波器是以预设图像区域为训练单元第二训练顺序，所述第一训练顺序为所述神经网络滤波器的输入中所述第一色度分量在对于所述重建图像中待滤波的当前图像块，确定所述当前图基于所述目标滤波顺序，将所述当前图像块的第一色度分基于所述N种滤波顺序分别对应的第一滤波代价，从所述N基于所述第j个滤波后的图像块和所述当前图像块的原始图像块，确所述基于所述N种滤波顺序分别对应的第一滤波代价，从所述N种滤波4基于所述N种滤波顺序分别对应的第二滤波代价，从所述N顺序确定单元，用于对于所述重建图像中待滤波的当前图像块，确定所滤波单元，用于基于所述目标滤波顺序，将所述当前图顺序确定单元，用于对于所述重建图像中待滤波的当前图像块，确定所的第一色度分量和第二色度分量的目标滤波顺序，所述目标滤波顺序是基于N种滤波顺序滤波单元，用于基于所述目标滤波顺序，将所述当前图所述处理器，用于执行所述计算机程序以实现如上述权利要求1至11或12至16任一项所述计算机程序使得计算机执行如上述权利要求1至11或12至16任一项5和第二色度分量的目标滤波顺序，所述目标滤波顺序是通过解码码流或基于N种滤波顺序和第二色度分量的目标滤波顺序，所述目标滤波顺序是基于N种滤波顺序的滤波代价确定6像块的第一色度分量和第二色度分量的目标滤波顺序，所述目标滤波顺序是基于N种滤波序使得计算机执行上述第一方面至第二方面中任一方面或令使得计算机执行上述第一方面至第二方面中任一方面或其各过解码码流或基于N种滤波顺序的滤波代价确定的，N为大于1的正整数；基于目标滤波顺7标准而操作，所述标准包含ITU_TH.261、ISO/IECMPEG_1Visual、ITU_TH.262或ISO/8频编解码系统100包含编码设备110和解码设备120。其中编码设备用于对视频数据进行编输给解码设备120。信道130可以包括能够将编码后的视频数据从编码设备110传输到解码括一个或多个图像(picture)或图像序列(sequenceofpictures)。码流以比特流的形式联数据可包含序列参数集(sequenceparameterset，简称SPS)、图像参数集(picture9[0061]视频编码器112经由输出接口113将编码后的视频数据直接传输到解码设备120。[0066]显示装置123显示解码后的视频数据。显示装置123可与解码设备120整合或在解可用于对图像进行有损压缩(lossycompression)，也可用于对图像进行无损压缩(losslesscompression)。该无损压缩可以是视觉无损压缩(visuallylossless[0076]帧间预测单元211可用于帧间预测，帧间预测可以包括运动估计(motion成预测块也可以理解为把参考块作为预测块然后再在预测块的基础上处理生成新的预测有8种角度预测模式和1种非角度预测模式，H.265/HEVC扩展到33种角度预测模式和2种非残差单元220可产生CU的残差块，使得残差块中的每一采样具有等于以下两者之间的差的参数(QP)值来量化与CU的TU相关联的变换系数。视频编码器200可通过调整与CU相关联的[0083]重建单元250可将重建后的残差块的采样加到预测单元210产生的一个或多个预像缓存270中的重建后的像素块来对在与CU相同的图像中的其[0086]熵编码单元280可接收来自变换/量化单元230的量化后的变换系数。熵编码单元达同样的信号所需要的码率。常见的统计编码方式有变长编码(VLC，VariableLengthCoding)或者基于上下文的二值化算术编码(CABAC，ContentAdaptiveBinary[0089]视频解码器300可接收码流。熵解码单元310可解析码流以从码流提取语法元内预测模式以基于空间相邻PU的像素块来产生PU的预测块。帧内预测单元322还可根据从码流解析的一个或多个语法元素来确定PU[0092]帧间预测单元321可根据从码流解析的语法元素来构造第一参考图像列表(列表预测单元321可根据PU的一个或多个参考块来产生P单元330可使用与TU的CU相关联的Q[0095]重建单元340使用与CU的TU相关联的残差块及CU的PU的预测块以重建CU的像素[0097]视频解码器300可将CU的重建图像存储于解码图像缓存360中。视频解码器300可预测单元320基于预测信息对当前块使用帧内预测或帧间预测产生当前块的预测块。反量[0101]上述是基于块的混合编码框架下的视频编解码器的基本[0102]在现有的混合编码框架中，视频中的每帧图像往往会先被分割成一定大小的单[0104]本申请涉及的主要技术是基于神经网络的滤波器(NeuralNetworkLoop[0106]在神经网络滤波器的训练过程中，往往以最大编码单元为单位输入色度的UV分元U分量的滤波后的值和最大编码单元V分量的滤波量滤波的学习存在一定相似性。严格规定测试过程中的色度滤波顺序与训练过程保持一量和第二色度分量的目标滤波顺序，其中目标滤波顺序是基于N种滤波顺序的滤波代价确[0111]图7为本申请一实施例提供的图像滤波方法的流程示意图，本申请实施例应用于[0126]在一种示例中，还可以将重建图像的2个CTU或3个CTU等多个CTU作为一个神经网[0129]在一种示例，如图8C所示，预设图像区域包括重建图像的至少一个残缺数量的[0137]下面对解码端确定当前图像块的第一色度分量和第二色度分量的目标滤波顺序[0138]在本申请实施例中，解码端确定目标滤波顺序的具体方式包括但不限于如下几…………当前图像块的第一色度分量和第二色度分量的目标滤波顺序为第一色度分量在前第二色确定出当前图像块的第一色度分量和第二色度分量的目标滤波顺序为第一色度分量在前定当前图像块的第一色度分量和第二色度分量输入神经网络滤波器的目标滤波顺序为第滤波顺序将当前图像块的第一色度分量和第二色度分量输入神经网络滤波器中进行滤波，述N种滤波顺序的具体类型不做限制，例如N种滤波顺序包括上述表1所示的各种滤波顺序色度分量的滤波后的值和当前图像块的原始图像块的第二色度分量，确定第j种滤波顺序[0164]基于上述步骤，编码端可以确定出N种滤波顺序中的每一种滤波顺序对应的第一[0165]在一些实施例中，上述目标滤波顺序为N种滤波顺序中第一滤波代价最小的一种色度分量和第二色度分量的目标滤波顺序包括如下S102_B1[0177]解码端在当前图像中确定出当前图像块的周围已滤波区域后，执行上述S102_B2色度分量输入神经网络滤波器中进行滤波，确定这N种滤波顺序中的每一种滤波顺序对应[0178]本申请实施例对确定周围已滤波区域在第i种滤波顺序下的第i个第二滤波代价滤波后的值。进而基于周围已滤波区域的第一色度分量在该第i种滤波顺序下的滤波后的神经网络滤波器对周围已滤波区域的第一色度分量和第二色度分量进行滤波时的计算代值，为了便于描述，将周围已滤波区域的第一色度分量在该第i种滤波顺序下的滤波后的域的第二色度分量的滤波后的值和周围已滤波区域的第二色度分量，确定第i种滤波顺序[0187]再例如，第二滤波代价包括计算代价和失真代价，则解码端基于第i种滤波顺序种滤波顺序对应的失真代价和计算代价之和或加权和，确定为第i种滤波顺序对应的第二[0190]例如，将N种滤波顺序中第二滤波代价最小的一种滤波顺序，确定为目标滤波顺一色度分量和第二色度分量输入神经网络滤波器时，第二色度分量位于第一色度分量之和第二滤波顺序中第二滤波代价最小的一个滤波顺序确定为[0201]在一些实施例中，上述神经网络滤波器是以至少一个CTU为一个训练单元训练得络滤波器进行训练。上述预设图像区域的相关描述可以参照上述预设图像区域的相关描[0203]在一些实施例中，神经网络滤波器的色度分量的训练顺序为N种训练顺序中的任在前U分量在后的滤波顺序，将当前图像块的周围已滤波区域的U分量和V分量输入神经网量在前U分量在后的滤波顺序，将当前图像块的周围已滤波区域的U分量和V分量输入神经周围已解码区域在其他滤波顺序下的第二滤波代价，这样可以确定出N种滤波顺序中每一滤波器中进行滤波，得到当前图像块的第一色度分量的滤波值和第二色度分量的滤波值，其中当前图像块的第一色度分量的滤波值和第二色度分量的滤波值构成当前图像块的色滤波器中进行滤波，得到当前图像块的第一色度分量的滤波值和第二色度分量的滤波值，其中当前图像块的第一色度分量的滤波值和第二色度分量的滤波值构成当前图像块的色前图像块的第一色度分量和第二色度分量的目标滤波顺序，该目标滤波顺序是基于N种滤准确确定的目标滤波顺序将当前图像块的第一色度分量和第二色度分量输入神经网络滤[0234]在一种示例中，还可以将重建图像的2个CTU或3个CTU等多个CTU作为一个神经网[0237]在一种示例，如图8C所示，预设图像区域包括重建图像的至少一个残缺数量的[0245]下面对编码端确定当前图像块的第一色度分量和第二色度分量的目标滤波顺序[0246]在本申请实施例中，编码端确定目标滤波顺序的具体方式包括但不限于如下几图像块的第一色度分量和第二色度分量的目标滤波顺序包括如下S202_A1和S202_A2的步色度分量和第二色度分量输入神经网络滤波器中进行滤波，确定这N种滤波顺序中的每一[0251]本申请实施例对确定当前图像块在第j种滤波顺序下的第j个第一滤波代价的具度分量在该第j种滤波顺序下的滤波后的值，确定该第j种滤波顺序对应的第一滤波代价。分量在该第j种滤波顺序下的滤波后的值记为当前图像块的第块的第二色度分量的滤波后的值和当前图像块的原始图像块的第二色度分量，确定第j种[0260]再例如，第一滤波代价包括计算代价和失真代价，则编码端基于第j种滤波顺序下，当前图像块的第一色度分量的滤波后的值和当前图像块的原始图像块的第一色度分[0263]例如，将N种滤波顺序中第一滤波代价最小的一种滤波顺序，确定为目标滤波顺波顺序中第一滤波代价最小的一个滤波顺序确定为目[0271]在一些实施例中，上述神经网络滤波器是以至少一个CTU为一个训练单元训练得络滤波器进行训练。上述预设图像区域的相关描述可以参照上述预设图像区域的相关描[0273]在一些实施例中，神经网络滤波器的色度分量的训练顺序为N种训练顺序中的任像块的U分量和V分量输入神经网络滤波器NNLF中进行滤波，输出当前图像块的U分量的滤图像块的U分量和V分量输入神经网络滤波器NNLF中进行滤波，输出当前图像块的U分量的周围已编码区域在其他滤波顺序下的第一滤波代价，这样可以确定出N种滤波顺序中每一色度分量和第二色度分量的目标滤波顺序包括如下S202_B1[0294]编码端在当前图像中确定出当前图像块的周围已滤波区域后，执行上述S202_B2色度分量输入神经网络滤波器中进行滤波，确定这N种滤波顺序中的每一种滤波顺序对应[0295]本申请实施例对确定周围已滤波区域在第i种滤波顺序下的第i个第二滤波代价滤波后的值。进而基于周围已滤波区域的第一色度分量在该第i种滤波顺序下的滤波后的神经网络滤波器对周围已滤波区域的第一色度分量和第二色度分量进行滤波时的计算代值，为了便于描述，将周围已滤波区域的第一色度分量在该第i种滤波顺序下的滤波后的域的第二色度分量的滤波后的值和周围已滤波区域的第二色度分量，确定第i种滤波顺序[0304]再例如，第二滤波代价包括计算代价和失真代价，则编码端基于第i种滤波顺序种滤波顺序对应的失真代价和计算代价之和或加权和，确定为第i种滤波顺序对应的第二[0307]例如，将N种滤波顺序中第二滤波代价最小的一种滤波顺序，确定为目标滤波顺滤波器中进行滤波，得到当前图像块的第一色度分量的滤波值和第二色度分量的滤波值，其中当前图像块的第一色度分量的滤波值和第二色度分量的滤波值构成当前图像块的色滤波器中进行滤波，得到当前图像块的第一色度分量的滤波值和第二色度分量的滤波值，其中当前图像块的第一色度分量的滤波值和第二色度分量的滤波值构成当前图像块的色前图像块的第一色度分量和第二色度分量的目标滤波顺序，该目标滤波顺序是基于N种滤前图像块的第一色度分量和第二色度分量的目标滤波顺序，目标滤波顺序是基于N种滤波述N种滤波顺序中每一种滤波顺序的第一滤波代价确定的，所述滤波顺序的第一滤波代价[0329]在一些实施例中，所述目标滤波顺序为所述N种滤波顺序中第一滤波代价最小的滤波顺序为所述神经网络滤波器的输入中所述第一色度分量在前，所述第二色度分量在[0335]在一些实施例中，所述神经网络滤波器是以至少一个CTU为一个训练单元训练得[0336]在一些实施例中，所述神经网络滤波器的色度分量的训练顺序为N种训练顺序中实施例，并且装置中的各个模块的前述和其它操作和/或功能分别为了实现解码器对应的图像块的第一色度分量和第二色度分量的目标滤波顺序，所述目标滤波顺序是基于N种滤滤波顺序为所述神经网络滤波器的输入中所述第一色度分量在前，所述第二色度分量在[0353]在一些实施例中，所述神经网络滤波器是以至少一个CTU为一个训练单元训练得[0354]在一些实施例中，所述神经网络滤波器的色度分量的训练顺序为N种训练顺序中训练顺序为所述神经网络滤波器的输入中所述第一色度分量在前，所述第二色度分量在并且装置中的各个