CN119450037A 滤波及编解码方法、装置及电子设备 （腾讯科技（深圳）有限公司）

本申请的实施例提供了一种滤波及编解码申请实施例的技术方案可以在降低神经网络滤2将所述输入参数输入至所述神经网络滤波器，其中，所述神经网络滤波器中第一激活函数层的输出端与所述第二激活函数层的输出端连接至所述第三卷积层的输入其中，所述第一卷积层与所述第二卷积层接收所述输块的两个所述第一卷积层分别为所述第一设定卷积层和所述第二设定卷积层，和/或相邻的两个所述残差块的两个所述第四卷积层分别为所述第一设定卷积层和所述第二设定卷6.根据权利要求3所述的基于神经网络的滤波方法，其特征在于，所述第一卷积层包7.根据权利要求3所述的基于神经网络的滤波方法，其特征在于，所述第一卷积层包括：通过张量分解和分组卷积对卷积核大小为n×n的卷积层进行分解得到的两个子卷积8.根据权利要求3所述的基于神经网络的滤波方法，其特征在于，所述第一卷积层包39.根据权利要求3至8中任一项所述的基于神经网络的滤波所述第四卷积层包括通过张量分解方式对卷积核大小为k×k的卷积层进行分解得到所述第四卷积层包括通过分组卷积对卷积核大小为k×k的卷积层进行分解得到的一所述第四卷积层包括通过深度可分离卷积对卷积核大小为k×k的卷积层进行分解得所述第四卷积层包括通过张量分解和分组卷积对卷积核大小为k×k的卷积层进行分所述第四卷积层包括通过张量分解和深度可分离卷积对卷积核大小为k×k的卷积层浅层特征提取单元，所述浅层特征提取单元单元用于提取所述输入参数的浅层特征信息，并将所述浅层特征信息输入至所述残差单所述神经网络滤波器还包括：分别针对图像亮度分量和图像色度分量的特征映射单征映射单元和针对图像色度分量的特征映射单元分别处理所述所述神经网络滤波器还包括：分别针对图像亮度分量和图像色度分量的特征映射单4将所述输入参数输入至所述神经网络滤波器，其中，所述神经网络滤波器中将所述输入参数输入至所述神经网络滤波器，其中，所述神经网络滤波器中获取单元，配置为获取所述神经网络滤波器输出的针对所述待滤波图像的已滤波图5括交替设置的第一设定卷积层和第二设定卷积层所述第一设定卷积层不同于所述第二设存储器，用于存储一个或多个计算机程序，当所述一个6待滤波图像生成神经网络滤波器的输入参数；将所述输入参数输入至所述神经网络滤波7获取所述神经网络滤波器输出的针对所述待滤一卷积层分别为所述第一设定卷积层和所述第二设定卷积层，和/或相邻的两个所述残差8[0021]所述第四卷积层包括通过张量分解方式对卷积核大小为k×k的卷积层进行分解[0022]所述第四卷积层包括通过分组卷积对卷积核大小为k×k的卷积层进行分解得到[0023]所述第四卷积层包括通过深度可分离卷积对卷积核大小为k×k的卷积层进行分[0024]所述第四卷积层包括通过张量分解和分组卷积对卷积核大小为k×k的卷积层进[0025]所述第四卷积层包括通过张量分解和深度可分离卷积对卷积核大小为k×k的卷特征映射单元和针对图像色度分量的特征映射单元分别处理所述残差图像色度分量的特征映射单元，用于对所述残差单元输出的图像特征信息进行映射处理；其中，针对图像亮度分量的特征映射单元处理针对图像亮度分量的残差单元的输出数据，针对图像色度分量的特征映射单元处理针对图像色度分量的残差9[0070]附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对[0075]举例来说，第一终端装置110可对视频数据(例如由终端装置110采集的视频图片流)进行编码以通过网络150传输到第二终端装置120，已编码的视频数据以一个或多个已[0076]在本申请的一个实施例中，系统架构100可以包括执行已编码视频数据的双向传双向数据传输，第三终端装置130和第四终端装置140中的每个终端装置可对视频数据(例如由终端装置采集的视频图片流)进行编码，以通过网络150传输到第三终端装置130和第四终端装置140中的另一终端装置。第三终端装置130和第四终端装置140中的每个终端装置还可接收由第三终端装置130和第四终端装置140中的另一终端装置传输的已编码视频间传送已编码视频数据的任何数目的网络，包括例如有线和/或无线通信网络。通信网络[0078]在本申请的一个实施例中，图2示出视频编码装置和视频解码装置在流式传输环[0079]流式传输系统可包括采集子系统213，采集子系统213可包括数码相机等视频源码的视频数据204(或已编码的视频码流204)被描绘为细线以强调较低数据量的已编码的[0081]在本申请的一个实施例中，以国际视频编码标准HEVC(HighEfficiencyVideo单元)。CTU再往下可以继续进行更加精细的划分，得到一个或多个基本的编码单元CU[0084]变换及量化(Transform&Quantization)：残差视频信号经过DFT(Discrete能有多于一种变换方式可以选择，因此编码端也需要为当前CU选择其中的一种变换方式，并告知解码端。量化的精细程度通常由量化参数(QuantizationParameter，简称QP)来决编码(VariableLengthCoding，简称VLC)或者基于上下文的二值化算术编码(Content文索引增量)和ctxIdxStart(contextindexStart，上下文起始索引)即可定位到语法元重建图像信号si[x,]一方面输入至帧内模式决策模块和帧内预测模块进行帧内预运动补偿预测的结果s'r[x+mx,y+my]和帧内预测结果得到下一帧的预测图像信[0089]上述的环路滤波可以基于NNLF(NeuralNetworkLoopFilter，基于神经网络的NNLF可以采用L1范数损失函数和/或L2范数损失函数来构建模型的损[0090]为了灵活地分开处理图像的亮度分量和色度分量，基于神经网络的环路滤波器(以下简称神经网络滤波器)也可以使用亮色度分离(SeparationofLumaandChroma，简[0092]在基于神经网络的视频编解码中，相关技术中提出的神经网络滤波器往往基于3[0097]图7示出了根据本申请的一个实施例的基于神经网络的滤波方法的流程图，该基重建图像即为预测图像信号与重构残差信号u'k[x,y]叠加生成的图像信号sis,J]。[0111]需要说明的是：第一激活函数和第二激活函数可以是PReLU(Parametric积层和第二设定卷积层，和/或相邻的两个残差块的两个第四卷积层分别为第一设定卷积卷积层进行分解得到的一个3×1子卷积层和卷积层进行分解得到的一个3×1子卷积层和积核大小为n×n的卷积层进行分解得到的三个子卷积层；第二卷积层的卷积核大小为m×部分被称为深度卷积(depth_wiseconvolution)，随后深度可分离卷积使用1×1卷积核进过张量分解将卷积核大小为n×n且进行分组卷积的卷积层分解为卷积核大小为1×n且进四卷积层包括通过张量分解和分组卷积对卷积核大小为k×k的卷积层进行分解得到的两特征提取单元包括至少一个卷积层，浅层特征提取单元用于提取输入参数的浅层特征信积层也可以是通过张量分解和/或深度可分离卷积、分组卷积进行分解得到的多个子卷积张量分解方式或深度可分离卷积对卷积核大小为r×r的卷积层进行分解得到的两个子卷一个卷积层包含通过张量分解方式和深度可分离卷积对卷积核大小为r×r的卷积层进行元包含使用张量分解对卷积核大小为s×s的卷积层进行分解得到的两个子卷积层；或者，针对特征映射单元包含使用分组卷积对卷积核大小为s×s的卷积层进行分解得到的一个对卷积核大小为s×s的卷积层进行分解得到单元，针对图像亮度分量的特征映射单元处理针对图像亮度分量的残差单元的输出数据，练的输入参数(该输入参数根据神经网络滤波器的使用场景进行调整，即与神经网络滤波经网络滤波器的输出与样本图像对应的期望滤波结果图像之间的损失值来调整神经网络[0134]需要说明的是，图7所示实施例的技术方案可以应用在视频编解码过程中的环路[0135]在图7所示的基于神经网络的滤波方法的基础上，本申请实施例中还提出了一种像信息包含有待滤波的重建图像(reconstruction)、待滤波的重建图像对应的预测图像(prediction)和边界强度(boundarystrength)，以便于为编解码重建图像的滤波提供主波的重建图像的量化参数和失真水平，IPB一个3×3卷积分为一个进行分组卷积的1×3卷积，一个进行分组卷积的3×1卷积和一个1[0163]需要说明的是：图15中所示的中间部分中的Y_Part和UV_Part中包含的各个残差采取同一尾部结构获取亮度的滤波图像和色度的滤波图像；在中间部分的亮色度分离时，部为单支结构。其中，ResBlockT1代表第一残差块，ResBlockT2代表第二残差块，ResBlockT1的第一卷积层为将一个3×3卷积依据CPD原理分解为一个1×3卷积和一个3×1卷积，ResBlockT2的第一卷积层为将一个3×3卷积依据CPD原理分解为一个3×1卷积和一的中间部分由多个根据CPD远离进行分解且使用GC的第一残差块和第二残差块交替排列构成，并且神经网络滤波器的尾部为单支结构。其中，ResBlockT1代表第一残差块，ResBlockT2代表第二残差块，ResBlockT1的第一卷积层为使用CPD和GC将一个3×3卷积分CPD和GC将一个3×3卷积分解得到的进行分组卷积的一个3×1卷积和一个1×3卷积；尾部的中间部分由多个内部根据CPD原理进行交替分解的残差块排列构成，ResBlockT3表示该的中间部分由多个根据CPD进行交替分解且进行GC得到的残差块排列构成，ResBlockT3表示该残差块，即ResBlockT3的第一卷积层为使用CPD和GC将一个3×3卷积分解得到的进行分组卷积的一个1×3卷积和一个3×1卷积，第四卷积层为使用CPD和GC将一个3×3卷积分部为两个分支。其中，ResBlockT1代表第一残差块，ResBlockT2代表第二残差块，ResBlockT1的第一卷积层为将一个3×3卷积依据CPD原理分解为一个1×3卷积和一个3×1卷积，ResBlockT2的第一卷积层为将一个3×3卷积依据CPD原理分解为一个3×1卷积和一的中间部分由多个根据CPD远离进行分解和使用GC的第一残差块和第二残差块交替排列构成，并且神经网络滤波器的尾部为双支结构。其中，ResBlockT1代表第一残差块，ResBlockT2代表第二残差块，ResBlockT1的第一卷积层为使用CPD和GC将一个3×3卷积分CPD和GC将一个3×3卷积分解得到的进行分组卷积的一个3×1卷积和一个1×3卷积；尾部和色度分支分别包含2个3×3卷积层和一个PReL的中间部分由多个内部根据CPD原理进行交替分解的残差块排列构成，ResBlockT3表示该的中间部分由多个根据CPD进行交替分解和GC得到的第三残差块排列构成，ResBlockT3表示该残差块，即ResBlockT3的第一卷积层为使用CPD和GC将一个3×3卷积分解得到的进行分组卷积的一个1×3卷积和一个3×1卷积，第四卷积层为使用CPD和GC将一个3×3卷积分分别为第一设定卷积层和第二设定卷积层，和/或相邻的两个残差块的两个第四卷积层分别为第一设定卷积层和第二设定卷积层；或者同一残差块的第一卷积层为第一设定卷积[0191]第四卷积层包括通过张量分解方式对卷积核大小为k×k的卷积层进行分解得到[0192]第四卷积层包括通过分组卷积对卷积核大小为k×k的卷积层进行分解得到的一[0193]第四卷积层包括通过深度可分离卷积对卷积核大小为k×k的卷积层进行分解得[0194]第四卷积层包括通过张量分解和分组卷积对卷积核大小为k×k的卷积层进行分[0195]第四卷积层包括通过张量分解和深度可分离卷积对卷积核大小为k×k的卷积层[0202]神经网络滤波器还包括：分别针对图像亮度分量和图像色度分量的特征映射单射单元和针对图像色度分量的特征映射单元分别处理残差量的特征映射单元处理针对图像色度分量的残差储部分3008加载到随机访问存储器(RandomAccessMemory，RAM)3003中的程序而执行各扬声器等的输出部分3007；包括硬盘等的存储部分3008；以及包括诸如LAN(LocalArea因特网的网络执行通信处理。驱动器3010也根据需要连接至I/O接口3005。可拆卸介质从其上读出的计算机程序根据需要被安装入存储部分3008。或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以块或者单元的特征和功能可以进一步划分为由多个途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知