CN119484817A 滤波及编解码方法、装置、计算机可读介质及电子设备 （腾讯科技（深圳）有限公司）

202111144705.72021.09.28本申请的实施例提供了一种滤波及编解码的亮度分量重建图像和所述已编码图像对应的述色度分量信息生成深度学习滤波器的输入参数；将所述输入参数输入至所述深度学习滤波2获取已编码图像对应的亮度分量重建图像和所述已编码图像根据所述亮度分量重建图像和所述色度分量信息生成深度学习滤将所述输入参数输入至所述深度学习滤波器，得到所述深度学习滤波所述已编码图像对应的色度分量滤波前图像、所述已编码图像对应的将所述色度分量信息进行上采样处理，得到与所述亮度分量重建图像将所述亮度分量重建图像与上采样处理后的色度分量信息进行图层将所述色度分量信息进行上采样处理，得到与所述亮度分量重建图像对所述亮度分量重建图像与上采样处理后的色度分量滤波前图像进对所述已编码图像对应的亮度分量预测图像与上采样处理后的色度分量预测图像进对所述已编码图像对应的亮度分量块划分信息与上采样处理后的色度分量块划分信5.根据权利要求1至4中任一项所述的基于3述卷积块注意力单元的输出的叠加结果作为所述残获取已编码图像对应的亮度分量重建图像和所述已编码图像根据所述亮度分量重建图像和所述色度分量信息生成深度学习滤将所述输入参数输入至所述深度学习滤波器，得到所述深度学习滤波基于所述已滤波图像生成下一帧图像对应的亮度分量预测图像获取已编码图像对应的亮度分量重建图像和所述已编码图像根据所述亮度分量重建图像和所述色度分量信息生成深度学习滤将所述输入参数输入至所述深度学习滤波器，得到所述深度学习滤波基于所述已滤波图像生成下一帧图像对应的亮度分量预测图像获取单元，配置为获取已编码图像对应的亮度分量重建图像生成单元，配置为根据所述亮度分量重建图像和所述色度处理单元，配置为将所述输入参数输入至所述深度学习滤波器，得到存储装置，用于存储一个或多个程序，当所述一个或多个程序被456深度学习滤波器输出的对应于所述亮度分量重建图所述已编码图像对应的色度分量滤波前图像、所述已编码图像对应的色度分量预测图像、述第一卷积层的输入与所述第二卷积层的输出的叠加结果作为所述残7算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质8[0034]图8A示出了根据本申请的一个实施例的基于亮度分量重建图像和色度分量信息[0035]图8B示出了根据本申请的一个实施例的基于亮度分量重建图像和色度分量信息[0036]图9示出了根据本申请的一个实施例的基于亮度分量重建图像和色度分量信息生[0049]附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对9[0054]举例来说，第一终端装置110可对视频数据(例如由终端装置110采集的视频图片流)进行编码以通过网络150传输到第二终端装置120，已编码的视频数据以一个或多个已[0055]在本申请的一个实施例中，系统架构100可以包括执行已编码视频数据的双向传输的第三终端装置130和第四终端装置140，所述双向传输比如可以发生在视频会议期间。第四终端装置140中的另一终端装置。第三终端装置130和第四终端装置140中的每个终端装置还可接收由第三终端装置130和第四终端装置140中的另一终端装置传输的已编码视间传送已编码视频数据的任何数目的网络，包括例如有线和/或无线通信网络。通信网络[0057]在本申请的一个实施例中，图2示出视频编码装置和视频解码装置在流式传输环[0058]流式传输系统可包括采集子系统213，采集子系统213可包括数码相机等视频源码的视频数据204(或已编码的视频码流204)被描绘为细线以强调较低数据量的已编码的[0060]在本申请的一个实施例中，以国际视频编码标准HEVC(HighEfficiencyVideo码单元)。CTU再往下可以继续进行更加精细的划分，得到一个或多个基本的编码单元CU[0063]变换及量化(Transform&Quantization)：残差视频信号经过DFT(Discrete能有多于一种变换方式可以选择，因此编码端也需要为当前CU选择其中的一种变换方式，编码(VariableLengthCoding，简称VLC)或者基于上下文的二值化算术编码(Content下文索引增量)和ctxIdxStart(contextindexStart，上下文起始索引)即可定位到语法元素所对应的上下文模型。将bin值和分配的概率模型一起送入二元算术编码器进行编码重建图像信号siIX,l一方面输入至帧内模式决策模块和帧内预测模块进行帧内于运动补偿预测的结果s'r[x+mx,y+my]和帧内预测结果得到下一帧的预测图像[0068]上述的环路滤波可以基于CNNLF(ConvolutionalNeuralNetworkL[0069]针对图像的滤波任务，可以针对亮度分量(Y)和色度分量(Cb和Cr)单独训练不同可以通过2个深度学习滤波器分别针对Y分量和{Cb,Cr}分量进行滤波处理；或者可以如方似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方[0075]图7示出了根据本申请的一个实施例的基于深度学习的滤波方法的流程图，该基量重建图像即为已编码图像对应的重建图像中的亮度波器对色度分量重建图像的滤波边界所生成的二值图像；对于滤波前的色度分量重建图采样滤波器比如可以是基于Lanczos(一种将对称矩阵通过正交相似变换变成对称三对角到亮度分量滤波后的图像Y'。中，卷积单元包括卷积层(Convolutionallayer，简称conv)和参数化修正线性单元度分量预测图像和亮度分量块划分信息(即Y分量)和上采样处理后的色度分量重建图像、色度分量预测图像和色度分量块划分信息(即Cb和Cr分量)分别作为一个图层进行合并处信息可以是根据亮度分量块划分结果生成的图像，比如可以包括以下图像中的至少一个：均作为块内所有样点的值所得到的亮度分量分量预测图像与上采样处理后的色度分量预测图像进行合并，并提取合并后的图像特征，[0089]具体可以如图9所示，亮度分量预测图像与上采样处理后的色度分量预测图像合长s＝1)来提取特征；亮度分量块划分信息与上采样处理后的色度分量块划分信息合并后经过卷积单元(卷积单元包括卷积层conv和参数单元(卷积单元包括卷积层conv和参数化修正线性单那么图9所示实施例中可以去掉通过卷积单元对预测图像(Y,Cb,Cr)进行特征提取的部分；如果色度分量信息不包括色度分量块划分信息，那么图9所示实施例中可以去掉通过卷积单元对块划分信息(Y,Cb,Cr)进行特征的输入与卷积块注意力单元的输出的叠加结果每个残差块的结构可以是上述的任意一种。深度学习滤波器的卷积单元包含的卷积层和度分量信息(该色度分量信息根据深度学习滤波器在使用时所用到的参数相匹配)，然后根据亮度分量的样本重建图像和色度分量信息滤波器的输出与亮度分量的样本重建图像对应的期望滤波结果图像之间的损失值来调整[0100]在图7所示的基于深度学习的滤波方法的基础上，本申请实施例中还提出了一种[0101]在步骤S1410中，获取已编码图像对应的亮度分量重建图像和已编码图像对应的[0103]在步骤S1420中，根据亮度分量重建图像和色度分量信息生成深度学习滤波器的[0106]在步骤S1440中，基于亮度分量重建图像的已滤波图像生成下一帧图像对应的亮[0109]在步骤S1510中，获取已编码图像对应的亮度分量重建图像和已编码图像对应的[0111]在步骤S1520中，根据亮度分量重建图像和色度分量信息生成深度学习滤波器的[0114]在步骤S1540中，基于亮度分量重建图像的已滤波图像生成下一帧图像对应的亮像与进行反量化和反变换处理得到的亮度分量重构残差信号再次叠加生成下一帧的亮度所述已编码图像对应的色度分量滤波前图像、所述已编码图像对应的色度分量预测图像、述第一卷积层的输入与所述第二卷积层的输出的叠加结果作为所述残[0138]如图19所示，计算机系统1900包括中央处理单元(CentralProcessingUnit，储部分1908加载到随机访问存储器(RandomAccessMemory，RAM)1903中的程序而执行各器等的输出部分1907；包括硬盘等的存储部分1908；以及包括诸如LAN(LocalArea因特网的网络执行通信处理。驱动器1910也根据需要连接至I/O接口1905。可拆卸介质从其上读出的计算机程序根据需要被安装入存储部分1908。或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以块或者单元的特征和功能可以进一步划分为由多个模块或者单途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知