CN115002473B 用于视频编解码的分组神经网络的方法以及装置 （联发科技股份有限公司）

201980009758.22019.01.22用于视频编解码的分组神经网络的方法以公开了一种使用分组神经网络(NN)处理的述当前层的所述神经网络处理被分成多个NN处理应用于所述第一输入组以及所述第二输入组来生成用于NN处理的所述当前层的第一输出组2通过使用第一代码映射与所述神经网络处理的当前层有关的第一部分参数集以及使使用与所述神经网络处理的所述当前层有关的所述参数集将所述神经网络处理的所网络处理的所述当前层有关的所述第一部分参数集以及与所述神经网络处理的所述当前其中提供给所述神经网络处理的初始层的初始输入信号对应于视频编码器或视频解经网络的所述一个或多个层的未经神经网络数集对应于使用所述第一代码或所述第二代码对与所述神经网络处理的所述当前层有关数集对应于使用所述第一代码以及所述第二代码对与所述神经网络处理的所述当前层有所述神经网络处理的所述当前层有关的所述第一部分参数集对应于与所述神经网络处理分参数集对应于与所述神经网络处理的所述当前述可变长度码对应于霍夫曼码或n阶指数哥伦布码并且n是大于或315.一种使用神经网络的信号处理的装置，所述神经网络包括神经网络处理的一个或通过使用第一代码映射与所述神经网络处理的当前层有关的第一部分参数集以及使使用与所述神经网络处理的所述当前层有关的所述参数集将所述神经网络处理的所神经网络处理的所述当前层有关的所述第一部分参数集以及与所述神经网络处理的所述其中提供给所述神经网络处理的初始层的初始输入信号对应于视频编码器或视频解经网络的所述一个或多个层的未经神经网络4的方法以及装置的发明专利申请的分案申请。本发明要求于2018年1月26日递交的美国临时专利申请案号62/622,224以及于2018年1月26日递交的美国临时专利申请案号62/622,经网络(biologicalneuralnetwork)相同的某些性能特征的信息处理系统。神经网络系统由许多简单且高度互连的处理组件组成，以通过它们对外部输入的动态响应来处理信[0005]人工神经网络可以使用不同的架构来指定神经网络涉及的变量及其拓扑关系神经网络是更加高级的神经网络，其允许权重调整的反向误差传播(backwarderror[0006]NN可以是深度神经网络(deepneuralnetwork，简称DNN)、卷积神经网络简称RNN)或者其他NN变化。深度多层神经网络或深度神经网络(DNN)对应于具有允许它们经网络(RNN)是一类人工神经网络，其中节点之间的连接沿着序列形成有向图(directed5[0008]高效视频编解码(HEVC)标准是在ITU-T视频编解码专家组(VCEG)以及ISO/IEC移[0009]在HEVC中，一个条带被帧内/帧间预测单元110基于运动估计(MotionEstimation，简称ME)/运动补偿(Motion图像有关的信号减去帧内/帧间预测信号来形成预测误差，也称为残差。本发明中生成帧也由熵编码进行压缩来减少所需要的带宽(bandwidth)。因为重构图像也可以用作为帧间重构单元(REC)128被添加回帧内/帧间预测数据来重构视频数据。本发明中将重构残差添加到帧内/帧间预测信号的处理也称为重构处理。来自于重构处理的输出图像也称为重构图像。为了减少重构图像中的伪影(artefacts)，使用了包括去块滤波器(Deblocking[0011]图1B示出了基于HEVC的示例性适应性帧内/帧间视频解码器。因为编码器还包括成重构残差的处理被称为残差解码处理。用于生成帧内/帧间预测的预测处理也应用于解6用于进一步提高视频质量。例如，如图2A的编码器侧以图2B的解码器侧所示，可以在SAO132后使用ALF210并将来自ALF210的输出存储于帧缓冲器140。对于解码器侧，来自ALF[0013]在不同的图像修复(imagerestoration)以及处理方法中，基于神经网络的方法是近些年来很有希望的一种方法，如深度神经网络(DNN)以及卷积神经网络(CNN)的方法。它已经被应用于各种图像处理应用，例如图像去噪(imagede-nosing)、图像超分辨率等文中，我们建议在一个视频编解码系统中使用CNN作为一种图像修复处理方法来提高主观处理的所述当前层有关的所述参数集将所述神经网络处理的所述当前层应用于所述神经层有关的所述第一部分参数集以及与所述神经网络处理的所述当前层有关的所述第二部经网络处理的初始层的初始输入信号可以对应于所述视频编码器或所述视频解码器中视关的该参数集可以对应于使用所述第一代码以及所述第二代码将与所述神经网络处理的述映射与所述神经网络处理的所述当前层有关的所述参数集对应于使用所述第一代码以及所述第二代码从所述已编码的数据中解码与所述神经网络处理的所述当前层有关的所[0017]与所述神经网络处理的所述当前层有关的所述第一部分参数集对应于与所述神7n阶指数哥伦布码(EGn)并且n是大于或等于0的整数。不同的n用于所述神经网络处理的不完一个层后混合所有层的输出并重新分组，在减少计算复杂度的同时可以实现更好的性[0024]图3示出了将神经网络应用于重构的信号的示例，其中NN的输入是来自重构模块[0025]图4示出了传统神经网络处理的示例，其中先前层中所有通道的输出被用作为当[0026]图5示出了根据本发明实施例的分组神经网络处理的示例，其中L1之前的先前层及L1组B的输出分别用作为L2组A以及L2组B[0027]图6示出了根据本发明另一个实施例的分组神经网络处理的示例，其中L1之前的以及L1组B的输出可以混合以及混合的输出可以用作L2组A以及L[0028]图7示出了根据本发明实施例的用于系统的分组神经网络(NN)处理的示例性流程[0029]图8示出了根据本发明另一实施例的对于NN处理相关的参数集具有不同代码类型8[0032]在本发明中，公开了一种在视频编解码系统中利用CNN作为一种图像修复方法的以及L1组B622的(N/2)输出的一部分来形成L2组A的(N/2)输入(即，630a以及632a的组9可以将具有混合技术的分组应用于层索引被3取余数后等于1和2的那些层，以及可以将传发信参数集。如果CNN用作为后环路滤波，则可以发信该参数集作为补充增强信息[0040]在另一个实施例中，除了可变长度码以及固定长度码外，DPCM(differentialpulsecodedmodulation，差分脉冲码调制)可以用于进一步减少编码信息。在这一方法中的最小值(18)以及最大值(21)。因为差的范围在0与3之间，对最小值(18)以及最大值码发信最小值(18)。通过使用3个比特的固定长度码发信对最小值(18)与最大值(21)之间的差进行编码所需要的比特的数目。可以使用2个比特发信将要编码的系数与最小值之间并且对一个旗标(flag)进行编码来指示在后续编码的比特的参数将被解码并馈送到CNN网络以仅在执行CNN处理时执行[0043]图7示出了根据本发明一个实施例的系统的分组神经网络(NN)处理的示例性流程或处理器。在步骤710中，该方法将用于NN处理的当前层的多个的输入信号作为多个输入[0044]图8示出了根据本发明另一个实施例的系统中的神经网络处理的示例性流程图，过使用第一代码映射与神经网络处理的当前层有关的第一部分参数集以及使用第二代码处理的所述当前层有关的所述参数集将所述神经网络处理的所述当前层应用于所述神经关的所述第一部分参数集以及与所述神经网络处理的所述当前层有关的所述第二部分参[0046]上述所给出的描述能够使本领域技术人员如在特定应用及其需求的上下文所提缩软件的程序代码来执行本文所描述的处理。本发明实施例也可以是在数字信号处理器及语言以及配置代码执行与本发明一致的特定任务的其