CN114450692B 神经网络解码的方法、装置、计算机设备及计算机可读介质 （腾讯美国有限责任公司）

UniversalCompressionAlgorithmforNeuralNetworks.arXiv:1907.1190.2019,2022.05.062022.03.22PCT/US2021/027926202WO2021/216429EN2021.10.28一种神经网络模型解压缩的装置包括处理语法元素与从三维编码树单元(CTU3D)划分的三维编码单元(CU3D)相关联。第一CTU3D可从神经素可指示CU3D基于包括多个深度的3D金字塔结收与3D金字塔结构中的各节点的节点值对应的2从压缩的神经网络表示NNR的比特流中，接收压缩的NNR聚合单元的NNR聚合单元报头中的第一语法元素，所述第一语法元素指示用于处理所述NNR聚合单元中的张量的编码树接收第三语法元素，所述第三语法元素指示是否对所述NNR聚合单元中2.根据权利要求1所述的方法，其中，所述第一语序是沿水平方向的第一光栅扫描顺序，且所述第一语法元素的第二值指示所述CTU扫描顺从所述比特流中接收所述NNR聚合单元报头中的第二语法元素，所述第二语法元素指4.根据权利要求1至3中任一项所述的方法，其中，所述接收与模型相关或与张量相关的第四语法元素，所述第四语法元素指示所述NNR聚合从压缩的神经网络表示NNR的比特流中接收一个或多个第一语法元素，所述第一语法接收与所述3D金字塔树结构中的各节点的节点值对应的第二元素以广度优先扫描顺序从所述比特流中接收，用于扫描所述3D金字塔树结构中的节点；基于所接收的与所述3D金字塔树结构中的各节点的节点值对应的第接收第三语法元素，所述第三语法元素指示用于接收所述第二语法元素的起始深度，3接收第三语法元素，所述第三语法元素指示用于接收所述第二语法元素的起始深度，所述第二语法元素指示所述3D金字塔树结构中的各节点其中，当所述起始深度是所述3D金字塔树结构的最后一个深度且所是与单叉树部分编码和标签树部分编码相关联的对于所述单叉树部分编码，从所述3D金字塔树结构的深度中的倒数对于所述标签树部分编码，从所述3D金字塔树结构的深度中的最后接收与所述CU3D相关联的第四语法元素，所述第四语法元素指示所述使用零值作为所述张量的内核中的第一系数的前向邻居的值，来确在所述比特流中接收一个或多个第五语法元素，所述述神经网络的各层中的张量划分得到的三维编码树单元CTU3D相关联，所述第一语法元素当所述第一语法元素指示与所述CTU3D相关联的金字塔树结构的底部深度处的所有子4在所述比特流中接收与所述神经网络的层相关联的推断所述3D单叉树编码方法的起始深度为所述金字塔树结构的接收在所述比特流中针对在所述底部深度处共享同一父节点的所有子节点编码的统接收在所述底部深度处共享同一父节点的所有子节点的符号及接收在所述底部深度处共享同一父节点的每一组子节点中的响应于所述第一语法元素指示与所述CTU3D相关联的金字塔树结构的底部深度处的所推断所述3D标签树编码方法的起始深度为所述金字塔树结构的根据以下之一对所述金字塔树结构的底部深度处的节点的接收所述金字塔树结构的底部深度处的节点的值，在所述比特流中在所述比特流中基于预定扫描顺序接收所述金字塔树结构的底部深度处的每一个节在所述比特流中基于预定扫描顺序接收所述金字塔树结构的底部深度处的每一个节所述金字塔树结构的底部深度处的每一个节点从压缩的神经网络表示NNR的比特流中，接收压缩的NNR聚合单元的NNR聚合单元报头中的第一语法元素，所述第一语法元素指示用于处理所述NNR聚合单元中的张量的编码树接收第三语法元素，所述第三语法元素指示是否对所述NNR聚合单元中5从压缩的神经网络表示NNR的比特流中接收一个或多个第一语法元素，所述第一语法接收与所述3D金字塔树结构中的各节点的节点值对应的第二元素以广度优先扫描顺序从所述比特流中接收，用于扫描所述3D金字塔树结构中的节点；基于所接收的与所述3D金字塔树结构中的各节点的节点值对应的第述神经网络的各层中的张量划分得到的三维编码树单元CTU3D相关联，所述第一语法元素当所述第一语法元素指示与所述CTU3D相关联的金字塔树结构的底部深度处的所有子至少一个处理器，配置为访问所述计算机程序代码，按照所进行操作以执行根据权利要求1至6中任一项所述的方法、或执行根据权利要求7至16中任6围内，目前命名的发明人的作品以及提交之时不符合现有技术的描述的各方面既未明确、经网络表示(NNR)的比特流中接收压缩的NNR聚合单元的NNR聚合单元报头中的第一语法元[0008]在一个实施例中，第一语法元素的第一值可指示CTU扫描顺序是沿着水平方向的第一光栅扫描顺序，且第一语法元素的第二值指示CTU扫描顺序是沿着竖直方向的第二光7的张量启用CTU块划分。第三语法元素可以是与模型相关的语法元素或者与张量相关的语的语法元素用于指定是否对NNR聚合单元中的张量启用从第一三维编码树单元(CTU3D，3-dimensionalcodingtreeunit)划分的三维编码单元点的广度优先扫描顺序从比特流中接收与3D金字塔树结构中的节点的节点值对应的第二[0012]在一个实施例中，从3D金字塔树结构的深度中的起始深度开始接收第二语法元于非3D金字塔树的解码方法从比特流中解码得到张字塔树结构的最后一个深度且3D金字塔树结构是与单叉树部分编码和标签树部分编码相8字塔树结构的底部深度处的所有子节点是否统一。当第一语法元素指示与CTU3D相关联的[0018]在一个实施例中，可以在比特流中接收与神经网络的层相关联的第二语法元[0021]在一个实施例中，响应于第一语法元素指示与CTU3D相关联的金字塔树结构的底部深度处的所有子节点并非全部统一，可基于三维标签树(3D标签树)编码方法对CTU3D进值，则在比特流中基于预定扫描顺序接收金字塔树结构的底部深度处的每一个节点的符9[0037]图13示出了根据本公开的一些实施例的用于对量化的权重系数的绝对值进行解[0038]图14示出了使用沿着竖直方向的光栅扫描的自适应三维CTU(CTU3D)/三维编码单[0045]本公开的各方面提供用于神经网络模型压缩/解压缩的各种技术。这些技术涉及[0049]图1示出了根据本公开的一个实施例的电子设备(130)的框图。电子设备(130)可经网络模型进行解压缩(或解码)以恢复神经网络模型，且可运行基于神经网络模型的应[0050]在图1的示例中，应用服务器(110)包括耦接在一起的处理电路(120)、存储器为源神经网络模型存储在存储器(115)中。处理电路(120)包括神经网络模型编解码器的形式。压缩神经网络模型可存储在存储器(115)中。应用服务器(110)可通过接口电路[0052]在图1的示例中，电子设备(130)包括耦接在一起的处理电路(140)、高速缓存的形式通过接口电路(131)由电子设备(130)接收。压缩神经网络模型存储在主存储器用服务器(110)接收的压缩神经网络模型进行解码的解码器。在一个示例中，处理电路有相对较小的存储空间，但是与主存储器(160)相比具有快得多的存取速度。在一些示例理电路(140)可访问高速缓存(150)以在应用中使用已恢复的神经网络模型。在另一示例[0057]本公开提供用于压缩神经网络表示(NNR)的技术，可用于对神经网络模型例如深[0061]在一些实施例中，可基于NNR单元的概念来定义在压缩或编码表示中携带神经网络(模型)的比特流的高级语法。NNR单元是用于携带神经网络数据和相关元数据的数据结[0066]图3示出了示例性聚合NNR单元(300)。聚合NNR单元(300)是可以在其有效负载中相关且受益于在单个NNR单元下的聚合。图4示出了示例性NNR比特流(400)。NNR比特流行从左到右进行扫描以及从顶部行到底部行进行扫[0073]图10示出了模型参数集的示例性语法。模型参数集包括ctu_partition_flag。ctu_parition_flag可用于启动或关闭由模型参数集于指示从相应的一个或多个张量划分的CTU或CTU3D的值时，与模型相关的2位max_ctu_dim_flag可用于指定神经网络的权重张量的与模型相启用块划分的值时，与张量相关的2位max_ctu_dim_flag可用于根据下式指定神经网络的[0086]在一个实施例中，与张量相关的最大CTU宽度可与每个卷积张量的内核大小成比多个张量的与CTU相关的(或CTU3D)扫描顺序。例如，与张量相关的语法元素ctu_scan_[0093]图11示出了聚合单元报头的示例性语法，其包括用于一个或多个权重张量的CTU[0094]另外，在行(1102)，可以为一个或多个NNR单元中的每一个接收语法元素quant_bitdepth[i]。quant_bitdepth[i]可指定NNR聚合单元中的每个张量的量化系数的最大位相应的一个或多个张量启用块(CTU)划分的值时，与张量相关的语法元素ctu_scan_order标志放置在nnr_aggregate_unit_header部分(例如，在图11的示例中)。ctu_partition_flag放置在nnr_aggregate_unit内的nnr_model_parameter_set_payload部分。nnr_法以及依赖标量量化(dependentscalarquant[0106]在基线量化方法中，均匀量化可使用固定步长来应用于模型参数张量(或参数张[0108]在依赖标量量化方法中，依赖标量量化可使用固定步长和大小为8的状态转换表分和用于对指数Golomb剩余位进行编码的制语法元素sig_flag指定量化的权重系数是否等于0。如果sig_flag等于1(表示量化的权列包括量化的权重系数的绝对值的一元编码。当量化的权重系数的绝对值大于绝对值大于变量X时，abs_level_greater_X设置为1，一元编码继续；否则，abs_level_greater_X设置为0，一元编码完成。当abs_level__greater_X等于1且变量j小于编码。具体地，变量j重置为0，且X设置为1<<j。可根据量化的权重系数的绝对值减去[0117]图13示出了根据本公开的一些实施例的用于对量化的权重系数的绝对值进行解sig_flag指定量化的权重系数QuantWeight[i]是否不为0(例如，sig_flag为0指示QuantWeight[i]为0)；sign_flag指定量化的权重系QuantWeight[i]是正还是负(例如sign_flag为1指示QuantWeight[i]为负)；abs_level_greater_x[j]指示QuantWeight[i]的绝对水平(absolutelevel)是否大于j+1(例如，一元序列的第一部分)；abs_level_greater_x2[j]包括指数Golomb余数的一元部分(例如，一元序列的第二部分)；以及abs_[0118]根据本公开的一方面，上下文建模(contextmodeling)方法可用于对三个标志型方法对sign_flag使用三个其它上量[R][S][C][K]重新成形为3D张量[RS][C][K]。完全连接层被视为其中R＝S＝1的3D张量[0126]在一个实施例中，可沿着[C][K]平面通过不重叠的较小块(CTU3D)划分3D张量[0127]在一个实施例中，max_ctu3d_height和max_ctu3d_width的值可以在比特流中显式地用信号表示，或者可以隐式地推断得到。在一个示例中，当max_ctu3d_height＝C且[0130]在一个实施例中，对于给定四叉树深度的CU3D，使用以下公式计算这些CU3D的max_cu3d_height/max_cu3d_wid[0133]当max_cu3d_height和max_cu3d_width均小于或等于预定阈值时，达到最大递归[0134]在一个实施例中，基于率失真(RD，rate-distortion)的编码算法决定是否将父[0135]在一个实施例中，基于四叉树结构执行递归CU3D块划分操作，以将CTU3D划分成[0139]图15示出了基于3D金字塔树结构的示例性划分过程。如图15所示，3D八叉树(1505)是树数据结构，其中每个内部节点(1510)恰好具有8个子节点(1515)。3D八叉树三维张量(1520)。在3D八叉树(1505)的最后一个深度处的节点可以是具有2×2×2个系数树位置的节点值1指示对应节点中的码本索引(在使用码本编码方法的情况下)或系数(在使用直接量化编码方法的情况下)不为0。在底部深度处的3D八叉树位置的节点值0指示对处的节点)具有不统一(不同)的值；在除了最后一个深度之外的深度处的3D单叉树位置的节点值0指示其所有子节点(及子节点的子节点，包括在最后一个深度处的节点)具有统一树位置的节点值指示对应CU3D中的码本索引(在使用码本编码方法的情况下)或绝对系数(在使用直接量化编码方法的情况下)的绝对值不为0。在其它深度处的3D标签树位置的节start_depth设置为3D金字塔树结构的最后一个深度且解码器处从3D金字塔树结构的深度中的倒数第二深3D金字塔树的单叉树部分进行编码。3D金字塔树的标签树部分可以在不调节encoding_重建向量(由层的所有重建的神经网络参数给出)在N维向量空间中更密集地聚集(N表示层量化器以及定义用于在两个标量量化器之间进行切换的过程，来实现依赖标量量化的方络参数水平(从点下方-4至4的数字)映射成量化步长Δ的偶数倍。第二量化器Q1将神经网器由按照编码/重建顺序在当前权重参数之前的权重参数水平的奇偶性确定。量化器之间[0190]对于基于3D八叉树的编码方法中表示为Oct_flag的八叉树节点值和表示为sign[0198]在上述计算中，oct[d][z][y][x]表示在深度d处在位置[z][y][x]处的节点值；map[z][y][x]表示在位置[z][y][x]处的量[0199]对于基于3D单叉树的编码方法中表示为nz_flag的非零标志和表示为sign的符[0206]对于基于3D标签树的编码方法，表示为nz_flag的非零标志和表示为sign的符号[0215]对于3D单叉标签树，表示为nz_flag的非零标志和表示为sign的符号的、表示为深度之外的深度开始。如果enable_start_depth＝1，则用信号表示start_depth(或[0228]在一个实施例中，可定义enable_zdep_reorder标志以指示是否允许zdep_array[0230]在基线方法中，权重张量可重新成形为具有[output_channel][input_channel*内核大小]的形状的2D矩阵。同一内核中的系数存储在连续的存储器位置中。当计算sig_flag和sign_flag的上下文时，相邻系数定义为在当前系数之前处理的最后一个系数。例[0237]在一些实施例中，可采用基于统一的编码方法。可对卷积和完全连接层定义flag标志，以指示在底部深度处共享相同父节点的所有子节点是否统一(不共享相同父节[0246]图17示出了根据本公开的一个实施例的CTU划分的解码过程(1700)。过程(1700)[0247]在(S1710)，可以从比特流中接收NNR聚合单元的NNR聚合单元报头中的第一语法元素。第一语法元素可指示用于处理NNR聚合单元中传输的模型参数张量的CTU扫描顺序。一语法元素的第二值可指示CTU扫描顺序是沿着竖直方向的第二语法元素用于指定是否对NNR聚合单元中的张量启用CT[0250]图18示出了根据本公开的一个实施例的3D金字塔编码的解码过程(1800)。过程得到。一个或多个第一语法元素可指示CU3D基于对应于3D金字塔树结构的编码模式来划[0252]在(S1820)，可以以用于扫描3D金字塔树结构中的节点的广度优先扫描顺序从比[0253]在(S1830)，可基于所接收的与3D金字塔树结构中的节点的节点值对应的第二语经网络表示的比特流中从神经网络的层中的张量划分得到。语法元素可指示与CTU3D相关金字塔树结构的底部深度处的节点的统一标志进[0258]在一个实施例中，可接收在底部深度处共享相同父节点的每一组子节点的统一推断3D标签树编码方法的起始深度为金字塔树结构的底可由一个或多个计算机中央处理单元(CPU)、图形处理单元(GPU)等直接执行或通过解释、与计算机系统(2000)的示例性实施例中所示的组件中的任何一个组件或组件的组合相关[0268]输入人机接口设备可包括下述中的一项或多项(每种中仅示出一个)：键盘输出设备可包括触觉输出设备(例如触摸屏(2010)的触觉反馈、数据手套(未示出)或操纵杆(2005)，但也可以是不作为输入设备的触觉反馈设备)、音频输出设备(例如扬声器示器和烟箱(未描绘)来输出2D视觉输出或件狗之类的基于专用ROM/ASIC/PLD的设备(用数据端口或外围总线(2049)的外部网络接口适配器(例如，计算机系统(2000)的USB端[0273]上述人机接口设备、人机可访问的存储设备和网络接口可附接到计算机系统[0274]内核(2040)可包括一个或多个中央处理单元(CPU)(2041)，图形处理单元(GPU)内部非用户可访问的硬盘驱动器、SSD等之类的内部大容量存储器(2047)可通过系统总线(2048)连接。在一些计算机系统中，可以以一个或多个物理插头的形式访问系统总线(2048)或通过外围总线(2049)附接到内核的系统总线(2048)。外围总线的体系结构包括使用高速缓存来进行到任何存储设备的快速存储及检索，该高速缓存可与下述紧密关联：[0276]计算机可读介质可在其上具有用于执行各种由计算机实现的操作的计算机代介质和计算机代码可以是计算机软件领域的技术人员公知存储器(2047)或ROM(2045)。可将实施本公开的各实施例的软件存储在此类设备中并由内或特定过程的特定部分，包括定义存储在RAM(2046)中的数据结构以及根据由软件定义的过程来修改此类数据结构。附加地或替换地，可由于硬连线或以其它方式体现在电路(例[0278]虽然本公开已经描述了多个示例性实施例，但是存在落入本公开的范围内的更[0311]sign[0377]ctu3d_unifo[0378]sign_