CN114631119B 多比特率神经图像压缩方法及设备以及存储介质 （腾讯美国有限责任公司）

2022.04.20PCT/US2021/0304132021.05.03WO2022/005594EN2022.01.06多比特率神经图像压缩方法及设备以及存一种多比特率神经图像压缩方法包括基于2执行第一神经网络的第一多个权重与所选择的编码掩码的卷积，以获得第一掩码权更新所述第一多个权重中未被所述编码掩码掩蔽的一个或多个权重，以最小化比特修剪所更新的所述第一多个权重中未被所述编码掩码掩蔽更新所述第一多个权重中未被所述编码掩码和所获得的二进制修剪掩码掩蔽的至少执行第二神经网络的第二多个权重与所选择的解码掩码的卷积，以获得第二掩码权更新所述第二多个权重中未被所述解码掩码掩蔽的一个或多个权重，以最小化比特修剪所更新的所述第二多个权重中未被所述解码掩码掩蔽更新所述第二多个权重中未被所述解码掩码和所获得的二进制修剪掩码掩蔽的至少3至少一个处理器，被配置为读取所述程序代码并按照所第一执行代码，被配置为使得所述至少一个处理器执行第第一编码代码，被配置为使得所述至少一个处理器使用更新所述第一多个权重中未被所述编码掩码掩蔽的一个或多个权重，以最小化比特修剪所更新的所述第一多个权重中未被所述编码掩码掩蔽更新所述第一多个权重中未被所述编码掩码和所获得的二进制修剪掩码掩蔽的至少第二执行代码，被配置为使得所述至少一个处理器执行第第二解码代码，被配置为使得所述至少一个处理器使用更新所述第二多个权重中未被所述解码掩码掩蔽的一个或多个权重，以最小化比特4修剪所更新的所述第二多个权重中未被所述解码掩码掩蔽更新所述第二多个权重中未被所述解码掩码和所获得的二进制修剪掩码掩蔽的至少11.一种存储指令的非瞬时性计算机可读介质，当由至少一个处理器执行所述指令以执行第一神经网络的第一多个权重与所选择的编码掩码的卷积，以获得第一掩码权更新所述第一多个权重中未被所述编码掩码掩蔽的一个或多个权重，以最小化比特修剪所更新的所述第一多个权重中未被所述编码掩码掩蔽更新所述第一多个权重中未被所述编码掩码和所获得的二进制修剪掩码掩蔽的至少5执行第二神经网络的第二多个权重与所选择的解码掩码的卷积，以获得第二掩码权更新所述第二多个权重中未被所述解码掩码掩蔽的一个或多个权重，以最小化比特修剪所更新的所述第二多个权重中未被所述解码掩码掩蔽更新所述第二多个权重中未被所述解码掩码和所获得的二进制修剪掩码掩蔽的至少6[0002]本申请要求于2021年4月28日提交的编号为17/242,874的美国专利申请的优先权组和公司已经关注于使用深度神经网络(DeepNeuralNetworks，DNNs)的基于人工智能(ArtificialIntelligence，AI)的端到端神经图像压缩(NeuralImageCompression，它可以包括训练多个模型实例，所述多个训练实例分别针对比特率和失真(压缩图像的质量)之间的每个期望的权衡。所有这些多个模型实例可能需要被存储和部署在解码器侧以[0006]根据实施例，多比特率神经图像压缩设备包括至少一个存储器和至少一个处理述第一执行代码被配置为使得所述至少一个处理器执行第一神经网络的第一多个权重与7[0018]本发明描述了一种用于使用多比特率神经图像压缩(NIC)框架来压缩输入图像的[0024]云计算环境122包括托管平台120的环境。云计算环境122可以提供不需要关于托管平台120的(一个或多个)系统和/或(一个或多个)设备的物理位置和配置的计算、软件、8[0027]应用124-1包括可以提供给用户设备110和/或平台120或由用户设备110和/或平台120访问的一个或多个软件应用。应用124-1可以消除在用户设备110上安装和执行软件或多个其他应用124-1发送信息/从一个或多个其他应用1[0029]虚拟化存储器124-3包括在计算资源124的存储系统或设备内使用虚拟化技术的[0030]管理程序124-4可以提供硬件虚拟化技术，该硬件虚拟化技术允许多个操作系统[0031]网络130包括一个或多个有线和/或无线网络。例如，网络130可以包括蜂窝网络9存储供处理器220使用的信息和/或指令的另一类型的动态或静态存储设备(例如，闪速存[0037]输入部件250包括允许设备200例如经由用户输入接收信息的部件(例如，触摸屏使得设备200能够例如经由有线连接、无线连接或有线连接和无线连接的组合与其他设备通信。通信接口270可以允许设备200从另一设备接收信息和/或向另一设备提供信息。例存储设备内的存储器空间或分布在多个物理存储设备上[0040]软件指令可经由通信接口270从另一计算机可读介质或从另一设备而被读入存储以使用硬连线电路来代替软件指令或者与软件指令结合来执行本公开描述的一个或多个[0043]本公开提出了用于学习和部署仅一个NIC模型实例的多比特率NIC框架，该NIC模[0044]图3是根据实施例的在测试阶段用于多比特率神经图像压缩的测试设备300的框试编码器320和测试解码器330使用的方法(量化和熵编码)没有任to-noiseratio，PSNR)和/或结构相似性指数测量(structuralsimilarityindex[0054]利用大的超参数λ的训练导致具有更小失真但更多比特消耗的压缩模型，反之亦[0055]在实施例中，多比特率神经图像压缩方法和设备使用NIC网络的一个单一训练的模型实例，并且使用一组二进制掩码来引导NIC模型实例生成不同的压缩表示以及对应的λN表示N个超参数，并且和表示对应于超参数λi的压缩表示和重建图像。和分别表示对应于超参数λi的测试DNN编码器310和测试DNN解码器340的第j层的和d2数h1其输出张量B通过输入张量A与掩码权重的卷积运算来计解码器340仅包括一个具有权重的模型实例。假定输入图像x和目标超参数λi，测试DNN编码器310选择编码掩码的集合以计算掩码权重该掩码权重被测试DNN码器340选择解码掩码的集合以计算掩码权重该掩码权重由测试DNN解码器340用来基于恢复表示y'计算重建图像[0058]可以改变权重或(掩码或亦然)的形状以对应于具有整形权重(reshapedweight)w或'的3D张量，2c223ck1k12k123。[0059]掩码的期望微结构可以被设计成与如何实现卷积运算的基础通用矩阵乘法[0060]目标是学习一组微结构编码掩码和微结构解码掩码掩码和[0063]图4A是根据实施例的在训练阶段用于多比特率神经图像压缩的训练设备400A的[0064]参照图4A，训练设备400A包括权重更新组件410、修剪组件420和权重更新组件[0066]在第一步骤中，权重中分别由掩蔽的权重系数是固定的或设定的。例如，如果掩码中的条目是播，将权重和中剩余的未掩码权重系数更新为更新的权重和[0068]此后，执行微结构权重修剪过程。在该过程中，使用所更新的权重和组件420获得或计算每个微结构块b(用于3D整形权重张量的3D块或用于2D整形权重矩阵的直到达到终止准则。的NIC模型产生失真损失随[0071]然后，权重更新组件430固定所更新的权重和掩蔽的附加未固定权重，并且通过常规的反向传播来更新所更新的权重和中未被掩码或中的任一掩码掩蔽的剩余权重，掩码中的未修剪条目在中被掩蔽时将另外被目在掩码中未被掩蔽。此外，权重更新组件430输出更新的权重和最终更新的权重和是所学习的模型实例的最终输出权重和[0073]图4B是根据实施例的在训练阶段用于多比特率神经图像压缩的训练设备400B的[0075]假设初始权重集合和(例如，根据一些分布随机初始化)的情优化针对超参数λ1的等式⑴的R-D损失来学习模型于三维整形权重张量的3D块或二维整形二维权重矩阵的2D块)，并获得或计算每个微结构和其中，掩码或中的条目为0表示权重f)或中的相应权重被修剪。修剪组件450进一步获得λi+1的修剪掩码和以获得更新的权重为了实现这一目标，在修剪过程中，修剪组件450固定权重和中的权重系数，该权重系数被掩蔽以被掩码和修剪，并继续在排序列表中向下修剪剩余的未被修剪的微块，直至达到超参数λi+1的终止准则。例如，假设验证数据集Sval，具有权重的NIC模型产生失真损失所有这些修剪的微块，并且使用常规反向传播来优化针对超参数λi+1的等式⑴的R-D损失，超参数λ1，…,λN重复上述修剪和权重更新过程，修剪组件450获得修剪掩码的集合并且权重更新组件460更新最终更新的权重修剪掩码修剪掩码和直接用作超参数λi的模型掩码和和模型掩码通对于权重中的权重系数，在掩码和中被掩蔽为1的权重系数是固定的，在掩码和中被掩蔽为1、在掩码和等式⑴的R-D损失，利用常规反向传播来更新这些新填充的权重。这导致更新的权重重复该过程直到最终的权重获取作为最终输出。[0080]在实施例中，修剪和生长(prune-and-grow，PnG)训练框架可用于学习二进制掩[0081]图4C是根据实施例的在训练阶段用于多比特率神经图像压缩的训练设备400C的[0082]参照图4C，训练设备400C包括权重更新组件480、修剪组件485和权重更新组件[0085]在第一步骤中，权重中的权重系数分别被掩码非结构权重稀疏化方法[1](unstructuredweightsparsificationmethod[1])或结构权重修剪方法[2](structuredweightpruningmethod[2])。可以将稀疏正则化损失正则化损失旨在提升权重和中的多个零值权重系数。例如，可以单独处理每收敛。然后，权重更新组件490获得或计算相应的掩码和}，按照：以及即，掩码中在掩码中未输出更新的权重和最终更新的权重和是所k2的平衡取决于微结构的特定设计和对应的硬件式中，可以由与平台120分离或包括平台120的另一设备或一组设备(诸如用户设备110)来[0112]第一执行代码620被配置为使得至少一个处理器执行第一神经网络的第一多个权[0113]第一编码代码630被配置成使得至少一个处理器使用第一掩码权重对输入图像进[0114]第二编码代码640被配置成使得所述至少一个处理器对所获得的编码表示进行编式中，可以由与平台120分离或包括平台120的另一设备或一组设备(诸如用户设备110)来[0129]第一解码代码810被配置为使得至少一个处理器对所获得的压缩表示进行解码，[0131]第二执行代码830被配置为使得至少一个处理器执行第二神经网络的第二多个权[0132]第二解码代码840被配置为使得至少一个处理器使用第二掩码权重对所获得的恢架(prune-and-growtrainingframework)可以用于学习模型实例以及通用和灵活的二进[0139]与先前的E2E图像压缩方法相比，这里描述的实施例可以大大减少部署存储以实[0141]前述公开提供了图示和描述，但不旨在穷举或将实现限制为所公开的精确形合来实现。用于实现这些系统和/或方法的实际专用控制硬件或软件代码不限制实现。因[0144]即使在权利要求书中陈述和/或在说明书中公开了特征的组合，这些组合并不旨具体陈述和/或在说明书中公开的方式组合。虽然下面列出的每个从属权利要求可以仅直