CN114616576B 利用对抗生成器进行率自适应神经图像压缩的方法和装置以及非暂态计算机可读介质 （腾讯美国有限责任公司）

2022.04.22PCT/US2021/0422922021.07.20WO2022/020297EN2022.01.27WO2018150083A1,2018.08.23CompressionWithModulatedAutoencoder”.IEEESIGNALPROCESSINGLETTERS.2020,第利用对抗生成器进行率自适应神经图像压公开了一种利用对抗生成器进行率自适应的第一替代特征进行编码，以生成第一编码表2viaNon-LocalAttentionOptCORNELLUNIVERSITYLIBRARY.2019CompressionWithModulatedAutoencoder”.IEEESIGNALPROCESSINGLET3基于所获得的第一特征、使用第二神经网络来生成第一替使用所述第一神经网络的第二部分对所生成的第一替代特征进行编使用所述第一神经网络的第三部分对所获得的第一特征进使用第四神经网络来确定所生成的第一编码表示与所生成的第二编码表示之间的表使用第五神经网络来确定所生成的第一替代特征与所获得的第一特征之间的特征判更新所述第二神经网络、所述第四神经网络和所述第五神经网使用所述第三神经网络的第一部分从解压缩后的使用所述第三神经网络的第二部分对所生成的第二替代使用所述第三神经网络的第三部分对所获得的第二特征进行解使用第五神经网络来确定所重建的第一输出图像与所重建的第二输出图像之间的表4使用第六神经网络来确定所生成的第二替代特征与所获得的第二特征之间的特征判更新所述第四神经网络、所述第五神经网络和所述第六神经网至少一个处理器，其被配置成读取所述程序代码并且按照由行操作以执行根据权利要求1至权利要求7中任一项9.一种存储有指令的非暂态计算机可读介质，所述述至少一个处理器执行根据权利要求1至权利要求7中任一生成模块，其被配置成基于所获得的第一特征、使用第编码模块，其被配置成使用所述第一神经网络的第解码模块，其被配置成使用第三神经网络对解压缩后的表示进行解码，56[0002]本申请基于并且要求于2020年7月21日提交于美国专利商标局的美国临时专利申请第63/054,648号、于2020年7月21日提交于美国专利商标局的美国临时专利申请第63/以及于2021年6月24日提交于美国专利商标局的美国专利申请第17/356,722号的优先权，上述美国临时专利申请和美国专利申请的公开内容通过引用[0004]ISO(InternationalOrganizationforStandardization，ISO)/IEC(InternationalElectrotechnicalCommission，IEC)MPEG(MovingPictureExperts功带来对先进的神经图像和视频压缩方法的越来越并且按照由程序代码所指示的进行操作以执行上述利用对抗生成器进行率自适应神经图7处理器执行以使至少一个处理器执行上述利用对抗生成器进行率自适应神经图像压缩的[0010]与常规的E2E图像压缩方法相比较，根据本申请提供的利用对抗生成器进行率自[0013]图3是根据实施方式的用于利用编码器侧对抗生成器进行率自适应神经图像压缩[0014]图4是根据实施方式的用于利用编码器侧对抗生成器进行率自适应神经图像压缩[0015]图5是根据实施方式的用于利用解码器侧对抗生成器进行率自适应神经图像压缩[0016]图6是根据实施方式的用于利用解码器侧对抗生成器进行率自适应神经图像压缩[0019]图9是根据实施方式的利用对抗生成器进行率自适应神经图像压缩的方法的流程[0020]图10是根据实施方式的用于利用对抗生成器进行率自适应神经图像压缩的装置[0021]本公开内容描述了用于通过具有自适应压缩率的NIC框架来对输入图像进行压缩8[0022]图1是根据实施方式的其中可以实现本文描述的方法、装置和系统的环境100的用户设备110可以从平台120接收信息以及/或者统和/或设备的物理位置和配置。如所示出的，云计算环境122可以包括一组计算资源124或者有线连接和无线连接的组合与其他计算资[0030]应用124-1包括可以提供给用户设备110和/或平台120或者由用户设备110和/或平台120访问的一个或更多个软件应用。应用124-1可以消除在用户设备110上安装和执行计算环境122提供的任何其他软件。在一些实现方式中，一个应用124-1可以经由虚拟机9[0032]虚拟化存储装置124-3包括在计算资源124的存储系统或设备内使用虚拟化技术物理存储的抽取(或分离)，使得可以在不考虑物理存储或异构结构的情况下访问存储系统。分离可以允许存储系统的管理员在管理员如何管理针对终端用户的存储方面的灵活性。文件虚拟化可以消除以文件级别访问的数据与物理地存储文件的位置之间的依赖性。络、第三代(ThirdGeneration，3G)网络、码分多址(CodeDivisionMultipleAccess，AreaNetwork，LAN)、广域网(WideAreaNetwork，WAN)、城域Network，MAN)、电话网络(例如，公共交换电话网络(PublicSwitchedTelephone图形处理单元(GraphicsProcessingUnit，GPU)、加速处理单元(AcceleratedProcessingUnit，APU)、微处理器、微控制器、数字信号处理器(DigitalSignal以及/或者存储供处理器220使用的信息和/或指令的另一类型的动态或静态存储设备(例[0042]设备200可以执行本文描述的一个或更多个处理。设备200可以响应于处理器220执行由非暂态计算机可读介质诸如存储器230和/或存储装置240存储的软件指令来执行这储设备内的存储空间或者分布在多个物理存储设[0043]可以经由通信接口270将软件指令从另一计算机可读介质或从另一设备读取到存线电路系统来代替软件指令或与软件指令组合以执行本文描述的一个或更多个处理。因抗生成器适配锚模型实例或者使用基于注意力的对抗生成器适配锚模型实例来实现其他型的两层之间)的插件部件的紧凑的DNN，并且生成器旨在根据原始NIC模型的特征(例如，计算DNN编码表示y的DNN编码处理；以及然后其中通过测试编码器对y进行编码(通常包括后其中由测试DNN解码器使用恢复的表示来重建图像的DNN解码处理。在本公开内容比(PeakSignal-to-NoiseRatio，PSNR)和/或结构相似性指数测量(Structural[0049]L(X,死,列=D(X,刊)+入R(J)。(1)[0050]利用大的超参数λ进行训练产生具有较小失真但较多比特消耗的压缩模型，而利[0051]在本公开内容中，率自适应NIC框架在编码器侧或解码器侧使用附加的紧凑对抗以通过对抗生成器生成其余的感兴趣的中间R-D权衡值。由于对抗生成器是在存储和计算[0052]图3是根据实施方式的用于利用编码器侧对抗生成器进行率自适应神经图像压缩[0054]替代生成器320是作为可以插入至任何现有NIC模型中的附加部件的对抗生成使用测试DNN编码器310部分1来计算特征f，并且然后f通过DNN编码部分2的模块以使用测试DNN编码器330部分2来计算DNN编码表示j。且测试DNN编码器330部分2包括整个原始测试[0056]利用插入的对抗生成器特征f通过替代生成器320以计算替代特征(可部分2以计算替代特征f的DNN编码表示j。基于9,编码模块使用测试编码器340计算压缩示和重建的输出图像将具有式(1)的在目标λt值情况下的接近最优的R-D损失(即，与通过优化在λt情况下的R-D损失来训练的虚拟模型λo值训练仅一个模型实例，并且通过不同的紧凑生成器——针对每个中间λt一个生成[0059]图4是根据实施方式的用于利用编码器侧对抗生成器进行率自适应神经图像压缩用当前生成器Gi,-a来计算替代特征f(可以用于获得期望压缩率的不同的或增强的特动6(f),并且替代特征f被计算为f=f+i(f)。然后，替代f通过DNN编码部分2的模然后，编码处理使用训练编码器420计算压缩表示J。利用率损失生成器425计算率R(J)。然后，解码模块基于通过使用训练解码器430计算解压缩表示并且DNN解码处理进一步通过使用训练DNN解码器435生成重建的输出图像失真损失生成器440计算重建的与原始输入图像x之间的失真损失率损失与编码表示的比特率有DNN编码表示y。基于和y两者，表示判别算表示判别损失在实施方式中，表示判别损失生成器450是将基于原始特征f生成器450可以是将根据原始特征生成的表示判别为一个类而将根据替代特征生成的表示判别为另一类的二元DNN分类器。此外，基于原始特征f和替代特征f,特征判别损失生成器征判别损失D,(f,f)和表示判别损失权重更新部460将对抗损失A(f,f,j,y)L(x,死,列和A(f,f,j,y),权重更新部460使用梯度通过反向传播优化来的梯度来更新替代生成器410的权重系数，并且使用对抗损失A(f,f,j,y)的梯度来更新特征判别损失生成器455和表示判别损失生成[0067]在本公开内容中，对其中确定模型实例Mo和率损失生成器425的预训练处理没有码进行相同的正向推理计算，以计算编码表示和重建的U。然后，可以计算失真损失和率损失R(J).然后，给定预训练超参数λpre，基于式(1)可以计算总体R-D损失使用总体R-D损失L(X,X,列的梯度以通过反向传播来更新训练DNN编码器分2和训练DNN解码器435与对应的测试DNN编码器310部分1、测试DNN编码器330部分2和测试DNN解码器360相同。但是训练编码器420和训练解码器430与对应的测试编码器340和测[0069]图5是根据实施方式的用于利用解码器侧对抗生成器进行率自适应神经图像压缩[0070]如图5所示，测试装置500包括测试DNN编码器510、测试编码器520、测试解码器j,并且测试DNN解码器560部分2包括整个原始测试DNN解码器。该DNN编码表示y在编码处理中通过测试编码器520被进一步编码以生成压缩表示J。然后，j.抗生成器特征f通过替代生成器550以计算替代特征f,并且f(而不是f)通过DNN解码部分2的模块以由测试DNN解码器560部分2计算重建的输出图像压缩表示和重建λo值训练仅一个模型实例，并且通过不同的紧凑生成器——针对每个中间λt一个生成[0076]图6是根据实施方式的用于利用解码器侧对抗生成器进行率自适应神经图像压缩编码器605计算DNN编码表示j。然后，编码处理使用训练编码器610计算压缩表示J。基于成器通过DNN解码部分2的模块，以通过使用经预训练的模型实例Mo中的训练DNN解码分2来计算重建的输出图像失真损失生成器640计算重建的与原始输入图像x之间的像基于和两者，重建判别损失生成器650通过计算重建判别损失处理来计算重建判别损失在实施方式中，重建判别损失生成器650是将基于原始特征f生成的重建损失生成器650可以是将根据原始特征生成的重建的输出图像判别为一个类而将根据替代特征f,特征判别损失生成器655可以通过计算特征判别损失处理来计算特征判别损失,f,f)和重建判别损失权重更新[0082]基于和权重更新部660使用梯度通过反向传播优化来实施方式中，使用R-D损失L(X,无,列的梯度来更新替代生成对抗损失的梯度来更新特征判别损失生成器655和重建判别损失生成器650的[0084]在本公开内容中，对其中确定模型实例Mo和率损失生成器615的预训练处理没有码进行相同的正向推理计算，以计算编码表示和重建的然后，可以计算失真损失和率损失R(J).然后，给定预训练超参数λpre，基于式(1)可以计算总体R-D损失L(X,死,列),使用总体R-D损失的梯度以通过反向传播来更新训练DNN编码器训练DNN解码器635部分2与对应的测试DNN编码器510、测试DNN解码器540部分1和测试DNN解码器560部分2相同。但是训练编码器610和训练解码器620与对应的测试编码器520和测[0087]基于注意力的对抗生成器是可以在编码器侧(图7A和图7B)或在解码器侧(图7C)插入至任何现有NIC模型中的附加部件，该基于注意力的对抗生成器使用由注意力模型生成的注意力图以自动关注R-D权衡适配期间的重要信息。由于基于注意力的对抗生成器使[0090]当替代生成器710置于编码器侧时，原始NIC模型的原始DNN编码处理可以分为两码表示j。如果将替代生成器710置于整个测试DNN编码器之前([0091]如图7B和图7C所示，测试装置700B或700C包括测试DNN编码器740、测试编码器[0092]当替代生成器760置于解码器侧时，原始NIC模型的原始DNN解码处理可以分为两恢复表示j',并且测试DNN解码器765部分2包括整个原始测试DNN解码器。编码器中第j层与第(j+1)层之间或者测试DNN解码器中第j层与第(j+1)层(j≤i)之间的注器705部分1的第j层的输出和第(j+1)层的输入的特征a通过注意力生成器735以通过使用注意力模型生成注意力图u.然后，特征f和注意力图通过替代生成器710以计算替代特征f,并且f(而不是f)通过DNN编码部分2的模块以通过测试DNN编码器715部分2计算DNN使用测试DNN解码器730计算重建的输出图像压缩表示和重建的输出图像将具有式x，DNN编码处理使用测试DNN编码器740来计算DNN编码表示j,该DNN编码表示y在编码处理[0097]对于图7C中描述的配置，作为测试DNN解码器755部分1的第j层的输出和第(j+1)计算替代特征f,并且f(而不是f)通过DNN解码部分2的模块以通过测试DNN解码器765部分2来计算重建的输出图像压缩表示和重建的输出图像将具有式(1)的在目标λt值意力图将具有与特征f相同的形状，并且注意力图的值越大意味着f中的对应特征越重λo值训练仅一个模型实例，并且通过不同的紧凑生成器——针对每个中间λt一个生成应的训练DNN编码器被划分为2部分：训练DNN编码器802部分1和训练DNN编码器806部分2。征f和注意力图a通过替代生成器804以使用当前生成器计算替代特征f在实施方力掩蔽的输入来计算替代扰动δ(f)。替代特征f被计算为f=f+6(F)。然后，替代f通过DNN编码部分2的模块，以通过使用2来计算DNN编码表示j。然后，编码处理使用训练编码器808计算压缩表示J。利用率损的并且DNN解码处理进一步通过使用训练DNN解码器812生成重建的失真损失生成器818计算重建的与原始输入图像x之间的失真损失率损失R(J与编码表示的[0109]如图8B和图8C所示，训练装置800B或800C包括训练DNN编码器828、训练编码器使用训练编码器830计算压缩表示J。基于J,率损失生成器842计算率损失R(J).然后，在过DNN解码部分1的模块，以使用经预训练的模型实例Mo中的训练DNN解码器834部分1来计入的特征a通过注意力生成器840，以通过使用注意力模型生成注意力图u.利用插入的对抗生成器特征f和注意力图a通过替代生成器836以计算替代特征f.与图8A类基于该注意力掩蔽的输入计算替代扰动δ(f)。替代特征f被计算为f=f+5(F)。然器838部分2来计算重建的输出图像失真损失生成器844计算重建的与原始输入图像x之间的失真损失D(X,月)。率损失R(J)与编码表示的比特率有关，并且在实施方式中，由率损失生成器842使用熵估计方法来计算[0112]对于图8C的配置，作为训练DNN解码器834部分1的第j层的输出和第(j+1)层的输力图和特征f具有相同的形状，并且注意力图和特征f通过例如逐元素乘法进行组合，计算替代扰动δ(f)，并且替代特征f被计算为f=f+(f)。然后，替代f通过DNN解建的输出图像失真损失生成器844计算重建的与原始输入图像x之间的失真损失842使用熵估计方法来计算率损失R(J)。使用感兴趣的目标λt，式(1)的R-D损失可以计算生成器820或846可以是将原始注意力掩蔽的特征判别为一个类而将替代特征判别为另一也可以生成DNN编码表示y。基于和y两者，表失处理来计算表示判别损失Lr($,y)。在实施方式中，表示判别损失生成器824是对基于原判别损失生成器824可以是将根据原始特征生成的表示判别为一个类而将根据替代特征生于原始特征f生成的重建的输出图像与基于替代特征生成的重建的输出图像进行判别为一个类而将根据替代特征生成的重建的输出图像判别为另一Lr($,y),权重更新部826将对抗损失A(f,f,J,y)计算为(α作为超参数)：L(x,无,列和A(f,f,j,y),权重更新部826使用梯度通过反向传播优化的权重系数在上述训练阶段期间是固定的。此外，率损失生成器816也是预先确定且固定的。替代生成器804、特征判别损失生成器820和表示判别损失生成器824的权重系数可由GAN训练框架通过上述训练阶段进行训练和更新。例如，在实施方式中，使用R-D损失度来更新特征判别损失生成器820和表示判别损失生成器824的权重[0119]当生成器如图8B和图8C所示别损失L.R,,权重更新部852将对抗损失计算为(α作为超参数)：[0121]基于L(x,死,列和A(f,f,⃞,列),权重更新部852使用梯度通过反向传播优化来更新DNN模型的可训练部分的权重系数。在实施方式中，模型实例Mo(包括训练DNN编码器的权重系数在上述训练阶段期间是固定的。此外，率损失生成器842也是预先确定且固定的。替代生成器836、特征判别损失生成器846和重建判别损失生成器850的权重系数可由GAN训练框架通过上述训练阶段进行训练和更新。例如，在实施方式中，使用R-D损失的梯度来更新替代生成器836的权重系数，并且使用对抗损失的梯度来更新特征判别损失生成器846和重建判别损失生成器85L(X,死,列),使用总体R-D损失L(X,X,列的梯度以通过反向传播来更新训练DNN编码器训练DNN编码器802部分1、训练DNN编码器806部分2和训练DNN解码器812与对应的测试DNN训练DNN解码器838部分2与对应的测试DNN编码器740、测试DNN解码器755部分1和测试DNN725或75分别包括通用测试量化器和测试熵编码器以及通用测试熵解码器和测试去量化[0124]图9是根据实施方式的利用对抗生成器进行率自适应神经图像压缩的方法900的现方式中，图9中的一个或更多个处理框可以由与平台120分离或包括平台120的另一设备[0136]方法900还可以包括：使用第三神经网络的第一部分从解压缩后的表示获得第三的第二特征和所生成的注意力图使用第四神经网络特征和所生成的注意力图使用第二神经网络[0139]图10是根据实施方式的用于利用对抗生成器进行率自适应神经图像压缩的装置[0141]第一获得代码1010被配置成使至少一个处理器使用第一神经网络的第一部分获[0142]第一生成代码10