CN116916035B 一种基于特征堆叠注意力进行特征预处理的图像压缩方法及系统 （山东大学）

CompressionWithGaussian-LaLogisticMixtureModelandC图3.一种基于特征堆叠注意力进行特征预处理本发明涉及一种基于特征堆叠注意力进行重构：解码后的特征通过特征预处理逆过程操地增强网络工作的非线性表达能力并进一步消2分别对原始输入图像和子图像提取特征，得到原始输入图像特征fx和子图像特征J,s将原特征f,经过5x5x5的三维卷积、PReLU激活函数、3x3x3的三维卷积和跳跃连接结级联的三维卷积残差块进行特征提取，再将特征注意力块输出的特征的维度变为W/2xH/2三维卷积残差块包括三种不同方式的网络结构，第一种方式是方式是：三维卷积残差块包括串联到一起并采用跳跃连接构成的三个残差块；两个使用PReLU作为激活函数的三维卷积以及跳跃连接构成的模块3化后的结果，Q表示量化操作，经过基础解码器gs得到解码后的特征i,θme和θmd分别表示是z量化后的结果；超先验解码器hs的输出用来求解在条件下的概率分布pye(YIZ),θhe和θhd分别表示超先验编码器和超先验解码器的6.根据权利要求1所述的一种图像压缩方法，其特征在于，潜在特征经过基础解码器生成解码后的特征j,具体实现如式(II)到式(VII)所示。i进行维度变换生成j,j送入特征注意力块生成送入空间注意力块生成送入通道注意力块生成送入三个串联的三维卷积残差块和来自的跳跃连接生成特征j",j"送入一个卷积核大小为3x3x3的三维卷积和一个卷积核大小为5x5x5的三维卷积来提取特征，使用PReLU激活函数和跳跃连接结构得到重构的特征进行特征重排得到重构的子图像特征和和分别经过两个转置卷积层得到对应的重构子图像和i,按照图像划分方法进行可逆49.一种计算机设备，包括存储器和处理器，所述存储器存于，所述处理器执行所述计算机程序时实现权利要求1_8任一所述的一种图像压缩方法的被处理器执行时实现权利要求1_8任一所述的一种图像压缩叠的方法分别对原始输入图像和子图像提取特征，得到原始输入图像特征和子图像特征；一步送入超先验编码器得到超先验潜在特征，对潜在特征和超先验潜在特征分别进行量特征f/经过5x5x5的三维卷积、PReLU激活函数、3x3x3的三维卷积和跳跃连接结级联的三维卷积残差块进行特征提取，再将特征注意力块输出的特征的维度变为W/2xH/2三维卷积残差块包括三种不同方式的网络结构，第一种方式是方式是：三维卷积残差块包括串联到一起并采用跳跃连接构成的三个残差块；两个使用5PReLU作为激活函数的三维卷积以及跳跃连接构成的模特征提取模块，被配置为：采用卷积堆叠的方法分别对特征堆叠模块，被配置为：将原始输入图像特征和子图6波变换(DWT)，基于上下文的可变长度编码(CAVLC)和基于上下文的二进制算术编码算法(LIC)可以实现端到端的训练从而优化整个网络，最新的LIC算法在PSNR和MS_SSIM指都充分说明了基于学习的图像压缩方法在未来应用术来改进熵模型。谷歌团队集成了自回归模型和超先验模型(参见MinnenD,BalléJ,TodericiGD.Jointautoregressiveandhierarchicalpriorsforlearnedimage率。商汤科技提出了棋盘格上下文模型通过并行的方式提升熵模型(参见HeD,ZhengY,SunB,etal.Checkerboardcontextmodelforefficientlearnedimagecompression[C]//ProceedingsoftheIEEE/CVFConferenceonComputerVisionand南京大学受并行概率估计研究的启发提出了多阶段上下文模型(参见LuM,MaZ.High_efficiencylossyimagecodingthroughadaptiveneighborhoodinformationaggregation[J].arXiv纽约大学首次提出了一种可以通过端到端训练的图像压缩框架，使用CNN实现了非线性变换(参见BalléJ,LaparraV,Sim码网络，通过超先验捕捉潜在特征的空间冗余(参见BalléJ,MinnenD,SinghS,et7al.Variationalimagecompressionwithascalehyperprior[J].arXivpreprintarXiv:1802.01436,2018.)。早稻田大学使用离散高斯混合模型来改进熵编码并在网构中引入了注意力机制(参见ChengZ,SunH,TakeuchiM,etal.Learnedimagecompressionwithdiscretizedgaussianmixturelikelihoodsandattentionmodules[C]//ProceedingsoftheIEEE/CVFConferenceonComputerVisionand关注。高通团队利用Swimtransformer构造了非线性变换(参见ZhuY,YangY,CohenT.Transformer_basedtransformcoding[C]//InternationalConferenceonLearning征的提取(参见LuM,GuoP,ShiH,etal.Transformer_basedimagecompression[J][0004]此前的工作在基于VAE的基础编解码器中试图引入更深层次的网络、注意模模块可以有效地增强网络工作的非线性表达能力并进一8[0031]使用PReLU激活函数和跳跃连接结构，提取得到的特征f″送入到特征注意力块卷积残差块包括两个级联的残差块，采用PReLU作为激活函数并使用跳跃连接，得到特征9残差块；两个使用PReLU作为激活函数的三维卷积以及跳跃连接构成的模块称为一个残差[0039]j=Q(Y)(III)和θhd分别表示超先验编码器和超先验解码器个ICSA包括一个卷积层(Conv)和一码器gs的ICSA包括一个转置卷积层(Tconv)和一个残差邻域注意力块(RNAB)；超先验编码到量化后的潜在特征和量化后的超先验潜在特征经过超先验解码器得到潜在特征解码后的特征i,具体实现如式(II)到式(VII)所示。[0049]i进行维度变换生成j,jr送入特征注意力块(Attention)生成j",js送入空间注意力块(SA)生成送入通道注意力块(CA)生成送入三个串联的三维卷积残差块(3DRes)和来自js的跳跃连接生成特征jr,j"送入一个卷积核大小为3×和跳跃连接结构得到重构的特征j:[0050]进行特征重排得到重构的子图像特征和和分别经过两个转置卷积层得到对应的重构子图像和i,按照图像划分方法进[0053]式(VIII)中，码率R由特征y的熵R(j)和超先验潜在特征z的熵组成，失真器执行所述计算机程序时实现一种基于特征堆叠注意力进行特征预处理的图像压缩方法行时实现一种基于特征堆叠注意力进行特征预处理的图像压缩方行特征预处理的图像压缩方法，并通过注意力机制的特征细化网络来提取更加有效的特的方法在Kodak和CLIC数据集上BD[0069]图1是本发明基于特征堆叠注意力进行特征预处理的图像压缩方法的整体流程[0086]根据实施例1所述的一种基于特征堆叠注意力进行特征预处理的图像压缩方法，patch中对应位置的像素提取出来，根据索引i和j重新进行排列，分别得到四个子图像x。[0096]使用PReLU激活函数和跳跃连接结构，提取得到的特征f″送入到特征注意力块卷积残差块包括两个级联的残差块，采用PReLU作为激活函数并使用跳跃连接，得到特征LiK,etal.Imagesuper_resolutionusingverydeepresidualchannelattentionnetworks[C]//ProceedingsoftheEuropeanconferenceoncomputervision(ECCV)[0099]然后，特征fca经过一个空间注意力块(SA)(参见WooS,ParkJ,LeeJY,etal.Cbam:Convolutionalblockattentionmodule[C]//ProceedingsoftheEuropean通道和空间上的特征信息，Attention采用了级联的3DRes来关注更加具有挑战的特征信并采用跳跃连接构成的三个残差块；两个使用PReLU作为激活函数的三维卷积以及跳跃连[0104]j-QY)(III)过程中使用取整函数来实现；经过基础解码器gs得到解码后的特征i,θme和θmd分别表示s的输出用来求解在条件下的概率分布θhe和θhd分别表示超先验编码器和超先验解码器差邻域注意力块(RNAB)；超先验编码器ha包括两个ICSA，超先验解码器hs包括两个可逆的结构进行改进，对于基础编解码器以及超先验编解码器中的ICSA模块以及对应的可逆模征和量化后的超先验潜在特征经过超先验解码器得到潜在特征的超先验Ψ来更好的预测潜在特征的概率分布，量化后的潜在特征经过基础解码器生[0114]解码后的特征送入特征堆叠注意力模块(FSAM)和特征预处理模块(FPM)的可逆(Attention)生成送入空间注意力块(SA)生成送入通道注意力块(CA)生成送入三个串联的三维卷积残差块(3DRes)和来自的跳跃连接生成特征j",j"送入一个卷积核大小为3×3×3的三维卷积和一个卷积核大小为5×5×5的三维卷3×3，步长为1)得到对应的重构子图像和按照FPM中图像切分模块的划分方[0117]基于深度学习的图像编码问题可以看做是基于拉格朗日[0119]式(VIII)中，码率R由特征y的熵R()和超先验潜在特征z的熵组成，失真算机程序时实现实施例1或2一种基于特征堆叠注意力进行特征预处理的图像压缩方法的实现实施例1或2一种基于特征堆叠注意力进行特征预处[0134]将输入图像x输入到特征预处理模块(FPM)。通过图像切分模块得到四张子图像23和S4，分别利用特征提取模块得到对应的子图像特征和,。在特征堆特征y的超先验