CN119484877A 基于尺度-空间流和层次超先验的端到端视频编码方法研究 （四川大学）

基于尺度-空间流和层次超先验的端到端视编解码网络引入超先验信息来辅助熵模型参数不同分辨率的视频序列在相同失真条件下平均视频压缩的方法也能有效提升压缩低分辨率视21.基于尺度空间流和层次超先验的端到端视频编码方法研究整体框架，其特征在于步骤一：推理模块和生成模块中的参数变换过程以步骤二：对于视频帧，首先对其进行一系列不同程度间流对前一帧的重建帧进行翘曲以实现更好的码网络的输入对残差进行编/解码，最后将当前帧的预测帧与解码后的残差求和得到当前3[0003]在基于学习的视频编码方法中，一种常用的做法是基于并采用双线性翘曲进行运动补偿从而得到当前帧的预测，再将其与当前帧作差得到残差，迹，而尺度空间流估计会在运动轨迹难以估计的地方先对原始视频帧进行模糊再进行估4[0010](1)本发明设计的基于尺度一空间流和层次超先验的端到端视频编码方法由全分为了估计隐层特征的真实后验概率通常使用一个带参变分密度函数q(jx)来拟合真实后验概率推理模块的目标则是通过最小化ps.(Jl3)和q(j1x)的KL散度的数学期望来获得尽可能精确的估计概率分布，从而提升视频编码的率失真性能。和q(jx)的KL散度的数学期望可以表示为：[0012]公式(1)中第一项表示在推理模块中，对输入视频帧进行分析变换并对其添加均5(1)中第二项可以视为率失真函数中的失真项，最小化此项可以等价为最小(1)的第三项即为隐层特征j的边缘密度函数m()与估计概率分布n,(J)之间的交叉熵，即x)(4)度函数求得的联合全分解概率密度函数即为最终的估计匀噪声U来近似代替量化过程得到j,同时，隐层特征y再经过分析变换ha9得到低层超先验码过程，最后隐层特征通过合成变换gs得到重建视频帧其中和的合成变换参[0024]对真实后验概率P.(Jlx)和拟合的真实后验概率之间的KL散度的数学期6验概率q(jx)之间的KL散度的数学期望可以表示为：[0026]公式中(6)中的第一项表示在推理模块中，对输入视频帧进行分析变换并对其添h为变换参数。[0036]对于高层超先验信息不再引入新的先验，将其概率分布算所有分量的联合概率密度函数得到高层超先验的估7三项可以视为率失真函数中的码率项。基于层次超先验熵模型的视频编解码网络如图3所得到低层超先验信息z1，低层超先验信息z1再经过高层超先验编码网络得到高层超先验信信息z1的熵编码过程。低层超先验信息z1经过量化后再根据由高层超先验信息z2所估计的概率分布进行熵编/解码，随后通过低层超先验解码网络来估计隐层特征y的熵模型参数，超先验解码网络由反卷积层和Relu层交替构成。隐层特征y经过量化后在估计的熵模型参yy[0043]对于尺度空间流，首先基于原始视频帧x构造一个包含x和其不同程度的模糊图[x,y]表示在图像块X中估计的尺度流。原始视频帧与待估计视频帧共同作为网络的输入，[0049](3)本发明基于尺度一空间流和层次超先验的端到端视频络和残差编解码网络的具体结构由2.2节中基于层次超先验熵模型的视频编解码网络给8重建帧在帧间编解码模块中，网络首先将先前帧的重建帧与当前输入帧xi作为尺入帧xi与当前帧的预测帧得到的残差ri作为残差编解码网络的输入对残差进行编/解码，最后将当前帧的预测帧与解码后的残差求和得到当前帧的重建帧。码后的码流经过主解码网络得到I帧的重建帧I帧的编解码过程[0053]j=g,(ji,b)(16)s得到估计的熵模型参数进而可以得到隐层特征的估计概率分布来指导其熵编[0060]j=Q(y)(21)Q:)(22)[0062]对尺度空间流进行联合估计和编码后得到其隐层特征yi，随后在层次超先验编得到尺度空间流gi。对尺度空间流的隐层特征yi进行层次超先验编解码的过程与I帧类9度空间流的隐层特征yi的层次超先验信息。对尺度空间流的隐层特征yi采用公式(221)[0066]在尺度空间流编解码网络获取当前视频帧与先前的重建视频帧的尺度空间流[0069]最后，网络将当前视频帧xi与当前预测视频帧得到的残差ri通过残差编解码网络进行编码和传输，并通过解码后的残差与当前预测视频帧得到当前帧的重建视频帧[0074](1)基于层次超先验熵模型的视频编解码网络引入层次超先验信息，对视频编码[0076](3)本发明基于学习的端到端视频编码方法可以有效提升编码性能，相较于HEVC[0084](1)本次测试环境，分别通过HEVC开源视频编码器X265的帧间编码模式和本发明所提网络模型对HEVC标准测试序列进行编/解码，记录下相应的码率和不同评价指标下的Intel(R)Xeon(R)Platinum8255CCPU@2.50GHz和GPUNvidiaGeForceRTX[0085](2)本发明在对不同编码方法的率失真性能进行比较时，分别采用峰值信噪比(PeakSignaltoNoise进行评估，并采用客观评价标准DeltaBitRate(BDBR)提方法与HEVC标准在不同码率下的PSNR对比以及不同视频序列基于PSNR指标时的BDBR结[0087](4)编码的对象为经过下采样的标准的HEVC测试视频，它们的名称和分辨率分别为：BasketballPass(416×240)、BlowingBubbles(416×240)、BQSquare(416×240)、end_to_enddeepvideocompressionframework[C].IEEEConferenceonComputerVisionandPatternRecognition.2019:10998_11007.力