CN115689917B 一种基于深度学习的高效时空超分辨率视频压缩复原方法 （浙江大学）

WO2021164176A1,2021.08.26一种基于深度学习的高效时空超分辨率视本发明公开了一种基于深度学习的高效时个时空超分辨率重建网络将解压码流得到的视BD_PSNR两项编码评估指标上的性能度明显优于2设计时空超分辨率网络SRFI，通过该时空超分辨率网络SRFI完成针伪影，得到复原的高质量HQ视频gdst;时空超分辨率网络SRFI以Nin个低质量帧作为输入，传播子网络，对输入帧应用一个前后向传播循环神经网络结最终获得该传播子网络输出的各时刻图像融合插帧子网络，将传播子网络得到的各时刻图像融合特征图作为特征插值子网络的输超分子网络，采用像素重组运算来提高传播子网络和插帧子网络生成的Nout帧特征图2.根据权利要求1所述的一种基于深度学习的高效时空超分辨率视频压缩复原方法，3.根据权利要求2所述的一种基于深度学习的高效时空超分辨率视频压缩复原方法，4.根据权利要求3所述的一种基于深度学习的高效时空超分辨率视频压缩复原方法，3使用已有的现成常规视频编码算法对时空下采样视频进行压缩，进5.根据权利要求4所述的一种基于深度学习的高效时空超分辨率视频压缩复原方法，使用与编码阶段同一标准的解码算法将视频比特码流解压缩，获得低质量视频4算模块，例如使用基于区域块的运动估计器和离散余弦变换(DiscreteCosine[0005]为了克服这一挑战，非专利文献1(Liu,et.al."OverfittingNeuralVideoDeliveryviaContent_awareFeatureModulation.",ICCV,2021.)和非专利文献2(Khani,et.al."EfficientVideoCompressionviaContent_AdaptiveSuper_Resolution.",ICCV,2021.)通过在解码器端加入轻量级的内容自适应图像超分辨深度学习的高效时空超分辨率视频压缩复原方法，用于互联网视频内容的压缩分发过程5[0024]使用双三次插值下采样操作，将gt中的每个帧的高度和宽度缩小Ks倍(Ks为空域[0026]使用现成的常规视频编码算法对的模型推理过程，因此这里的编码阶段仅引入了与使用H.265编码标准相当的可忽[0028]步骤2.1的解压缩阶段中，使用与编解压缩，获得低质量(LQ)视频该视频的分辨率和帧率都进行了下采样，6出自非专利文献3(Ranjan,et.al."OpticalFlowEstimationusingaSpatial[0033]插帧子网络：将上一步得到的各时刻图像融合特征图作为特征插值子网络的输可变卷积运算通过相加补偿和双线性插值运算实现7[0043]SRFI网络使用峰值信噪比(PSNR)和每像素比特数(BPP)来评估总体性能。在不同数据集类别和使用不同恒定速率系数(CRF)的H.265压缩视频训练得到的网络输出结果视[0044]SRFI网络使用PyTorch语言框架实现，使用FFmpeg和libx265工具包生成比特码k次迭代的权重参数。对不同的压缩设置为每个CRF值训练一个单[0054]3)实验结果表明，所提出的STSR_VC(Space_TimeSuper_ResolutionVideoCompression)视频压缩复原方法同时具备传统编解码器的高效率(编码器端的计算开销约为0)和可学习DNN的强鲁棒性(优于传统的H.265编解码器和其他基于DNN的现有编解码8[0055]图1是本发明一个实施例的基于深度学习的高效时空超分辨率视频压缩复原方法[0058]图4是本发明一个实施例的SRFI进行时空超分压缩复原任务与其他现有方法的[0059]图5是本发明一个实施例的SRFI进行时空超分压缩复原任务与其他现有方法的结[0061]如图1所示是本发明提供的一种基于深度学习的高效时空超分辨率视频压缩复原码标准算法相当的可忽略的计算开销。9空超分质量增强任务：对其在时域和空域两个维度上进行上采样操作(包括时域视频插帧像融合特征图作为特征插值子网络的输入，该网络将合成在压缩抽帧时失去的帧特征图。通过相加补偿和双线性插值运算实现最终的[0076]如图3所示，是SRFI(Supe的FISR(Frame_InterpolationSuper_Resolution)架构的时空超分网络的结构区别对比。馈送到传播网络。然后使用包含全局和高分辨率信息的中间特征进行特征插值以获得(n_之间采用Charbonnier惩罚函数作为了在HEVC数据集上不同方法的BD_Rate/BD_PSNR量化结果和BPP_PSNR曲线。从表中可以看案具有更高的编码性能。SRFI在高比特率场景下，实现了与基线H.265编解专利文献4(Lu,et.al."DVC:AnEnd_To_EndDeepVideoCompressionFramework.",[0085]表1本发明一个实施例的SRFI进行时空超分压缩复原任务与其他现有方法的BD_缩的视频帧在复原后仍受到各种伪影的严重扭易在不脱离权利要求书所限定的本发明的思想和范围条件下，可以做出多种变化和改动。