CN115082308B 基于多尺度局部自注意力的视频超分辨率重建方法及系统 （华南理工大学）

基于多尺度局部自注意力的视频超分辨率本发明公开了基于多尺度局部自注意力的流预测网络预测低分辨率视频帧序列输入中相邻帧之间的双向光流信息；S3:构建视频超分辨模块；S4:基于数据集和所述双向光流信息训练视频超分辨率重建网络；S5:将需要超分辨率重建的视频序列输入到训练后得到的视频超分辨2S2:通过光流预测网络预测低分辨率视频帧序列输列中提取视频帧的浅层特征，多尺度深层特征提取模块用于基于浅层特征得到深层特征S5:将需要超分辨率重建的视频序列输入到训练后得到的视频超分辨率重建网络中，步骤S2中，将低分辨率视频帧序列以正向和反向分别输入流信息flowforward,flowbackward，flowforward代表序列中未来时刻指向过去时刻的光流信息，多尺度深层特征提取模块包括级联的多个编码器和与编码器数量相等的多个解码器，且分别代表经过对应线性层线性变换后的特征图，′′′对批次中的每个特征图Q,K,veR'XC',计算局部区域内的小图块自注意力，并融3sa代表经过局部自注意力融合后得到的特征图；将融合后得到的特征图xsa重组拼接成原来的分辨率，得到恢复分辨率后的特征图利用双向光流信息flowforward,flowbackward对恢复分辨率后的特征图xfold分别进行相邻2.根据权利要求1所述的基于多尺度局部自注意力的视频超分辨率重建方法，其特征3.根据权利要求1-2任一所述的基于多尺度局部自注意力的视频超分辨率重建方法，步骤S41：从训练集中抽取多组低分辨率视频序列样本和对应的原始高分辨率视频序步骤S42：将从训练集中采样得到的低分辨率视频序列以及所述双向光流信息输入至4.根据权利要求3所述的基于多尺度局部自注意力的视频超分辨率重建方法，其特征5.根据权利要求3所述的基于多尺度局部自注意力的视频超分辨率重建方法，其特征6.基于多尺度局部自注意力的视频超分辨率光流信息预测模块，用于通过光流预测网络预测低分辨率视频帧4视频超分辨率重建网络训练模块，用于基于数据集和所述双向光流信息训重建模块，用于将需要超分辨率重建的视频序列输入到训练5[0001]本申请属于计算机视觉技术领域，具体涉及一种视频超分辨率重建方法及其系能够很好地契合视频超分辨率任务中融合相似模式的需求。Transformer结构能够长距离能够看到更多信息，效果更好。但这需要付出二次计算复杂度和超高内存占用的代价。因像素的移动并不一定与其所在图块一致，导致无法通过图块级的自注意力融合实现精细的《Videosuper-resolutiontransformer[J].arXivpreprintarXiv:2106.06847,2021》中借鉴Transformer结构，设计了一种基于全局自注意力的视频超分辨率重建网络,称作理视频帧的分辨率有严格约束。在计算全局自注意力之前,需要先将视频帧分割成网络能够处理的最大分辨率，并在该分辨率约束下对分割出来的多个视频帧分别计算全局自注意6[0007]S1:对高分辨率视频数据进行下采样处理得到对应的低分辨率视频帧序列，对帧[0008]S2:通过光流预测网络预测低分辨率视频帧序列输入中相邻帧之间的双向光流信[0011]S5:将需要超分辨率重建的视频序列输入到训练后得到的视频超分辨率重建网络络，得到双向光流信息flowforward,flowbac和光流对齐模块(FlowAlignment,FA)级联组成。LSA模块先将输入特征图分割为多个图7W分别代表空间窗口的高度和宽度；[0032]利用双向光流信息flowforward,flowbackward对恢复分辨率后的特征图xfold分别进行[0036]步骤S41：从训练集中抽取多组低分辨率视频序列样本和对应的原始高分辨率视[0037]步骤S42：将从训练集中采样得到的低分辨率视频序列以及所述双向光流信息输8[0050]1.本发明中提及的编码器和解码器组成的多尺度深层特征提取模块中逐步下采9[0059]请参阅图1，本发明提供的一种基于多尺度局部自注意力的视频超分辨率重建方[0065]在本发明的其中一些实施例中，具体采用双三次下采样来得到低分辨率视频序预测网络预测低分辨率视频帧序列中相邻帧之间络SPyNet为现有网络(RanjanA,BlackMJ.Opticalflowestimationusingaspatialpyramidnetwork[C]//ProceedingsoftheIEEEconferenceo的光流信息。将低分辨率视频帧序列以正向和反向分别输入该网络，得到双向光流信息flowforward,flowbackward。flowforward代表序列中未来时刻指向过去时刻的光流信息，上采样重建模块将未经处理的原始低分辨率视频序列的中心帧图通过双线性插值×4上采[0071]设输入的低分辨率视频帧序列XSRBXTXCXHXW,B代表[0073]在本发明的其中一些实施例中，多尺度深层特征提取模块包括6个由局部自注意力(LSA)模块和光流对齐(FA)模块级联组成的相同的处理单元，且每个处理单元会根据所[0074]在本发明的其中一些实施例中，多尺度深层特征提取模块中的上采样利用PixelShuffle[ShiW,CaballeroJ,HuszárF,etal.Real-timesingleimageandvideosuper-resolutionusinganefficientsub-pixelconvolutionalneuralnetwork[C]//ProceedingsoftheIEEEconferenceoncomput[0085]其中且分别代表经过对应线性层线性变换后的特征图，[0086]随后，对批次中的每个特征图Q,K,veRWXC'",计算局部区域内的小图块自注处卷积操作能够一定程度上平滑拼接带来的边界不进行LayerNorm归一化操作。最后将归一化后的特征图与输入相加得到局部自注意模块的前向对齐模块和后向对齐模块。首先，利用上述步骤获取的双向光流信息flowforward,[0095]warp操作示例：输入的光流信息指示了A帧内所有像素对齐到B帧的所需的移动。作失败，对齐之后的结果xforward_align,xbackward_align还需要分别通过由数个残差层构成的残[0100]步骤S41：从训练集中抽取多组低分辨率视频序列样本和对应的原始高分辨率视[0101]在本发明的其中一些实施例中，从训练集中随机抽取以5帧为一组的数组低分辨[0102]步骤S42：将从训练集中采样得到的低分辨率视频序列以及步骤S2中预先计算的[0109]步骤S5:利用训练完成的视频超分辨率重建网络重建低分辨率视频序列。将需要频序列。[0115]为了验证本发明实施例提出方法的有效性，表1对比了本实施例与背景技术提及32.617.831.1930.93G代表109；PSNR代表峰值信噪比。NahS等人在《Ntire2019challengeonvideodeblurringandsuper-resolution:Datasetandstudy[C]//ProceedingsoftheIEEE/CVFConferenceonComputerVisionandPatternRecognition[0119]