CN115797177B 一种基于双重度量特征融合的视频超分辨率重建方法 （西安电子科技大学）

一种基于双重度量特征融合的视频超分辨本发明提供了一种基于双重度量特征融合率的训练数据集对预先构建的视频超分辨率重而基于此双重度量来建立两相邻帧特征向量的合效果，进而使得重建的超分辨率图像更加真2于将相邻帧的浅层图像特征与当前帧的浅层图像特征进行对齐，获得相邻帧对齐特征向算两相邻帧特征向量的夹角余弦及距离，基于双重度量来建立两相邻帧特征向量的相关2.根据权利要求1所述的一种基于双重度量特征融合的视频超分辨率重建方法，其特步骤12：通过对所述训练数据集进行确定倍数的双步骤14：对每个输入单位的低分辨率图像序3.根据权利要求2所述的一种基于双重度量特征融合的视频超分辨率重建方法，其特所述特征提取模块包括1卷积核大小为3×3的卷积层，用于将输入数其中，所述对齐模块包括5个跨尺度信息对齐块，每个跨其中，所述双重度量特征融合模块包括六个余弦度量与Tanimoto度量特征融合单元，3一层卷积层级联两层卷积核大小为1×1的第三层和第四层卷积层，第二层卷积层级联3层度为3的重建特征，并将重建特征和对输入浅层特征提取模块前的当前帧特征向量经过双4.根据权利要求3所述的一种基于双重度量特征融合的视频超分辨率重建方法，其特所述对齐模块中的跨尺度扩张残差块包括10层卷积层，第1层至第4其中，特征提取模块输出维度为64的浅层图像特征至跨尺度扩5.根据权利要求3所述的一种基于双重度量特征融合的视频超分辨率重建方法，其特卷积层输出的特征共同输入至第三层卷积层，通过第三层卷积层分别生成维度为1的特征y的特征向量y通过第二层卷积层，再分别通过第五层和第六层卷积层分别得到维度为32的yyy6.根据权利要求5所述的一种基于双重度量特征融合的视频超分辨率重建方法，其特采用下式计算通过余弦度量与Tanimoto度量特征融合单元得到的时空4采用下式计算余弦相似度量和Tanimo7.根据权利要求5所述的一种基于双重度量特征融合的视频超分辨率重建方法，其特所述时间注意力单元的输入为6个时空信息融合特征以及所述特征提取模块输出的当所述时间注意力单元通过嵌入层，分别对7帧连续视频帧特征{LRt-3,...,Rt+3}和当前将当前帧与参考帧对应元素进行嵌入特征点积计算得到局部特征相似程度，再使用将时间注意力特征图与单元初始输入进行逐像素相乘，得到对fusion表示融合函数；8.根据权利要求7所述的一种基于双重度量特征融合的视频超分辨率重建方法，其特特征点在大小为HxW的空间位置中能出现的所有空间点；q图像特征x通过一个卷积核大小为1x1的卷积层转化为HxWx1的特征图Wx，利用q5v将通道特征描述算子与输入特征x相乘，将相乘结果与输入特征6如何在有限的资源下获取更加清晰的视频图像成[0003]视频超分辨率(VideoSuper_Resolution，VSR)重建方法的目标是将低分辨率的视频超分辨率重建算法会导致重建视频存在7以对现有视频进行超分辨率重建。本发明在特征融合模块中利用余弦相似性度量与[0016]图1是本发明的一种基于双重度量特征融合的视频超分辨率重建方法的流程示意[0026]如图1所示，本发明提供的一种基于双重度量特征融合的视频超分辨率重建方法8[0040]所述特征提取模块包括1个卷积核大小为3×3的卷积层，用于将输入数据从通道统方法中视频相邻帧大运动或多运动方向导致位移估计不准确的问题，从而得到6个维度积层为级联的卷积核大小为3×3的卷积层，第5层至第9层为5个并联地从1到5依次增大扩[0047]本发明的双重度量特征融合模块包括六个余弦度量与Tanimoto度量特征融合单9融合单元共包括七层卷积层，输入为经过对齐后的相邻帧的特征向量和当前帧特征向量，第一层卷积层为卷积核大小为3×3的卷积层，第二层卷积层为卷积核大小为3×3的卷积[0048]目前基于深度学习的视频超分辨率重建算法的特征融合模块依赖相邻帧之间对重度量来建立两相邻帧特征向量的相关性，并以相关性作为不同通道的特征融合的权值，[0049]参考图5所示，每一组余弦度量与Tanimoto度量特征融合单元中的第一层卷积层角余弦相关性f2经过softmax函数计算并与特征Vy逐像素相乘，得到余弦度量融合特征；[0050]采用下式计算通过余弦度量与Tanimoto度量特征融合单元得到的时空信息融合[0056]时空信息融合特征通过时间注意力单元和空间注意力单元基于相邻帧时序关系[0058]所述时间注意力单元的输入为6个时空信息融合特征以及所述特征提取模块输出表示xi特征点在大小为H×W的空间位置中能出现q[0073]图像特征x通过一个卷积核大小为1×1的卷积层转化为H×W×1的特征图Wx，利qPRelu激活函数的1×1卷积层计算函数，通过其中第一层卷积层输入输出维度分别为64和出维度为3的重建特征，并将重建特征和对输入浅层特征提取模块前的当前帧特征向量经进行微调；[0093]实验使用VSR领域中常用数据集Vimeo_90K，数据集包括64612个分辨率为448×质量评价指标峰值信噪比(PeakSignaltoNoiseRatio，PSNR)和结构相似性从图7可以看出，本发明相针对目前基于深度学习的视频超分辨率重建算法的特征融合模块依赖相邻帧之间对应像素点对的局部