CN114125455B 一种基于深度学习的双向编码视频插帧方法、系统及设备 （长沙理工大学）

一种基于深度学习的双向编码视频插帧方本发明公开了一种基于深度学习的双向编2获取目标视频中的两个相邻帧，使用第一编码器对使用第一编码器中的低维特征层的标准卷积和高维特征层使用第二编码器中的低维特征层的标准卷积和高维特征层使用所述解码器中的低维特征层的标准卷积和高维特征层4.根据权利要求1所述的基于深度学习的双向编码视频插帧方法，其特征在于，还包在所述第一编码器和所述解码器之间以及所述第二编码器和基于所述卷积参数和所述两个相邻帧，通过如下计算公式计tnn+1n3融合编码特征获取单元，用于获取目标视频中的两个相8.一种基于深度学习的双向编码视频插帧设备，其个控制处理器能够执行如权利要求1至6任一项所述的基于深度学习的双向编码视频插帧9.一种计算机可读存储介质，其特征在于，所述4AdaptivecollaborationofflowsforvideoframeinterpolatiotheIEEE/CVFConferenceonComputerVisionandPatternRecognition.2020:[0006]获取目标视频中的两个相邻帧，使用第一编码器对所述两个相邻帧进行前向编5[0022]基于所述卷积参数和所述两个相邻帧，通过如下计算公[0023]I(i,j)=Σ=ZGW.z(i,j)I(i+dk+ax,j+dl+B.)(1)示输入帧的像素点的竖直方向的膨胀度，所述dl表示输入帧的像素点的水平方向的膨胀逐像素相乘，所述In(i，j)表示两个相邻帧中的前一帧通过式(1)计算后获得的像素点的n+1[0033]本申请中的融合编码特征获取单元使用第一编码器对所述两个相邻帧进行前向6个控制处理器能够执行如上所述的一种基于深度学习的双向编码[0036]本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得[0037]图1为本发明一个实施例提供的一种基于深度学习的双向编码视频插帧方法的流[0039]图3为本发明一个实施例提供的一种基于深度学习的双向编码视频插帧方法的网[0043]图7为本发明一个实施例提供的一种基于深度学习的双向编码视频插帧系统的结属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体7[0048]随着卷积神经网络(ConvolutionalNeuralNetwork，CNN)在视频插帧方面的快forvideoframeinterpolation.ProceedingsoftheIEEE/CVFConferenceonComputerVisionandPatternRecognition.2020:5316_5325.中提出了一种网络结构，一个新的网络结构，该网络结构使用两个编码器对输入帧进行特征提取并融合提取的特第一编码器和第二编码器使用局部轻量化，该局部轻量化指的是将高维特征层(High_多个输入帧的两个相邻帧从后一帧到前一帧的运动信息进行后向编码，获得第二编码特两个相邻帧，[Fforward,Fbackward]表示第一编码特征和第二编码特征进行拼接后获8器之间的特征传递以及第二编码器和解码器之间的特征传递。通道注意力级联模块如图6数W使用了一组标准卷积分别为(Conv+ReLU)×3、(Upsample+Conv+ReL卷积操作获得，参数α使用了一组标准卷积分别为(Conv+ReLU)×3和(Upsample+Conv+Conv+ReLU)进行卷积操作获得，参数V使用了一组标准卷积分别为(Conv+ReLU)×3、(Upsample+Conv+ReLU)和Sigmoid进行卷积操作获得，其中，AvgPool表示平均池化，9[0079]解码特征获取单元200，用于使用解码器对融合编码特征进行解码，获得解码特[0081]目标合成帧获取单元400，用于基于卷积参数和两个相邻帧，计算获得目标合成一个控制处理器和用于与所述至少一个控制处理器[0085]实现上述实施例的基于深度学习的双向编码视频插帧方法所需的非暂态软件程或多个控制处理器执行上述方法实施例中的基于深度学习的双向编码视频插帧方法，例(RandomAccessMemory,R点可以在任何的一个或多个实施例或示例中以合适的方式结合。点可以在任何的一个或多个实施例或示例中以合适的方式结合。[0091]以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于