CN113920010B 图像帧的超分辨率实现方法和装置 （华为技术有限公司）

本申请提供一种图像帧的超分辨率实现方大于或等于1；获取与量化参数对应的视频超分辨率网络，视频超分辨率网络具有超分辨率功能；将M个图像帧和第一图像帧输入视频超分辨率网络，视频超分辨率网络用于根据M个图像帧对第一图像帧进行超分辨率处理得到第二图像2获取第一图像帧的超分参考信息，所述超分参考信息包括量化参数获取与所述量化参数对应的视频超分辨率网络，所述视频超将所述M个图像帧和所述第一图像帧输入所述视频超分辨率网络，所述视频超分辨率网络用于根据所述M个图像帧对所述第一图像帧进行超分辨率处理得到第二图像帧，所述3.根据权利要求2所述的方法，其特征在于当所述全部图像帧的个数小于M时，从所述多个图像帧中选取与所述参考帧指示信息当所述全部图像帧和所述与所述参考帧指示信息对应的图像帧的个数小于M时，从所述多个图像帧中除所述全部图像帧和所述与所述参考帧指示信息对应的图像帧外的其他图像帧中选取与所述第一图像帧间隔时间从短到长的至少一个图像帧，直到选出M个图像一图像帧集合中包括的图像帧的图像质量分数均高于所述第一图若所述第一图像帧非I帧，则从所述多个图像帧中选取与所述参考帧指示信息对应的当所述与所述参考帧指示信息对应的图像帧的个数小于M时，从所述多个图像帧中除所述与所述参考帧指示信息对应的图像帧外的其他图像帧中选取与所述第一图像帧间隔3获取第一图像帧的量化参数，针对所述量化参数，获取与所述量根据所述第一图像帧和所述第一图像帧的重建帧获取所述第一图像帧的图像质量分根据峰值信噪比PSNR、结构相似度SSIM或多特征融合的视频评获取训练数据集合，其中所述训练数据集合包括多个图像帧各自根据所述训练数据集合训练得到多个视频超分辨率网络，所4发送端获取第一图像帧的量化参数，并根据所述第一图所述发送端向终端发送视频流和超分参考信息，所述视频流所述终端根据所述视频流获取所述第一图像帧，并根据所述超分化参数和图像质量分数集合，所述图像质量分数集合包括多个图像帧各自的图像质量分所述终端根据所述图像质量分数集合从所述多个图像帧中选取M个图像所述终端获取与所述量化参数对应的视频超分辨率网络，所述视频所述终端将所述M个图像帧和所述第一图像帧输入所述视频超分辨率网络，所述视频超分辨率网络用于根据所述M个图像帧对所述第一图像帧进行超分辨率处理得到第二图像获取模块，用于获取第一图像帧的超分参考信息，所述超分参考视频超分辨率网络用于根据所述M个图像帧对所述第一图像帧进行超分辨率处理得到第二述第一图像帧集合中选取所述M个图像帧，所述第一图像帧集合中包括的图像帧的图像质22.根据权利要求21所述的装置，其特征在于，所述合中的图像帧按照图像质量分数从大到小排列后的前23.根据权利要求20_22中任一项所述的装置帧的个数小于M时，从所述多个图像帧中除所述全部图像帧和所述与所述参考帧指示信息对应的图像帧外的其他图像帧中选取与所述第一图像帧间隔时间从短到长的至少一个图524.根据权利要求20_22中任一项所述的装置帧的个数小于M时，从所述多个图像帧中除所述与所述参考帧指示信息对应的图像帧外的其他图像帧中选取与所述第一图像帧间隔时间从短到长的至少一个图像帧，直到选出M个帧和所述第一图像帧的重建帧获取所述第一图像帧的发送模块，用于向终端装置发送视频流和超分参考信息6所述获取模块，还用于获取训练数据集合，其中所述训练数据集合所述训练模块，用于根据所述训练数据集合训练得到多个视频超分辨7[0001]本申请涉及视频超分辨率技术，尤其涉及一种图像帧的超分辨率实现方法和装个图像帧各自的图像质量分数；根据所述图像质量分数集合从所述多个图像帧中选取M个视频超分辨率网络用于根据所述M个图像帧对所述第一图像帧进行超分辨率处理得到第二[0007]发送端具备视频流的编码功能，其对视频流中的各个图8[0010]重建是将量化残差系数(残差块在经变换和量化后得到的)进行反量化和逆变换到图像帧的图像质量分数。例如，发送端可以根据峰值信噪比(peaksignaltonoise[0014]SSIM的计算公式基于第一图像帧x和第一图像帧的重L)2γ]值作为整个图像帧的SSIM。本申请可以将计算得到的SSIM作为第一图像帧的图像质量分9考信息获取M个图像帧，将该M个图像帧和待处理的第一图像帧一起输入视频超分辨率网[0028]本申请终端借助来自于发送端的超分参考信息，选取要使用的视频超分辨率网[0030]M是视频超分辨率网络进行超分辨率处理时需要用到的参考图像帧的数量，其与[0031]在一种可能的实现方式中，所述M个图像帧包括所述第一图像帧集合中的图像帧按照图像质量分数从大到小排列后的前M个图参考帧指示信息对应的图像帧的个数小于M时，从所述多个图像帧中除所述全部图像帧和所述与所述参考帧指示信息对应的图像帧外的其他图像帧中选取与所述第一图像帧间隔[0034]如果图像质量分数高于第一图像帧的所有图像帧的数量不到M个，但视频超分辨率网络需要必须输入M个图像帧才能完成对第一图像帧的超分辨率处理，此时除了选取图考帧指示信息对应的图像帧的个数小于M时，从所述多个图像帧中除所述与所述参考帧指示信息对应的图像帧外的其他图像帧中选取与所述第一图像帧间隔时间从短到长的至少和数据与第一图像帧的信息和数据保持一致，然后将该M个复制样本输入视频超分辨率网[0042]在一种可能的实现方式中，所述多个图像帧包括所述视频流中的连续多个图像[0043]备选的多个图像帧包括第一图像帧意味着该多个图像帧是视频流中排在第一图多特征融合的视频评价标准VMAF获取所述第一图像将所述M个图像帧和所述第一图像帧输入所述视频超分辨率网络，所述视频超分辨率网络用于根据所述M个图像帧对所述第一图像帧进行超分辨率处理得到第二图像帧，所述第二[0058]本申请终端借助来自于发送端的超分参考信息，选取要使用的视频超分辨率网络，所述视频超分辨率网络用于根据所述M个图像帧对所述第一图像帧进行超分辨率处理集合中选取所述M个图像帧，所述第一图像帧集合中包括的图像帧的图像质量分数均高于[0061]在一种可能的实现方式中，所述M个图像帧包括所述第一图像帧集合中的图像帧按照图像质量分数从大到小排列后的前M个图当所述全部图像帧和所述与所述参考帧指示信息对应的图像帧的个数小于M时，从所述多个图像帧中除所述全部图像帧和所述与所述参考帧指示信息对应的图像帧外的其他图像图像帧是否为I帧，所述第一图像帧集合中包括的图像帧的图像质量分数均高于所述第一个图像帧中除所述与所述参考帧指示信息对应的图像帧外的其他图像帧中选取与所述第[0066]在一种可能的实现方式中，所述多个图像帧包括所述视频流中的连续多个图像似度SSIM或多特征融合的视频评价标准VMAF获取所述第一据集合，其中所述训练数据集合包括多个图像帧各自的第一分辨率图像和第二分辨率图[0081]图1示出了本申请图像帧的超分辨率实现方法所适用的架构的一个示例性的示意[0092]图1示出了本申请图像帧的超分辨率实现方法所适用的架构的一个示例性的示意重构的图像帧序列组成的视频流。本申请所使用编/解码模块的种类包括但不限于H.264/辨率图像之间的对应关系，可以学习到如何从高分辨率图像处理成低分辨率图像的规则，[0095]由于视频在处理成码流的过程中，其分辨率会经过下采量化参数训练不同的视频超分辨率网络，以便于终端可以更好的进行视频超分辨率的恢图像帧进行量化处理时采用的QP确定对应[0097]视频超分辨率网络能够用于实现本申请实施例提供的图像帧的超分辨率实现方[0098]训练引擎训练得到的视频超分辨率网络可以应用于图1所示的应用框架中，尤其动采用本申请提供的方法对视频流中的各个图像帧进行超分辨率处理，提高视频的分辨义为上标3代表系数W所在的层数，而下标对应的是输出的第三层索引2和输入的第二终目的是得到训练好的深度神经网络的所有层的权重矩阵(由很多层的向量W形成的权重[0117]卷积神经网络(convolutionalneuronnetwork，CNN)是一种带有卷积结构的深法，在不同的抽象层级上进行多个层次的学习。作为一种深度学习架构，CNN是一种前馈个像素接着一个像素(或两个像素接着两个像素……这取决于步长stride的取值)的进行的图像中每个像素点表示输入池化层的图像的对应子区域的间的差异情况来更新每一层神经网络的权重向(loss)越高表示差异越大，那么深度神经网络的训练就变成了尽可能缩小这个loss的过[0128]生成式对抗网络(generativeadversarialnetworks，GAN)是一种深度学习模生成模型和判别模型都可以是神经网络，具体可以是深度神经网络，或者卷积神经网络。GAN的基本原理如下：以生成图片的GAN为例，假设有两个网络，G(Generator)和D 网络G的目标就是尽可能生成真实的图片去欺骗判别网络D，而判别网络D的目标就是尽量入2经过另一个3×3卷积层和另一个激活层处理，然后将上述处理后得到的结果合并经过另一个3×3卷积层和另一个激活层处理，然后将上述处理后得到的结果合并(applicationprocessor，AP)，调制解调处理器，图形处理器(graphicsprocessing信号处理器(digitalsignalprocessor，DSP)，基带处理器，和/或神经网络处理器[0142]在一些实施例中，处理器310可以包括一个或多个接口。接口可以包括集成电路(universalasynchronousreceiver/transmitter，UART)接口，移动产业处理器接口(mobileindustryprocessorinterface，MIPI)，通用输入输出(general_purpose[0143]I2C接口是一种双向同步串行总线，包括一根串行数据线(serialdataline，处理器310可以通过I2S总线与音频模块370耦合，实现处理器310与音频模块370之间的通也可以通过PCM接口向无线通信模块360传递音频信号，实现通过蓝牙耳机接听电话的功口包括摄像头串行接口(cameraserialinterface，CSI)，显示屏串行接口(display现终端300的拍摄功能。处理器310和显示屏394通过DSI接口通信，实现终端300的显示功[0154]天线1和天线2用于发射和接收电磁波信号。终端300中的每个天线可用于覆盖单[0155]移动通信模块350可以提供应用在终端300上的包括2G/3G/4G/5G等无线通信的解块350的至少部分功能模块可以与处理器310的至少部分模块被设置在同一个[0157]无线通信模块360可以提供应用在终端300上的包括无线局域网(wirelesslocalmodulation，FM)，近距离无线通信技术(nearfieldcommunication，NFC)，红外技术multipleaccess，CDMA)，宽带码分多址(widebandcodedivisionmultipleaccess，navigationsatellitesystem，GLONASS)，北斗卫星导航系统(beidounavigation晶显示屏(liquidcrystaldisplay，LCD)，有机发光二极管(organiclight_emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active_matrixorganiclightemittingdiode的，AMOLED)，柔性发光二极管(flexlight_emitting[0163]摄像头393用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元根据第一图像帧的量化参数选择对应的视频超分辨率网络，可以更好的进行分辨率的提[0165]视频编解码器用于对数字视频压缩或解压缩。终端300可以支持一种或多种视频编解码器。这样，终端300可以播放或录制多种编码格式的视频，例如：动态图像专家组[0167]外部存储器接口320可以用于连接外部存储卡，例如MicroSD卡，实现扩展终端300的存储能力。外部存储卡通过外部存储器接口320与处理器310通信，实现数据存储功[0168]内部存储器321可以用于存储计算机可执行程序代码，所述可执行程序代码包括[0170]音频模块370用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频或发送语音信息时，用户可以通过人嘴靠近麦克风370C发声，将声音信号输入到麦克风[0174]耳机接口370D用于连接有线耳机。耳机接口370D可以是USB接口330，也可以是蜂窝电信工业协会(cellulartelecommunicationsindustryassociatio380A检测所述触摸操作强度。终端300也可以根据压力传感器380A的检测信号计算触摸的角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消终端300的抖动，实现防[0178]磁传感器380D包括霍尔传感器。终端300可以利用磁传感器380D检测翻盖皮套的[0179]加速度传感器380E可检测终端300在各个方向上(一般为三轴)加速度的大小。当终端300静止时可检测出重力的大小及方向。还可以用于识别终端姿态，应用于横竖屏切[0182]环境光传感器380L用于感知环境光亮度。终端300可以根据感知的环境光亮度自频模块370可以基于所述骨传导传感器380M获取的声部振动骨块的振动信号，解析出语音的通信网络将视频播放请求发送给存储了待对发送端所采用的具体的下采样方法或参数等均不做[0198]发送端的编码模块对下采样处理后的第一图像帧进行编码得到第一图像帧的码到更清晰的画面，此时用户可以点击视频APP上提供的控件(该实施过程可参见下文实施[0207]第一图像帧的量化参数和参考帧指示信息可以直接从第[0211]终端可以从N个图像帧中选取图像质量分数最高的M个图像帧，可见终端选取的M要满足该M个图像帧的图像质量分数均高于第一图像帧的图像质量分数。因此有以下三种[0213](1)N个图像帧包括第一图像帧集合(该第一图像帧集合中包括的图像帧的图像质量分数均高于第一图像帧的图像质量分数)，且第一图像帧集合中的图像帧的个数大于或[0214]该情况表明N个图像帧中有且有足够的图像帧的图像质量分数是高于第一图像帧M时，从多个图像帧中除全部图像帧和与参考帧指示信息对应的图像帧外的其他图像帧中[0216]该情况表明N个图像帧中有但没有足够的图像帧的图像质量分数是高于第一图像考虑其他条件中的次选条件。如果在选择了第一图像帧的参考帧之后仍然未达到M个图像是N个图像帧中除第一图像帧集合中的全部图像帧和与参考帧指示信息对应的图像帧外的中选取与参考帧指示信息对应的图像帧。当与参考帧指示信息对应的图像帧的个数小于M[0218]该情况表明N个图像帧中没有图像帧的图像质量分数是高于第一图像帧的图像质中除第一图像帧集合中的全部图像帧和与参考帧指示信息对应的图像帧外的其他图像帧中，与第一图像帧间隔时间从短到长的至少一个图像帧，直到选取的图像帧的个数达到M网络用于根据M个图像帧对第一图像帧进行超分辨率处理得到第二图像帧，第二图像帧的处理后得到第二图像帧，该第二图像帧的分辨率即为步骤406中的分辨率变换指令所指示[0223]本申请终端借助来自于发送端的超分参考信息，选取要使用的视频超分辨率网端接收到基于该操作产生的分辨率变换指令，进而采用图4所示实施例中的方法对正在播所述M个图像帧和第一图像帧输入所述视频超分辨率网络，所述视频超分辨率网络用于根据所述M个图像帧对所述第一图像帧进行超分辨率处理得到第二图像帧，所述第二图像帧帧集合中选取所述M个图像帧，所述第一图像帧集合中包括的图像帧的图像质量分数均高[0236]在一种可能的实现方式中，所述M个图像帧包括所述第一图像帧集合中的图像帧按照图像质量分数从大到小排列后的前M个图述全部图像帧的个数小于M时，从所述