CN114979672B 视频编码方法、解码方法、电子设备及存储介质 （阿里巴巴（中国）有限公司）

辨率对应的特征提取网络对调整后目标视频帧2对所述原始目标视频帧进行分辨率调整，得到具有第一预设分辨率分别编码所述原始参考视频帧和所述目标特征，得到视所述对所述原始目标视频帧进行分辨率调整，得到具有第一预设分根据分辨率与缩放因子间的预设对应关系，从预设的第一缩放因子述原始目标视频帧的分辨率对应的第一目标缩对所述原始参考视频帧进行分辨率调整，得到具有第一预设分辨率通过运动估计网络，基于所述参考特征和所述目标特征进行运通过生成网络，基于所述运动估计结果和所述原始参考视频帧，生成所述对所述原始目标视频帧进行分辨率调整，得到具有第一预设分将所述参考特征和所述目标特征输入运动估计网络，通过所述运动所述通过生成网络，基于所述运动估计结果和所述原始参考视频帧对所述原始参考视频帧进行分辨率调整，得到具有第二预设分辨率将所述第一运动估计结果和所述具有第二预设分辨率的调整后参考视频帧输入生成网络，通过所述生成网络对所述具有第二预设分辨率的调整后参考视频帧进行形变处理，3对所述过渡重建视频帧进行分辨率调整，得到与所述目标视频帧具对所述参考特征和所述目标特征进行分辨率调整，得到调整后参将所述调整后参考特征和所述调整后目标特征，输入运动估计所述通过生成网络，基于所述运动估计结果和所述原始参考视频帧将所述第二运动估计结果和所述原始参考视频帧输入生成网络，通过所述生成网络，将所述参考特征和所述目标特征输入运动估计网络，通过所述运动所述通过生成网络，基于所述运动估计结果和所述原始参考视频帧将所述第三运动估计结果和所述原始参考视频帧输入生成网络，通过所述生成网络，所述通过运动估计网络，基于所述参考特征和所述目标特征进行运动将所述参考特征和所述目标特征输入运动估计网络，通过所述运动所述通过生成网络，基于所述运动估计结果和所述原始参考视频帧将所述原始参考视频帧和所述第一运动估计结果输入生成网络，通4对所述原始目标视频帧进行分辨率调整，得到具有第一预设分辨率分别编码所述原始参考视频帧和所述目标特征，得到视频所述对所述原始目标视频帧进行分辨率调整，得到具有第一预设分从所述原始视频片段中确定原始参考视频帧和待编码的原始目标对所述原始目标视频帧进行分辨率调整，得到具有第一预设分辨率将所述视频比特流发送至会议终端设备，以使所述会议终端设备所述对所述原始目标视频帧进行分辨率调整，得到具有第一预设分所述存储器用于存放至少一可执行指令，所述可执行指令使所56码的原始目标视频帧之后，通过分辨率调整操作对原始目标视频帧进行了分辨率统一化，设分辨率对应的特征提取网络(用于对具有第一预设分辨率的视频帧进行特征提取的特征提取网络)即可实现多种不同分辨率原始目标视频帧的编码，适用范围更广泛，通用性更7合图1对基于深度视频生成的编解码方法的基本框架进行8组成的神经网络模型进行视频帧的编解码操作的，上述模型中各神经网络模块训练完成[0054]本申请实施例中，通过分辨率调整操作对原始目标视频对于原始参考视频帧及原始目标视频帧的分辨率大取源自于同一视频片段的原始参考视频帧和待编码的原9可以是基于原始目标视频帧的分辨率与第一预设分辨率之间的大小关系确定的，具体地，可以将原始目标视频帧的分辨率与第一预设分辨率的比值确定为第一目标缩[0066]步骤206，通过与第一预设分辨率对应的特征提取网络对调整后目标视频帧进行[0068]本申请实施例中的特征提取网络为与第一预设分辨率对应的特征提取网络，也[0069]目标特征可以为用于表征调整后目标视频帧的特征的信息。对于面部视频帧而同分辨率的特征提取网络，而仅需要一个与第一预设分辨率对应的特征提取网络(用于对具有第一预设分辨率的视频帧进行特征提取的特征提取网络)即可实现多种不同分辨率原频帧为对原始目标视频帧进行分辨率调整得到的具有第一预设分辨率[0092]具体地，生成网络基于步骤408得到的运动估计结果对原始参考视频帧进行形变放因子对原始参考视频帧进行缩放处理，得到具有第二预设分辨率的调整后参考视频帧；[0105]步骤510，将第一运动估计结果和具有第二预设分辨率的调整后参考视频帧输入[0106]上述步骤508中的第二预设分辨率是根据第一预设分辨率以及生成网络的结构参使得形变处理顺利执行，第二下采样参考帧与第一运动估计结果的分辨率应该相互匹配，也即：第二下采样参考帧与第一运动估计结果具有相同的分辨率(本申请实施例中均为第因子对原始参考视频帧进行下采样，得到具有第二预设分辨率的调整后参考视频帧(图中[0125]上述步骤706中分辨率调整时所采用的缩放因子(采样因子)是根据原始参考视频标缩放因子对参考特征和目标特征进行上采样，得到调整后参考特征和调整后目标特征；[0140]上述步骤908中分辨率调整时所采用的采样因子是根据原始参考视频帧的分辨率第三动估计结果和原始参考视频帧，生成与原始参考视频帧具有相同分辨率的重建视频过上采样子网络对第一上采样形变帧进行上采样得到与原始参考视频帧具有相同分辨率[0154]下采样层对第一下采样参考帧进行下采样时所采用的采样因子是根据原始参考一预设分辨率的第一运动估计结果；将原始参考视频帧和第一运动估计结果输入生成网到与原始参考视频帧具有相同分辨率的重建视频帧具有多样化的分辨率，最终输入至特征提取网络的仍是具有固定分辨率的视频帧，应的特征提取网络(用于对具有第一预设分辨率的视频帧进行特征提取的特征提取网络)[0176]原始视频帧获取模块1502，用于获取原始参考视频帧和待编码的原始目标视频[0184]本实施例的视频编码装置用于实现前述多个方法实施例预设分辨率的调整后参考视频帧；并通过特征提取网络对调整后参考视频帧进行特征提[0194]将第一运动估计结果和具有第二预设分辨率的调整后参[0197]对参考特征和目标特征进行分辨率调整，得到调整后参考特征和调整后目标特[0208]本实施例的视频解码装置用于实现前述多个方法实施例[0211]如图17所示，该会议终端可以包括：处理器(processor)1702、通信接口[0217]处理器1702可能是CPU，或者是特定集成电路ASIC(ApplicationSpecific[0221]程序1710具体可以用于使得处理器1702执行以下操作：成与原始参考视频帧具有相同分辨率的重建与第一预设分辨率对应的特征提取网络对调整后目标视频帧进行特征提取，得到目标特目标视频帧进行了分辨率统一化，将原始目标视频帧转换为了具有固定分辨率(第一预设征提取网络，而仅需要一个与第一预设分辨率对应的特征提取网络(用于对具有第一预设分辨率的视频帧进行特征提取的特征提取网络)即可实现多种不同分辨率原始目标视频帧络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质