CN119496899A 编解码方法及电子设备 （华为技术有限公司）

本申请实施例提供了一种编解码方法及电和编码单元的重建图像信息以得到编码单元的考单元的目标重建图像或参考单元的目标重建编码单元的初始重建图像或编码单元的初始重2确定所述编码单元的预设参数；其中，所述预设参数用于重建图像信息包括所述参考单元的目标重建图像或所述参考单元的目标重建图像的特征3.根据权利要求1或2所述的方法，其特征根据所述编码单元的原始图像和所述参考单元的目标重建图像4.根据权利要求1至3任一项所述的方法，其特征在于，确定所述编码单元的图像和所述参考单元的图像之间的相似的图像包括所述编码单元的原始图像和/或所述编码单元的初始重建图像，所述参考单元5.根据权利要求1至4任一项所述的方法根据所述预设参数，确定所述参考单元的重建图像信息的权重和所根据所述参考单元的重建图像信息的权重和所述编码单元的重建图6.根据权利要求1至4任一项所述的方法，其特将所述预设参数、所述参考单元的重建图像信息和所述编码单元3其中，按照所述第二码率参数编码所述残差信息得到的码流述第一码率参数编码所述残差信息得到的码根据所述残差信息或所述编码单元的第二光流中的至少一项根据所述预设参数，融合所述第一预测信息和所述参考单所述根据所述第一预测信息和所述编码单元的原始图像，确定所所述残差编码模块，用于根据所述第一预测信息和所述编码单元的原所述预设参数确定模块，用于确定所述预设参数；将所述预设参数输所述融合模块，用于根据所述预设参数，融合所述参考单元的重建图像信所述运动估计网络，用于根据所述编码单元的原始图像和所述参考单所述预测模块，用于根据所述参考单元的重建图像信息根据所述码流获取当前帧中编码单元经解码的残差信息，以及4根据所述经解码的残差信息和所述第一预测信息进行重建，确定所根据所述预设参数融合所述编码单元的重建图像信息和参考单元根据所述预设参数，确定所述编码单元的重建图像信息的权重和所根据所述编码单元的重建图像信息的权重和所述参考单元的重建图将所述预设参数、所述编码单元的重建图像信息和所述参考单元根据所述经解码的残差信息或所述编码单元的第根据所述自适应码率解码所述残差码流得到的信息，确定所述编码单所述解码模块，用于根据所述码流获取所述预设参数，以及5所述重建模块，用于根据所述经解码的残差信息和所述第一预测信所述融合模块，用于根据所述预设参数融合所述编码单元的重建图像信根据所述预设参数融合所述第一预测信息和参考单元的重建图像信21.根据权利要求19或20所述的方法，其特征在于，所述对所述编码单元进行帧间预根据所述编码单元的原始图像和所述参考单元的目标重建图像根据所述预设参数融合所述参考单元的重建图像信息和所述编码单元的重建图像信其中，所述编码单元的重建图像信息包括所述编码单元的初图像的特征信息是根据所述第二预测信息和所述残差信所述预设参数确定模块，用于确定所述预设参数；将所述预设参数输出所述融合模块，用于根据所述预设参数融合所述第一预测信息和所述残差编码模块，用于根据所述第二预测信息和所述编码单元的原6根据所述码流获取当前帧中编码单元经解码的残差信息，以及根据所述预设参数融合所述第一预测信息和参考单元的重建图像信根据所述经解码的残差信息和所述第二预测信息进行重建，确定所根据所述预设参数融合所述编码单元的重建图像信息和所述参考单元的重建图像信根据所述经解码的残差信息和所述编码单元的第所述解码模块，用于根据所述码流获取所述经解码的残差信息，以及根所述融合模块，用于根据所述预设参数融合所述第一预测信息和所述重建模块，用于根据所述经解码的残差信息和所述第二预测信所述存储器存储有程序指令，当所述程序指令由所述处理器执行时置执行如权利要求1至11中任一项或19至237所述存储器存储有程序指令，当所述程序指令由所述处理器执行时置执行如权利要求12至18中任一项或24至27器执行计算机指令时，使得如权利要求1至权利要求11中任一项或者19至23中任一项所述计算机指令被计算机或处理器执行时，使得如权利要求1至27任一项所述的方法的步骤被8融合参考单元的重建图像信息和编码单元的重建图像信息以得到编码单元的目标重建图元的图像的运动复杂度可以是指编码单元的图像与参考单元的图像之间的相似度，或者，码单元的图像相对于参考单元的图像的运动复9[0008]本申请根据预设参数融合编码单元的重建图像信息和参指由第i帧对应参考帧的重建图像与第i帧对应参考帧的原始图像之间的误差在编码第i帧是指编码单元的原始图像的特征信息(或编码单元的原始图像)和编码单元的第一预测信可以称为第一残差的压缩特征，可以对第一残差进行特征提取得到)，本申请对此不作限以降低码率开销。括编码单元的原始图像和/或编码单元的初始重建图像，参考单元的图像包括参考单元的第二预设值可以用于指示编码单元的图像相对于参考单元的图像的运动复杂度为高复杂能的方式中，第一预设值和第二预设值可以是0至1之间的数(第一预设值和第二预设值的征信息输入至光流解码模型，由光流解码模建图像信息的权重可以大于参考单元的重建图像的数(第一预设值和第二预设值的取值均可以为0或1)时，可以将编码单元的预设参数的值为0时，融合参考单元的重建图像信息和编码单元的重建图像信息所得到的编码单元的据残差信息或编码单元的第二光流中的至少一项进行熵估计，确定预设参数的概率分布；[0054]示例性的，可以直接将第一预测信息和编码单元的原始图像输入至残差编码网[0069]第二方面以及第二方面的任意一种实现方式分别与第一方面以及第一方面的任[0081]第三方面以及第三方面的任意一种实现方式分别与第一方面以及第一方面的任[0094]第四方面以及第四方面的任意一种实现方式分别与第一方面以及第一方面的任[0096]第五方面以及第五方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应；或者分别与第三方面以及第三方面的任意一种实现方式相对应。第五方面以及第五方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及[0098]第六方面以及第六方面的任意一种实现方式分别与第二方面以及第二方面的任意一种实现方式相对应；或者分别与第四方面以及第四方面的任意一种实现方式相对应。第六方面以及第六方面的任意一种实现方式所对应的技术效果可参见上述第二方面以及三方面或第三方面的任意的实现方式中的方[0100]第七方面以及第七方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应；或者分别与第三方面以及第三方面的任意一种实现方式相对应。第七方面以及第七方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及四方面或第四方面的任意的实现方式中的方[0102]第八方面以及第八方面的任意一种实现方式分别与第二方面以及第二方面的任意一种实现方式相对应；或者分别与第四方面以及第四方面的任意一种实现方式相对应。第八方面以及第八方面的任意一种实现方式所对应的技术效果可参见上述第二方面以及[0104]第九方面以及第九方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应；或者分别与第三方面以及第三方面的任意一种实现方式相对应。第九方面以及第九方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及[0106]第十方面以及第十方面的任意一种实现方式分别与第二方面以及第二方面的任意一种实现方式相对应；或者分别与第四方面以及第四方面的任意一种实现方式相对应。第十方面以及第十方面的任意一种实现方式所对应的技术效果可参见上述第二方面以及[0108]第十一方面以及第十一方面的任意一种实现方式分别与第一方面以及第一方面[0110]第十二方面以及第十二方面的任意一种实现方式分别与第二方面以及第二方面[0112]第十三方面以及第十三方面的任意一种实现方式分别与第一方面以及第一方面送器用于从存储介质中获取码流并将码流通过传输介质发送给端[0114]第十四方面以及第十四方面的任意一种实现方式分别与第一方面以及第一方面[0116]第十五方面以及第十五方面的任意一种实现方式分别与第一方面以及第一方面AI编码模块可以针对视频数据中的每一帧图像可以进行以下处理：进行预测(包括帧内预块可以针对视频数据中的每一帧图像可以进行以下处理：进行预测(包括帧内预测和帧间[0167]示例性的，可以先将当前帧的原始图像(也就是原始视频(也可以称为待编码视频)的图像序列中当前帧的图像)划分为多个编码到编码单元的第一光流的特征信息(也可以称为编码单元的第一光流的压缩特征)并输出[0170]示例性的，第一熵估计模块可以对编码单元的第一光流的特征信息进行概率估解码，得到编码单元解码后的第一光流的特征信编码单元的第一残差的特征信息(其中，第块可以根据参考单元的重建图像或参考单元的第一预测信息或参考单元的重建图像的特定编码单元帧的光流概率分布并输出至第一熵解[0192]示例性的，光流解码模块可以对编码单元的第二光流的得到编码单元的第二光流并将编码单元的第二光流输出[0196]示例性的，残差解码模块可以对编码单元熵解码后的第一残差信息进行特征恢[0199]应该理解的是，本发明对图2A中示出的AI视频编码框架出的重建图像(也就是根据编码单元的第二残参考单元的图像的运动复杂度可以是指编码单元的图像与参考单元的图像之间的相似度，[0215]一种可能的方式中，可以确定编码单元的图像与参考单能的方式中，第一预设值和第二预设值可以是0至1之间的数(第一预设值和第二预设值的误差大于误差阈值，相当于编码单元的图像与参考单元的图像的相似度小于相似度阈值；光流的特征信息进行解码(也就是特征恢复)，输出编码单元的第三光流；可以参考公式flow表示编码单元的第三光流，neareast表示采用最邻近插考单元的重建图像信息和编码单元的重建图像信息以得到编码单元1之间的数(第一预设值和第二预设值的取值均可以为0或1)时，可以将编码单元的预设参[0255]在公式(6)和公式(7)中，G表示编码单元的目标重建图像或者编码单元的目标重建图像的特征信息，Y1为参考单元的目标重建图像或参考单元的目标重建图像的特征信[0257]当编码单元的图像相对于参考单元的图像的运动复杂度为低复杂度，且公式(6)[0258]当编码单元的图像相对于参考单元的图像的运动复杂度为高复杂度，且公式(6)[0259]当编码单元的图像相对于参考单元的图像的运动复杂度为低复杂度，且公式(6)和公式(7)中mask为除0和1之外的其他值(也就是第一预设值和第二预设值为除0和1之外的数值)时，融合参考单元的重建图像信息和编码单元的重建图像信息所得到的编码单元[0261]需要说明的是，当S304中的编码单元的图像不包括编码[0264]参照图3C和图3D，示例性的，左上侧粗线条的虚线框中的编码过程对应S301~~S305。其中，图3C和图3D中当前帧的预设参数中一个黑色的点表示对[0273]应该理解的是，当S402需要使用残差码流确定编码单元的预设参数的概率分布块可以包括图2B中的第二熵估计模块、第二熵解码模[0282]S406，根据预设参数融合编码单元的重建图像信息和参H266)和现有技术的AI视频编解码方法进行测试，比对本申请的AI视频编解码方法和现有的AI视频编解码方法的PSNR均优于现有技术的AI视频编解码方法的PSNR；特别的，针对720p测试集，本申请的AI视频编解码方法的PSNR相对于现有技术的AI视频编解码方法的度高(即编码单元的图像相对于参考单元的图像的运动复杂度为高复杂度)的视频数据的于参考单元的图像的运动复杂度为低复杂度)的视频的累[0291]参照图4C中，曲线1为采用本申请的AI视频编解码方法进行编码码得到的重建图像的Y_PSNR；曲线2为采用现有技术的AI视频编解码方法进行编码码得到的重建图像的Y_[0313]S607，根据预设参数融合编码单元的重建图像信息和参[0344]S808，根据预设参数融合编码单元的重建图像信息和参的Y_PSNR；曲线2为采用现有技术的AI视频编解码方法进行编码码得到的重建图像的Y_1之间的数(第一预设值和第二预设值的取值均可以为0或1)时，可以将编码单元的预设参第一预设值和第二预设值变换为0至1之间的数之后，再将编码单元变换后的预设参数的值，作为参考单元的重建图像信息的权重，将1与编码单元变换后的预设参数的值之间的(8)和公式(9)中mask为除0和1之外的其他值(也就是第一预设值和第二预设外的数值)时，融合编码单元的第一预测信息和参考单元的重建图像信息所得到的编码单模块可以包括图2B中的第二熵估计模块、第二熵解码模块和于执行S1103)；以及还包括第