CN119496900A 编解码方法及电子设备 （华为技术有限公司）

先验信息用于确定当前帧中全部像素点的光流2基于所述当前帧的第一光流的特征信息和所述当前帧的第一光流基于所述当前帧的第二光流超先验信息和所述当前帧的第一光流的先验信息进行概基于所述当前帧的光流概率分布对所述当前帧的第所述当前帧的第一光流的先验信息包括所述当前帧的第一光流的时域先验信息或所述当前帧的第一光流的空域先验信息中的至所述当前帧的第一光流的时域先验信息包括所述当前帧的前m帧的第二光流的特征信所述当前帧的第一光流的空域先验信息包括所述当前帧对应参考帧的重建图像的特4.根据权利要求1至3任一项所述的方法，其特征在于基于所述当前帧的残差信息和所述当前帧的残差信息的先验信基于所述当前帧的第二残差超先验信息和所述当前帧的残差信息的先验信息进行概基于所述当前帧的残差概率分布对所述当前帧的残差信息进行熵编所述当前帧的残差信息的先验信息包括所述当前帧的残差信息的时域先验信息或所述当前帧的残差信息的空域先验信息中的至所述当前帧的残差信息的时域先验信息包括所述当前帧的前n帧的残差所述当前帧的残差信息的空域先验信息包括所述当前7.根据权利要求1至6任一项所述的方法，其特征3所述熵估计模块，用于基于所述当前帧的第一光流的特征信息和所述当所述熵估计模块，还用于基于所述当前帧的第二光流超先验信息和所述所述熵编码模块，还用于基于所述当前帧的光流概率分布对所述当所述残差编码模块，用于基于所述当前帧的预测信息和所述当前帧基于所述当前帧的第二光流超先验信息和所述当前帧的第一光流的先验信息进行概基于所述当前帧的光流概率分布对所述第二码流进行熵解码，得到所前帧的第二光流是基于所述当前帧的第二光流的特征信息基于所述当前帧的预测信息和所述当前帧经解码的残差信息进行重所述当前帧的第一光流的先验信息包括所述当前帧的第一光流的时域先验信息或所述当前帧的第一光流的空域先验信息中的至所述当前帧的第一光流的时域先验信息包括所述当前帧的前m帧的第二光流的特征信所述当前帧的第一光流的空域先验信息包括所述当前帧对应参考帧的重建图像的特4基于所述当前帧的第二残差超先验信息和所述当前帧的残差信息的先验信息进行概基于所述当前帧的残差概率分布对所述第三码流进行熵解码，得到所述当前帧的残差信息的先验信息包括所述当前帧经解码的残差信息的时域先验信息或所述当前帧经解码的残差信息的空域先所述当前帧经解码的残差信息的时域先验信息包括所述当前帧的前n帧经解码的残差所述当前帧经解码的残差信息的空域先验信息包括所述当前所述当前帧的第二光流超先验信息输出至所述熵所述熵估计模块，用于基于所述当前帧的第二光流超先验信息和所述当所述熵解码模块，还用于基于所述当前帧的光流概率分布对所述第二码流进行熵解所述预测模块，用于基于所述当前帧的第二光流进行帧间预测，所述重建模块，用于基于所述当前帧的预测信息和所述当前帧经解基于所述当前帧的残差信息和所述当前帧的残差信息的先验信基于所述当前帧的第二残差超先验信息和所述当前帧的残差信息的先验信息进行概基于所述当前帧的残差概率分布对所述当前帧的残差信息进行熵编码，得到第二码5所述当前帧的残差信息的先验信息包括所述当前帧的残差信息的时域先验信息或所述当前帧的残差信息的空域先验信息中的至所述当前帧的残差信息的时域先验信息包括所述当前帧的前n帧的残差所述当前帧的残差信息的空域先验信息包括所述当前所述残差编码模块，用于基于所述当前帧的预测信息和所述当前帧所述熵估计模块，用于基于所述当前帧的残差信息和所述当前帧所述熵估计模块，还用于基于所述当前帧的第二残差超先验信息和所述所述熵编码模块，还用于基于所述当前帧的残差概率分布对所述当前基于所述当前帧的第二残差超先验信息和所述当前帧的残差信息的先验信息进行概基于所述当前帧的残差概率分布对所述第二码流进行熵解码，得到基于所述当前帧的预测信息和所述当前帧经解码的残差信息进行重所述当前帧的残差信息的先验信息包括所述当前帧经解码的残差信息的时域先验信息或所述当前帧经解码的残差信息的空域先所述当前帧经解码的残差信息的时域先验信息包括所述当前帧的前n帧经解码的残差所述当前帧经解码的残差信息的空域先验信息包括所述当前6所述当前帧的第二残差超先验信息输出至所述熵所述熵估计模块，用于基于所述当前帧的第二残差超先验信息和所述熵编码模块，用于基于所述当前帧的残差概率分布对所述第二码流进行熵解码，得到所述当前帧经解码的残差信息；将所述当前帧经解码的残差信息输出至所述重建模所述重建模块，用于基于所述当前帧的预测信息和所述当前帧经解所述存储器存储有程序指令，当所述程序指令由所述处理器执行时置执行如权利要求1至7中任一项或15至18所述存储器存储有程序指令，当所述程序指令由所述处理器执行时置执行如权利要求8至14中任一项或19至22器执行计算机指令时，使得如权利要求8至权利要求14中任一项或者19至22中任一项所述计算机指令被计算机或处理器执行时，使得如权利要求1至22任一项所述的方法的步骤被7[0004]由于视频数据的图像帧之间在时间上存在连续性，因此帧的第一光流的先验信息可以用于确定当前帧中K1个像素点的第一光流的特征信息的概8用当前帧的第一光流超先验信息，可以确定这100个像素点中另外50个像素点的光流概率确定这100个像素点中40个像素点的光流概率分布；单独采用当前帧的第一光流超先验信流的先验信息和当前帧的第一光流超先验信息，可以确定这100个像素点中另外10个像素确定的当前帧的第一光流超先验信息用于确定当前帧中另一部分像素点的第一光流的特开销。9空域先验信息包括当前帧对应参考帧的重建[0020]示例性的，当前帧的前m帧可以是指重建图像与当前帧的原始图像相似度高于第息的先验信息可以用于确定当前帧中K3个像素点的残差信息的概率分布(即残差概率分像素点和K4个像素点的并集为当前帧包括的K个像素点。需要说明的是，一种可能的方式以确定这100个像素点中另外50个像素点的残差概率分布；以及结合当前帧的残差信息的先验信息和当前帧的第一残差超先验信息，可以确定这100个像素点中另外10个像素点的验信息包括当前帧的残差信息的时域先验信息或当前帧的残差信息的空域先验信息中的[0030]示例性的，当前帧的前n帧可以是指重建图像与当前帧的原始图像相似度高于第空域先验信息包括当前帧对应参考帧的重建信息；基于当前帧的第二残差超先验信息和当前帧的残差信息的先验信息进行概率估计，验信息包括当前帧经解码的残差信息的时域先验信息或当前帧经解码的残差信息的空域[0056]第二方面以及第二方面的任意一种实现方式分别与第一方面以及第一方面的任随后，基于当前帧的第二残差超先验信息和当前帧的残差信息的先验信息进行概率估计，[0070]熵编码模块，还用于基于当前帧的残差概率分布对当前帧的残差信息进行熵编[0072]第三方面以及第三方面的任意一种实现方式分别与第一方面以及第一方面的任域先验信息或当前帧经解码的残差信息的空域先验信息中的[0083]第四方面以及第四方面的任意一种实现方式分别与第一方面以及第一方面的任[0085]第五方面以及第五方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应；或者分别与第三方面以及第三方面的任意一种实现方式相对应。第五方面以及第五方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及[0087]第六方面以及第六方面的任意一种实现方式分别与第二方面以及第二方面的任意一种实现方式相对应；或者分别与第四方面以及第四方面的任意一种实现方式相对应。第六方面以及第六方面的任意一种实现方式所对应的技术效果可参见上述第二方面以及三方面或第三方面的任意的实现方式中的方[0089]第七方面以及第七方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应；或者分别与第三方面以及第三方面的任意一种实现方式相对应。第七方面以及第七方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及四方面或第四方面的任意的实现方式中的方[0091]第八方面以及第八方面的任意一种实现方式分别与第二方面以及第二方面的任意一种实现方式相对应；或者分别与第四方面以及第四方面的任意一种实现方式相对应。第八方面以及第八方面的任意一种实现方式所对应的技术效果可参见上述第二方面以及[0093]第九方面以及第九方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应；或者分别与第三方面以及第三方面的任意一种实现方式相对应。第九方面以及第九方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及[0095]第十方面以及第十方面的任意一种实现方式分别与第二方面以及第二方面的任意一种实现方式相对应；或者分别与第四方面以及第四方面的任意一种实现方式相对应。第十方面以及第十方面的任意一种实现方式所对应的技术效果可参见上述第二方面以及[0097]第十一方面以及第十一方面的任意一种实现方式分别与第一方面以及第一方面[0099]第十二方面以及第十二方面的任意一种实现方式分别与第二方面以及第二方面[0101]第十三方面以及第十三方面的任意一种实现方式分别与第一方面以及第一方面送器用于从存储介质中获取码流并将码流通过传输介质发送给端[0103]第十四方面以及第十四方面的任意一种实现方式分别与第一方面以及第一方面[0105]第十五方面以及第十五方面的任意一种实现方式分别与第一方面以及第一方面AI编码模块可以针对视频数据中的每一帧图像可以进行以下处理：进行预测(包括帧内预块可以针对视频数据中的每一帧图像可以进行以下处理：进行预测(包括帧内预测和帧间模块。光流编码模块(也可以称为光流特征提取模块)可以对当前帧的第一光流进行编码[0149]示例性的，第一熵估计模块可以对当前帧的第一光流的码，得到当前帧解码后的第一光流的特征信息(也可以称为当前帧的第二光流的特征信据当前帧的第二光流和参考帧的重建图像的特征信息进行预测，得到当前帧的预测信息；帧的原始图像的特征信息和当前帧的预测信息，输差(其中，第一残差可以是指当前帧的原始图建图像输入至预测模块，由预测模块根据当前帧的第二光流和参考帧的重建图像进行预第一残差信息为当前帧的第一残差的特征信息时，该步骤中的解码包括熵解码和特征恢[0174]示例性的，残差解码模块可以对当前帧熵解码后的第一得到当前帧的第二残差信息并将当前帧的第二残差信息输出据当前帧的第二光流和参考帧的重建图像的特征信息进行预测，得到当前帧的预测信息；建图像输入至预测模块，由预测模块根据当前帧的第二光流和参考帧的重建图像进行预[0177]应该理解的是，本发明对图2A中示出的AI视频编码框架网络和第一融合模块。以及AI视频编码框架中的熵编码模块还可以包括第三熵编码模块，AI视频编码框架和AI视频解码框架中的熵解码模块还可以包括第三熵解模块输出当前帧的第一光流的特征信息至第一熵估计模块；之后，可以参照下述S303~特征信息和当前帧的第一光流的先验信息进行超先验编码网络可以输出当前帧的第一光流超先验信息至第三熵编策(如用于确定当前帧中K1个像素点的第一光流的特征信息的概率分布(即光流概率分包括当前帧的第一光流的空域先验信息和当前帧的第一[0194]示例性的，当前帧的第一光流的时域先验信息可以包括当前帧的前m帧的第二光光流超先验信息；并将当前帧熵解码后的第一光流超先验信息输出至第一超先验解码网一融合模块可以基于当前帧的第二光流超先验信息和当前帧的第一光流的先验信息进行[0201]S306，基于当前帧的光流概率分布对当前帧的第一光流也可以称为第三残差超先验特征)；将当前帧的第三残差超先验信息输入至第五熵编码模得到当前帧的第四残差超先验信息(其中，第四一融合模块可以基于当前帧的第二光流超先验信息和当前帧的第一光流的先验信息进行帧的第二光流是基于当前帧的第二光流的特码网络和第二融合模块。以及AI视频编码框架中的熵编码模块还可以包括第四熵编码模光流超先验信息也可以称为第三光流超先验特征)；将当前帧的第三光流超先验信息输入用于确定残差概率分布的信息(即第一残差超先验信息)的数据量，进而可以降低码率开定这100个像素点中另外50个像素点的残差概率分布；以及结合当前帧的残差信息的先验信息和当前帧的第一残差超先验信息，可以确定这100个像素点中另外10个像素点的残差括当前帧的残差信息的空域先验信息和当前帧的残差信息残差超先验信息；并将当前帧熵解码后的第一残差超先验信息输出至第一超先验解码网二融合模块可以基于当前帧第二残差超先验信息和当前帧的残差信息的先验信息进行概二融合模块可以基于当前帧的第二残差超先验信息和当前帧的残差信息的先验信息进行[0259]之后，第二熵编码模块可以基于当前帧的残差概率分布是第一光流超先验信息的码流，第四码流可以是[0281]图8为示例性示出的解码过程示意图。图8实施例中解码过程与图7实施例中的编帧的第二光流是基于当前帧的第二光流的特统编解码方法(如H266)和现有技术的AI的编码方法和图8实施例的解码方法和现有技术的AI视频编