CN114173120B 视频编码块划分方法和视频编码块划分预测模型训练方法 （北京达佳互联信息技术有限公司）

视频编码块划分方法和视频编码块划分预本公开关于一种在帧间预测模式下的视频编码块划分方法和视频编码块划分预测模型的率为待编码CTU的各最小子块的每个边作为所有确定当前CU按照每种可能的块划分模式被划分2获取第一预测残差和第二预测残差，其中，所述第一预测残差为CTU的预测残差，所述第二预测残差通过根据所述待编码CTU的同位CTU的块划分模式对所述第一预测残差进行预设处理而得到，所述同位CTU为所述当前视频帧的参考帧中与所述将所述第一预测残差和所述第二预测残差输入视频编码块划分预测模型并得到第一概率，所述第一概率为所述待编码CTU的各最小子块的每个边作为所有可能的块划分模式基于所述第一概率，确定当前CU按照每种可能的块划分模式被划分从所述所有可能的块划分模式中去除所述第二概率不2.如权利要求1所述的视频编码块划分方法，其根据所述待编码CTU的同位CTU的块划分模式对所述第一预测残将取平均值之后的所述第一预测残差作为所述第二所述块划分模式包括四叉树划分模式、三叉树划分模式和二叉树划树划分模式和所述三叉树划分模式都分别包括水平划分模式和垂所述从所述所有可能的块划分模式中去除所述第二概率不符合预设阈值的块划分模分别从所述二叉树划分模式和所述三叉树划分模式中去除所述第二概率不符合预设所述分别从所述二叉树划分模式和所述三叉树划分模式中去除所述第二概率不符合分别将所述水平概率和所述垂直概率与所述在所述水平概率和所述垂直概率都小于所述第一预设阈值的情况在所述水平概率和所述垂直概率中的其中一个小于所述第一预设阈值而另一个大于在所述水平概率和所述垂直概率都大于或者等于所述第二3通过根据所述当前视频帧的参考帧中的第二CTU的块划分模式对所述第一预测残差作预设各最小子块的每个边作为真实的块划分模式的划分边将所述第一预测残差和所述第二预测残差输入所述视频编码块计的由所述第一CTU中的各最小子块的每个边作为所有可能的块划分模式的划分边界的概对所述第一CTU中的多个最小子块的预设边的所述概率叠加基于叠加了相应的权重的所述估计向量和所述真值向量计算通过根据所述损失函数的值调整所述视频编码块划分预测模型的根据所述当前视频帧的参考帧中的第二CTU的块划分模式对所述第一预测残差取平均将取平均值之后的所述第一预测残差作为所述第二对作为预设划分边界的多个最小子块的边的所述概率乘相应的权重边界通过对所述第一CTU进行四叉树划分而得到，并且所述预设划分边界不包括所述第一所述视频编码块划分预测模型通过对帧内预测模式块划分预测网络结构进行预设处将所述帧内预测模式块划分预测网络结构的卷积层的数量减至原来的概率获取单元，被配置为：将所述第一预测残差和所述第二预测残差输划分预测模型并得到第一概率，所述第一概率为所述待编码CTU的各最小子块的每个边作基于所述第一概率，确定当前CU按照每种可能的块划分模式被划分4从所述所有可能的块划分模式中去除所述第二概率不根据所述待编码CTU的同位CTU的块划分模式对所述第一预测残将取平均值之后的所述第一预测残差作为所述第二所述块划分模式包括四叉树划分模式、三叉树划分模式和二叉树划树划分模式和所述三叉树划分模式都分别包括水平划分模式和垂所述处理单元被配置为：分别从所述二叉树划分模式和所述三叉树划述第二概率不符合预设阈值的水平划分模式和/或垂所述处理单元被配置为：针对所述二叉树划分模式或者所述三叉树划分分别将所述水平概率和所述垂直概率与所述在所述水平概率和所述垂直概率都小于所述第一预设阈值的情况在所述水平概率和所述垂直概率中的其中一个小于所述第一预设阈值而另一个大于在所述水平概率和所述垂直概率都大于或者等于所述第二测残差，所述第二预测残差通过根据所述当前视频帧的参考帧中的第二CTU的块划分模式向量表示所述第一CTU中的各最小子块的每个边作为真实的块划分模式的划分边界的情估计向量获取单元，被配置为：将所述第一预测残差和频编码块划分预测模型，得到估计的由所述第一CTU中的各最小子块的每个边作为所有可损失函数计算单元，被配置为：基于叠加了相应的权重的所述5模型参数调整单元，被配置为：通过根据所述损失函数的值调整所述视根据所述当前视频帧的参考帧中的第二CTU的块划分模式对所述第一预测残差取平均将取平均值之后的所述第一预测残差作为所述第二对作为预设划分边界的多个最小子块的边的所述概率乘相应的权重边界通过对所述第一CTU进行四叉树划分而得到，并且所述预设划分边界不包括所述第一所述视频编码块划分预测模型通过对帧内预测模式块划分预测网络结构进行预设处将所述帧内预测模式块划分预测网络结构的卷积层的数量减至原来的其中，所述计算机可执行指令在被所述至少一个处理器运行理器执行如权利要求1到4中的任一权利要求所述的在帧间预测模式下的视频编码块划分方法或如权利要求5到8中的任一权利要求所述的视频编码块划分预测模型的测模式下的视频编码块划分方法或如权利要求5到8中的任一权利要求所述的视频编码块处理器执行时实现如权利要求1到4中的任一权利要求所述的在帧间预测模式下的视频编码块划分方法或如权利要求5到8中的任一权利要求所述的视频编码块划分预测模型的训6码块划分方法及装置和视频编码块划分预测模型的个以块为单位的编码单元进行帧内或帧间的预测，然后对预测残差进行变换量化，最后将模式信息和量化后的残差等进行熵编码得到编码比特流。为了适应多种多样的视频内容和视频特征，在最新的视频编码标准H.266/VVC中采用QT（QuadroTree，四叉树）和MTT[0003]本公开提供一种在帧间预测模式下的视频编码块划分方法及装置和视频编码块编码CTU的预测残差，所述第二预测残差通过根据所述待编码CTU的同位CTU的块划分模式对所述第一预测残差进行预设处理而得到，所述同位CTU为所述当前视频帧的参考帧中与所述待编码CTU对应的部分；将所述第一预测残差和所述第二预测残差输入视频编码块划分预测模型并得到第一概率，所述第一概率为所述待编码CTU的各最小子块的每个边作为基于所述第一概率，确定当前CU按照每种可能的块划分模式被划分时所对应的第二概率，式，所述二叉树划分模式和所述三叉树划分模式都分别包括水平划分模式和垂直划分模式；所述从所述所有可能的块划分模式中去除所述第二概率不符合预设阈值的块划分模述分别从所述二叉树划分模式和所述三叉树划分模式中去除所述第二概率不符合预设阈7[0009]根据本公开实施例的第二方面，提供一种视频编码块划差通过根据所述当前视频帧的参考帧中的第二CTU的块划分模式对所述第一预测残差作预所述第二预测残差输入所述视频编码块划分预测模型，得到估计的由所述第一CTU中的各述第一CTU中的多个最小子块的预设边的所述概率叠加相应的权重；基于叠加了相应的权[0010]可选地，所述根据所述当前视频帧的参考帧中的第二CTU的块划分模式对所述第所述第一预测残差取平均值；将取平均值之后的所述第一预测残差作为所述第二预测残[0011]可选地，所述对所述第一CTU中的多个最小子块的预设边的所述概率叠加相应的设划分边界通过对所述第一CTU进行四叉树划分而得到，并且所述预设划分边界不包括所8率为所述待编码CTU的各最小子块的每个边作为所有可能的块划分模式的划分边界的概式，所述二叉树划分模式和所述三叉树划分模式都分别包括水平划分模式和垂直划分模述第二概率不符合预设阈值的水平划分模式和/或垂述水平概率和所述垂直概率中的其中一个小于所述第一预设阈值而另一个大于或者等于[0017]根据本公开实施例的第四方面，提供一种视频编码块划测残差，所述第二预测残差通过根据所述当前视频帧的参考帧中的第二CTU的块划分模式向量表示所述第一CTU中的各最小子块的每个边作为真实的块划分模式的划分边界的情编码块划分预测模型，得到估计的由所述第一CTU中的各最小子块的每个边作为所有可能CTU中的多个最小子块的预设边的所述概率叠加相应的权重；损失函数计算单元，被配置9的所述概率乘相应的权重，以加强所述视频编码块划分预测模型对视频编码损失的敏感模式下的视频编码块划分方法或视频编码块划分预测模型的指令可由计算机设备的处理器执行以完成根据本公开的在帧间预测模式下的视频编码[0025]根据本公开的在帧间预测模式下的视频编码块划分方法及装置，基于当前CTU的编码信息和其同位CTU的编码信息，通过视频编码块划分预测模型来在CTU级预测当前CTU[0030]图2是示出根据本公开的示例性实施例的在帧间预测模式下的视频编码块划分方[0034]图5是示出根据本公开示例性实施例的基于第一概率确定水平块划分模式所对应[0035]图6是示出根据本公开的示例性实施例的视频编码块划分预测模型的训练方法的[0036]图7是示出根据本公开示例性实施例的视频编码块划分预测模型的结构的示意[0037]图8是示出根据本公开的示例性实施例的对第一CTU进行四叉树划分而得到的划[0038]图9是示出根据本公开的示例性实施例的在帧间预测模式下的视频编码块划分装[0039]图10是示出根据本公开的示例性实施例的视频编码块划分预测模型的训练装置根据本公开示例性实施例的块划分模式的结构示意图，可参照图1来明确每种划分模式的[0045]更复杂的划分方式虽然可显著提高编码效率，但也引起分模式的次数显著增加，而每尝试一种块划分模式都要执行一次RDO（Rate-Distortion编码块划分的加速方案中，根据大小为64x64的CTU的原始像素值，利用神经网络预测该64x64的CTU中各4x4子块的各边被划分的概率，并依据各边被划分的概率值计算当前CU在的在帧间预测模式下的视频编码块划分方法及装置和视频编码块划分预测模型的训练方计算相应的CU划分模式概率值，根据CU划分模式概率值来去除一部分可能的块划分模式，图11具体描述根据本公开的示例性实施例的在帧间预测模式下的视频编码块划分方法及[0048]图2是示出根据本公开的示例性实施例的在帧间预测模式下的视频编码块划分方为当前视频帧中待编码CTU的预测残差，第二预测残差通过根据待编码CTU的同位CTU的块划分模式对第一预测残差进行预设处理而得到，同位CTU为当前视频帧的参考帧中与待编[0050]第一预测残差是当前视频帧中待编码CTU的预测残差，可通过运动估计和运动补第二预测残差可通过根据待编码CTU的同位CTU的块划分模式对待编码CTU的预测残差作预预测残差的具体获取过程，图3是示出根据本公开的示例性实施例的获得第二预测残差的每个小方格中的数字代表该区域的像素值与其同位CTU中相对应的区域的像素值之间的差[0051]在步骤202，可将第一预测残差和第二预测残差输入视频编码块划分预测模型并得到第一概率，该第一概率为待编码CTU的各最小子块的每个边作为所有可能的块划分模测模型可被预先训练好，该模型的具体结构及训练过程之后将参照图6至图8来详细描述，的各最小子块的每个边作为所有可能的块划分模式的划分边界的概率所组成的概率向量，除第二概率不符合预设阈值的块划分模式，并对剩下的块划分模式执行率失真优化决策，好地控制编码损失，本公开设置在视频编码块划分的迭代过程中始终保留对QT执行RDO决分模式，即，分别从二叉树划分模式和三叉树划分模式中去除第二概率不符合预设阈值的有所差异，可结合图5来进行描述。图5是示出根据本公开示例性实施例的基于第一概率确划分时的划分边界的平均概率（可通过将划分边界所纳入的最小子块的第一概率相加，再除以最小子块的个数得到BTH对应的第二概率是S2和S3中的数值更小的概率第二概率是S1和S4中的数值更小的概率，垂直块划分模式所对应的第二概率的确定方法与概率之后，还可利用决策树等传统机器学习方法来得到每种块划分模式对应的第二概率，一预设阈值的情况下，去除水平概率和垂直概率中概率值小于第一预设阈值的块划分模VTT对应的垂直概率与针对TT的第一预设阈值和针对TT的第二预设阈值进行比较来判断，从而可避免使用统一的预设阈值所可能导致的编码损失个边作为所有可能的块划分模式的划分边界的第一概率，在确定待编码CTU的每个CU的块划分模式时，可先基于16x16子块的每个边所对应的第一概率来确定每种可能的块划分模[0057]图6是示出根据本公开的示例性实施例的视频编码块划分预测模型的训练方法的差、第二预测残差和真值向量。第一预测残差是当前视频帧中待编码的第一CTU的预测残差；第二预测残差通过根据当前视频帧的参考帧中的第二CTU的块划分模式对第一预测残块划分预测模型的训练标签，可通过抽取出的视频帧中的第一CTU的真实的块划分模式来块的每个边作为真实的块划分模式的划分边界的到估计的由第一CTU中的各最小子块的每个边作为所有可能的块划分模式的划分边界的概块划分预测网络结构进行预设处理而得到，而帧内预测模式块划分预测网络结构可通过划分预测效果的同时降低视频编码块划分预测模型在运行时的计算量。图7是示出根据本预测模型通过5个卷积层来对64×64的CTU进行特征提取和预测，最终输出由112个概率值所组成的估计向量，对应64×64的CTU内部8×8的最小子块的每个边作为所有可能的块划图8是示出根据本公开的示例性实施例的对第一CTU进行四叉树划分而得到的划分边界的划分预测模型收敛。输出待编码CTU中的最小子块的边作为所有可能的块划分模式的划分边界的概率，从而可[0067]图9是示出根据本公开的示例性实施例的在帧间预测模式下的视频编码块划分装[0068]参照图9，根据本公开的示例性实施例的在帧间预测模式下的视频编码块划分装前视频帧中待编码CTU的预测残差，第二预测残差通过根据待编码CTU的同位CTU的块划分模式对第一预测残差进行预设处理而得到，同位CTU为当前视频帧的参考帧中与所述待编分预测模型并得到第一概率，该第一概率为待编码CTU的各最小子块的每个边作为所有可[0070]由于图2所示的在帧间预测模式下的视频编码块划分方法可由图9所示的在帧间中的各单元所执行的操作中涉及的任何相关细节均可参见关于图2的相