CN119422372A 用于几何分割模式下的运动存储的方法和设备 （北京达佳互联信息技术有限公司）

2024.12.20PCT/US2023/0259072023.06.21WO2023/250047EN2023.12.28用于几何分割模式下的运动存储的方法和获得第一运动矢量或第二运动矢量中的至少一被几何分割为几何分割的第一部分和几何分割基于存储的运动矢量类型的值和第一运动矢量或第二运动矢量将运动矢量存储在对应运动字2由所述解码器基于存储的运动矢量类型的值将运动矢量存储在对应运动字段中，其响应于确定存储的运动矢量类型的值为2，由所述解码器基于第一运动矢量和第二运动矢量获得组合的运动矢量，并且由所述解码器将组合的运动矢量存储在对应运动字段响应于确定第一运动矢量和第二运动矢量来自不同参考图片列表中的不同参考图片，由所述解码器将第一运动矢量或第二运动矢量作为单向预测运动矢量存储在对应运响应于确定存储的运动矢量类型的值为2，由所述解码器将帧间分割的运动矢量存储3响应于确定存储的运动矢量类型的值为0，由所述解码器在对应运动字段中不存储运响应于确定存储的运动矢量类型的值为1，由所述解码器将帧间分割的运动矢量存储响应于确定存储的运动矢量类型的值为0，由所述解码器将帧间分割的运动矢量存储响应于确定存储的运动矢量类型的值为1，由所述解码器在对应运动字段中不存储运由所述解码器基于存储的运动矢量类型的值将运动矢量存储在对应运动字段中，其响应于确定存储的运动矢量类型的值为2，由所述解码器基于第一运动矢量和第二运动矢量获得组合的运动矢量，并且由所述编码器将组合的运动矢量存储在对应运动字段响应于确定第一运动矢量和第二运动矢量来自不同参考图片列表中的不同参考图片，4响应于确定第一运动矢量和第二运动矢量来自同一参考图片列表中的由所述编码器将第一运动矢量或第二运动矢量作为单向预测运动矢量存储在对应运响应于确定存储的运动矢量类型的值为2，由所述编码器将帧间分割的运动矢量存储响应于确定存储的运动矢量类型的值为0，由所述编码器在对应运动字段中不存储运响应于确定存储的运动矢量类型的值为1，由所述编码器将帧间分割的运动矢量存储响应于确定存储的运动矢量类型的值为0，由所述编码器将帧间分割的运动矢量存储响应于确定存储的运动矢量类型的值为1，由所述编码器在对应运动字段中不存储运存储器，耦接到所述一个或多个处理器并且被配置为存储由所其中，所述一个或多个处理器在执行所述指令时被配置为执行根据权利要求1至28中30.一种用于存储计算机可执行指令的非暂时性计算机可读存储介质，所述指令在由31.一种用于存储计算机可执行指令的非暂时性计算机可读存储介质，所述指令在由一个或多个计算机处理器执行时使所述一个或多个计算机处理器执行根据权利要求15_2832.一种非暂时性计算机可读存储介质，用于存储将通过权利要求1_14中任一项所述533.一种非暂时性计算机可读存储介质，用于存6[0001]本申请基于2022年6月21日提交的题为“用于几何分割模式下的运动存储的方法视频编码(AVS)是由中国音视频编码标准工作组开发的又一套视频压缩标准系列。大多数供大约50％的比特速率节省或等效的感知质量。尽管VVC标准提供了比其前辈显著的编解及ISO/IECMPEG合作下的联合视频探索小组(JVET)开始探索可实现编解码效率相对于VVC用于未来的视频编解码探索工作。ECM参考软件是基于由JVET针对VVC开发的VVC测试模型[0005]本公开提供与改进视频编码或解码过程中的几何分割模式(GPM)的编解码效率相7二运动矢量或基于第一运动矢量和第二运动矢量获得所述存储器耦接到所述一个或多个处理器并且被配置为存储由所述一个或多个处理器可存储器耦接到所述一个或多个处理器并且被配置为存储由所述一个或多个处理器可执行8[0021]图5示出根据本公开的一些示例的从GPM的合并候选列表的运动矢量选择单向预[0025]图9示出根据本公开的一些示例的通过两个HoG模式和平面的加权平均的预测融[0028]图12A到图12C示出根据本公开的一些示例的用于具有帧间和帧内预测的GPM的可[0030]图13示出根据本公开的一些示例的从块内的任意位置到用于几何分割模式的分[0034]图17是示出根据本公开的一些示例的用于对视频块进行编码和解码的系统的框[0041]图21是示出根据本公开的一些示例的与如图20中所示出的用于视频解码的方法呈现的主题可在具有数字视频能力的许多类型的电子设[0043]本公开中使用的术语被采用而仅为了描述特定实施例的目，并不旨在限制本公9“子单元”可包括存储可由一个或多个处理器执行的代码或指令的存储器(共享、专用或[0049]类似于所有先前的视频编解码标准，ECM被建立在基于块的混合视频编解码框架(CTU)基于四叉树/二叉树/三叉树被拆分为CU以同视频图片/条带中的已经编码的相邻块的样点(其被称为参考样点)的像素来预测当前视或多个运动矢量(MV)来发信号通知用于给定CU的时间[0054]图3提供根据本公开的一些示例的基于块的视频解码器的框图。在基于块的视频被发送到空间预测单元(如果是帧内编码)或时间预测单元(如果是帧间编码)以形成预测残差块被相加在一起。重建块可在其被存储在参考图片缓冲器213中之前进一步经历环路[0056]图17是示出了根据本公开的一些实施方式的用于并行地对视频块进行编码和解路16可以包括能够将编码视频数据从源设备12移动到目标设备14的任何类型的通信介质进从源设备12到目标设备14的通信的任[0058]在其他一些实施方式中，可以将编码视频数据从输出接口22发送到存储设备3可以包括各种分布式或本地访问的数据存储介质中的任何数据存储介质，例如硬盘驱动存储设备32可以对应于文件服务器或可以保持由源设备12生成的编码视频数据的另一中服务器可以是能够存储编码视频数据并且将编码视频数据发送到目标设备14的任何类型器等)或无线信道和有线连接两者的组合。编码视频数据从存储设备32的传输可以是流传视频数据存储到存储设备32上以便稍后被目标设备14或其他设备访问，以用于解码和/或设备32上提供的编码视频数据可以包括由视频编码器20生成的各种语法元素以供视频解解码视频数据，并且可以包括各种显示器设备中的任何显示器设备，诸如液晶显示器[0063]视频编码器20和视频解码器30可以根据专有标准或行业标准(例如，VVC、HEVC、[0064]视频编码器20和视频解码器30可以分别被实现为各种合适的编码器和/或解码器电路中的任何电路，例如一个或更多个微处理器、数字信号处理器(DSP)、专用集成电路地以软件实现时，电子设备可以将用于软件的指令存储于合适的非暂态计算机可读介质中，并且使用一个或更多个处理器执行硬件中的指令以执行本公开中所公开的视频编码/解码器中，编码器或解码器中的任一者可以被集成为相应设备中的组合式编码器/解码器将帧分割为CTU的集合来生成帧的编码表示。视频帧可以包括以光栅扫描顺序从左到右和图1B所示)在序列参数集中用信号传送CTU的宽度和高度，使得视频序列中的所有CTU具有[0067]为了实现更好的性能，视频编码器20(如图1B所示)可以对CTU的编码树块递归地两个16×16的CU430和CU440分别进一步划分为块尺寸为8×8的四个CU。图19D描绘了示的四叉树分割仅用于说明性目的，并且一个CTU可以基于四叉树分割/三叉树分割/二叉树器20可以基于除与PU相关联的帧之外的一个或更多个帧的解码样点来生成PU测Cr块之一中的Cr样点与CU的原始Cr编码块中[0072]视频编码器20可以将一个或更多个变换应用于TU的亮度变换块以生成针对TU的一个或更多个变换应用于TU的Cr变换块以生成针对TU的[0076]但是随着不断改进的视频数据捕获技术和用于保留视频数据中的细节的更精细[0077]代替如上文结合图1B所描述的将由运动估计单元42确定的当前CU的实际运动矢视频解码器30两者需要采用一组规则，以用于使用与当前CU的空间邻近CU和/或时间同位CU相关联的那些潜在候选运动矢量来构建针对当前CU的运动矢量候选列表(也称为“合并矢量候选列表内的所选运动矢量预测值的索引足以使视频编码器20和视频解码器30使用运动矢量候选列表内的相同运动矢量预测值来对当前CU进行编码过程导出一个单向预测候选列表。将n表示为几何单向预测候选列表中的单向预测运动的索引。第n合并候选的LX运动矢量(其中X等于n的奇偶性(parity))被用作几何分割模式的1_w+1)cosLut[i]+((n+ρy，j)1_h+1)cosLut[(i+8)%信号通知一个语法元素(即merge_gpm_partition_idx)以指示应用的几何分割模式(其指素merge_gpm_idx0和merge_gpm_idx1被发信号通知以指示用于第一GPM分割和第二GPM分[0117]另一方面，在当前GPM设计中，截断一元码被用于两个单向预测合并索引(即，merge_gpm_idx0和merge_gpm_idx1)的二值化。另外，因为两个单向预测合并索引不能相gpm_idx0和merge_gpm_idx1被设置为等于MaxGpmMergeCand_1和MaxGpmMergeCand_2。能相同，其值将被增加1。当应用GPM/模式时，应用两种不同二值化方法以将语法merge_[0125]模板匹配(TM)是解码器侧MV导出方法以通过找到由当前CU的上方和左侧相邻重[0126]在AMVP模式中，基于模板匹配差确定MVP候选以找到达到当前块模板与参考块模使用迭代菱形搜索在[_8,+8]像素搜索范围内从全像素MVD精度(或用于4像素AMVR模式的4像素)开始细化该MVP候选。可通过使用具有全像素MVD精度(或用于4像素AMVR模式的4像素)的十字搜索进一步细化AMVP候选，取决于如下表中指定的AMVR模式而顺序地接着为半像素和四分之一像素。此搜索过程确保MVP候选在TM过程之后仍保持与由AMVR模式指示的示，取决于是否根据合并运动信息使用可选的插值滤波器(其在AMVR为半像素模式时被使[0131]DIMD是一种亮度帧内预测模式(IPM)不经由比特流被发送的帧内编码工具。取而[0134]对于模板的每个像素，这两个矩阵中的每个与以当前像素为中心并由其8个直接梯度分析的像素。像素802是由于缺少一些邻居而不可能对其进行梯度分析的像素。像素804是在像素803的梯度分析中使用的考虑的模板之外的可用(重建)像素。在像素804不可[0137]然后将梯度的取向转换为帧内角度预测模式，用于索引直方图(首先初始化为[0141]对于MPM中的每个帧内模式，计算图10中所示的模板区域的预测样点与重建样点之间的绝对变换差之和(SATD)，并且具有最小SATD代价的前两个模式的帧内模式被选定，[0160]基于模板匹配的GPM拆分模式重排序方法首先在JVET文档JVET_Y0135中被提出。计算每个GPM拆分模式的模板匹配代价，并且基于编码器和解码器侧两者的代价重排序拆[0161]GPM拆分模式的重排序方法是在生成编码单元中的两个GPM分割的相应参考模板[0168]在先前的GPM设计中，使用两个单向预测的帧间预测来生成最终预测。由JVET_X0166和JVET_Y0065引入了组合用于GPM的帧间为3。可用的IPM候选分别是相对于GPM块边界的平行角度模式(如图12A中所示的平行模上的直接运动矢量和IPM存储以进一步提高023458AAAAAALLLLAAAAAALLLL定义的混合强度值都是可移位的，而现有GPM混合过程中的所有限幅和移位操作可被保持波或垂直滤波过程中的任一个能够在并行线程中被应用，或者仍然可在逐个CTB的基础上[0188]去块滤波器的滤波器强度取决于重建运动字段由三个部分组成：来自几何分割的第一部分的Mv1、来自几何分割的第二部分的Mv1和Mv2被存储在具有GPM的CU的运动字混合区域可针对不同的混合宽度θ而变化。在一些实施例中，对于具有自适应混合的GPM，[0221]存储器1630被配置为存储各种类型的数据以支持计算环境1610的操作。存储器视频编码器20)使用例如上述编码方法产生以由解码器(例如，图17中的视频解码器30)在的比特流或数据流。非暂态计算机可读存储介质可以是例如ROM、随机存取存储器(RAM)、机程序产品，所述多个程序可以由计算环境1610中的处理器1620执行以用于执行上述方根据本公开的方法的步骤不局限于上述具体描述的顺序，而是可以根据实际情况而改变。并且修改和其他实施方式旨在被包括在本公开的范合宽度可以是如图15或图16所示的混合宽度或混合区域宽度θ。运动索引可以是但不限于等式(15)或(16)中的motionIdx，并且部分索引可以是但不限于等式(15)或(16)中的[0248]图21是示出与如图20所示的用于视频解码的方法对应的用于视频编码的方法的合宽度可以是如图15或图16所示的混合宽度或混合区域宽度θ。运动索引可以是但不限于等式(15)或(16)中的motionIdx，并且部分索引可以是但不限于等式(15)或(16)中的