CN118694944B 用于视频解码的方法、装置、存储介质、计算机程序产品和存储比特流的方法 （北京达佳互联信息技术有限公司）

201980084122.42019.12.12WO2017086748A1,2017.05US2017272759A1,201运动矢量推导用于多个色度子块中的色度子块的仿射运动矢量。视频数据具有颜色子采样格式，并且对应亮度子块根据颜色子采样格式得2接收布置在多个亮度子块和多个色度子块中的视频数据，其中每个使用通过对对应亮度子块的运动矢量求平均得到的平均亮在所述颜色采样格式为4:4:4的情况下，所述平均亮度运动矢量是一个对应亮度子块根据与所述视频数据的颜色采样格式对应的标识信息来确定所述视频数据的颜色采左移所述对应亮度子块的控制点的运动矢量以获得左移后的述左移后的亮度运动矢量被用于推导所述平均使用基于控制点的仿射运动模型推导用于所述多个亮度子块中的亮度子块的仿射运处理器，耦合到所述存储器并且被配置为使用所述比特流执行如权利要求1_5中任一7.一种非暂时性计算机可读存储介质，包括存储在被处理器执行时，使所述处理器使用所述比特流执行如权利要求1_5中任一项所述的用于接收布置在多个亮度子块和多个色度子块中的视频数据，其中每个3使用通过对对应亮度子块的运动矢量求平均得到的平均亮其中，求平均过程在不同颜色采样格式下使用来自不同的亮述颜色采样格式为4:4:4的情况下，所述平均亮度运动矢量是一个对应亮度子块的运动矢4运动补偿预测(MCP)、双向预测(B)、块复制(BC)、基于上下文的自适应二进制算术编码单个样点表示与原色相关的两个色差信号之一。使用术语色度(chroma)而不是术语色品频编码(AVC)、ITU_TH.265/高效视频编码(HEVC)定义的标准及此类标准的扩展中所描述5带具有多个视频块，视频块也可被称为编码树单元(CTU)。每个CTU可包含一个编码单元(CU)或者递归地被拆分为更小的CU直到达到预定义的最小CU尺寸为止。每个CU(也称为叶CU)包含一个或多个变换单元(TU)并且每个CU还包含一个或多个预测单元(PU)。可以以帧以由具有数字视频能力的另一电子设备访问或者有线或无线地直接发送到电子设备。然[0011]随着数字视频质量从高清变为4K×2K或甚至8K×4K，待编码/解码的视频数据量[0012]在联合视频专家组(JVET)会议中，JVET定义了通用视频编码(VVC)的第一草案和用于实现编码方法的参考软件VTM和草案6[0022]图5是示出根据本公开的一些实施方式的针对块的每个子块的仿射运动矢量场[0023]图6是示出根据本公开的一些实施方式的继承仿射运动预测因子的位置的示意[0025]图8是示出根据本公开的一些实施方式的针对构建的仿射合并模式的候选的位置[0026]图9是示出根据本公开的一些实施方式的针对所提出的组合方法的运动矢量使用[0030]图13是示出根据本公开的一些实施方式的用于推导针对色度分量的仿射运动矢7呈现的主题可在具有数字视频能力的许多类型的电子[0034]附图中的示意性流程图和/或示意性框图示出了根据各种实施例的不同装置、系[0038]除非另有明确说明，否则列举的项目列表并不暗示任何或所有项目是相互排斥8需要利用执行功能或动作X'的能力和执行功能或动作Y'的能力来实现方法，而功能X'和Y'两者在多次执行该方法时可以在不同时间执行。还可利用检测或评估满足条件X的能力以及检测或评估满足条件Y的能力来实现方法。行的代码或指令。模块可包括具有或不具有存储的代码或指令的一个或更多个电路。模块或电路可包括直接或间接连接的一个或更多个组件。这些组件可以或可不物理地附接到彼此或彼此相邻定位。[0047]图片分割结构将输入视频划分为被称为编码树单元(CTU)的块。使用具有嵌套多类型树结构的四叉树将CTU拆分为编码单元(CU)，并且叶编码单元(CU)定义了共享相同预[0051]图1是示出根据本公开的一些实施方式的用于对视频块进行编码和解码的示例性916可以是能够将编码视频数据从源设备12移动到目标设备14的任何类型的通信介质或设过适合于访问存储在文件服务器上的编码视频数据的任何标准数据连接来访问编码视频[0058]视频编码器20和视频解码器30可根据专有标准或行业标准(诸如，VVC、HEVC、的视频编码器20可被配置为根据这些当前标准或未来标准中的任何标准对视频数据进行[0059]视频编码器20和视频解码器30可分别被实现为各种合适的编码器电路系统中的个或更多个处理器执行硬件中的指令以执行本公开中所公开的视频编码/解码操作。视频或解码器中的任一者可被集成为相应设备中的组合式编码器/解码器(CODEC)的[0060]图2是示出根据本公开中描述的一些实施方式的示例性视频编码器20的框图。视据分割为视频块。此分割还可包括根据与视频数和失真等级)为当前视频块选择多个可能预测编解码模式中的一个，诸如多个帧内预测编重建编码块以用于随后作为参考帧的一部分使用。预测处理单元41还将语义元素(诸如运[0066]在像素差方面，预测块是被认为与待编解码视频块的PU20可对参考帧的四分之一像素位置、八分之一像素位置或其他分数像素位置的值进行内[0067]运动估计单元42通过以下来计算针对帧间预测编解码帧中的视频块的PU的运动[0068]由运动补偿单元44执行的运动补偿可涉及基于由运动估计单元42确定的运动矢参考帧列表中的一个参考帧列表中定位运动矢量所指向的预测块，从DPB64取回预测块，帧的视频块相关联的语义元素，以供视频解码器30在对视频帧的视频块进行解码时使用。编码器20可通过从正被编解码的当前视频块的像素值减去预测块的像素值来形成像素差[0072]作为如上文所描述的由运动估计单元42和运动补偿单元44执行的帧间预测或由[0073]在预测处理单元41经由帧间预测或帧内预测确定针对当变换(诸如离散余弦变换(DCT)或概念上类似的变换)将残差视频数据变换为残差变换系行量化以进一步减小比特率。量化过程还可减小与系数中的一些或全部相关联的比特深间分割熵(PIPE)编码或另一熵编码方法或技术，将量化的变换系数熵编码成视频比特流。[0076]反量化单元58和逆变换处理单元60分别应用反量化和逆变换以在像素域中重建将一个或更多个内插滤波器应用于预测块，以计算子整数像素值以用于在运动估计时使用。[0077]加法器62将重建的残差块加到由运动补偿单元44产生的运动补偿预测块来产生[0078]图3是示出根据本公开的一些实施方式的示例性视频解码器30的框图。视频解码和帧内BC单元85。视频解码器30可执行与上文结合图2关于视频编码器20所描述的编码过片缓冲器存储来自编码视频比特流的编码视频数据。视频解码器30的解码图片缓冲器在图3中描绘为视频解码器30的两个不同组件。但是对于本领域的技术人员将显而易见的视频帧的视频块和相关联的语义元素。视频解码器30可在视频帧级和/或视频块级接收语[0082]当视频帧被编解码为帧内预测编解码(I)帧或用于其他类型的帧中的帧内编解码单元81的帧内BC单元85基于从熵解码单元80接收的块矢量和其他语义元素产生针对当前[0085]运动补偿单元82和/或帧内BC单元85通过解析运动矢量和其他语义元素来确定针确定当前视频块是使用帧内BC模式预测的、帧的哪些视频块在重建区域内且应被存储在[0087]运动补偿单元82还可使用如由视频编码器20在视频块的编码期间使用的内插滤[0088]反量化单元86使用由视频编码器20针对视频帧中的每个视频块计算的相同的参[0089]在运动补偿单元82或帧内BC单元85基于矢量和其他语义元素生成针对当前视频度样点的一个二维阵列。[0091]图4是示出根据本公开的一些实施方式的基于控制点的仿射运动模型的示意图。)是左下角控制点的运动矢量。[0097]图5是示出根据本公开的一些实施方式的针对块502的每个子块504的仿射运动矢表示y分量(或称为垂直分量)。等式(3)至等式(8)中的大写[0108]如下使用基于控制点的仿射运动模型来推导用于每个亮度子块的亮度运动矢量和yPosCb是相关联的子块的中心样点的水平坐标和垂[0111]mvLX[xSbIdx][ySbIdx][0]＝(mvScaleHor+dHorX*xPosCb+[0112]mvLX[xSbIdx][ySbIdx][1]＝(mvScaleVer+dVerX*xPosCb+号发送以指示将被用于当前CU的CPMVP候选。以下三种类型的CPMV候选被用于形成仿射合[0119]图6是示出根据本公开的一些实施方式的继承仿射运动预测因子的位置的示意[0120]图7是示出根据本公开的一些实施方式的控制点运动矢量继承的示意图。当识别出邻近仿射CU720时，其控制点运动矢量被用于推导当前CU710的仿射合并列表中的2和v3计算当前CU710的两个CPMV。在用6参数仿射模型对块A进行编解码的情况2[0121]图8是示出根据本公开的一些实施方式的针对构建的仿射合并模式的候选的位置行组合而构建的。从图8中所示的指定的空间邻近者和时间邻近者推导用于控制点的运动发送以指示是4参数仿射还是6参数仿射。在该模式下，当前CU的CPMV与CPMV的预测因子[0136]构建的AMVP候选仅从图8中所示的指定空间邻近者推导。使用与在仿射合并候选编解码且与在当前CU中具有相同参考图片的合并模式和仿射AMVP模式下针对最近被编解码的CU生成继承CPMVP。从CPMV推导出的子块[0143]图9是示出根据本公开的一些实施方式的针对所提出的组合方法的运动矢量使用从来自上方CTU中的CU的仿射运动数据继承。如果用于仿射运动数据继承的候选CU处于上方CTU行，则行缓冲器中的左下方子块MV和右下方子块MV而不是CPMV被用于仿射MVP推导。[0145]一旦基于等式(9)到等式(12)推导出亮度运动矢量mvLX[xSbIdx][ySbIdx]，就调mvLX[xSbIdx][ySbIdx]作为[0154]以mvAvgLX作为输入且以色度运动矢量mvCLX[xSbIdx][ySbIdx]作为输出来调用[0155]利用以下等式(19)和等式(20)来提供基于亮度运动矢量mvLX针对色度运动矢量[0158]可取决于色度格式采样结构来指定变量SubWidthC和SubHeightC，色度格式采样结构是通过chroma_format_idc和separate_colour_plane_flag而指定的。在下表中提供块的MV必须使用仿射运动模型被生成并且然后被舍入为用于执行运动补偿的MV精度(例如[0162]也就是说，在推导用于每个亮度子块的仿射运动时，以更高精度完成推导过程[0165]例如，一旦基于等式(9)至等式(12)推导出所需的亮度运动矢量mvLX[xSbIdx]用高精度亮度MV而不是原始精度的亮度MV。例如，一旦获得高精度平均亮度运动矢量mvAvgLX，就可调用等式(19)和等式(20)的推导过程，其中以高精度平均亮度运动矢量模型被用于直接推导4×4色度块的中心样点的运动矢量。例如，一旦基于等式(9)至等式(12)推导出所需的亮度运动矢量mvLX[xSbIdx][ySbIdx]，就如下推导色度运动[0188]mvCLX[xSbIdx][ySbIdx][0]＝(mvScaleHor+dHorX*xPosCb+dHorY*yPosCb)m的mvX[xSbIdx][ySbIdx]可以是亮度运动矢量或色度运动矢量。既不需要调用等式(18)或者等式(18a)至(18c)对对应亮度运动矢量的求平均运算，也不需要调用等式(19)和等式[0201]图12是示出根据本公开的一些实施方式的用于视频编解码的装置的框图。装置部或部分步骤的一个或多个处理器1220。此外，处理组件1202可包括用于促进处理组件且存储器1204可以是静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、[0205]电源组件1206为装置1200的不同组件供电。电源组件1206可包括电源管理系统、[0206]多媒体组件1208包括在装置1200和用户之间提供输出接口的屏幕。在一些示例[0208]I/O接口1212提供处理组件1202与外围接口模块之间