CN118118672B 一种视频解码的方法、装置和介质 （北京达佳互联信息技术有限公司）

202180042158.32021.06.14BenjaminBross.VersatileVidXiaoyuXiu.Mismatchbetweente括第一色度分量的残差样点的第一编解码块标以及指示自适应颜色变换(ACT)是否应用于所述所述第二CBF和所述第三语法元素确定是否对所确定对所述第一色度分量和所述第二色度分量放参数来对所述第一色度分量和所述第二色度2根据以下各项条件中的至少一个，确定是否对编解码单元的第一色经量化的变换系数是否包含非零色度经量化的变换系数、以及自适应颜色变换ACT是否应根据确定对所述第一色度分量和所述第二色度分量中的至少一个色度分量的残差样基于对应缩放参数来对所述第一色度分量和所述第二色度分量中的至少一个色度分使用缩放后的色度残差样点重建所述编解码单元的色度样点；以单元的第一色度分量的残差样点的第一编解码块标志CBF、针对所述编解码单元的第二色其中，根据确定所述ACT应用于所述编解码单元，将逆ACT应其中，确定是否对所述编解码单元的第一色度分量和第二色度根据确定所述ACT应用于所述编解码单元，确定在所述逆ACT之和所述第二色度分量的残差样点执行所述色度残差缩放而不管所述第一色度分量的经量化的变换系数是否包含非零色度经量化的变换系数和所述第二色度分量的经量化的变换二色度分量中的至少一个色度分量的残差样点执行当所述编解码单元的所述第一色度分量和所述第二色度分量中的一个色度分量的经当所述一个色度分量的经量化的变换系数不包含任何非零色度经量化的变换系数时，确定不对所述编解码单元的所述一个色度分量的残差样点执行所3.根据权利要求1所述的方法，进一步包括：在当非零色度经量化的变换系数不存在于所述第一色度分量的经量化的变换系数中时，3当非零色度经量化的变换系数不存在于所述第二色度分量的经量化的变换系数中时，9.根据权利要求1所述的方法，其中，所述第三语法元素不存在于所述视频比特流中存储在所述存储器中的多个程序，所述多个程序当由所述一个11.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储用于由具12.一种非暂态计算机可读存储介质，存储有通过如权利要求1至9中任一项所述的方4年06月14日提交的国际专利申请PCT/US2021/037197的中国国家阶段申请，该国际专利申请要求2020年06月12日提交的美国专利申请第63/038,69典型地包括执行空间(帧内)预测和/或时间(向预测图片)或B(双向预测图片))条带中的视频块可以相对于同一视频帧内的相邻块中的参考样点使用空间预测或相对于其他先前和/或未来参考视频帧中的参考样点使用时间预被具有数字视频能力的另一电子设备访问，或者直接以有线或无线方式传输到该电子设分地基于从比特流获得的语法元素将数字视频数据从已编码视频比特流重建为其原始格5[0006]随着数字视频质量从高清到4K×2K或甚至8K×4K，待编码/解码的视频数据量呈和4:2:2色度格式相比包括更多冗余(这不利于实现良好的压缩效率)，但是对于许多需要高保真度以在解码视频中保留颜色信息(比如尖锐边了自适应颜色空间变换(ACT)工具来利用三个颜色分量之应颜色变换(ACT)过程有条件地应用色度残差[0009]对于最初以4:4:4颜色格式捕获的视频信号，如果已解码视频信号期望高保证度是因为仅利用了Y/G分量来预测Cb/B分量和Cr/R分量，而没有考虑Cb/B分量与Cr/R分量之述编解码单元的第一色度分量的残差样点的第一编解码块标志(CBF)、所述编解码单元的6于对应缩放参数来对所述第一色度分量和所述第二色度分量中的至少一个的残差样点进的亮度和色度残差样点；以及确定在所述逆ACT之后对所述第一色度分量和所述第二色度分量的残差样点执行所述色度残差缩放而不管所述第一CBF和所述述编解码单元的第一色度分量的残差样点的第一编解码块标志(CBF)、所述编解码单元的使所述电子装置执行如上文描述的对视频数[0016]被包括在内以提供对实施方式的进一步理解并且并入本文并构成说明书的一部[0020]图4A至图4E是图示了根据本公开的一些实施方式的如何将帧递归地分割成具有[0021]图5A和图5B是图示了根据本公开的一些实施方式的应用自适应颜色空间变换[0022]图6是根据本公开的一些实施方式的在示例性视频数据解码过程中应用利用色度[0023]图7是图示了根据本公开的一些实施方式的示例性视频解码过程的框图，视频解7[0024]图8A和图8B是图示了根据本公开的一些实施方式的示例视频解码器通过所述过程实施逆自适应颜色空间变换(ACT)和色度残[0025]图9是图示了根据本公开的一些实施方式的示例性过程的流程图，视频解码器通过所述过程通过有条件地对编解码单元的残差执行色度残差缩放操作来对视频数据进行将显而易见的是，本文提出的主题可以在具有数字视频能力的许多类型的电子设备上实[0029]图1是图示了根据本公开的一些实施方式的用于并行地对视频块进行编码和解码[0030]在一些实施方式中，目的地设备14可以经由链路16接收待解码的已编码视频数促进从源设备12到目的地设备14的通信的任[0031]在一些其他实施方式中，已编码视频数据可以从输出接口22传输到存储设备38于访问存储在文件服务器上的已编码视频数据的无提供方接收视频的视频馈送接口和/或用于生成计算机图形数据作为源视频的计算机图形适用于视频编解码并且可以应用于无线和/或有线应用。码视频数据并且可以包括各种显示设备中的任何一种，如液晶显示器(LCD)、等离子显示的视频编码器20可以被配置为根据这些当前或未来标准中的任何一种来对视频数据进行[0037]视频编码器20和视频解码器30各自可以实施为各种适合的编码器电路中的任何备可以将用于软件的指令存储在合适的非暂态计算机可读介质中并且使用一个或多个处理器在硬件中执行指令以执行本公开中公开的视频编码/解码操作。视频编码器20和视频解码器中的任一个可以集成为相应设备中的组合编码器/解码器(CODEC)的一部[0038]图2是图示了根据本申请中描述的一些实施方式的示例性视频编码器20的框图。9预测编解码依赖于时间预测以减少或去除视频序列的邻近视频帧或图片内的视频数据的视频数据以供视频编码器20在对视频数据进行编码(例如，在帧内预测编解码模式或帧间预测编解码模式下)时使用。视频数据存储器40和DPB64可以由多种存储器设备中的任何分割为视频块。该分割还可以包括根据预定义的分割真级别)为当前视频块选择多个可能的预测编解码模式之一，如多个帧内预测编解码模式他这种语法信息等语法元素提供给熵编解码测处理单元46可以相对于与待编解码的当前块相同的帧中的一个或多个相邻块执行对当动补偿单元44相对于一个或多个参考帧中的一个或多个预测块执行对当前视频块的帧间[0044]预测块是就像素差而言被认为与待编解码的视频块的PU[0045]运动估计单元42通过将PU的位置与从第一参考帧列表(列表0)或第二参考帧列表(列表1)中选择的参考帧的预测块的位置进行比较来计算帧间预测编解码帧中的视频块的[0046]由运动补偿单元44执行的运动补偿可以涉及基于由运动估计单元42确定的运动元素可以包括例如定义用于标识预测块的运动矢量的语法元素、指示预测模式的任何标各种测试的帧内预测模式的率失真分析来计算率失真值并且在测试的模式中选择具有最编码块与原始的未编码块(被编码以产生已编码块)之间的失真(或误差)量以及用于产生器20都可以通过从被编解码的当前视频块的像素值中减去预测块的像素值从而形成像素如离散余弦变换(DCT)或概念上类似的变换等变换将残差视频数据变率区间分割熵(PIPE)编解码或其他熵编码方法或技术将量化变换系数熵编码为视频比特[0054]反量化单元58和逆变换处理单元60分别应用反量化和逆变换以在像素域中重建个或多个内插滤波器应用于预测块以计算用于在运动估计中使用的子[0056]图3是图示了根据本申请的一些实施方式的示例性视频解码器30的框图。视频解单元84和帧内BC单元85。视频解码器30可以执行与上文结合图2关于视频编码器20所描述不包括帧内BC单元85，并且帧内BC单元85的功能可以由预测处理单元81的其他部件(如运码模式或帧间预测编解码模式下)。视频数据存储器79和DPB92可以由多种存储器设备中和DPB92描绘为视频解码器30的两个不同部件。但是对于本领域技术人员将显而易见的[0060]当视频帧被编解码为帧内预测编解码(I)帧或用于其他类型的帧中的帧内编解码来自当前帧的先前解码块的参考数据来生成当前视频帧的视频块的偿单元82基于从熵解码单元80接收到的运动矢量和其他语法元素产生当前视频帧的视频[0063]运动补偿单元82和/或帧内BC单元85通过解析运动矢量和其他语法元素来确定当测视频块的帧内BC预测状态以及用于对当前视频帧中的视频块进[0065]运动补偿单元82还可以如由视频编码器20在对视频块进行编码期间使用的那样偿单元82可以从接收到的语法元素确定由视频编码器20使用的内插滤波器并且使用内插[0066]反量化单元86使用由视频编码器20针对视频帧中的每个视频块计算的用于确定[0067]在运动补偿单元82或帧内BC单元85基于矢量和其他语法元素生成当前视频块的内BC单元85生成的对应预测块求和来重建当前视DPB存储用于对接下来的视频块进行后续运动补偿的参考帧。DPB92或与DPB92分开的存储器设备还可以存储已解码视频以供稍后呈现在如图1的显示设备34等显仅包括亮度样点的一个二维阵列。编解码树单元(CTU)来生成帧的已编码表示。视频帧可以包括从左到右以及从上到下以光有三个单独的色彩平面的图片中，CTU可以包括单个编解码树块和用于对编解码树块的样[0070]为了实现更好的性能，视频编码器20可以对CTU的编解码树块递归地执行树分割×16CU430和440按块尺寸各自进一步划分为四个8×8的CU。图4D描绘了图示了如图4C中所描绘的CTU400的划分过程的最终结果的四叉树数据结构，四叉树的每个叶节点对应于图4D中描绘的四叉树分割仅用于说明目的，并且可以将一个CTU分割成多个CU以适应基于M×N预测块(PB)。预测块是应用相同预测(帧间或帧内)的矩形(正方形或非正方形)样点20可以基于除与PU相关联的帧之外的一个或多个帧的已解的亮度残差块中的每个样点指示CU的预测亮度块之一中的亮度样点与CU的原始亮度编解中的Cr样点与CU的原始Cr编解码块中的对应样点[0075]视频编码器20可以将一个或多个变换应用于TU的亮度变换块以生成TU的亮度系CU的TU的变换块的对应样点来重建当前CU的编解码块。在重建帧的每个CU的编解码块之frameprediction或intra_prediction)以及帧间预测(inter_frameprediction或频编码器20或视频解码器30)形成表示给定块的视频数据的颜色的调色板表。调色板表包使用调色板预测值用信号发送一些或所有调色板条目可以显著减少用信号传输新调色板多个单独图片的语法元素的语法结构，如由在每个条带分段头部中找到的语法元素确定[0084]图5A至图5B是图示了根据本公开的一些实施方式的应用自适应颜色空间变换每个TU用信号发送一个标志tu_act_enabled_flag在变换单元(TU)级执行不同颜色空间的行编解码；否则(即，标志等于0)，它指示在原始颜应用不同的颜色空间变换公式。具体来说，在图5A中定义了有损模式的RGB颜色空间与YCgCo颜色空间之间的前向和逆颜色空间绘的提升操作和相关描述来实施RGB_YCgC[0087]如图5A所示，在有损模式中使用的前向和逆颜色变换矩YCgCo信号的幅度小于原始信号在应用颜色变换后的幅度。为了补偿由前向颜色变换引起[0088]图6是根据本公开的一些实施方式的在示例性视频数据解码过程中应用利用色度[0092]色度残差缩放模块630被设计为在将环路映射应用于亮度信号时补偿亮度信号与[0093]图7是图示了根据本公开的一些实施方式的示例性视频解码过程的框图，视频解码器通过所述过程实施逆自适应颜色空间变换[0094]与HEVCSCC中的ACT设计类似，VVC中的ACT将4:4:4色度格式的一个CU的帧内/帧号发送一个标志cu_act_enabled_flag以在原始颜色空间与YCgCo颜色空间之间进行选择亮度样点，同时对色度样点进行编解码而不进一步分割成多个TU。假设N是一个帧内CU的发送ACT启用/禁用标志(即，cu_act_enabled_flag)。在这样的情况下，当标志cu_act_cu_act_enabled_flag以自适应地选择颜色空间来对CU进行残等于0指示禁用ACT，使得flagcu_act_enabled_flag不针对引用SPS的CU来用信号发送而[0108]在一些实施例中，在下表中图示了用于使用ACT对视频数据进行解码的语法设计[0118]标志cu_act_enabled_flag等于1指示在YCgCo颜色空间中对编解码单元的残差进式和帧内块复制(IBC)模式，关于一个CU是否包含非零系数的信息由CU根编解码块标志于调节帧内CU的标志cu_act_enabled_flag的存在。[0120]在一些实施例中，使用ACT标志以在将ACT应用于一个帧内CU时有条件地启用/禁[0121]图8A和图8B是图示了根据本公开的一些实施方式的示例视频解码器通过所述过程实施逆自适应颜色空间变换(ACT)和色度残差缩放技术。在一些据YCgCo颜色空间中的亮度残差Y对色度残差Cg和Co执行色度残差缩放模块中的对应色度残差样点是在YCgCo域中。对应地，可以使用当前块的色度查条件以确保仅在两个色度CBF标志中的至少一个不是零时调用色[0124]图8B描绘了视频编解码器在逆ACT710之后执行色度残差缩放630的替代性实施间中的两个色度CBF标志来决定是否可以绕过[0126]在一些实施例中，下面内容示出了当将关于检查CU级ACT标志的所实施信令条件应用于解码器处的色度残差缩放时对当前VV[0128]如果以下条件中的一个或多个为真，则将recSamples[xCurr+i][yCurr+j]设置为等于Clip1(predSamples[0129]ph_chroma_residual_sca[0130]sh_lmcs_us[0131]nCurrSw*nC[0132]tu_cb_coded_flag[xCurr][yCurr]等于0，并且tu_cr_coded_flag[xCurr][0136]指定亮度位置(xCuCb，yCuCb)为编解码单元的包含在(xCurrY/sizeY*sizeY，yCurrY/sizeY*sizeY)的亮度样[0138]以设置为等于(xCuCb，yCuCb)的位置(xCurr，yCurr)、设置为等于(xCuCb1，于currPic[xCuCb_1][Min(yCuCb+i，pps_pic_height_in_luma_samples_1)](其中，i=＜＜[0152]2.变量idxYInv是通过以设置为等于invAvgLuma的变量lumaSample作为输入并且以idxYInv作为输出来调用如第8.8.2.3条中指定的亮度样点的分段函数索引过程的标识法元素包括所述编解码单元的第一色度分量的残差样点的第一编解码块标志(CBF)、所述对所述第一色度分量和所述第二色度分量的残差[0158]根据确定对所述第一色度分量和所述第二色度分量中的至少一个的残差样点执[0159]视频解码器30进一步使用亮度残差样点和缩放后的色度残差样点重建编解码单对所述第一色度分量和所述第二色度分量的残差样点执行所述色度残差缩放(920)包括：码单元的亮度和色度残差样点；以及确定在所述逆ACT之后对所述第一色度分量和所述第二色度分量的残差样点执行所述色度残差缩放而不管所述第一CBF和[0161]在一些实施例中，在应用所述逆ACT之前将逆变换应用于所述编解码单元的残差对所述第一色度分量和所述第二色度分量的残差样点执行所述色度残差缩放(920)包括：根据从所述第三语法元素确定所述ACT不应用于所述编解码单元来：当与所述色度分量相关联的所述CBF不为零时，确定对所述编解码单元的色度分量的残差样点执行所述色度残差缩放；或当与所述色度分量相关联的所述CBF为零时确定绕过对所述编解码单元的色度[0164]在一些实施例中，当非零色度残差样点不存在于第一色码单元的第一色度分量的残差样点的第一编解码块标志(CBF)