CN119452644A 使用自适应跨分量滤波的色度运动补偿的方法和设备 （北京达佳互联信息技术有限公司）

2024.12.27PCT/US2023/0262702023.06.26WO2024/006231EN2024.01.04使用自适应跨分量滤波的色度运动补偿的码块的运动补偿色度样点和多个运动补偿亮度2重建亮度样点和对应的邻近重建色度样点位于预定义的邻由所述解码器通过最小化所述输出邻近色度样点和所述对应的邻近重建色度样点之由所述解码器通过将所述自适应跨分量滤波器应用于所述邻近重建亮度样点的所述由所述解码器基于所述色度细化和所述邻近重建色度样点的所述多个运动补偿色度由所述解码器接收由编码器用信号发送的所述自适应跨分量滤波器的一个或多个滤由所述解码器通过将所述自适应跨分量滤波器应用于所述当前帧间编码块的所述多及3邻近重建亮度样点和对应的邻近重建色度样点位于预定义的邻由所述编码器通过最小化所述输出邻近色度样点与所述对应的邻近重建色度样点之由所述编码器通过将所述自适应跨分量滤波器应用于所述邻近重建亮度样点的所述由所述编码器基于所述色度细化和所述邻近重建色度样点的所述多个运动补偿色度由所述编码器将所述自适应跨分量滤波器的一个或多个滤波器系数用信号发送到比由所述编码器通过将所述自适应跨分量滤波器应用于所述当前帧间编码块的所述多由解码器通过基于与第一参考图片相关联的运动信息将当前块与所述第一参考图片由所述解码器通过基于与第二参考图片相关联的运动信息将当前块与所述第二参考由所述解码器基于所述一个或两个自适应跨分量滤波器、所述第一运动补偿色度样4由所述解码器基于所述第一滤波运动补偿色度样点和所述第二滤波运动补偿色度样通过对所述第一滤波运动补偿色度样点和所述第二滤由所述解码器通过对所述第一运动补偿色度样点和所述第二运动补偿色度样点求平由所述解码器通过对所述多个第一运动补偿亮度样点和所述多个第二运动补偿亮度由编码器通过基于与第一参考图片相关联的运动信息将当前块与所述第一参考图片由所述编码器通过基于与第二参考图片相关联的运动信息将当前块与所述第二参考由所述编码器基于所述一个或两个自适应跨分量滤波器、所述第一运动补偿色度样由所述编码器基于所述第一滤波运动补偿色度样点和所述第二滤波运动补偿色度样5通过对所述第一滤波运动补偿色度样点和所述第二滤由所述编码器通过对所述第一运动补偿色度样点和所述第二运动补偿色度样点进行由所述编码器通过对所述多个第一运动补偿亮度样点和所述多个第二运动补偿亮度存储器，被耦接到所述一个或多个处理器并且被配置为存储能其中，所述一个或多个处理器在执行所述指令时被配置为执行根存储器，被耦接到所述一个或多个处理器并且被配置为存储能其中，所述一个或多个处理器在执行所述指令时被配置为执行根据权利要求8_14和25.一种用于存储计算机可执行指令的非暂态计算机可读存储介质，所述计算机可执行指令在被一个或多个计算机处理器执行时使所述一个或多个计算机处理器接收比特流，并且基于所述比特流执行权利要求1_7和15_18中任一项26.一种用于存储计算机可执行指令的非暂态计算机可读存储介质，所述计算机可执行指令在被一个或多个计算机处理器执行时使所述一个或多个计算机处理器执行根据权27.一种非暂态计算机可读存储介质，用于存储将通过根据权利要求1_7和15_18中任28.一种非暂态计算机可读存储介质，用于存储通过根据权6[0002]本申请基于在2022年6月28日提交的题为“Methodsandapparatusonchromamotioncompensationusingadaptivecross_componentfilte度分量的预测样点来提高帧间块的编解码效率的提供了大约50％的比特率节省或等效的感知质量。尽管VVC标准比其前身提供了显著的编ITU_TVECG和ISO/IECMPEG的合作下，联合视频专家组(JVET)开始探索能够超越VVC的大中，解码器可以获得针对当前帧间编码块的运动补偿色度样点和多个运动补偿亮度样点。中，编码器可以生成针对当前帧间编码块的运动补偿色度样点和多个运动补偿亮度样点。7通过基于与第一参考图片相关联的运动信息将当前块与第一参考图片中的第一块进行匹通过基于与第一参考图片相关联的运动信息将当前块与第一参考图片中的第一块进行匹8[0020]图1C_图1F是示出根据本公开的一些示例的如何将帧递归地划分为不同尺寸和形[0030]图5示出根据本公开的一些示例的一个MV具有一个分数值并且插值滤波器应用于[0032]图7示出根据本公开的一些示例的应用于所有方向上的梯度计算的下采样1_D拉[0033]图8示出根据本公开的一些示例的通过将菱形滤波器应用于亮度通道来实现的[0038]图13是示出根据本公开的一些示例的与如图12中所示的用于视频解码的方法相[0040]图15是示出根据本公开的一些示例的与如图14中所示的用于视频解码的方法相现的主题可在具有数字视频能力的许多类型的电9括所列出的多个相关项目的一个或任何或所类似语言的引用意味着所描述的特定特征、结构或特性包括在至少一个实施例或示例中。接或间接连接的一个或多个组件。这些组件可以或可以不物理地附接到彼此或彼此相邻定位。[0048]图1A是示出根据本公开的一些实施方式的用于并行地对视频块进行编码和解码16可包括能够将编码视频数据从源装置12移动到目标装置14的任何类型的通信介质或装从源装置12到目标装置14的通信的任何且将编码视频数据发送到目标装置14的任何类型的计算机。示例性文件服务器包括web服据连接包括无线信道(例如，无线保真(Wi_Fi)连接)、有线连接(例如，数字用户线路储装置32上提供的编码视频数据可包括由视频编码器20生成的各种语法元素以供视频解码视频数据，并且可包括各种显示器装置中的任何显示器装置，诸如液晶显示器(LiquidCrystalDisplay，LCD)、等离子显示器、有机发光二极管(OrganicLightEmitting[0055]视频编码器20和视频解码器30可根据专有标准或行业标准(例如，VVC、HEVC、通常认为目标装置14的视频解码器30可被配置为根据这些当前标准或未来标准中的任何[0056]视频编码器20和视频解码器30可分别被实现为各种合适的编码器和/或解码器电路中的任何电路，诸如一个或多个微处理器、数字信号处理器(DigitalSignal开的视频编码/解码操作。视频编码器20和视频解码器30中的每一个可被包括在一个或多个编码器或解码器中，编码器或解码器中的任一者可被集成为相应装置中的组合式编码码树单元(CTU)被划分为多个CU以适应基于四叉树/二叉树/三叉树的变化的局部特性。另和三叉树结构进一步对每个四叉树叶节点进行[0058]图3A图3E是示出根据本公开的一些实施方案的多类型树分割模式的示意图。图使用来自同一视频图片/条带中的已编码的邻近块的样点(其被称作参考样点)的像素来预[0062]这些环路滤波器操作是可选的。执行这些操作有助于提高编解码效率和视觉质[0064]图2A是示出可与许多视频编解码标准结合使用的基于块的视频解码器200的框[0065]重建块可在其被存储在用作参考图片存储库的图片缓冲器213中之前进一步通过[0066]图1G是示出根据本申请中描述的一些实施方式的另一示例性视频编码器20的框测编码依赖于时间预测以减少或去除视频序列的相邻视频帧或图片内的视频数据中的时去块滤波器)可位于加法器62与DPB64之间来对块边界进行滤波以从重建视频去除块效应伪影。除了可使用去块滤波器之外，还可使用另外的环路滤波器，诸如样点自适应偏移(SampleAdaptiveOffset，SAO)滤波器和/或自适应环路滤波器(Adaptivein_Loop(例如，以帧内或帧间预测编码模式)在对视频数帧或图片)的缓冲器。视频数据存储器40和DPB64可由各种存储器装置中的任何存储器装数据划分为视频块。此划分操作还可包括根据与视频的数量定义视频帧的尺寸和/或分辨率。可通过其任意组合进一步将视频块划分为一个或多个块分区或子块(其可再次形成块)。应当注非正方形)部分。参考例如HEVC和VVC，块或视频块可以是或对应于编码树单元(Coding预测处理单元46可执行当前视频块相对于与待编码的当前块在同一帧中的一个或多个邻元44执行当前视频块相对于一个或多个参考帧中的一个或多个预测块的帧间预测编码以视频块的位置与从第一参考帧列表(列表0)或第二参考帧列表(列表1)选择的参考帧的预[0075]由运动补偿单元44执行的运动补偿可涉及基于由运动估计单元42确定的运动矢编码器20可通过从正被编码的当前视频块的像素值减去预测块的像素值来形成像素差值，[0079]作为如上文所描述的由运动估计单元42和运动补偿单元44执行的帧间预测或由[0080]在预测处理单元41经由帧间预测或帧内预测确定针对当包括在一个或多个TU中并且提供给变换处理单元52。变换处理单元52使用变换(诸如离散余弦变换(DiscreteCosineTransform，DCT)或概念上类似的变换)将残差视频数据变换行量化以进一步减小比特率。量化过程还可减小与系数中的一些或全部相关联的比特深[0082]在量化之后，熵编码单元56使用例如上下文自适应可变长度编码(ContextAdaptiveVariableLengthCoding，CAVLC)、上下文自适应二进制算术编码(Context(ProbabilityIntervalPartitioningEntropy，PIPE)编码或另外的熵编码方法或技术[0083]反量化单元58和逆变换处理单元60分别应用反量化和逆变换以在像素域中重建一个或多个插值滤波器应用于预测块以计算子整数像素值以用于在运动估计时使用。[0084]加法器62将重建的残差块加到由运动补偿单元44生成的运动补偿预测块来生成元44用作预测块以对后续视频帧中的另一视频块[0089]当视频帧被编码为帧内预测编码(I)帧或用于其他类型的帧中的帧内编码预测块先前解码块的参考数据来生成用于当前视频帧的视频块元82基于从熵解码单元80接收的运动矢量和其他语法元素生成针对当前视频帧的视频块生成。视频解码器30可基于存储在DPB92中的参考帧使用默认构建技术来构建参考帧列元81的帧内BC单元85基于从熵解码单元80接收的块矢量和其他语法元素生成针对当前视频块的预测块。预测块可在由视频编码器20定义的与当前视频块的同一图片的重建区域[0092]运动补偿单元82和/或帧内BC单元85通过解析运动矢量和其他语法元素来确定针视频帧的视频块进行解码的预测模式(例如，帧内预测前视频块是使用帧内BC模式预测的标志、帧的哪些视频块在重建区域内且应被存储在DPB[0094]运动补偿单元82还可使用如由视频编码器20在视频块的编码期间使用的内插滤[0095]反量化单元86使用由视频编码器20针对视频帧中的每个视频块计算的用于确定[0096]在运动补偿单元82或帧内BC单元85基于矢量和其他语法元素生成针对当前视频91(诸如去块滤波器、SAO滤波器和/或ALF)可位于加法器90[0097]在当前VVC标准和AVS3标准中，当前编码块的运动信息从由合并候选索引指定的在整个本公开中以VVC标准中现有的仿射模式设计为例，但对于现代视频编解码技术领域点的一个二维阵列。类型的单元的性质以及可如何在视频解码器30处重建视频序列，包括帧间预测或帧内预CTU可包括单个编码树块和用于对该编码树块的样点进行编解码的语法元素。编码树块可以是NxN样点块。的CU中，分别将CU410和CU420分割为块尺寸为16x16的四个CU。分别将两个16x16的CU430和CU440进一步分割为块尺寸为8x8的四个CU。图1F描绘了示出如图1E400的划分过程的最终结果的四叉树数据结构，四叉树的每个叶节点与范围从32x32到8x样点的CB和色度样点的两个对应编码块、和用于对编码块的样点进行编解码的语法元素。并且一个CTU可基于四叉树/三叉树/二叉树划分被拆分为CU以适应于变化的局部特性。在[0101]在一些实施方式中，视频编码器20可进一步将CU的编码块划分为一个或多个MxN可基于除与PU相关联的帧之外的一个或多个帧的解码样点来生成P测Cr块之一中的Cr样点与CU的原始Cr编码块中的对应样点之[0105]视频编码器20可将一个或多个变换应用于TU的亮度变换块以生成针对TU的亮度变换应用于TU的Cr变换块以生成针对TU的据的帧进行重建。对视频数据进行重建的过程通常与由视频编码器20执行的编码过程互[0109]但是随着不断改进的视频数据捕获技术和用于保留视频数据中的细节的更细化时间同位CU的空间和时间相关性来使用空间相邻CU和/或时间同位CU的运动信息作为当前[0110]代替将如上文结合图1B所描述的由运动估计单元确定的当前CU的实际运动矢量解码器30两者需要采用一组规则以用于使用与当前CU的空间相邻CU和/或时间同位CU相关所选择的运动矢量预测因子的索引足以使视频编码器20和视频解码器30使用运动矢量候选列表内相同的运动矢量预测因子来对当前CU进行编码和[0112]本公开意在进一步提高在ECM中应用的运动补偿模块的色度编解码效率。在下文[0119]C=5D+A(1)g,)(3)[0152]跨分量自适应环路滤波器(CC_ALF)通过将自适应线性滤波器应用于亮度通道并且然后使用该滤波操作的输出进行色度细化，来使用亮度样点细化两个色度分量中的每[0162]MCP在确保所有现有视频编解码标准中的帧间编解码效率方面起着关键作用。利当前图片的重建信号将用作时间预测的参考，这种丢失和/或失真的高频信息可能会降低[0167]图10示出了所提出的接收由图9中的编码器产生的比特流的解码器的框图。在解要在对色度残差进行编解码上花费更多的开销。虽然可以应用ALF来减少参考色度信号与L(x,y)指示应用于重建亮度样点Y(2x_i,2y_j)的对应H×L邻近区域的高通邻近重建色度样点及其对应的亮度和色度预测样点中导出系数。给定一个块B及其预定义的亮度预测样点r""和色度预测样点然后，可以采用LMMSE方法通过将r"ed和LMMSE导出，因此在当前图片的重建信号包含比参考图片的重建信号更高质量的重建信息出在编码器处导出CC_MCP滤波器系数并且显式地将CC_MCP滤波器系数用信号发送给解码系数以及是否应用运动补偿滤波的决定可以在序列级别参数集(诸如视频参数集(VPS)和过编码器/解码器基于经运动补偿后的亮度样点确定区域[0182]在第一种方法中，提出仅应用一次CC_MCP滤波器来直接增强输出色度预测样执行如上所述的各种方法或过程(诸如编码/解码方法或过程)中的任何一种。计算环境[0186]存储器1140被配置为存储各种类型的数据以支持计算环境1110的操作。存储器性存储器装置或其组合来实现，诸如静态随机存取存储器(StaticRandomAccessMemory，SRAM)、电可擦除可编程只读存储器(ElectricallyErasableProgrammableRead_OnlyMemory，EEPROM)、可擦除可编程只读存储器(ErasableP[0189]非暂态计算机可读存储介质在其中存储有用于由具有一个或多个处理器的计算电路(application_specificintegratedcircuit，ASIC)、数字信号处理器(digitalsignalprocessor，DSP)、数字信号处理装置(digitalsignalprocessingdevice，波器可以是如图9_图10中所示的本公开的在运动补偿阶段应用的CC亮度样点的多个运动补偿亮度样点以及邻近重建色度样点的多个运动补偿色度样点，其中，如图8中所示，邻近重建亮度样点和对应的邻近重建色度样点位于预定义的邻近区域[0201]图13是示出与图12中所示的用于视频解码的方法相对应的用于视频编码的方法是如图9_图10中所示的本公开的在运动补偿阶段应用的C亮度样点的多个运动补偿亮度样点以及邻近重建色度样点的多个运动补偿色度样点，其中，如图8中所示，邻近重建亮度样点和对应的邻近重建色度样点位于预定义的邻近区域应跨分量滤