CN116601945B 交叉分量预测方法和系统 （腾讯美国有限责任公司）

2023.06.14PCT/US2022/0315062022.05.31WO2022/265847EN2022.12.22WO2021069688A1,2021.04.15CIRCUITSANDSYSTEMSF提供了用于基于深度神经网络(DNN)的交叉基于输入的重构的亮度块来预测图像或视频的可以使用诸如下采样和变换等过程来生成各种2获取与所述重构的亮度块关联的相邻色度块的第一色度参考和第二色度参考，其中，将所述第一色度参考变换为第一变换色度参考，并将所述第二色将所述重构的亮度块，所述第一变换色度参考，所述第二变换色所述DNN网络的输入包括所述重构的亮度块的相邻亮度参考和待预测的所述重构的色所述预测所述图像或所述视频的重构的色度块还包括由所述DNN基于输入的所述重构其中，所述预测所述图像或所述视频的重构的色度块包括由所述DNN基于所述输入预对下采样的所述相邻亮度参考进行变换，以具有与下采样的所述亮度块相同的大小，对所述相邻亮度参考进行下采样后，所述第一亮度参考块的大小为N×3至少一个处理器，所述处理器被配置为访问所述计算机8.一种存储计算机代码的非暂时性计算机可读介4[0002]本申请要求2021年6月15日提交的美国临时申请号63/210，741和2022年5月20日[0004]传统的视频编码标准(例如(HEVC)和通用视频编码(VVC))都是在类似的(递归的)基于块的混合预测/变换框架上设计的能力为高压缩质量提供了有希望的机会。本公开的实施例使用基于DNN的模型来处理任5代码被配置为使得至少一个处理器由DNN基于重构的亮度块、参考分量和辅助信息来预测[0020]图1示出了根据本公开的实施例的通信系统100的简化框图。通信系统100可以包6括例如有线和/或无线通信网络。通信网络150可以在电路交换和/或分组交换的信道中交[0023]作为所公开的主题的应用的示例，图2示出了视频编码器和解码器在流环境中的[0024]如图2所示，流系统200可以包括捕捉子系统213，该捕捉子系统可以包括视频源以访问流服务器205，以检索视频比特流209，视频比特流可以是编码视频比特流204的副205可以被配置为修剪编码视频比特流204，以便为一个或多个流客户端206定制潜在不同[0027]图3示出了根据本公开的实施例的连接到显示器212的视频解码器210的示例功能7他数据中分离出编码的视频序列。为了对抗网络抖动，缓冲存储器315可以耦合在接收机频编码技术或标准，并且可以遵循本领域技术人员已知的原理，包括可变长度编码、[0031]解析器320可以对从缓冲存储器315接收的视频序列执行熵解码/解析操作，从而[0033]除了已经提到的功能块之外，解码器210可以在概念上细分成如下所述的多个功使用来自先前重构图像的预测信息但是可以使用来自当前图片的先前重构部分的预测信元352使用从来自当前图片存储器358的当前的(部分重构的)图片获取的周围已经重构的本将帧内图片预测单元352已经生成的预测信息添加到由定标器/逆变换单元351提供的输8本可以由聚集器355添加到定标器/逆变换单元351的输出(在这种情况下称为残差样本或存储器357内的地址可以由运动矢量来控制。运动补偿预测单元353可以符号321的形式获时，运动补偿还可以包括从参考图片存储器357获取的采样值的插值、运动矢量预测机制为来自解析器320的符号321可用于环路滤波单元356，但是也可以响应于在编码图片或编码视频序列的先前(按照解码顺序)部分的解码期间获得的元信息以及响应于先前重构的[0040]视频解码器210可以根据预定的视频压缩技术执行解码操作，该预定的视频压缩缩技术或标准，编码视频序列的复杂度可以在视频压缩技术或标准的水平所定义的范围设参考解码器(HRD)规范和编码视频序列中信令的HRD缓冲管理的元数据来进一步[0042]图4示出了根据本公开的实施例的与视频源201相关联的视频编码器203的示例功[0045]视频源201可以以数字视频样本流的形式提供要由编码器29[0046]根据一个实施例，视频编码器203可以实时地或者在应用所需的任何其他时间约式，编码引擎432对输入帧的像素块和可以被选为输入帧的预测参考的参考帧的像素块之可以在视频解码器(图4中未示出)处被解码时，得的搜索结果所确定的，输入图片可以具有从存储在参考图片存储器434中的多个参考图[0054]所有前述功能单元的输出可以在熵编码器中经历熵编码445。熵编码器根据本领[0055]发射机440可以缓冲由熵编码器445创建的编码视频序列，以准备经由通信信道可以将来自源编码器430的编码视频数据与要传输的其他数据合并，例如，编码音频数据[0057]帧内图片(I图片)可以是不使用序列中的任何其他帧作为预测源而被编码和解码的图片。一些视频编解码器允许不同类型的帧内图片，包括例如独立解码器刷新(IDR)图[0058]预测图片(P图片)可以是使用最多一个运动矢量和参考索引来预测每个块的样本[0059]双向预测图片(B图片)可以是使用最多两个运动矢量和参考索引来预测每个块的以包括这样的数据，作为编码视频序列的一部分。额外数据可以包括时间/空间/SNR增强[0063]本公开的实施例提供了基于DNN的交叉分量预测。下面参考图5_6描述示例实施的亮度分量510y、参考分量和由编码器提供的其他辅助信息来增强块的重构的色度信道520u和520t的压缩性能。根据实施例，4:2:0可以用于对色度信道520u和520t进行二次采码系统中生成用于训练和/或预测的输入样本的下采样方法。在下采样之后，亮度分量510y可变成块大小为N×M的下采样的亮度分量度参考514y可变成块大小为K×M的下采样的第二亮度参考534y。下采样的第一亮度参考532y和下采样的第二亮度参考534y可以变换(在步骤592)，以分别变成与下采样的亮度分得可以分别具有N×K和K×M的块大小的第一色度参考522和第二色度参考524(在步骤M大小匹配的第一变换色度参考542和第二变换色度参考544。可以将所有基于图像的信息训练DNN和/或使用DNN进行预测。除了亮度和色度分量之外，可以将辅助信息添加到输入特征图，并且可与基于图像的特征图(例如，下采样的亮考614以及要重构的色度块的相邻色度参考616可以用作DNN620的输入，使得本公开的实用不同的DNN模型或相同的DNN模型来预测两二变换色度参考544中的一个或多个(针对色度信道520u和520t中的一个或两个)。根据实的决定，辅助信息612、相邻亮度参考614和/或相邻色度参考616可以是DNN620的可选输度分量)与原始色度块660进行比较，并且将来自度分量)和来自其他预测模式的一个或多个色度块(步骤650)中确定一个具有最高重构质[0078]根据本公开的实施例，输入代码730可以被配置为使得至少一个处理器将输入输[0080]根据本公开的实施例，重构质量代码750可以被配置为使得至少一个处理器计算由DNN预测的重构的色度块的重构质量以及使用不同预测模式预测的另一重构的色度块的[0081]根据本公开的实施例，图像获得代码760可以被配置为使得至少一个处理器使用由DNN预测的重构的色度块或者使用不同预测模式预测的另一重构的色度块来获得图像像获得代码760可以被配置为使得至少一个处理器使用由DNN预测的重构的色度块来获得[0084]计算机软件可以使用任何合适的机器代码或计算机语言来编码，其可以经受汇机系统900的示例性实施例中示出的任何一个组件或组件组合有任何依赖[0087]计算机系统900可以包括某些人机接口输入设备。这种人机接口输入设备可以响[0089]计算机系统900还可以包括某些人机接口输出设备。这种人机接口输出设备可以但是也可以有不用作输入设备的触觉反馈设备)。例如，这样的设备可以是音频输出设备[0092]计算机系统900还可以包括到一个或多个通信网络的接口。网络例如可以是无线CANBus的车辆和工业网络等。某些网络通常需要连接到某些通用数据端口或外围总线949[0093]前述人机接口设备、人类可访问的存储设备和网络接口954可以连接到计算机系场可编程门区域(FPGA)943形式的专用可编程处理单元、用于特定任务的硬件加速器944或ROM945。实现本公开的各种实施例的软件可以存储在这样的设备中并由核心940执行。特定部分，包括定义存储在RAM946中的数据结构以及根据软件定义的过程修改这样的数[0098]虽然本公开已经描述了几个示例性实