CN119522571A 具有改进的缓冲器存储和带宽效率的视频解码系统和方法 (高通股份有限公司)_第1页
CN119522571A 具有改进的缓冲器存储和带宽效率的视频解码系统和方法 (高通股份有限公司)_第2页
CN119522571A 具有改进的缓冲器存储和带宽效率的视频解码系统和方法 (高通股份有限公司)_第3页
CN119522571A 具有改进的缓冲器存储和带宽效率的视频解码系统和方法 (高通股份有限公司)_第4页
CN119522571A 具有改进的缓冲器存储和带宽效率的视频解码系统和方法 (高通股份有限公司)_第5页
已阅读5页,还剩87页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

2025.01.20PCT/US2023/0674982023.05.25WO2024/030692EN2024.02.08具有改进的缓冲器存储和带宽效率的视频码器使用放大器对所检索到的相邻视频数据进2从行缓冲器检索相邻视频数据,其中所述相邻视频数据来自与使用放大器对所述经滤波的第一视频数据进行放大,以生成使用所述放大器对从所述行缓冲器检索的所述相邻视频数据进使用环路恢复(LR)滤波器处理所述经放大经滤波的第一视频数据从所述行缓冲器检索所述相邻视频数据之前使用所述DB滤波器对所述相邻视频数据进行在从所述行缓冲器检索所述相邻视频数据之前,从所述在从所述行缓冲器检索所述相邻视频数据之前,将所述相邻6.根据权利要求1所述的装置,其中所述相邻视频数据在从所述行缓冲器检索时是未7.根据权利要求1所述的装置,其中读取所述第一视频数据和检索所述相邻视频数据包括以垂直光栅扫描顺序读取所述第一视频数据和8.根据权利要求7所述的装置,其中从所述行缓冲器检索的所述相邻视频数据包括一个像素行的所述部分的宽度小于所述第一块的设置用于所述第一视频数据的指示,其中所述指示被保留在所述3基于所述输出视频数据中所述指示的存在,识别对应于所述第块的所述输出视频数据的所述第一子集被配置为被显示为解码视频设置用于所述相邻视频数据的指示,其中所述指示被保留在使用所述CDEF的处理期基于所述输出视频数据中所述指示的存在,识别对应于所述第块的所述输出视频数据的所述第一子集被配置为被显示为解码视频复制所述经放大的相邻视频数据中的至少一行像素,以滤波的第一视频数据和所述经放大的相邻视频数据以生12.根据权利要求1所述的装置,其中所述相邻块位于所述视频帧中的所述第一块上14.根据权利要求1所述的装置,其中所述行缓冲器的存储器带宽是每秒4×W×F个像15.根据权利要求1所述的装置,其中所述CDEF、所述放大器以及所述LR滤波器与输出所述输出视频数据以存储在所述至少一个视频编码器,被配置为在读取所述第一视频数据和检索所述相邻20.根据权利要求1所述的装置,其中所述装置包括以下至少一项:头戴式显示器从行缓冲器检索相邻视频数据,其中所述相邻视频数据来自与4使用放大器对所述经滤波的第一视频数据进行放大,以生成使用所述放大器对从所述行缓冲器检索的所述相邻视频数据进使用环路恢复(LR)滤波器处理所述经放大经滤波的第一视频数据从所述行缓冲器检索所述相邻视频数据之前使用所述DB滤波器对所述相邻视频数据进行在从所述行缓冲器检索所述相邻视频数据之前,从所述在从所述行缓冲器检索所述相邻视频数据之前,将所述相邻25.根据权利要求21所述的方法,其中所述相邻视频数据在从所述行缓冲器检索时是26.根据权利要求21所述的方法,其中读取所述第一视频数据和检索所述相邻视频数据包括以垂直光栅扫描顺序读取所述第一视频数据和检索设置用于所述第一视频数据的指示,其中所述指示被保留在所述基于所述输出视频数据中所述指示的存在,识别对应于所述第块的所述输出视频数据的所述第一子集被配置为被显示为解码视频设置用于所述相邻视频数据的指示,其中所述指示被保留在使用所述CDEF的处理期基于所述输出视频数据中所述指示的存在,识别对应于所述第块的所述输出视频数据的所述第一子集被配置为被显示为解码视频复制所述经放大的相邻视频数据中的至少一行像素,以5滤波的第一视频数据和所述经放大的相邻视频数据以生30.根据权利要求21所述的装置,其中所述相邻块位于所述视频帧中的所述第一块上6频数据被处理和输出以供消费。数字视频数据包括大量的数据,以满足消费者和视频提供视频。满足这些需求所需的大量视频数据给处理和存储该视频数据的通信网络和设备带来了负担。7从行缓冲器检索相邻视频数据,其中相邻视频数据来自与视频帧中的第一块相邻的相邻第一视频数据,其中由CDEF使用的相邻视频数据是从行缓冲器检索的;使用放大器对经滤波的第一视频数据进行放大,以生成经放大经滤波的第一视频数据;使用放大器对从行缓冲器检索的相邻视频数据进行放大,以生成经放大的相邻视频数据;以及使用环路恢复数据。处理经放大经滤波的第一视频数据和经放大的相邻视频数据,以生成输出视频数据的部频数据之前使用DB滤波器对相邻视频数据进行滤波。89[0025]图2是示出根据一些示例的解码器系统的框图,该解码器系统包括两个放大器并[0026]图3是示出根据一些示例的解码器系统的框图,该解码器系统包括一个放大器并[0027]图4是示出根据一些示例的根据垂直光栅扫描顺序从超级块和相邻块读取、处理[0028]图5A是示出根据一些示例的根据水平光栅扫描顺序从块读取、处理和/或输出像[0029]图5B是示出根据一些示例的根据垂直光栅扫描顺序从块读取、处理和/或输出像[0031]图7是示出根据一些示例的来自相邻块行缓冲器的像素行的复制以生成供环路恢以减少或去除视频序列中固有的冗余。视频编码器可以将原始视频序列的每个图片分割为些视频块进行编码。[0038]可以以一种或多种方式将视频块划分为一组或多组更小块。块可以包括译码树一图片内先前编码的相邻块的数据使用空域预测技术[0043]AV1译码器/格式下的解码器可以将相邻视频数据的两个实例存储在对应于相邻在行缓冲器中的第一放大模块和对经CDEF滤波的第一视频数据进行放大的第二放大在使用附加的硬件空间用于冗余功能方面是低效的。在AV1译码器/格式下的示例解码器行缓冲器的相邻视频数据生成经CDEF滤波的第一视频数据,CDEF滤波器可以将其所有数据器可以使用对应于第一块的输出数据作为经解码视频的一部分。器从行缓冲器检索相邻视频数据。该相邻视频数据来自与视频帧中的第一块相邻的相邻[0051]将参照附图描述本申请的各个方面。图1是图示了包括编码设备104和解码设备[0052]编码设备104(或编码器)可以用于使用视频译码标准或协议对视频数据进行编码,以生成经编码视频比特流。视频译码标准的示例包括ITU_TH.261、ISO/IECMPEG_的各种扩展,包括范围和屏幕内容译码扩展、3D视频译码(3D_HEVC)和多视图扩展(MV_经开发了HEVC及其扩展。用本文所述技术的其他视频译码器和/或译码标准。译码标准和/或未来视频译码标准(诸如VVC和/或其他正在开发或将要开发的视频译码标频译码器来执行。然而,本文描述的技术和系统也可以适用于其他译码标准,诸如MPEG、服务器或内容提供商、从视频服务器或内容提供商接收视频的视频馈送接口、用于生[0057]来自视频源102的视频数据可以包括一个或多个输入图片或帧。图片或帧是静止依赖于来自同一图片中其他切片的数据的情况下被译码。一个切片包括一个或多个切片可以不具有与在垂直方向上相同数量的像素。与CU相关联的语法数据可以描述,例如将CU分割为一个或多个PU。分割模式可以在CU是帧内预测模式编码的还是帧间预测模式编码的之间不同。PU可以被分割为非正方形形状。与CU相关联的语法数据还可以描述,例如根据[0064]一旦视频数据的图片被分割为CU,编码器引擎106就使用预测模式对每个PU进行码树单元(其中亮度样本的CTB和色度样本的一个或多个CTB,连同样本的语法,被称为QTBT结构包括两个级别,包括根据四叉树分割的第一级别和根据二叉树分割的第二级别。[0068]在一些示例中,视频译码器可以使用单个QTBT或MTT结构来表示亮度和色度分量技术还可以应用于配置使用四叉树分割或其他类型的分割式相关联的预测角度可以不同于HEVC中使用[0074]帧间预测使用图片之间的时域相关性,以便导出针对图像样本块的运动补偿预以更准确地捕获潜在的对象的运动,而不限于参考帧的整数像素网格。运动矢量的精度可时,对参考图片应用插值以导出预测信号。例如,可以对整数位置处可用的样本进行滤波AXO,AY,,refldxo和AX1,AY,refldx1)来生成两个运动补偿预测(来自同一参测信号,并且生成B预测单元。然后将这两个运动补偿预测组合以得到最终的运动补偿预[0081]编码器引擎106可以执行变换系数的量化。量化通过对变换系数进行量化以减少码视频比特流的不同元素可以由编码器引擎106进行熵编码。在一些示例中,编码器引擎106可以利用预定义的扫描顺序来扫描量化的变换系数以产生可被熵编码的序列化矢量。的比特序列存在于VCLNAL单元中。非VCLNAL单元可以包含具有与经编码视频比特流相关每个切片参考单个活动PPS、SPS和VPS,以访问解码设备112可以用于对该切片进行解码的有在基本层中并且具有某些属性(或者该比特流的末尾)的随机访问点图片的下一个AU。SPS中的信息可以在经译码视频序列中不随图片改变。经译码视频序列中的图片可以使用单元分开的传输中在带外发送。据。在一个说明性示例中,SEI消息中的信息可以由解码器侧实体使用以改进内容的可视[0086]编码设备104的输出110可以通过通信链路120向接收设备的解码设备112发送NALTM118可以包括用于存储在帧间预测中使用的参考图片的DPB。包括解码设备112的接收设备可以经由存储108接收要进行解码的经编码视频数据。经编码视频码数据可以根据通信标码器引擎116可以对经编码视频比特流数据重新缩放并且执行逆变换。然后残差数据被传[0091]在一些实施例中,视频编码设备104和/或视频解码设备112可以分别与音频编码设备和音频解码设备集成。视频编码设备104和/或视频解码设备112还可以包括实现上述视频编码设备104和视频解码设备112可以集成为各自设备中的组合编码器/解码器(译码[0092]图1所示的示例系统是本文中可以使用的一个说明性示例。使用本文描述的技术处理视频数据的技术可以由任何数字视频编码和/或解码设备来执行。尽管本公开的技术一般由视频编码设备或视频解码设备执行,但这些技术也可以由组合视频编码器_解码器扩展对一个或多个增强层进行译码。解码器希望根据特定参数操作时层集可以对应于要解码的多个息集合包含用于向前和向后预测方向的运动信息。向前和向后预测方向是双向预测模式的“向后”对应于当前图片的参考图片列表0(RefPicList0或L0)和参考图片列表1相关联的参考索引的这种运动矢量被表示为单向预测运动信息集合。对于每个预测方向,以假定其具有相关联的参考索引的方式被引用。参考索引用于识别当前参考图片列表供从当前图片中的坐标位置到由参考索引识别的参考图片中的坐标的偏移。例如,参考索引可以指示应该用于当前图片中的块的特定参考图片,并且运动矢量可以指示最佳匹配块一个经译码视频序列中的两个图片可能具有相同POC值的情况,但这通常不会发生在经译行块的运动补偿预测时将增量值应用于使用信令通知的索引值获得的一个或多个运动信[0105]在一些示例中,MV候选列表包含多达五个用于merge模式的候选和两个用于AMVP[0107]在一些示例中,merge模式允许帧间预测PU从包括从一组空间上相邻的运动数据位置和两个时间上并置的运动数据位置之一中选择的运动数据位置的帧间预测PU继承相[0108]图2是示出解码器系统200的框图,该解码器系统包括两个放大器并且将经去块器引擎116的示例。[0109]解码器系统200接收输入视频数据270。输入视频数据270可以使用诸如编码设备[0110]解码器系统200使用DB滤波器210来对输入视频数据270进行滤波,以去除经译码了使用DB滤波器210来对输入视频数据270进行滤波,解码器系统200可以使用一个或多个基于启发式的分析来分析输入视频数据270,以确定块边缘处视频数据中的边界伪影与合块数据245从DB滤波器210传递到约束定向增强滤波器(constraineddirectional用放大器230生成经放大经DB滤波的相邻块数据240。解码器系统200将经放大经DB滤波的相邻块数据240存储在相邻块行缓冲器205中。放大器230通过放大因子将经DB滤波的相邻[0112]解码器系统200可以使用CDEF滤波器215对经DB滤波的块数据245进行滤波,以生码器系统200还可以从相邻块行缓冲器205检索经DB滤波的相邻块数据235,并且使用经DB滤波的相邻块数据235以及经DB滤波的块数据245作为CDEF滤波器215的输入,以生成经CDEF滤波的块数据250。CDEF滤波器215可以去除经DB滤波的块数据245中锐利边缘周围的215的图形示出了根据8个不同方向中的每一个方向定向的[0115]根据用于CDEF滤波器215的该等式,除了来自第一块的经DB滤波的块数据245之外,使用CDEF滤波器215对第一块进行滤波还使用来自相邻块(例如,图7中的行705和行将来自相邻块的至少两行的经DB滤波的像素数据存储为经DB滤波的相邻块数据235,其可以由解码器系统200检索以供CDEF滤波器215在对经DB滤波的块数据245进行滤波以生成经[0116]解码器系统200将使用CDEF滤波器215生成的经CDEF滤波的块数据250传递给放大[0117]解码器系统200将经放大经CDEF滤波的块数据255传递到环路恢复(loop200使用LR滤波器225来对经放大经CDEF滤波的块数据255进行滤波以生成输出块数据260。为了使用LR滤波器225对经放大经CDEF滤波的块数据255进行滤波,解码器系统200还可以使用经放大经DB滤波的相邻块数据240以及经CDEF滤波的块数据255作为LR滤波器225的输第一块的经放大经CDEF滤波的块数据255之外,还使用来自已经放大(例如,使用放大器码器系统200检索经放大经DB滤波的相邻块数据240,以供LR滤波器225在对经放大经CDEF滤波的块数据255进行滤波以生成输出块数据260[0121]相邻块行缓冲器205可以存储来自使用放大器230放大的相邻块的至少两行的经波的相邻块数据240可以由解码器系统200检索,解码器系统200可以复制经放大经DB滤波的相邻块数据240的一行或多行,以模拟在经DB滤波的相邻块数据235被放大器230放大以解码器系统200提供经放大经DB滤波的相邻块数据240,作为对LR滤波器225对经放大经如果放大器230的放大因子为2,则解码器系统200在将具有重复的行的经放大经DB滤波的相邻块数据240和LR滤波器225一起用于对经放大经CDEF滤波的块数据255进行滤波以生成出块数据260可以是指译码环路中滤波过程的多次205中以及从相邻块行缓冲器205中读取的数据量(例如,经放大经DB滤波的相邻块数据[0130]在一些示例中,对于被配置为向LR滤波器225提供经放大经DB滤波的相邻块数据240并且没有垂直图块的视频帧,图块宽度等于帧宽度。对于帧宽度(W)和放大比率块行缓冲器205读取的数据量(例如,经DB滤波的相邻块数据235和经放大经DB滤波的相邻从相邻块行缓冲器205读取数据的最小读/写存储器[0134]图3是示出解码器系统300的框图,该解码器系统包括一个放大器220并且将经去解码器系统300的这些元件中的至少一些可以如关于图2的解码器系统200所描述的那样起270输入到DB滤波器210,从DB滤波器210输出经DB滤波的块数据245以输入到CDEF滤波器[0136]与图2的解码器系统200不同,图3的解码器系统300将经DB滤波的相邻块数据235用进一步允许解码器系统300向相邻块行缓冲器205写入更少的数据、在相邻块行缓冲器示例可以实现比解码器系统200的示例节省66.67%的存储器,例如给定8192比特的最大图[0137]与解码器系统200相比,解码器系统300减少了用于从解码器系统300中的相邻块相比,垂直光栅扫描顺序435和/或垂直光栅扫描顺序530的使用还可以减少用于从解码器系统300中的相邻块行缓冲器205读取以及向其写入的最小读取和写入带宽。在一些示例中,由解码器系统300存储在相邻块行缓冲器205中的经DB滤波的相邻块数据235包括4×W的相邻块行缓冲器205的存储器带宽是每秒4×W×F个像素,其中W是对应于视频帧的至少解码器系统200的示例相比,解码器系统300的示例可以在解码器系统300的示例中实现用于从相邻块行缓冲器205读取和写入的读取和写入带宽的量减少66.67%,例如给定8192比冲器205写入更少的数据以及从相邻块行缓冲器205读取更少的数据来节省解码器系统200[0138]类似于图2的解码器系统200,图3的解码器系统300可以使用CDEF滤波器215对经经DB滤波的块数据245进行滤波,解码器系统200还可以从相邻块行缓冲器205检索经DB滤波的相邻块数据235,并且使用经DB滤波的相邻块数据235以及经DB滤波的块数据245作为例中,解码器系统300可以将经DB滤波的相邻块数据235从相邻块行缓冲器205传递到放大[0139]解码器系统300将由CDEF滤波器215输出的经CDEF滤波的块数据250和经DB滤波的220通过放大因子将经CDEF滤波的块数据250和经DB滤波的相邻块数据235放大,以分别生成经放大经CDEF滤波的块数据255和经放大经DB滤波的相邻块数据340。在说明性示例中,[0140]解码器系统300将经放大经CDEF滤波的块数据255和经放大经DB滤波的相邻块数的相邻块数据240不同,解码器系统300改为从放大器220接收经放大经DB滤波的相邻块数滤波器225来对经放大经CDEF滤波的块数据255进行滤波以生成输出块数据260。为了使用LR滤波器225对经放大经CDEF滤波的块数据255进行滤波,解码器系统300还可以使用经放大经DB滤波的相邻块数据340以及经CDEF滤波的块数据255作为LR滤波器225的输入,以生[0141]在一些示例中,解码器系统300设置用于第一块数据的第一指示以及用于相邻块DB滤波器210的元件来设置用于第一块数据的第一指示和用于相邻块数据的第二指示。在统300可以在由解码器系统300执行并在图3中示出的解码过程中的任何点处识别哪些数据块数据255和/或对应于第一块的输出块数据260的至少一个子集)以及哪些数据属于相邻经解码视频的一部分的第一块的输出视频数据的第一[0142]在一些示例中,解码器系统300使用一个或多个标志来设置用于第一块数据的第系统300可以通过将具有第一值的标志305应用于第一块的数据来设置用于第一块数据的系统300可以将输出块数据260输出到显示器,使得显示器将输出块数据260显示为视频帧[0145]图4是示出根据垂直光栅扫描顺序435从超级块和相邻块读取、处理和/或输出像[0146]相邻块数据420包括相邻块的块430。块430被使用带有黑色轮廓的白色背景上的用垂直光栅扫描顺序435可以帮助产生比如上所讨论的解码器系统200的示例节省66.67%器205读取和向相邻块行缓冲器205写入的读取和写入带宽的量减少6图500。水平光栅扫描顺序510可以由解码器系统200和/或解码器系统300用于读取输入视图520。垂直光栅扫描顺序530可以由解码器系统200和/或解码器系统300用于读取输入视行缓冲器205读取的最小带宽的减少。垂直光栅扫描顺序530可以是垂直光栅扫描顺序435一个或多个相邻块610的像素的像素数据,以便使用LR滤波器225来对块605的像素进行滤图600中所示的一个或多个相邻块610的一些像素来对块605的像素进行滤波,诸如位于块[0151]图7是示出来自相邻块行缓冲器205的像素行710的复制720以生成供环路恢复用LR滤波器225来对指定块进行滤波。行705、行710和行715可以是来自一个或多个相邻块相邻块行缓冲器205中读取以供LR滤波器225使用,并且由LR滤波器225使用。在一些示例生成行715。在概念图700中,3行中的每一行被示出具有交替的白色矩形和阴影矩形的图[0153]一行或多行可以被水平地和/或垂直地放大,例如使用放大器220和/或放大器220和/或放大器230则白色矩形和/或阴影矩形中的每一者可以表示2像素乘2像素的区经放大经DB滤波的相邻块数据340中的数据[0156]在操作805处,译码器系统被配置为并且能够从视频帧的第一块读取第一视频数520中的块、块605的像素或者它们的组合。第一块可以是本文讨论的块和/或超级块的示邻视频数据来自与视频帧中的第一块相邻的相邻块。行缓冲器的示例是相邻块行缓冲器一视频数据和/或相邻视频数据进行编码。视频编码器的示例包括编码设备104和/或编码210和/或在读取第一视频数据之前对第一视频数据进行滤波以读取第一视频数据。例波相邻块数据235可以是在操作810检索出的相邻视频数据的示为并且能够从视频帧的相邻块读取相邻视频数据,并且将相邻视频数据存储在行缓冲器[0163]在一些方面,读取第一视频数据和检索相邻视频数据包括以垂直光栅扫描顺序频数据。在一些方面,从行缓冲器检索的相邻视频数据包括一个或多个像素行的对应垂直光栅扫描顺序的一个或多个列的部分,并且一个或多个像素行的部分的宽度小于第一数据420,则相邻块行缓冲器205可以一次存储小于整个超级块宽度410的相邻块数据420的数据和检索相邻视频数据。据是从行缓冲器检索出的。CDEF的示例是CDEF215。经滤波的第一视频数据的示例是经[0165]在操作820处,译码器系统被配置为并且能够使用放大器对经滤波的第一视频数经滤波的第一视频数据的示例包括经放大经CDEF滤[0166]在操作825处,译码器系统被配置为并且能够使用放大器对从行缓冲器检索的相据中该指示的存在来识别对应于第一块的输出视频数据的第一子集和对应于相邻块的输应于第一块的输出视频数据的至少第一子集被配置为被显示为经解码视频硬件和/或可以使用电子电路或其他电子硬件来实现,该电子电路或其他电子硬件可以包是可以以任何顺序和/或并行地组合任何数量的所描述的操作以实现该过程。在一些示例[0190]处理器910可以包括任何通用处理器和硬件服务或软件服务,诸如存储在存储设些实例中,多模态系统可以使能用户提供多种类型的输入/输出以与计算系统900通信通信接口可以使用有线和/或无线收发器执行或促进接收和/或发送有线或无线通信,包括个或多个GNSS系统相关联的一个或多个卫星接收到一个或多个信号来确定计算系统900的特定硬件布置上操作没有限制,并且因此对于改进的硬件或固件布置,在其被开发时这里的基本特征可以容易地被替代。[0192]存储设备930可以是非易失性和/或非暂时性和/或计算机可读存储

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论