CN114026789B 用于点云系数编码的方法和装置 （腾讯美国有限责任公司）

2021.10.11PCT/US2021/0125272WO2021/142141EN2021.07.15WO2007021616A2,2007.02.22分解成集合-索引值和符号-索引值，符号-索引值指定变换系数在集合内的位置。基于集合-索引值和符号-索引值将分解的变换系数划分到一个或更多个集合中。对经划分的变换系数的集合-索引值进行熵编码，并且对经划分的变换系数的符号-索引值进行旁路编码。基于经熵编码的符号-索引值和经旁路编码的集合-索引值对2将与点云数据相关联的变换系数分解成集合-索引值和符号-索引值，所述符号-索引基于所述集合-索引值和所述符号-索引值，将分解的变换系数划分到对经划分的变换系数的所述集合-索引值进基于经熵编码的集合-索引值和经旁路编码的符号-索引值对所述点云其中，将与所述变换系数相关联的频率值以降序存储在高以指示基于在编码器与解码器之间共享的一个或更多个字母表-划分类型的具有相关联的3.根据权利要求2所述的方法，其中，所4.根据权利要求2所述的方法，其中，所述一个或更多个字5.根据权利要求2所述的方法，其中，所述一述变换系数之间的相关性的信噪比可伸缩编码的可伸缩性的一个或6.根据权利要求1所述的方法，其中，通过多符号算术编至少一个处理器，所述至少一个处理器被配置成访问所分解代码，所述分解代码被配置成使所述至少一个处理器将系数分解成集合-索引值和符号-索引值，所述符号-索引值指定所述变换系数在集合内的划分代码，所述划分代码被配置成使所述至少一个处理器基于所述集合-索引值和所述符号-索引值将分解的变换系数划分至一个或更多个熵编码代码，所述熵编码代码被配置成使所述至少一个处理旁路编码代码，所述旁路编码代码被配置成使所述至少一个处理压缩代码，所述压缩代码被配置成使所述至少一个处理器基于经熵编码的集合-索引值和经旁路编码的符号-索引值对所述点云数其中，与所述变换系数相关联的频率值以降序存储在3知以指示基于在编码器与解码器之间共享的一个或更多个字母表-划分类型的具有相关联9.根据权利要求8所述的装置，其中，所述一个述变换系数之间的相关性的信噪比可伸缩编码的可伸缩性的一个或分解模块，将与点云数据相关联的变换系数分解成集合划分模块，基于所述集合-索引值和所述符号-索引压缩模块，基于经熵编码的集合-索引值和经旁路编码的符号-其中，与所述变换系数相关联的频率值以降序存储在4[0002]本申请要求于2020年1月9日在美国专利商标局提交的美国临时专利申请第62/958,839号和于2020年12月3日在美国专利商标局提交的美国专利申请第17/110,691号的确定了与点云数据相关联的许多用例，并且已经制定了对于点云表示和压缩的相应要求。点云序列的编码以及对点云的子集的随机访问)的压缩的标准。但目前的点云数据编码方括将与点云数据相关联的变换系数分解成集合-索引值和符号-索引值，符号-索引值指定5的至少一个处理器。计算机程序代码包括被配置成使至少一个处理器执行如下方法的代码，该方法可以包括将与点云数据相关联的变换系数分解成集合-索引值和符号-索引值，符号-索引值指定变换系数在集合内的位置。可以基于集合-索引值和符号-索引值将分解的变换系数划分成一个或更多个集合。可以对经划分的变换系数的集合-索引值进行熵编码，并且可以对经划分的变换系数的符号-索引值进行旁路编码。可以基于经熵编码的集合-索引值和经旁路编码的符号-索引值对点云理器将与点云数据相关联的变换系数分解成集合-索引值和符号-索引值，符号-索引值指[0011]在本申请实施方式中，将与点云数据相关联的变换系数分解成集合-索引值和符引值将分解的变换系数划分至一个或更多个集合中。可以对经划分的变换系数的集合-索缓存可能另外需要定期更新，其频率可能意味着在计算要求和编码效率方面的不同权衡。缩效率权衡方面改进G-PCC中属性的变换系60123[0032]在G-PCC中用于属性编码的提升变换建立在上述预测变换之上。预测方案与提升[0033]图1B是G-PCC中用于P/U(预测/更新)提升的架构的图。为了便于提升时的预测步7P/U分解步骤会产生细节信号D(N-1)和近似信号A(N-1)，细节信号D(N-1)和近似信号A(N-[0035]目前，上述用于预测变换的基于距离的加权平均预测作为G-PCC中的锚定方法被[0036]在G-PCC中用于属性编码的预测和提升中，邻近的属性样本的可用性对于压缩效[0037]在G-PCC中用于属性编码的另一类型的变换可以是区域自适应层次变换(Regionl/＝1(高阶)到l/＝3d(低阶)的M的位。两个同级块的并集可以是层次(l/-1)处[0043]序列An，n＝1,...，N及其逆的区域自适应Haar变换可以包括基础条件(base和可以是它们各自的变换。类似地，(A1,AZ…,AW,+w)可以是按8[0050]父块的变换可以是两个同级块的级联，不同之处在于两个同级块的变换的第一过频率排序的查找表索引编码、高速缓存索引编码和符号值的直接编码来执行来自提升、权衡方面改进G-PCC中属性的变换系数的编9[0057]图2还示出了第二对终端230和240，第二对终端230和240被提供用于支持例如在[0059]图3是根据实施方式的G-PCC压缩器303和G-PCC解压缩器310在环境中的布置的传输客户端306和308可以访问流式传输服务器305以检索编码的点云数据304的副本307和副本307进行解码，并且创建可以在显示器312或其他呈现装置(未描绘)上呈现的传出[0066]八叉树编码器415还基于过滤后的位置的编码对接收到的过滤后的位置进行重新[0067]属性传递模块420接收输入点云中的点的属性。该属性可以包括例如每个点的颜[0068]属性传递模块420还基于接收到的重新排序的位置对所接收到的属性进行更新。[0069]LoD生成器425从八叉树编码器415接收重新排序的位置，并获得与所接收到的重的点中的每个点的LoD。预测模块430通过基于所接收到的点中的每个点的LoD按顺序将预[0072]量化器435从预测模块430接收所获得的预测残差，并使用例如缩放算法和/或移[0073]算术编码器440从八叉树编码器415接收占用符号，并从量化器435接收经量化的预测残差。算术编码器440对接收到的占用符号和经量化的预测残差执行算术编码以获得[0076]算术解码器505从G-PCC压缩器303接收经压缩的码流，并对所接收到的压缩码流[0078]逆量化器515从八叉树解码器510接收经量化的位置，并使用例如缩放算法和/或[0079]LoD生成器520从八叉树解码器510接收经量化的位置，并获得与所接收到的经量接收所获得的点中的每个点的LoD。逆预测模块530通过基于所接收到的点中的每个点的LoD按顺序将预测算法应用于所接收到的重建的预测残差，来分别获得所接收到的重建的G-PCC压缩器303即预测模块430中实现。该方法和装置也可以在G-PCC解压缩器310即逆预知索引以指示鉴于编码器与解码器之间共享的多个字母表-划分类型的具有相关联的边界[0088]在一个或更多个实施方式中，可以使用高速缓存或基于频率排序的LUT来按降序[0090]可以以各种方式对得出的集合-索引进行熵编码，而当预期集合内的符号分布相能在较低层中具有零或非常小的重建的值的区域可能与具有相反趋势的区域具有不同的[0096]在一个或更多个实施方式中，可以根据相同的量化级下来自较低LOD中的相应位置的重建的样本的值或值的函数来使用不同的字母表-划分。这些来自相应位置的样本可及作为G-PCC中的变换技术中LOD逐LOD[0097]图6是示出根据实施方式的点云系数编码的方法600的流程图。在一些实现方式个或更多个处理块可以由与G-PCC解压缩器310分开或包括G-PCC解压缩器310的另一设备[0107]分解代码710被配置成使至少一个处理器将与点云数据相关联的变换系数分解成[0108]划分代码720被配置成使至少一个处理器基于集合-索引值和符号-索引值将分解[0109]熵编码代码730被配置成使至少一个处理器对经划分的变换系数的集合-索引值[0110]旁路编码代码740被配置成使至少一个处理器对经划分的变换系数的符号-索引[0111]压缩代码750被配置成使至少一个处理器基于经熵编码的集合-索引值和经旁路[0114]指令可以在各种类型的计算机或其部件——包括例如个人计算机、平板计算机、与计算系统800的实施方式中所示的部件中的任何一个部件或部件的组合相关的任何依赖[0116]计算机系统800可以包括某些人机接口输入设备。这样的人机接口输入设备可以备还可以用于捕获不一定与人类有意识的输入直接有关的某些媒体，诸如音频(诸如：语[0117]输入人机接口设备可以包括以下中的一个或更多个(每者仅描绘了一个)：键盘[0118]计算机系统800还可以包括某些人机接口输出设备。这样的人机接口输出设备可人机接口输出设备可以包括：触觉输出设备(例如，通过触摸屏810或操纵杆805的触觉反戴式耳机(未描绘))、视觉输出设备(诸如屏幕810，包括阴极射线管(cathoderaytube，个屏幕具有或不具有触觉反馈能力——其中的一些屏幕可以能够通过诸如立体图形输出；[0119]计算机系统800还可以包括人类可访问存储设备及其相关联的介质，例如包括具质(例如磁带和软盘(未描绘))、基于专用ROM/专用集成电路(applicationspecificintegratedcircuit，ASIC)/可编程逻辑器件(programmablelogicdevice，PLD)的设备[0121]计算机系统800还可以包括到一个或更多个通信网络855的接口。通信网络855可(localareanetwork，LAN)、蜂窝网络(包括全球移动通信系统(globalsystemfor要附接至某些通用数据端口或外围总线849(诸如，例如计算机系统800的通用串行总线算机系统的蜂窝网络接口的网络接口854)而集成到计算机系统800的核中。使用这些网络络855和网络接口854中的每一个上使用某些协议和协议栈。[0122]上述人机接口设备、人类可访问存储设备和网络接口854可以被附接至计算机系[0123]核840可以包括一个或更多个中央处理单元(computercentralprocessing[0125]计算机可读介质上可以在其上具有用于执行各种由计算机实现的操作的计算机相关联的介质，以及核840的具有非暂态性的某些存储装置，诸如核内部大容量存储装置定部分，包括限定存储在RAM846中的数据结构以及根据由软件限定的处理修改这样的数技术人员能够设想实施本公开内容的原理并且因此在本公开内容的精神