CN113853796B 用于体积视频编码和解码的方法、装置 （诺基亚技术有限公司）

2021.11.19PCT/FI2020/0502432020.04.15WO2020/234509EN2020.11.26US2010085357A1,2010.04.08VladyslavZakharchenko.V-PCCdescription.ISO/IECJTMPEG2019/N18190January2019,Marrakech,2从所述压缩比特流中解码与视频帧的一个或多个块有关对在所确定的至少两个点之间的点进行光线投射，直到满足完成所述根据关于块的一个或多个表面厚度参数的所述信息，从所述3将来自所述观看光线的所述深度值与所确定的深4(VR)并且被认为是人们将在未来体验媒体内容内容具有更多的数据，因此观看它需要大量带宽(无论是否将其从存储位置传输到观看设56[0025]根据实施例，渲染参数被编码到占用图(occupancymap)中，或者从占用图中解7[0046]不断增加的计算资源和3D数据采集设备的发展已使得能够重建自然场景的高度[0047]在3D点云中，每个3D表面中的每个点被描述为具有颜色和/或诸如表面法线或材8[0050]将体积模型投影到2D平面上允许使用具有高效时间压缩的标准2D视频编码工一步提高场景的覆盖。此外，标准视频编码硬件可以被用于被投影平面的实时压缩/解压成104以及纹理图像生成105。每个点云帧101表示在3D体积空间内具有唯一坐标和属性的[0054]补片生成102过程通过使用提供最佳压缩的策略将3D样本转换为给定投影平面上[0055]在补片生成102的初始阶段，估计按照每个点的法线(normalpereachpoint使用k维树来分离数据并查找点pi附近内的邻居，以及使用该点集的重心c=p来定义法9个点相关联的聚类索引来细化初始聚类。补片生成102的最终步骤可以包括通过应用连接[0070]在补片生成102处针对输入点云帧101而确定的补片信息被传送到补片打包103、与每个补片对应的几何和纹理数据放置到大小为WxH的2D网格上。这种放置还考虑了用户[0071]打包过程103可以迭代地尝试将补片插入到WxH网格中。W和H是用户定义的参用于使用合适的视频编解码器来对纹理和几何视频信号进行编几何图像和纹理图像一起被使用的占用图(OM)106作为输入。占用图106可以包括二值图，[0082]填充过程107旨在填充补片之间的空的空间，以便生成适合于视频压缩的分段平[0083]可以提供填充的几何图像和填充的纹理图像以用于视频压缩108。可以将所生成的图像/层存储为视频帧，并根据被提供为参数的高效视频编码(HEVC)测试模型16(HM)配[0084]补片可以与针对每个补片被编码/解码的作为元数据的辅助信息相关联。辅助信[0097]●补片之间的空的空间被视为一个补片并被分配特定索引0，其被添加到所有块[0112]在对分辨率(Width/B0)x(Height/B1)的二维二进制图像进行占用图编码(有损条于0的样本应被忽略(通常包括填充信息)。占用图的分辨率并非必须与几何和纹理图像的[0114]可以通过在占用图中检测分辨率TxT的空块和非空块来简化占用图，并且仅对于[0121]δ(u,v)=δ0+g(u,v)[0125]属性平滑程序109旨在减轻由于压缩伪影而可能在补片边界处出现的潜在不连[0127]图3示出了用于MPEG点云编码(PCC)的解压缩过程的概述。解复用器201接收压缩的3D位置可以通过使用辅助补片信息和几[0128]可以提供重建的几何图像以用于平滑206，其目的在于减轻由于压缩伪影而可能在补片边界处出现的潜在不连续。所实现的方法将边界点移动到它们的最接近邻居的质或与比特流一起被编码，和/或特定深度值或特定深度值范围可以从比特流被解码或与比特流一起被解码。这种在深度样本阵列中复用占用信息的方式在图像中创建锐利的边缘，这可受到额外的比特率以及锐利边缘周围的压缩[0130]一种压缩时变体积场景/对象的方法是将3D表面投影到一定数量的预定义2D平面作为渲染基元，因此，诸如渲染基元之类的点并未针对移动图形处理单元(GPU)而进行优[0133]所提出的实施例通过引入快速和高质量的渲染管道而致力于点云的渲染性能和[0135]编码器针对每个补片确定表面参数。例如，该表面参数可以是“rendering_[0139]根据另一个实施例，层之间的颜色插值也可以或代替地在比特流中被信令传[0144]在第二阶段中，3D块525中的每个像素530被渲染到帧缓冲器中。针对每个像素的表面渲染厚度值是按照深度像素而计算的，以使得增加更多的表面厚度以便修复孔洞。图7示出了具有被计算为(0,0,2,1,0,0,0,1,2,0)730的潜在渲染表面厚度值的解码信号。染表面厚度参数生成的新的点用暗的像素725示出。有多种方式来信令传送渲染表面厚度[0150]在无损和有损编码帧中，可以有只包含XYZ坐标的附加特定补片(漏点修补观看者可以并且可选地在未来随后的某个时间实现在该位置的体验或呈现的令人信服的使用他们的眼睛和耳朵来确定场景内的对象的距离和位置。为了创建一对具有视差的图设备1001包括或在功能上被连接到计算机处理器PROCESSOR1和存储器MEMORY1，该存储器以被存储在存储器MEMORY1和/或可移动存储器MEMORY9上以在另一个设备(例如，观看器)机处理器PROCESSOR3和存储器MEMORY3，该存储器包括用于控制图像源设备1003的计算机以存在服务器1005或多个服务器，存储来自视频捕获设备1001或图像源设备1003的输出。其两者被连接到源1001和/或1003，以及可以通过通信接口COMMUNICATION5被连接到观看[0162]为了观看所捕获或创建的视频内容，可以存在一个或多个观看器设备1009(也被以具有用于将数据处理成适合于观看的格式的图形处理单元。观看器设备709可以是高分n施例和/或从属权利要求的特征与独立权利要求的特征的其他组合，而不仅仅是权利要求