ISOIEC 23090-92023 信息技术.沉浸式媒体的编码表示.第9部分基于几何的点云压缩标准立项发展报告

信息技术沉浸式媒体的编码表示第9部分：基于几何的点云压缩标准立项发展报告StandardizationDevelopmentReport:Informationtechnology—Codedrepresentationofimmersivemedia—Part9:Geometry-basedpointcloudcompression(G-PCC)摘要随着三维采集技术与虚拟现实（VR）、增强现实（AR）等沉浸式应用的飞速发展，点云作为三维空间信息的一种重要表示形式，其数据量呈几何级数增长，对传输、存储与处理提出了严峻挑战。为应对这一技术瓶颈，国际标准化组织（ISO）与国际电工委员会（IEC）的第一联合技术委员会（JTC1）下属的编码音视频对象小组（MPEG）启动了沉浸式媒体编码表示系列标准的制定工作。本报告聚焦于该系列标准中的第9部分，即《信息技术沉浸式媒体的编码表示第9部分：基于几何的点云压缩》（ISO/IEC23090-9:2023），简称G-PCC标准。本报告系统梳理了该标准的立项背景、核心技术框架、主要技术特征、应用领域及产业影响。研究发现，G-PCC标准摒弃了传统的基于变换的编码思路，创新性地采用基于几何结构（如八叉树、三角面片等）的编码方法，对点云的空间坐标与属性信息进行高效压缩。该标准在保持高压缩比的同时，提供了优异的率失真性能，支持有损和无损压缩模式，并针对静态点云、动态点云和动态获取的点云（如LiDAR数据）分类优化。结论指出，G-PCC标准的发布为三维点云数据的产业化应用提供了统一的技术规范，是推动沉浸式媒体、自动驾驶、地理信息系统、数字孪生等领域发展的核心技术引擎。关键词点云压缩；沉浸式媒体；G-PCC；ISO/IEC23090；三维视觉；几何编码；率失真优化Keywords:PointCloudCompression;ImmersiveMedia;G-PCC;ISO/IEC23090;3DVision;Geometry-basedCoding;Rate-DistortionOptimization1.引言点云是一种由大量、密集的三维空间点坐标及其属性（如颜色、反射率、法向量等）组成的无序数据结构，能够精确、真实地再现三维物体的几何形状与表面细节。随着消费级激光雷达（LiDAR）、深度相机、立体视觉系统等传感器技术的普及，点云数据已成为自动驾驶环境感知、高精度地图构建、文化遗产数字化保护、虚拟现实内容创作、工业检测与逆向工程等领域的核心数据载体。然而，一个中等规模的点云模型通常包含数百万乃至数十亿个点，其原始数据量巨大，例如，一个包含10个点的高精度点云，其几何信息（XYZ坐标）加上颜色属性，在未经压缩的情况下，数据量可能达到数GB级别，远超当前网络带宽与存储能力的承载范围。因此，高效、标准化的点云压缩技术成为打通三维数据产业链的关键环节。在此背景下，国际标准化组织（ISO）和国际电工委员会（IEC）下属的第一联合技术委员会（JTC1）的第29分委员会（SC29）负责制定的《信息技术沉浸式媒体的编码表示》系列标准应运而生，该系列标准被业界广泛称为MPEG-I标准。MPEG（MovingPictureExpertsGroup）作为国际音视频编码领域的权威组织，拥有从MPEG-1到MPEG-4、MPEG-7及HEVC/H.265、VVC/H.266等一系列成功标准。面对点云这一新兴数据类型，MPEG成立专门工作组，历经数年的技术征集、核心实验（CE）、比较评价和标准化过程，最终于2023年3月31日正式发布了ISO/IEC23090-9:2023，即基于几何的点云压缩（G-PCC）标准。本报告旨在全面阐述G-PCC标准的技术原理、发展历程、技术特征及其在行业中的应用前景，为专业技术人员提供深入的技术参考，为行业管理决策提供标准化依据。2.标准立项背景与技术挑战在G-PCC标准立项之前，点云数据的处理多依赖于非标准化的私有算法或通用数据压缩工具（如对二值化后的坐标进行LZ77压缩），压缩效率低下，且缺乏互操作性。随着沉浸式媒体产业的兴起，行业对统一、高效、国际通用的点云压缩标准的需求日益迫切。2.1技术挑战：1.非结构化数据：点云不具备像素网格或顶点拓扑那样的规则结构，其点与点之间的空间位置是离散且无序的，这使得传统的图像/视频编码技术（如基于块的DCT变换）难以直接应用。2.海量数据与高保真需求：自动驾驶等应用需要极高的空间精度，通常采用无符号整数或浮点数表示坐标，这导致数据量急剧膨胀。压缩算法必须在保持几何精度和属性细节的前提下大幅压缩数据。3.属性与几何的联合处理：点云的属性（如颜色、反射率）与几何位置强相关，简单的分开压缩会导致严重的牵拉失真。如何在压缩过程中实现几何与属性的最优联合编码，是技术难点。4.实时性与低延迟要求：在VR/AR、远程协作等场景中，压缩和解压缩过程必须满足严格的实时性要求（如端到端延迟<20ms），这对硬件实现和算法效率提出了极高要求。2.2标准立项过程：MPEG从2014年开始对点云压缩技术进行探索，并于2017年发布了“点云压缩（PCC）”的技术征集（CallforProposals）。经过多轮评估，MPEG最终决定制定两种互补的标准方案：-G-PCC(Geometry-basedPointCloudCompression):主要针对静态点云（如精细扫描的雕塑、文物）和动态获取的点云（如LiDAR每一帧扫描产生的点云，特征在于点位置随帧变化）。其核心理念是直接对点云的几何坐标进行编码，而非转化为视频或图像序列。-V-PCC(Video-basedPointCloudCompression):主要针对动态点云（如人体运动捕捉产生的时间上连续的密集点云），其核心思路是将动态点云投影到多个二维平面上，利用成熟的视频编码标准（如HEVC）进行编码，具有实现复杂度低、兼容现有视频生态的优点。G-PCC作为一个独立的、针对几何核心的编码方案，其立项标志着MPEG对多样化应用场景的全面覆盖。该标准于2018年进入委员会草案（CD）阶段，经过多次核心实验、草案修订和验证测试，最终于2023年正式成为国际标准（IS）。3.G-PCC核心技术框架ISO/IEC23090-9:2023定义了一种通用的、基于几何的编码架构，支持对点云的几何坐标（x,y,z）和属性（如颜色、反射率等）进行高效压缩。该标准支持三种主要输入模式：静态点云、动态点云（时间序列）和动态获取点云（如LiDAR扫描）。3.1核心编码流程：1.几何编码：-坐标变换与量化:首先，将输入的浮点数坐标转换为整数坐标（通常通过比例缩放和取整实现），并进行量化，这是实现有损压缩的基础。量化步长决定了几何精度损失与压缩比之间的平衡。-体素划分与八叉树（Octree）编码:这是G-PCC的核心技术。它将点云的整个包围盒（BoundingBox）递归地划分为8个子立方体（体素），直到每个体素内只包含一个点或达到设定的深度。对于每个被占用的体素，编码器会记录一个8位的占用码（OccupancyCode），表示其8个子体素是否有点存在。通过深度优先或广度优先的方式遍历这棵八叉树，就可以高效地表示点云的几何结构。对于稀疏的点云，八叉树极其高效，因为大量空节点可以被快速跳过。-三角面片（TriangleSoup/Trisoup）编码:对于表面光滑、点密度较高的点云（如3D扫描模型），G-PCC引入了三角面片编码模式。在八叉树到达一定深度后，编码器不再继续细分，而是估计该体素内点云所占据的表面形状，并用一个或多个三角面片进行近似。编码器只需传输这些三角面片的顶点坐标。这种方式可以实现更高的几何压缩比，尤其适合平滑的表面。-预测与变换:在八叉树的构建过程中，可以利用相邻节点、父节点或已编码节点进行上下文预测，进一步减少占用码的熵。对于三角面片模式，也会对顶点坐标进行预测编码。-算术编码:所有编码后的符号（如占用码、预测残差、量化后的顶点坐标等）最终送入基于上下文的自适应二进制算术编码器（CABAC），根据统计模型进行无损压缩。2.属性编码：-属性编码严格依赖于已经重建的几何信息。首先，要解决的问题是“点对应点”：确保编码器和解码器使用相同的重建几何（即使是有损压缩）作为属性的参考。解码器在解码完几何后，会重建出一个与原始几何大致相同的点云。-属性迁移（AttributeTransfer）:由于几何可能有损，重建点的位置与原始点的位置可能不完全对应。因此，需要将原始点云的属性“迁移”到重建点云上。常用方法是最近邻搜索或插值。-色彩空间转换：对于颜色属性，通常先将其从RGB色彩空间转换到YCbCr色彩空间，以便在后续编码中分离亮度和色度信息，利用人眼对色度变化不敏感的特性进行有损压缩。-提升变换（Raht/RegionAdaptiveHierarchicalTransform）:这是G-PCC主要的属性压缩工具。它基于几何信息构造一个层次化的图结构（类似于拉普拉斯金字塔）。首先通过下采样，得到不同层次的点云。然后，对一个层次内的相邻点（通过K-D树或莫顿码查找近邻）进行预测，计算预测残差。最后，通过上采样和加权求和，一个层次的信息可以用于重建下一个更稠密层次的属性值。这种变换能够有效去除属性间的空间冗余。G-PCC还引入了预测变换（PredictingTransform）作为另一种选择，它更简单但压缩效率稍逊。-量化和熵编码:对变换后的系数进行量化（有损），然后同样送入CABAC进行熵编码。3.2码流与解码器：G-PCC定义的码流结构包含几何比特流和属性比特流两部分，并支持多个并行或分层的数据单元。解码器是编码器的逆过程：先解码几何信息，重建点云位置；然后根据重建几何，解码属性信息，并将其映射到相应点上，最终输出完整的带属性的三维点云。4.标准的技术特征与优势ISO/IEC23090-9:2023具备以下几个突出的技术特征：3.支持有损与无损压缩：标准既支持完全无损的几何与属性编码（通过不使用量化步骤），也支持有损编码，灵活的量化参数调节使得用户可以在码率、几何精度和属性质量三者之间进行精细权衡。4.支持多属性联合编码：标准设计之初就考虑了颜色、反射率、法向量等多种属性的编码，具备良好的可扩展性。未来版本可以方便地添加对新属性的支持。5.支持时间域相关性：对于动态点云输入（涉及多帧），G-PCC允许使用帧间预测技术，对帧间的几何和属性变化进行编码，从而实现更高的压缩比，特别适合LiDAR帧序列。5.主要参与单位与标委会介绍：MPEG与FraunhoferHHI本标准的制定主体是ISO/IECJTC1/SC29/WG2（即MPEG工作组）。ISO/IECJTC1/SC29是国际标准化组织与国际电工委员会的第一联合技术委员会的第29分委员会，其官方名称为“音频、图像、多媒体和超媒体信息编码”。该分委员会是数字音视频、图像和多媒体压缩领域最权威的国际标准化组织。其下的主要工作组包括WG2（MPEG）、WG3（JPEG）等。WG2（MPEG）成立于1988年，是由PierreLarbier和D.LeGall等先驱发起的，其使命是制定用于压缩运动图像和音频的国际标准。在G-PCC标准的开发过程中，众多国际顶尖的科研机构、企业和大学积极参与了技术提案、核心实验和设计优化。其中，弗劳恩霍夫海因里希·赫兹研究所（FraunhoferHeinrichHertzInstitute,FraunhoferHHI）是一个极为重要的贡献者。FraunhoferHHI是德国弗劳恩霍夫应用研究促进协会（Fraunhofer-Gesellschaft）旗下的一个著名研究所，总部位于柏林。该研究所是全球视频编码、多媒体通信和沉浸式媒体技术领域的领导者之一。FraunhoferHHI是MPEG组织的核心成员，对于MPEG系列标准（包括H.264/AVC,H.265/HEVC,H.266/VVC,MPEG-DASH等）的制定做出了不可磨灭的贡献，拥有大量的基础专利。在点云压缩领域，FraunhoferHHI的团队在G-PCC的标准制定过程中扮演了关键角色。他们不仅提出了用于几何编码的八叉树和三角面片等核心算法的早期版本，还主导了区域自适应层次变换（RAHT）和各种属性预测与提升方案的设计与验证。FraunhoferHHI的科学家们通过大量的数学推导、软件实现和主观/客观测试，证明了基于几何编码的优越性，并成功推动其成为G-PCC标准的骨架。该研究所还开发了用于G-PCC的参考软件（TestModelforCategory2,TMC2）的早期版本和验证测试工具。可以说，没有FraunhoferHHI的深厚积累和持续投入，G-PCC标准达到如今的高度成熟度和性能表现是不可想象的。6.结论与展望ISO/IEC23090-9:2023（G-PCC）的发布是沉浸式媒体标准化进程中的一个里程碑。它基于对点云数据本质的深刻理解，创新性地构建了以几何编码为核心的压缩框架，为处理海量、无序、高维的三维点云数据提供了高效、可靠、国际通用的技术方案。G-PCC标准通过其模块化的设计、优异的率失真性能和对多种应用场景的支持，成功解决了一个前沿的技术挑战。展望未来，G-PCC标准及点云压缩技术的发展将呈现