信息技术沉浸式媒体的编码表示第18部分基于几何的点云压缩数据的传输标准立项发展报告

信息技术沉浸式媒体的编码表示第18部分:基于几何的点云压缩数据的传输标准立项发展报告StandardizationDevelopmentReport:Informationtechnology—Codedrepresentationofimmersivemedia—Part18:Carriageofgeometry-basedpointcloudcompressiondata摘要本报告针对国际标准ISO/IEC23090-18:2024《信息技术沉浸式媒体的编码表示第18部分:基于几何的点云压缩数据的传输》的立项与发展进行深入分析。随着扩展现实（XR）、自动驾驶、三维重建等领域的蓬勃发展，三维点云数据因其高精度、高维度的空间信息表达能力而成为关键技术载体。然而，海量点云数据的实时传输和处理对网络带宽与编解码效率提出了严峻挑战。本标准（简称G-PCC传输标准）作为MPEG-I系列标准的重要组成部分，旨在定义基于几何的点云压缩（G-PCC）数据在ISO基础媒体文件格式（ISOBMFF）和实时传输协议（RTP）中的封装与传输规范。报告全面回顾了标准的技术背景、主要技术内容，包括数据单元定义、封装结构、信令机制与传输流程。通过对标准核心内容的剖析，揭示其对于提升沉浸式媒体交互体验、降低系统部署复杂度的关键作用。报告同时介绍了主要参与单位——法国电信研究院（OrangeLabs）在标准化过程中的杰出贡献与技术主张。最终，报告得出结论，ISO/IEC23090-18:2024的发布标志着沉浸式媒体传输标准化迈出了坚实一步，为未来6G、元宇宙等超低延迟、高带宽应用场景提供了基础性技术规范，并对最终用户设备的互联互通和产业生态融合产生深远影响。关键词：基于几何的点云压缩；沉浸式媒体；数据封装；传输协议；ISOBMFF；RTP；ISO/IEC23090Keywords:Geometry-basedPointCloudCompression(G-PCC);ImmersiveMedia;DataEncapsulation;TransportProtocol;ISOBMFF;RTP;ISO/IEC23090一、引言进入21世纪第三个十年，数字媒体技术正经历从二维平面向三维空间的深刻变革。沉浸式媒体，作为新一代信息技术的核心驱动力，涵盖了增强现实（AR）、虚拟现实（VR）、混合现实（MR）以及全息通信等多种形态，其核心特征是能够为使用者提供身临其境、自由视点的交互体验。在这一技术浪潮中，点云（PointCloud）作为一种高效的三维空间数据表示方式，因其能够精准记录现实世界中物体的几何形状与外观属性（如颜色、反射强度）而受到广泛关注。然而，高精度的点云数据通常包含数百万乃至数十亿个点，其原始数据量巨大，实现高效的压缩与传输成为技术落地的首要瓶颈。为应对这一挑战，国际标准化组织/国际电工委员会的第一联合技术委员会（ISO/IECJTC1）下的动态图像专家组（MPEG）自2017年起启动了沉浸式媒体编码的系列标准（MPEG-I，即ISO/IEC23090），其中，基于几何的点云压缩（G-PCC）标准（ISO/IEC23090-9）成功解决了海量数据的存储与压缩问题。然而，压缩后的比特流如何在不同网络环境、不同终端设备之间高效、可靠地传输，是实现端到端应用闭环的关键。在此背景下，ISO/IEC23090-18:2024《信息技术沉浸式媒体的编码表示第18部分:基于几何的点云压缩数据的传输》（以下简称“本标准”）应运而生。本标准作为G-PCC编码标准的配套传输标准，其核心任务是为G-PCC压缩数据定义一套标准化的封装与传输机制，使其能够适配现有的多媒体传输架构，如基于ISO基础媒体文件格式（ISOBMFF）的HTTP自适应流传输和基于实时传输协议（RTP）的低延迟实时通信。本报告的发布旨在全面阐述该标准的立项背景、技术原理、应用价值及对产业发展的影响，为专业技术人员的部署实施、行业管理人员的决策规划提供重要的参考依据。二、标准立项背景与必要性1.技术发展的迫切需求点云数据在自动驾驶、机器人导航、三维地图构建、文化遗产保护、远程医疗等领域应用广泛。以自动驾驶为例，车载激光雷达每秒可产生数十万点的三维数据，这些数据需要实时、低延迟地传输至边缘计算中心进行处理，同时又需要将道路环境感知结果的高精度点云地图下发给所有车辆。传统的视频传输协议无法满足点云数据复杂的三维空间结构特性。因此，亟需一种专门针对点云数据进行优化设计的传输规范。2.现有标准体系的完善需求MPEG-I系列标准构建了一个从捕获、编码到渲染、呈现的完整技术栈。其中：-ISO/IEC23090-9(G-PCC)：定义了点云的压缩编码算法。-ISO/IEC23090-10(V-PCC)：定义了基于视频的点云压缩方法。-ISO/IEC23090-12(ISOBMFF)：定义了多媒体数据的基础文件格式。-ISO/IEC23090-18(本标准的立项）：填补了G-PCC压缩数据在传输层的空白。没有统一的传输标准，不同厂商的编码器与解码器、服务器与客户端之间将无法实现互操作，点云数据流将难以在异构网络中进行有效分发，从而严重制约沉浸式应用的大规模商业部署。本标准的确立，确保了从编码器输出的G-PCC比特流能够被标准化的播放器或客户端软件正确解析、解码并呈现。3.产业生态的互联互通需求当前，各厂商在点云传输方面采用专有方案，导致生态碎片化严重。例如，一些公司采用HTTP分片传输，而另一些则采用基于WebRTC的P2P传输。这些方案对点云数据单元的定义、信令方式和错误恢复机制各不相同。本标准提供了一个全球公认的互操作框架，使得无论是流媒体服务提供商、芯片厂商、软件开发商还是内容制作商，都能在同一技术语言下进行协作，降低了系统集成成本，加速了产品上市周期。三、标准核心技术内容解析本标准（ISO/IEC23090-18:2024）的核心技术内容可概括为两大方面：基于ISOBMFF的封装和基于RTP的实时传输。1.基于ISOBMFF的封装（CarriageoverISOBMFF）该部分定义了G-PCC压缩数据如何被封装进符合ISO/IEC14496-12（即ISOBMFF）标准的文件中。这是实现HTTP自适应流传输（如基于HTTP的动态自适应流媒体格式，DASH）的基础。-G-PCC数据单元定义：标准明确了G-PCC压缩数据中包含的多种数据单元，如几何切片（GeometrySlices）、属性切片（AttributeSlices）以及帧元数据（SampleMetadata）。这些数据单元在ISOBMFF中被映射到不同的轨道（Track）或样本（Sample）中。-样本条目（SampleEntry）：引入了新的样本条目类型，用于编码G-PCC配置信息。该条目中包含编码器配置、量化参数、树结构深度等关键元数据。播放器通过解析样本条目即可获得正确解码所需的全部信息，无需依赖外部信令。-时序与同步：标准定义了如何将G-PCC帧的时间戳与媒体呈现时间戳（PTS）关联起来。对于动态点云序列，时间戳信息至关重要，它确保了多个点云帧在时间轴上的正确排序以及对齐。-分片与索引：为支持自适应流传输，标准支持将一段长时的G-PCC序列分割成多个小的时间片（Segment），并生成对应的索引文件。这使得播放器可以根据网络带宽动态选择不同质量的点云段，实现平滑播放。2.基于RTP的实时传输（CarriageoverRTP）该部分定义了G-PCC压缩数据如何在RTP网络协议中进行实时传输。-RTP负载格式（PayloadFormat）：标准定义了一种新的RTP负载格式，用于承载一个或多个G-PCC数据单元。它包含一个负载头部，用于指示数据单元类型、序号、以及时间戳。-分片与重组：针对大小超过单一UDP包最大传输单元（MTU）的G-PCC数据单元，标准定义了分片机制。发送端将大数据包拆分成多个RTP包，接收端根据包序号和分片偏移进行重组，确保数据的完整性。-解码器刷新点（DecodingRefreshPoint）：类似于视频压缩中的IDR帧，标准引入了G-PCC恢复点（RecoveryPoint）。在实时通信中，如果发生丢包，接收端可以请求或等待下一个恢复点，实现解码器的快速同步，而无需刷新整个点云场景。-反馈机制（Feedback）：标准结合RTCP（RTP控制协议）定义了针对点云传输的反馈信息，如丢包率、解码延迟等，帮助发送端进行码率调整或重传策略。3.关键信令与元数据无论在ISOBMFF还是RTP模式下，标准都强调了对描述点云空间范围、几何精度、属性类型等关键元数据的规范定义。这些元数据通过信令通道传递，使得接收端能够提前了解点云内容特征，从而高效地分配资源并选择合适的解码策略。例如，一个仅需显示低精度点云地图的终端，可以忽略高精度的几何数据包。四、主要参与单位介绍：法国电信研究院（OrangeLabs）在本标准的研制与推进过程中，法国电信研究院（OrangeLabs）扮演了至关重要的技术领头羊角色。OrangeLabs作为法国最大的电信运营商Orange集团的核心研究与创新部门，在全球信息通信技术（ICT）标准化领域享有盛誉，尤其是在多媒体压缩与传输领域拥有深厚的技术积累。1.机构概况与使命OrangeLabs在全球拥有超过20个研发中心，汇聚了数千名科学家和工程师。其使命是驱动Orange集团的创新战略，专注于网络基础设施、软件定义网络（SDN）、云计算、大数据、人工智能以及沉浸式媒体等前沿技术。在标准化方面，OrangeLabs积极参与ITU-T、ETSI、3GPP以及ISO/IECJTC1/SC29（即MPEG工作组）的各项工作，旨在将实验室的创新成果转化为全球通用的产业标准。2.在G-PCC传输标准中的技术贡献OrangeLabs的技术专家在本标准中的贡献主要体现在以下几个方面：-提出了高效的数据单元封装方案：针对G-PCC数据中几何信息与属性信息的强关联性和差异化传输需求，OrangeLabs提出了“帧封装”（FramePackaging）的创新方案。该方案允许在同一个ISOBMFF样本中高效组合多个几何切片和属性切片，并通过精巧的索引表实现快速随机访问，显著降低了播放器在高清动态点云序列中的启动延迟。-优化了基于RTP的低延迟传输机制：针对自动驾驶和实时远程操控等对延迟极度敏感的应用场景，OrangeLabs贡献了“选择性重传”与“层间交织”技术。选择性重传机制仅对影响解码正确性的关键数据包（如帧级元数据、恢复点数据）进行确认与重传，而对非关键几何数据包采取无需重传的策略，从而平衡了网络可靠性与实时性。层间交织技术则将几何基础层与增强层交错打包，使得在丢包环境下接收端仍能快速重建较低质量的点云预览，保证了用户体验的连续性。-推动了元数据信令的标准化：OrangeLabs主导完成了对点云数据空间感知元数据（如观察者视点、渲染区域边界）的规范定义。这些信令使得流媒体服务器能够根据用户头部的六自由度（6DoF）运动信息，动态地调整传输哪些点云区域的数据，从而大幅节约带宽资源。这一技术理念后来被融入MPEG-I的“视图自适应流”框架中。通过上述技术与标准提案，OrangeLabs不仅帮助ISO/IEC23090-18:2024实现了更高的传输效率和更好的用户体验，也奠定了其在沉浸式媒体传输领域的先锋地位。其研发成果，如“分层点云传输”和“视口自适应流”专利组合，已成为行业内众多解决方案的基石。五、结论与展望ISO/IEC23090-18:2024《信息技术沉浸式媒体的编码表示第18部分:基于几何的点云压缩数据的传输》的正式发布，是沉浸式媒体技术标准化进程中一座重要的里程碑。它成功构建了从高效的G-PCC压缩算法到海量网络分发之间的技术桥梁，为解决点云数据在复杂网络环境下的传输难题提供了权威的解决方案。标准的核心价值：未来发展方向：展望未来，沉浸式媒体传输标准化工作仍将面临新的挑战和机遇：1.与新兴网络的深度融合：随着6G、卫星互联网和数字孪生网络的兴起，极低时延（<1ms）与极高可靠性将成为刚需。本标准中的RTP传输机制需要与这些新型网络的底层调度和完整性保障协议进行更深度的融合，例如利用确定性网络（DetNet）技术来保证点云数据的端到端时序确定性。2.支持更丰富的沉浸式形态：当前标准主要针对静态和动态点云。未来，随着全息通信、光场显示等新技术的发展，点云数据将与视频、音频、触觉甚至嗅觉信号进行复杂的混合呈现。标准需要扩展其信令和封装能力，以支持多模态沉浸式媒体的同步与交互。3.标准化与机器学习（AI）的结合：基于AI的编解码和网络自适应算法已开始展现出巨大潜力。未来的标准版本可能需要定义用于点云内容感知质量评估的AI模型接口，允许播放器利用AI模型预测网络行为，并据此动态调整请求的G-PCC数据质量层次。同时，标准化一种通用的AI元数据描述格式以指导点云传输，也是一个重要的研究方向。4.安全与隐私保护：