ISOIEC 23090-182024 信息技术沉浸式媒体的编码表示第18部分基于几何的点云压缩数据的传输标准立项发展报告

信息技术沉浸式媒体的编码表示第18部分：基于几何的点云压缩数据的传输标准立项发展报告StandardizationDevelopmentReport:Informationtechnology—Codedrepresentationofimmersivemedia—Part18:Carriageofgeometry-basedpointcloudcompressiondata摘要随着虚拟现实（VR）、增强现实（AR）及扩展现实（XR）等沉浸式媒体技术的快速发展，三维点云数据作为构建数字孪生、实时3D场景的核心数据形式，其高效压缩与可靠传输成为制约产业规模化应用的关键瓶颈。本报告聚焦于国际标准ISO/IEC23090-18:2024《信息技术沉浸式媒体的编码表示第18部分：基于几何的点云压缩数据的传输》的立项背景、技术内容与行业影响。报告首先分析了点云数据在沉浸式媒体应用中的爆炸性增长趋势及其对现有网络传输能力的挑战，明确了在MPEG-I框架内制定专项传输标准的紧迫性。报告深入剖析了该标准的核心技术方案，包括基于ISO基础媒体文件格式（ISOBMFF）的封装模型、针对G-PCC（几何点云压缩）码流的结构化描述，以及对动态点云序列的时间和空间分片支持。通过对比分析，报告论证了该标准在降低传输延迟、提升数据复用率和兼容异构网络环境方面的显著优势。报告最后详细介绍了主要参与起草单位——华为技术有限公司在点云传输标准化工作中的技术贡献与产业实践，并展望了该标准推动沉浸式通信、自动驾驶环境感知及工业数字化等应用场景迈向新阶段的战略价值。关键词：沉浸式媒体；点云压缩；G-PCC；ISOBMFF；传输协议；MPEG-I；标准化Keywords:ImmersiveMedia;PointCloudCompression;G-PCC;ISOBMFF;CarriageProtocol;MPEG-I;Standardization正文1.引言随着第五代移动通信技术（5G）的广泛部署与第六代移动通信技术（6G）研究的全面推进，人类社会正加速步入沉浸式交互时代。点云数据，以其能够精确、直接地描述三维空间物体形状、大小及空间位置的能力，成为构建高保真虚拟世界、实现高精度环境感知的核心基础数据源。然而，点云数据具有数据量巨大、非结构化、密度不均匀等特性，其原始数据的体量通常是同等分辨率二维图像数据的数十倍。例如，一个静态的高精度人脸点云数据量可达数百万个点，而一个动态的城市级场景点云数据量则可达数十亿个点。这对端到端的传输系统提出了极高的带宽、实时性和可靠性要求。在此背景下，国际标准化组织（ISO）与国际电工委员会（IEC）的第一联合技术委员会（JTC1）下属的运动图像专家组（MPEG）启动了沉浸式媒体编码标准系列（MPEG-I，即ISO/IEC23090系列）的制定工作。其中，ISO/IEC23090-18:2024《信息技术沉浸式媒体的编码表示第18部分：基于几何的点云压缩数据的传输》标准（以下简称“本标准”）的正式发布，旨在解决基于几何的点云压缩（G-PCC，Geometry-basedPointCloudCompression）码流在网络传输层面的关键技术难题，为沉浸式媒体从编码到播放的全链路打通提供了核心规范。本报告将系统阐述该标准的立项必要性、核心技术框架、关键技术特点及其对未来产业发展的深远影响。2.标准立项的必要性与背景点云数据的传输标准立项，既是技术发展的内在需求，也是产业应用的迫切呼唤。2.1点云数据爆发的技术挑战现有G-PCC标准（ISO/IEC23090-9）已成功将原始点云数据压缩至1/10至1/100，实现了码流的有效生成。然而，生成后的G-PCC码流在面向实际应用时面临多重挑战：-封装格式不统一：不同厂商、不同采集设备生成的G-PCC码流缺乏统一的文件封装格式，导致点云播放器、渲染引擎在解析时需定制化开发，破坏了互操作性。-传输与存储分离：单纯的压缩码流无法携带丰富的元数据信息，如空间坐标参考系、时间戳、颜色属性配置、点云密度分布等。这些元数据对于网络调度、传输优化和客户端快速启动至关重要。-动态流媒体需求：沉浸式媒体应用（如VR直播、远程协作）要求支持动态点云序列的实时传输。现有封装格式缺乏对动态场景中关键帧、参考帧及差分帧的有效支持，难以实现低延迟、高可靠的流式传输。-资源感知与适配：网络带宽和终端解码能力存在显著差异。为了在不同网络条件下提供最佳体验，传输协议需支持G-PCC码流的分片（Tile）、分层（Scalable）封装，以实现服务器端的码率和视角自适应。2.2MPEG-I框架下的标准布局MPEG（运动图像专家组，MovingPictureExpertsGroup）作为全球多媒体压缩与传输技术标准的权威制定者，在沉浸式媒体标准（MPEG-I，即ISO/IEC23090系列）中规划了完整的标准体系。该体系覆盖了从视频编码（VVC，VersatileVideoCoding）、点云压缩（G-PCC/V-PCC）到感知优化和多格式传输的全链路。本标准的制定填补了MPEG-I体系中G-PCC码流在传输层面的规范空白。2.3政策与产业驱动全球各国纷纷出台政策支持数字孪生、元宇宙等新兴产业发展，其中三维数据的高效流通是基础。中国信通院发布的《2024年数字孪生应用发展报告》指出，数据交互效率是制约数字孪生系统规模化落地的核心瓶颈之一。本标准作为国际标准，为全球设备制造商、服务器提供商和内容生产者提供了统一的接口，有助于打破数据孤岛，促进跨国、跨平台的价值协同。3.标准核心技术内容本标准在ISO基础媒体文件格式（ISOBMFF，ISOBaseMediaFileFormat，ISO/IEC14496-12）框架下，为G-PCC码流定义了一套完整的封装与传输架构。3.1基于ISOBMFF的封装模型本标准的核心是基于ISOBMFF模型，为G-PCC数据设计了一种新的样本条目类型和样本描述。其核心逻辑在于：-数据盒：将G-PCC码流中的几何数据、属性数据（如颜色、反射率）以及占用图等元数据封装在独立的`MediaDataBox`(`mdat`)中。-元数据盒：在`SampleTableBox`(`stbl`)中，通过自定义的样本格式，描述每个码流样本的类型（几何、属性）、时间戳、空间位置（用于Tile分片）、编码参数（如量化参数）等。-轨道映射：每个G-PCC序列可以映射为一个或多个ISOBMFF轨道（Track）。例如，可以将单帧完整点云映射为一个轨道，或将动态点云序列映射为多个时间上连续的轨道。3.2动态点云序列的流式支持针对动态场景，本标准创新性地引入了对G-PCC码流中“切片”（Slice）和“帧”（Frame）概念的封装支持：-帧封装：定义了一种新的“点云帧样本类型”（`gpcf`，G-PCCFrameSample），用于承载一个完整的时间戳点云实例。这使得播放器能够准确地渲染每一帧的点云数据。-参考帧与差分帧：支持对G-PCC中采用的“帧间编码”模式的码流进行封装。标准定义了特定的样本标志（SampleFlags），用于标识I帧（关键帧，Intra-frame，独立编码帧）、P帧（预测帧，Predictedframe，前向预测帧）等编码类型，便于解码器快速进行初始化解码和随机访问。-多轨道协同：标准允许将点云数据分散到多个轨道中，例如一个轨道承载高频率的几何更新，另一个轨道承载低频的精细属性更新。服务端可根据带宽情况灵活决定发送哪部分轨道，实现带宽的精细化管理。3.3Tile分片与空间自适应支持Tile分片是该标准的核心亮点之一。它允许将一个大场景的点云在空间上划分为多个独立的矩形分片区域：-独立封装：每个Tile区域的G-PCC码流被封装为一个独立的ISOBMFF轨道或样本组。每个Tile带有自己的空间坐标边界描述（`TileRegion`Box）。-视图驱动的传输：在VR/AR场景中，用户只关注视场角（FoV，FieldofView）内的内容。服务端可根据客户端上报的视角和视口大小，只解析并传输用户视口对应的Tile集合。这能显著降低传输带宽，提升用户的沉浸感体验。3.4元数据与扩展的规范性定义为确保互操作性，本标准严格定义了必要的元数据结构：-坐标参考系：封装`CoordinateReferenceSystemBox`明确点云数据的地理或局部坐标参考系。-时间信息：在`MovieHeaderBox`和`TrackHeaderBox`中明确帧率与时间戳基，支持高精度同步。-编解码配置：通过`SampleEntry`包含G-PCC解码器初始化所需的配置参数，如几何量化步长、预测状态、颜色变换矩阵等。-扩展机制：标准采用开放式的Box扩展架构，允许未来的编码技术（如深度学习点云压缩）通过注册新的“样本条目类型”无缝接入此传输框架。4.标准的技术创新与比较优势与业界已有的点云传输方案（如Google的Draco、基于WebGL的PLY格式直传）相比，本标准化方案具有显著优势：|维度|本标准（ISO/IEC23090-18）|传统方案（如Draco/PLY）|优势分析||:---|:---|:---|:---||压缩效率|基于G-PCC的高效压缩，支持帧间差分编码|通常为帧内编码或无压缩|带宽节省可达90%以上||流媒体支持|原生支持动态点云序列的帧、时间戳、流式封装|多为一次性文件下载，缺乏流式机制|满足VR直播、云游戏等实时需求||空间自适应|支持Tile分片与视图驱动传输|需整体传输或接收端自行裁剪|显著降低传输时延和带宽，提升体验||互操作性|基于ISOBMFF标准框架，全球设备厂商兼容|格式多样，缺乏统一标准，兼容性差|降低系统集成成本和维护复杂度||元数据的丰富性|支持坐标、时间、编码配置、扩展信息等|通常仅支持基础属性（坐标、颜色）|增强网络调度能力，支持高级应用|5.主要参与单位：华为技术有限公司在本标准的立项、撰写和推动过程中，华为技术有限公司（以下简称“华为”）扮演了至关重要的角色，是该标准的主要贡献者和核心起草单位之一。5.1技术贡献与核心提案华为团队在MPEG-I项目组中积极贡献，其主要技术提案聚焦于以下方面：-动态点云流媒体框架：华为提出了基于`trun`（TrackFragmentRunBox）和`moof`（MovieFragmentBox）的动态点云序列封装方案，确保了低延迟、高可靠的流式播放体验。-Tile分片机制的标准化：华为主导了Tile的坐标表示、独立轨道映射及服务端选择逻辑的讨论与标准化工作，为视图自适应传输技术提供了基础。-兼容性与扩展性设计：华为坚持采用ISOBMFF作为底层框架，并基于已有的`avc1`、`hvc1`等样本类型的设计经验，提出了`gpcf`样本类型的定义及其注册流程，确保了标准与现有MPEG标准体系的兼容性与可扩展性。5.2产业应用与实践华为不仅在标准制定上贡献突出，更致力于将标准成果转化为产业解决方案。-自研编解码器：华为拥有自研的HuaweiPointCloudEngine，该引擎完全遵循G-PCC标准，并内置了对ISO/IEC23090-18封装格式的支持。-产品落地：华为在VRGlass、智能汽车（如问界系列）的感知系统、数字孪生城市平台等产品中，应用了基于该标准的点云传输技术。例如，在华为河图（Cyberverse）项目中，高精度的城市级点云地图通过网络流式传输到用户终端，实现了虚实融合的导航与交互体验。-开源贡献：华为将其部分点云传输的参考实现代码贡献给开源社区，如OpenAtom基金会下的开源项目，帮助更多中小企业快速接入这一先进技术标准，加速产业生态的成熟。5.3标准化工作小组职责在ISO/IECJTC1/SC29/WG11（即MPEG会议）上，华为的代表担任了关键技术贡献者，负责起草技术描述文档（TDD，TechnicalDescriptionDocument）、测试模型（CTC，CommonTestConditions）并提供大量的交叉验证测试数据。华为还协助项目主席协调来自日本、美国、欧洲和中国的多方意见，最终促成了该标准的顺利发布。6.结论与展望ISO/IEC23090-18:2024标准的正式发布，标志着沉浸式媒体点云数据的传输从“各自为战”的探索阶段迈入了“国际统一”的标准化阶段。该标准通过对ISOBMFF模型的深度适配，成功解决了G-PCC码流在封装、流式传输、空间自适应和元数据管理等方面的核心难题。展望未来，该标准的应用将呈现以下趋势：1.赋能元宇宙基础设施：随着元宇宙概念的兴起，高精度、动态的三维世界模型需要高效的传输手段。本标准将成为连接点云采集端、云端渲染服务器与终端头显设备的“高速公路”，推动元宇宙从概念走向现