ISOIEC 23090-182024Amd 12024 信息技术沉浸式媒体的编码表示第18部分基于几何的点云压缩数据的传输修改1支持时间可扩展性标准立项发展报告

信息技术沉浸式媒体的编码表示第18部分：基于几何的点云压缩数据的传输修改1：支持时间可扩展性标准立项发展报告StandardizationDevelopmentReport:Informationtechnology—Codedrepresentationofimmersivemedia—Part18:Carriageofgeometry-basedpointcloudcompressiondata—Amendment1:Supportfortemporalscalability摘要随着扩展现实（XR）、自动驾驶、数字孪生等前沿技术的飞速发展，三维点云数据作为真实世界数字化的重要载体，其高效压缩与灵活传输已成为行业核心挑战。本标准《信息技术沉浸式媒体的编码表示第18部分：基于几何的点云压缩数据的传输修改1：支持时间可扩展性》（ISO/IEC23090-18:2024/Amd1:2024）由国际标准化组织/国际电工委员会第一联合技术委员会（ISO/IECJTC1）发布，旨在对原有基于几何的点云压缩（G-PCC）数据传输标准进行关键修订。关键词点云压缩；G-PCC；时间可扩展性；沉浸式媒体；ISO/IEC23090；MPEG-I；流媒体传输；实时通信Keywords:PointCloudCompression;G-PCC;TemporalScalability;ImmersiveMedia;ISO/IEC23090;MPEG-I;StreamingTransmission;Real-TimeCommunication正文一、概述随着计算能力、网络带宽与传感技术的同步提升，三维视觉信息正从传统的二维图像、视频向高维度、高保真的沉浸式媒体演进。点云作为一种由海量三维空间点构成的非结构化数据表示形式，能够精确捕获真实世界的几何结构、颜色属性及反射率信息，是构建数字孪生、增强现实（AR）、虚拟现实（VR）以及混合现实（MR）等沉浸式体验的核心数据基底。然而，点云数据量极其庞大，例如一个中等规模的人体点云模型可能包含数十万甚至数百万个点，未经压缩的数据体积可能是同等视场角视频的数十倍。因此，高效的压缩技术是实现点云数据存储、传输与交互的关键前提。在此背景下，国际标准化组织/国际电工委员会第一联合技术委员会（ISO/IECJTC1）下属的运动图像专家组（MovingPictureExpertsGroup,MPEG）于2020年发布了第一版基于几何的点云压缩标准——ISO/IEC23090-9（即MPEG-IPart9）。该标准后续经过持续演进，衍生出ISO/IEC23090-18，专注于G-PCC数据的网络传输与封装格式。本标准——ISO/IEC23090-18:2024/Amd1:2024正是对该基础传输标准的首次重要修订，其核心目标是解决G-PCC数据在多样化网络环境下的自适应传输问题。二、标准背景与立项原因1.沉浸式应用的异构网络需求当前，点云数据的主流应用场景包括：-远程呈现与全息通信：需要支持从高频运动（如手势、表情）的实时捕捉到低频静物渲染的多种帧率需求。-自动驾驶与机器人：LiDAR点云数据需要根据车速、计算平台负载动态调整更新频率。-数字娱乐与直播：用户设备（PC、头显、移动端）的GPU算力、屏幕刷新率及网络连接速率差异巨大。这些应用场景普遍要求码流具有“弹性”，即支持在无需重新编码或中断播放的前提下，动态调整传输与解码的数据量。传统的点云传输方法通常采用固定帧率的编码模式，无法满足这种按需传输的灵活性。例如，当网络带宽从100Mbps骤降至10Mbps时，整个点云视频流可能因丢包、延迟而彻底中断。引入时间可扩展性，允许在带宽受限时丢弃高帧率的“增强层”数据，仅解码低帧率的“基础层”，从而保障服务的持续可用性。2.现有标准的局限性ISO/IEC23090-18:2024原始版本定义了G-PCC码流的基本封装、ISOBMFF（BaseMediaFileFormat，基础媒体文件格式）映射、SEI消息以及DASH（DynamicAdaptiveStreamingoverHTTP，基于HTTP的动态自适应流媒体）传输机制。然而，原标准中并未包含针对时间维度的高效分层机制。在点云视频中，“时间可扩展性”并非简单的视频帧丢弃，它要求编码器在几何与属性编码层面构建层级依赖关系，并且解封装器（Demuxer）和解码器（Decoder）能够准确识别并正确处理这些层级。3.立项驱动因素基于上述行业痛点，MPEG在2022年启动了针对沉浸式媒体传输（ISO/IEC23090-18）的修订议程。主要驱动因素包括：-产业需求：来自华为、腾讯、广电等企业的实际工程案例表明，缺乏时间可扩展性严重制约了G-PCC在无线网络、弱网环境下的商业部署。-技术成熟度：G-PCC编码器（如TMC13）在几何编码（Octree、TriSoup）和属性编码（RAHT、PredictingTransform）的底层技术已具备支持分层的基础。-标准生态协同：为了与MPEG-I的整体架构（包括视频编码、音频编码和交互接口）保持一致性，引入时间可扩展性以实现端到端的自适应体验。三、核心技术内容本修改单（Amendment1）的技术核心围绕“支持时间可扩展性”展开，主要包含以下三个层面的技术规范：1.码流语法的扩展（NAL单元类型）为了在码流层面标识时间层级，标准引入了新的NAL（NetworkAbstractionLayer，网络抽象层）单元类型。-基础层（BaseLayer）：定义为最低帧率（如10fps）的独立可解码单元，拥有最高的解码优先级。-增强层（EnhancementLayer）：承载因时间插值或细节增强而产生的高频信息，其解码严格依赖基础层或其他低层增强层。-NAL单元标识：在语法元素`temporal_id`字段中，用数值大小表示层级高低（例如，`temporal_id=0`为基础层，`temporal_id=1`为第一增强层）。解码器在解析头部信息时据即可决定是否丢弃该单元，无需解析整个体数据。2.基于帧率的分层预测结构在G-PCC的视频属性编码部分，点云之间的运动补偿（MotionCompensation）是实现时间可扩展性的关键。本修改单规范了一种支持时间可扩展的预测结构（类似H.264/HEVC中的HierarchicalBframes）：-几何空间对齐：规定增强层中的点云点必须与基础层中的点云点在几何坐标上存在对应或插值关系。这通常通过“点云帧间运动矢量”实现。-分层编码示例（以3层为例）：-第0级（基础层）：编码关键帧（I帧/IDR帧），如第0帧、第4帧、第8帧...（帧率构成1/4全帧率）。-第1级：编码由基础层插值得到的中间帧（P帧/B帧），如第2帧、第6帧...（帧率构成1/2全帧率）。-第2级：编码由第0级和第1级帧插值得到的精细帧（B帧），如第1帧、第3帧、第5帧、第7帧...（全帧率）。-依赖性管理与约束：明确规定了高层帧不可作为低层帧的参考帧，确保当丢弃高层帧时，低层帧的解码质量不会受到影响。3.SEI消息与系统层封装为配合DASH或RTP（Real-timeTransportProtocol，实时传输协议）传输，标准定义了新的补充增强信息（SEI）消息：-时间层级表征SEI：该SEI消息可以包含完整的时间层级树结构描述。例如，告知客户端当前点云序列支持从10fps到120fps的8种不同帧率组合。流媒体服务器可以根据客户端上报的带宽，通过修改MPD文件或RTP包头，仅发送相应的时间层级。-ISOBMFF扩展：在轨道的样本分组（SampleGroup）中增加了`temporallevel`（时间层级）分组，使得文件级或流级的分发系统能够在不解析复杂的NAL头部的情况下，直接根据索引选择性地解复用。四、主要参与单位介绍：华为技术有限公司在本标准的研制过程中，华为技术有限公司（HuaweiTechnologiesCo.,Ltd.）作为核心贡献单位，发挥了至关重要的作用。华为不仅深度参与了技术方案的设计与试验，还积极推动产业共识的形成，确保了该标准的技术先进性与商业实用性。1.技术贡献：引领分层编码与传输方案华为在视频编码、网络传输和沉浸式媒体领域拥有庞大的专利布局与丰富的实践经验。针对G-PCC时间可扩展这一技术难题，华为的工程师团队主导了以下关键技术点的提案与验证：-基于运动粒度的层级划分：传统视频编码（如AVC、HEVC）的层级划分以完整的帧为单位。华为提出并验证了在G-PCC场景下，由于非刚体运动（如人脸表情、手势）的局部随机性，帧级分层可能导致编码效率下降。华为的创新方案建议在G-PCC属性编码的“预测变换”（PredictiveTransform）阶段引入针对点的局部时间层级标识，允许一帧中包含多个时间层级的点云数据，从而在保证可扩展性的同时，最大化压缩率。该方案成为本修改单的核心技术依据之一。-低延迟分层传输方案：针对全息通信这种极端低延迟（端到端<20ms）的场景，华为联合全球移动通信系统协会（GSMA）提出了“混合传输”框架：基础层使用TCP/QUIC协议保证绝对可靠性，增强层则通过类似数据的FEC与前向纠错策略在UDP上传输。该框架促使本修改单在系统层（ISOBMFF）中增加了对“非同步时间层”的封装支持。2.产业推动：构建端到端验证生态华为不仅在标准化会议上提交了数十份技术提案，还利用其深圳坂田实验室与北京研究所的先进设备，搭建了包含捕捉、编码、传输与渲染的全链路点云时间可扩展性验证系统。该系统成功演示了在单屏带宽从100Mbps波动到20Mbps时，点云视频流如何平滑地从60fps（全高清分辨率）降级到15fps（基础层），同时保持空间几何精度不变。这次演示直接打消了部分运营商对分层编码会导致图像质量急剧下降的疑虑，为标准的快速批准扫清了障碍。3.标准战略与知识产权布局华为始终秉持“开放、合作、共赢”的标准策略。在制定本修改单时，华为将核心时间可扩展性专利置于MPEG专利池中，承诺以FRAND（公平、合理、非歧视）原则进行许可，极大地促进了其他设备厂商与内容提供商采用该标准的积极性。同时，华为也利用其在3GPP、ITU等国际标准组织的影响力，确保ISO/IEC23090-18的时间可扩展性方案与5G/6G移动网络的QoS（服务质量）等级完美对齐。五、结论与展望1.标准实施价值ISO/IEC23090-18:2024/Amd1:2024的发布，是对沉浸式媒体标准化工作的重大补充。其主要价值体现在：-提升用户体验：用户在不同网络环境下观看全息通信或点云VR直播时，不再体验到卡顿或画面冻结，而是自动调整为一个更低帧率但平滑流畅的画面，服务体验的连续性和可用性得到质的飞跃。-降低部署成本：内容提供商不再需要为每一种终端分辨率或帧率预先生成转码后的点云文件，只需维护一个包含时间分层的码流文件，由CDN或边缘节点按需分发，极大降低了存储与计算成本。-推动行业标准化：为点云文件格式（如.ply，.las）向流式媒体格式（如.dash,.mpegts）的转化提供了官方权威路径。2.未来发展趋势展望未来，G-PCC时间可扩展性的标准化工作仍将围绕以下方向持续演进：-更精细的空间-时间联合可扩展：当前标准主要关注时间维度，未来将整合空间分辨率可扩展性（SpatialScalab