ISOIEC 23090-52023 信息技术.沉浸式媒体的编码表示.第5部分基于视觉体积视频的编码（V3C）和基于视频的点云压缩（V-PCC）标准立项发展报告

信息技术沉浸式媒体的编码表示第5部分：基于视觉体积视频的编码（V3C）和基于视频的点云压缩（V-PCC）标准立项发展报告StandardizationDevelopmentReport:InformationTechnology—CodedRepresentationofImmersiveMedia—Part5:VisualVolumetricVideo-basedCoding(V3C)andVideo-basedPointCloudCompression(V-PCC)摘要随着虚拟现实（VR）、增强现实（AR）及混合现实（MR）技术的迅猛发展，沉浸式媒体已成为下一代信息产业的核心增长点。体积视频（VolumetricVideo）和点云（PointCloud）作为呈现三维动态场景的关键数据形态，其高效编码与压缩技术直接决定了沉浸式应用的可行性与用户体验。本报告围绕国际标准ISO/IEC23090-5:2023《信息技术沉浸式媒体的编码表示第5部分：基于视觉体积视频的编码（V3C）和基于视频的点云压缩（V-PCC）》展开系统性分析。该标准由国际标准化组织与国际电工委员会联合制定，于2023年11月10日正式发布，是对先前版本的技术性修订。报告首先阐述了标准的立项背景，梳理了体积视频与点云数据的应用场景及编码需求的紧迫性；继而深入解析了V3C与V-PCC两大核心框架的技术架构、关键创新点及其与传统压缩方法的代际差异；随后全面总结了该标准的修订要点，涵盖编码效率提升、功能扩展、错误鲁棒性增强及与其他标准（如ISO/IEC23090-12）的协同关系；最后，报告对该标准的产业应用前景进行了展望，并对中国在该领域的标准化工作提出了建议。关键词：沉浸式媒体；体积视频编码；点云压缩；V3C；V-PCC；ISO/IEC23090；标准化Keywords:ImmersiveMedia;VolumetricVideoCoding;PointCloudCompression;V3C;V-PCC;ISO/IEC23090;Standardization1引言1.1研究背景近年来，沉浸式媒体技术在全球范围内呈现出爆发式增长态势。从元宇宙概念的兴起，到苹果VisionPro等空间计算设备的发布，无不标志着人类正在经历从二维平面信息交互向三维空间感知交互的深刻变革。在这一变革中，体积视频与点云技术扮演着不可替代的角色——它们能够捕获并重建真实世界的三维动态信息，为观众提供六个自由度（6DoF）的沉浸式观看体验，彻底打破传统平面视频仅能提供有限视角的根本局限。然而，体积视频与点云数据所蕴含的信息量极为庞大。以典型的动态点云序列为例，单帧点云可能包含数十万至数百万个三维空间点，每个点需记录空间坐标（X,Y,Z）、颜色属性（R,G,B）乃至法向量、反射率等附加属性。未经压缩的原始数据量每秒可达数吉比特（Gbit/s），远超当前网络传输带宽和存储设备的承载能力。因此，高效、鲁棒的编码压缩技术成为制约沉浸式媒体产业落地的关键瓶颈，亟需统一的国际标准加以规范。1.2标准的立项背景与意义在此背景下，国际标准化组织（ISO）与国际电工委员会（IEC）下属的联合技术委员会JTC1/SC29（音频、图像、多媒体和超媒体信息编码分技术委员会）启动了面向沉浸式媒体编码表示的标准制定工作，形成了ISO/IEC23090系列标准（俗称MPEG-I）。其中，第5部分即本报告所讨论的ISO/IEC23090-5，聚焦于基于视觉的体积视频编码（V3C）和基于视频的点云压缩（V-PCC）两大关键技术方案。该标准的立项与修订具有以下核心意义：第一，填补了国际标准体系在体积视频编码领域的空白。传统视频编码标准（如H.264/AVC、H.265/HEVC、H.266/VVC）均面向二维帧结构设计，无法直接高效处理三维动态点云或体积视频数据。ISO/IEC23090-5开创性地提出了"将三维数据映射为二维视频序列，再借助成熟视频编码框架进行压缩"的技术思路，实现了对现有编码资源的充分利用。第二，V3C作为一个通用编码框架，不仅服务于点云压缩（即V-PCC），还可扩展应用于动态网格（DynamicMesh）、全息显示（HolographicDisplay）等多种沉浸式媒体数据类型，体现了标准化设计的普适性与前瞻性。V3C框架还可以服务于光场（LightField）等更广泛的沉浸式媒体形态。第三，该标准的修订响应了产业界的迫切需求。随着5G/6G通信网络的规模部署和边缘计算能力的持续提升，沉浸式媒体的实时传输与交互成为可能，行业亟需一个兼顾压缩效率、编解码复杂度和功能可扩展性的统一标准，以降低产业链各环节的适配成本。1.3适用范围与预期读者本报告适用于标准化学术研究、产业规划、技术研发及政策制定等多层次读者群体，期望为相关领域的技术人员、标准化工作者和产业决策者提供系统的参考与借鉴。2标准的技术架构与核心内容2.1V3C编码框架概述V3C（VisualVolumetricVideo-basedCoding）是一种通用的体积视频编码框架，其核心思想在于将任意类型的体积媒体数据（点云、动态网格、光场等）转化为若干幅二维图像序列（即"图集"或Atlas），再采用成熟的二维视频编码标准（如HEVC或VVC）进行压缩传输。这一设计理念的优越性在于：-充分利用成熟编码技术：二维视频编码经历了数十年发展，在压缩效率、硬件实现和产业链配套方面均高度成熟。V3C框架通过巧妙的映射机制将三维编码问题转化为二维编码问题，可直接受益于这些积累。-统一多种媒体类型：V3C定义了一种"补丁"（Patch）的概念，即将三维数据块投影至二维平面形成矩形区域。无论是点云、网格还是光场数据，均可统一映射为补丁集合，从而实现了编码流程的统一。V3C框架的主要组成部分包括：1.补丁生成（PatchGeneration）：将三维数据划分为若干补丁，每个补丁代表一个局部表面区域，并通过投影映射至二维平面。2.图集构建（AtlasConstruction）：将生成的补丁打包排列为二维图集图像，同时记录每个补丁的几何、纹理及映射信息。3.图集编码（AtlasCoding）：采用标准二维视频编码器对图集序列进行压缩。4.辅助信息编码（AuxiliaryInformationCoding）：对补丁的映射参数、占位图（OccupancyMap）等元数据进行单独编码。5.解码与重建（DecodingandReconstruction）：解码端通过逆映射过程从图集和辅助信息中重建三维数据。2.2V-PCC压缩方案V-PCC（Video-basedPointCloudCompression）是V3C框架在点云压缩领域的具体应用实例，于本标准的早期版本（2021年第一版）中首次发布，并在2023年修订版中得到进一步完善。V-PCC将动态点云序列分解为三类二维视频流：1.几何视频流（GeometryVideoStream）：存储每个补丁对应的深度信息（即三维点的空间坐标映射）。2.纹理视频流（TextureVideoStream）：存储与几何信息相对应的颜色属性。3.占位图视频流（OccupancyMapVideoStream）：标识几何/纹理图像中每个像素是否包含有效数据。上述视频流分别经二维视频编码器压缩后，与辅助信息（补丁映射表等）一起封装于符合ISO/IEC23090-5规定的比特流结构中。V-PCC支持两种编码模式：随机访问模式（RandomAccess）和支持时间可伸缩性的分层模式，适应不同应用场景对实时性和码率的差异化需求。2.3关键技术创新相较于传统三维数据压缩方法和早期版本，ISO/IEC23090-5:2023引入了一系列关键技术改进：-全局缩放与偏移优化：在几何映射中引入更精细的量化控制机制，在保证重建质量的前提下有效降低深度信息编码所需的比特率。-增强的补丁打包策略：引入更灵活的补丁排列算法，减少图集各帧之间的时间冗余，从而提升视频编码器的帧间预测效率。-改进的占位图编码：采用了基于上下文的自适应二进制算术编码（CABAC）优化方案，显著降低了占位信息的数据量。-支持多分辨率/多质量层：允许对同一体积内容生成多个质量版本，支持渐进式传输和自适应码率调节，更好地适配异构终端和动态网络条件。-更完善的错误恢复能力：通过引入区域级重同步机制和鲁棒参数集设计，增强了在丢包等有损传输环境下的解码韧性。3标准修订要点与版本演进3.1版本演进历程ISO/IEC23090-5的标准化工作始于2019年，其第一版于2021年正式发布（ISO/IEC23090-5:2021），确立了V3C框架和V-PCC编码方案的基础架构。随着产业实践和学术研究的深入，MPEG专家组在2021至2023年间开展了多轮核心技术实验（CoreExperiment）和验证测试（VerificationTest），收集了大量来自工业界和学术界的反馈意见，最终形成本修订版。3.22023年修订版的主要变化相较于2021年版本，ISO/IEC23090-5:2023在以下方面进行了重点修订：（1）编码效率提升通过改进补丁生成过程中的分割算法和深度映射精度控制，修订版在同等重建质量下平均节省了约8%至12%的码率。特别是在高动态复杂场景（如人群运动、车辆行驶等）下，增益更为显著。（2）低延迟实时编码支持新增了面向实时通信场景的低延迟编码配置档（Low-DelayProfile），将端到端编码延迟控制在50毫秒以内，满足远程沉浸式通信、实时全息会议等交互性要求极高的应用需求。（3）增强的SEI消息定义补充了若干补充增强信息（SupplementalEnhancementInformation,SEI），包括场景内容特征描述、用户观看视区（Viewport）相关提示和点云质量评估参考信息等，有助于解码端和渲染端更高效地利用码流内容。（4）与其他标准的协同修订版强化了与ISO/IEC23090-12（沉浸式媒体接入与存储格式）、ISO/IEC23090-10（点云几何压缩）的互操作接口定义。特别是作为ISO/IEC23090-12中基于V3C的媒体封装格式的基础引用标准，其一致性测试规范在本次修订中也得到了同步更新。4标准编制的主要参与单位4.1标委会简介本标准的制定由ISO/IECJTC1/SC29分技术委员会负责，其前身为ISO/IECJTC1/SC29/WG11（即MPEG工作组，MovingPictureExpertsGroup）。该委员会成立于1988年，是全球多媒体编码领域最具影响力的标准化组织，已先后制定了MPEG-1、MPEG-2、MPEG-4、MPEG-7、MPEG-21、MPEG-H等一系列具有里程碑意义的国际标准。截至目前，SC29在册专家人数超过400人，来自全球30余个国家的工业界、学术界和研究机构。4.2主要贡献单位——华为技术有限公司在ISO/IEC23090-5:2023的修订过程中，华为技术有限公司作为中国参与单位的杰出代表，发挥了关键的引领性作用。华为于2018年起深度参与MPEG-I系列标准的制定工作，在V3C/V-PCC核心技术方案的提出、实验验证和国际协调方面做出了突出贡献。具体而言，华为的贡献涵盖以下几个维度：技术提案层面：华为共向SC29提交了超过120份技术提案（在参与单位中排名前三），涵盖了补丁生成效率优化、几何深度映射精度控制、占位图压缩等核心方向。其中，华为提出的"基于表面法向量的自适应补丁分割优化方法"被采纳为参考软件的核心模块之一，显著提升了补丁维度的一致性，从而减少了各图集间的信息冗余。标准文本贡献：华为的技术专家作为V-PCC章节的联合编辑（Co-Editor），直接参与了标准文本的撰写与审校工作，确保了技术描述精确且便于产业实施。验证测试与互操作支持：华为基于自研的编解码原型系统，参与了多轮MPEG组织的交叉验证测试，在不同分辨率、不同帧率和不同内容类型条件下提供了详尽的测试数据，为标准的验证和参数优化提供了关键支撑。产业推广：华为积极将V3C/V-PCC技术融入自身的产品与解决方案体系，在CloudVR、空间视频直播等业务场景中开展了实际部署试点，为标准的产业验证和后续演进积累了宝贵的实践经验。5产业应用与未来展望5.1典型应用场景ISO/IEC23090-5:2023所定义的V3C/V-PCC编码标准在以下领域具有广阔的应用前景：-沉浸式体育赛事与演艺直播：通过多相机阵列采集赛场或舞台的三维动态信息，观众可自由切换视角、享受"任意视角"观看体验。-虚拟现实社交与远程协作：在VR会议、虚拟工作室等场景中，实时传输参与者的三维动态模型，实现身临其境的临场沟通。-文化遗产数字化：对珍贵文物、历史遗迹进行高精度三维扫描与动态展示，实现数字永久保存与线上全息展览。-自动驾驶与智能感知：车载激光雷达（LiDAR）产生的点云数据经高效压缩后，可支持车对车（V2V）和车对基础设施（V2I）的大规模低延迟共享。-医学影像三维可视化：对CT、MRI等三维扫描数据进行高效压缩与传输，支撑远程医疗和手术规划。5.2未来技术趋势展望未来，ISO/IEC23090-5的发展将沿着以下方向持续演进：机器学习增强编码：将神经网络技术引入体积媒体编码的各个环节（如补丁预测、图集帧间预测），有望在标准框架内实现更高的压缩增益。与6G网络的协同设计：随着6G通信技术研究加速，沉浸式媒体编码标准将与网络传输协议更深度融合，实现内容感知的动态码率分配和智能化传输调度。实时性与交互性进一步提升：面向未来全息通信的实际需求，端到端延迟需要压缩至10毫秒级别，这对编码算法的并行化设计和硬件实现提出了更高要求。跨行业融合应用：V3C框架的通用性将推动其在工业数字孪生、空间计算平台等新兴领域中的应用扩展。5.3对中国标准化工作的启示中国在沉浸式媒体编码领域的标准化工作中应持续加强以下方面建设：一是加大基础研究投入，重点攻关体积视频高效表示、实时编解码等底层核心算法，形成自主知识产权技术储备。二是深化国际参与广度和深度，鼓励更多的中国企业和科研机构承担标准编辑、测试验证等关键职责，提升在MPEG等国际标准组织中的话语权。三是推动标准与产业协同部