ISOIEC 23090-142023Amd 12023 信息技术沉浸式媒体的编码表示第14部分场景描述修改1场景描述中对沉浸式媒体编解码器的支持标准立项发展报告

信息技术沉浸式媒体的编码表示第14部分：场景描述修改1：场景描述中对沉浸式媒体编解码器的支持标准立项发展报告StandardizationDevelopmentReport:Informationtechnology—Codedrepresentationofimmersivemedia—Part14:Scenedescription—Amendment1:Supportforimmersivemediacodecsinscenedescription摘要随着虚拟现实（VR）、增强现实（AR）和混合现实（MR）等沉浸式技术的迅猛发展，场景描述作为连接视听媒体内容与用户交互体验的核心技术环节，其标准化工作日益受到国际社会的广泛关注。本报告针对ISO/IEC23090-14:2023/Amd1:2023《信息技术沉浸式媒体的编码表示第14部分：场景描述修改1：场景描述中对沉浸式媒体编解码器的支持》标准的立项背景、技术内容、修订过程及产业应用前景进行系统阐述。该修改单由国际标准化组织（ISO）与国际电工委员会（IEC）联合发布，旨在解决沉浸式媒体场景中对多类别编解码器（含视频、图像、音频及点云等）的统一描述与动态适配问题，填补了原有场景描述标准在编解码器互操作性支持方面的技术空白。本报告详细分析了该标准修订的技术路线、核心条款及其对沉浸式媒体产业链的深远影响，并就标准推广实施提出建议，为相关企事业单位和标准化工作者提供参考。关键词：沉浸式媒体；场景描述；编解码器；ISO/IEC23090；MPEG-I；标准化Keywords:ImmersiveMedia;SceneDescription;Codec;ISO/IEC23090;MPEG-I;Standardization一、引言1.1研究背景沉浸式媒体技术正在深刻改变人类感知和交互数字内容的方式。从360°全景视频到六自由度（6DoF）交互体验，从点云建模到神经渲染，新一代媒体形态对传统的编码、传输和呈现技术提出了革命性挑战。在此背景下，国际标准化组织（ISO）和国际电工委员会（IEC）下属的联合技术委员会JTC1/SC29（音频、图像、多媒体和超媒体信息编码）于2017年前后启动了MPEG-I（ISO/IEC23090）系列标准制定工作，该系列标准致力于构建覆盖沉浸式媒体全链路的国际标准体系。作为MPEG-I系列标准的重要组成部分，ISO/IEC23090-14规定了沉浸式媒体场景描述的统一框架，为场景中各类媒体资源（包括视频、音频、图像、点云、网格等）的空间组织、时间同步及交互行为提供了标准化描述机制。然而，随着沉浸式媒体编解码技术的快速迭代，原始版本的场景描述标准在编解码器适配支持方面暴露出明显不足——不同编解码器（如AVC、HEVC、VVC、AV1、AVS3等）在配置参数、能力协商和流选择等方面存在显著差异，亟需通过标准修订加以统一规范。1.2标准基本信息本次立项的标准修改单编号为ISO/IEC23090-14:2023/Amd1:2023，由ISO/IECJTC1/SC29/WG2（MPEG工作组）归口管理，于2023年11月9日正式发布。该修改单针对ISO/IEC23090-14:2023版本中场景描述框架的编解码器支持能力进行了系统性扩展，是沉浸式媒体场景描述标准化进程中的重要里程碑。二、标准立项的必要性与紧迫性2.1产业需求驱动据国际数据公司（IDC）预测，全球AR/VR市场支出将在2026年突破500亿美元，年均复合增长率超过30%。伴随而来的是一大批面向沉浸式场景的创新型编解码方案不断涌现。然而，由于缺乏统一的编解码器描述与适配标准，产业界面临多重困境：内容制作方难以实现"一次制作、多端适配"；平台运营方被迫维护多套私有适配逻辑；最终用户则可能因设备与内容编解码能力不匹配而遭遇体验降级。上述问题的根源在于场景描述层缺乏对编解码器能力协商与流切换的标准化支撑。2.2技术发展需求在沉浸式媒体环境中，单一的通用视频编解码器已难以满足全部需求。以点云压缩为例，基于几何与属性的专用编解码器（如V-PCC、G-PCC）在压缩效率上显著优于通用方案；而对于六自由度光场显示，基于神经网络的编码方法正展现出独特优势。面对多样化的编解码器生态，场景描述标准必须提供一种可扩展、可协商的机制，使播放器能够根据终端能力和网络条件动态选择合适的编解码器及对应媒体流。ISO/IEC23090-14:2023/Amd1:2023正是针对上述需求对原标准进行的关键性修订。2.3国际标准竞争态势在沉浸式媒体标准化领域，国际竞争日趋激烈。除ISO/IEC外，3GPP（第三代合作伙伴计划）在5G媒体流传输中定义了MBMS相关场景描述机制，AVS（中国数字音视频编解码技术标准工作组）也在积极探索沉浸式媒体的场景描述方案。面对多元化的标准竞争格局，及时跟进和深度参与ISO/IEC23090-14修改单的制定，对于提升我国在沉浸式媒体国际标准化领域的话语权具有重要战略意义。三、标准主要技术内容3.1标准框架概述ISO/IEC23090-14:2023/Amd1:2023在保持原有场景描述框架整体架构的基础上，围绕编解码器的描述、发现和适配三个方面进行了系统扩展。修改单的技术内容可归纳为以下核心模块：（1）编解码器能力描述机制该机制定义了统一的编解码器能力描述结构，支持对各类编解码器（包括视频、图像、音频、点云、网格等类型）的编码格式、配置文件、级别、色度采样格式、位深、帧率等关键参数进行标准化描述。该描述机制基于JSON语法构建，具备良好的可扩展性和机器可读性，便于解析引擎和播放器快速识别和匹配编码能力。（2）多编解码器协商与选择流程修改单规定了场景中多个编解码备选方案的标准化表达方式与选择逻辑。该机制允许同一媒体内容以多种编解码形式呈现，播放器可基于用户设备的解码能力及网络带宽状况，从多个候选编解码方案中动态选择最优配置。该过程涉及候选编解码器优先级排序、可替代性判定及切换触发条件等关键要素的标准化描述。（3）编解码器配置参数的封装与传递此部分规定了将具体编解码器所需的初始化参数（如SPS/PPS、VPS等参数集、解码器专用配置数据等）嵌入场景描述文件的标准方法。该机制确保解码器所需的全部配置信息可通过场景描述文件完整传递至终端，消除了传统方案中依赖外部带外信令传递配置参数的弊端。（4）与ISO/IEC23090系列标准的协同修改单充分考虑了与ISO/IEC23090系列其他部分标准的兼容性，确保场景描述中引用的编解码器参数与对应编码标准（包括ISO/IEC23090-5（VVC视频编码）、ISO/IEC23090-9（V-PCC点云压缩）、ISO/IEC23090-10（G-PCC点云压缩）等）的定义保持一致。3.2关键技术要点在具体技术条款设计层面，该修改单实现了以下关键突破：-统一抽象模型：设计了编解码器的抽象分类模型，将不同类型的编解码器统一抽象为"编码格式标识+能力参数集合+配置数据块"三层结构，有效屏蔽了各编解码器之间的协议差异。-可扩展能力描述语言：基于JSONSchema定义了可扩展的能力描述语言，允许标准后续增加新型编解码器的描述规则而无需重写整体框架。-动态切换协议：规范了终端在播放过程中切换编解码器（如从硬件解码切换到软件解码）时的场景描述同步更新机制，保障了切换过程的视觉连续性和时间一致性。-安全与权限控制：在编解码器调用过程中增加了标准化安全策略描述，支持对专有编解码器或需要付费许可的编解码器进行访问控制。3.3标准适用场景该修改单的适用范围涵盖以下典型场景：-沉浸式视频点播和直播平台的多编解码器自适应分发；-多模态沉浸式体验中的视音频与点云数据协同解码；-异构终端（头戴式显示器、手机、平板、电视等）间的沉浸式内容无缝切换；-面向云计算和边缘计算架构的沉浸式媒体远程渲染与串流。四、主要起草单位与标准化组织4.1归口管理机构本修改单由ISO/IECJTC1/SC29/WG2（即MPEG工作组，MovingPictureExpertsGroup）负责制定和修订。MPEG成立于1988年，是国际标准化组织在音视频编码领域最具影响力的专家组，先后制定了MPEG-1、MPEG-2、MPEG-4、MPEG-7、MPEG-21及MPEG-H等一系列具有里程碑意义的国际标准。当前MPEG工作组的重点方向包括沉浸式媒体（MPEG-I）、基于神经网络的媒体压缩（MPEG-NBG）、基因组压缩（MPEG-G）及多媒体信息描述（MPEG-7）等前沿领域。4.2主要参与单位在ISO/IEC23090-14:2023/Amd1:2023的制定过程中，全球多家科研机构和产业巨头深度参与了技术方案的设计与论证。其中，法国电信（OrangeS.A.）作为该修改单的重要贡献单位，在编解码器能力协商机制方面发挥了关键的引领作用。OrangeS.A.是法国最大的电信运营商，也是全球领先的通信服务提供商，业务覆盖宽带互联网、企业通信、云服务及内容分发等领域。该公司在欧洲、非洲和中东等地区拥有超过2.6亿用户，年营业收入逾400亿欧元。在沉浸式媒体领域，Orange长期关注网络传输与终端解码的协同优化问题，其研发团队在媒体流传输优化、边缘计算节点部署和终端能力管理等方面积累了丰富经验。在本修改单的制定过程中，Orange的研究人员主导提出了面向异构网络环境的编解码器动态协商框架。该框架创新性地将终端解码能力抽象为可表达的"能力描述文件"，并与场景描述中的编码备选方案进行自动化匹配，大幅简化了多终端适配的实现复杂度。该方案在标准化讨论中获得了多国专家的认可，成为修改单核心技术条款的重要来源之一。此外，Orange还联合欧洲广播联盟（EBU）组织了多项互操作性测试，为修改单中编解码器切换时延等技术指标的科学设定提供了重要实验依据。除Orange外，参与该标准起草工作的主要机构还包括：华为技术有限公司（在点云编解码器描述方案方面贡献突出）、三星电子（在多编解码器切换信令优化方面提供了重要技术输入）、FraunhoferHHI研究所（在场景图架构与编解码器协同方面发挥了技术引领作用）、索尼公司（在消费电子终端的能力描述规范方面贡献了丰富实践案例）以及腾讯公司（在实时沉浸式通信场景的编解码器协商方案方面提供了创新思路）。五、标准实施推广与产业应用5.1实施路径建议考虑到ISO/IEC23090-14:2023/Amd1:2023涉及沉浸式媒体播放器、流媒体服务端、内容制作工具及终端设备等多个产业环节，建议各相关方按照以下路径分层推进标准实施：第一层次为协议兼容层：各流媒体服务平台和播放器厂商应首先确保对修改单中定义的编解码器能力描述结构的解析支持，实现与场景描述文件的基本兼容。第二层次为能力协商层：设备制造商和系统集成商应基于修改单中的协商流程实现多编解码器的动态选择能力，提升沉浸式内容在不同终端上的自适应播放水平。第三层次为体验优化层：前端内容制作方应充分利用修改单所提供的编解码器描述与配置封装能力，优化内容打包策略，实现"一次制作、多端适配"的高效分发模式，显著降低多格式适配的开发和运维成本。5.2产业链影响分析在内容制作端，该标准使得内容生产者无需为不同编解码器分别制作和存储多版本内容，而是可以在一份场景描述文件中声明多个编码备选方案。这将对降低内容存储成本、缩短制作周期产生积极效果，预计可使沉浸式内容的制作分发效率提升30%以上。在平台运营端，标准化的编解码器协商机制有助于平台简化调度逻辑，降低对私有协议的依赖。同时，标准中引入的安全策略描述机制也为商业化的编解码器授权使用提供了技术基础。在终端消费端，用户将获得更流畅的沉浸式体验——终端可根据自身解码能力自动选择最优的媒体流，减少了因编解码器不兼容导致的播放失败或画质下降问题，显著提升用户在异构设备上的一致性体验。5.3国内外发展展望在标准正式发布后，3GPP、DASHIndustryForum等国际标准组织已开始评估将该修改单中的能力协商机制引入各自规范体系的可行性。中国作为全球最大的沉浸式媒体消费市场之一，AVS工作组也在积极关注该标准的技术进展，并探讨在后续版本中实现与ISO/IEC23090-14体系兼容的可能性。六、结论与展望ISO/IEC23090-14:2023/Amd1:2023作为沉浸式媒体场景描述标准化进程中的关键修订，其发布标志着MPEG-I系列标准在编解码器互操作性方面迈出了坚实步伐。该修改单通过引入统一的编解码器能力描述机制、多编解码协同选择流程以及配置参数的标准化封装方案，有效回应了沉浸式媒体产业对异构编解码适配的迫切需求，填补了场景描述层面编解码器统一管理的标准空白。展望未来，随着沉浸式媒体编解码技术的持续演进——特别是基于深度学习的神经编解码方案逐步成熟——场景描述对编解码器的动态支持能力将面临更高要求。建议国内相关企事业单位积极参与ISO/IECJTC1/SC29的后续标准化工作，在场景描述扩展机制、新类型编解码器适配及跨标准协同等方面持续贡献中国智慧。同时，建议产业界加快基于该标准的商用系统研发与验证测试，推动标准从文本规范向产业生产力的有效转化，共同促进沉浸式媒体生态的健