ISOIEC 23090-132024 信息技术沉浸式媒体的编码表示第13部分沉浸式媒体视频解码接口标准立项发展报告

信息技术沉浸式媒体的编码表示第13部分：沉浸式媒体视频解码接口标准立项发展报告StandardizationDevelopmentReport:Informationtechnology—Codedrepresentationofimmersivemedia—Part13:Videodecodinginterfaceforimmersivemedia摘要本报告旨在全面分析国际上最新的沉浸式媒体视频解码接口标准——ISO/IEC23090-13:2024的立项背景、技术内涵、核心内容及未来发展前景。随着虚拟现实（VR）、增强现实（AR）和混合现实（MR）等沉浸式技术的快速发展，对高效、统一的视频编解码与传输接口提出了前所未有的挑战。本标准作为ISO/IEC23090（即MPEG-I）系列标准的重要组成部分，专门针对沉浸式视频的解码过程，定义了标准化的视频解码接口（VideoDecodingInterface，VDI）。报告详细阐述了该标准在解决多视点视频、深度图、元数据等复杂数据流同步与解码方面所起到的关键作用，探讨了其针对不同沉浸式应用场景（如六自由度（6DoF）体验）的技术优化。报告指出，该标准的发布标志着沉浸式媒体从内容创建到终端渲染的全链路标准化进程迈出了关键一步。通过分析其主要内容、技术架构以及对行业生态的影响，本报告得出结论：ISO/IEC23090-13:2024不仅为开发者提供了一套互通性强的技术规范，降低了系统集成复杂度，而且为未来更高级别的沉浸式体验奠定了坚实的技术基础，预计将在未来几年内被广泛应用于高端头戴式显示器、沉浸式视频平台及专业内容制作领域。关键词沉浸式媒体；视频解码接口；ISO/IEC23090；MPEG-I；虚拟现实；编解码；元数据同步；六自由度Keywords:ImmersiveMedia;VideoDecodingInterface;ISO/IEC23090;MPEG-I;VirtualReality;Codec;MetadataSynchronization;SixDegreesofFreedom(6DoF)正文1.引言在数字化转型的浪潮中，人类与数字信息的交互方式正经历着从二维平面向三维空间的深刻变革。虚拟现实（VR）、增强现实（AR）和混合现实（MR）等沉浸式技术，作为下一代计算平台的核心载体，对海量、多维、高动态范围内容的实时传输与处理提出了严苛要求。传统的视频编码与解码体系，主要针对单视点、固定视角的平面视频设计，难以胜任沉浸式媒体中多视点、多深度、多图层以及复杂元数据协同解码的复杂需求。为了应对这一挑战，国际标准化组织/国际电工委员会第一联合技术委员会（ISO/IECJTC1）下属的运动图像专家组（MPEG）启动了著名的MPEG-I（Immersive）标准项目，即ISO/IEC23090系列标准。该系列旨在系统性地定义沉浸式媒体的编码表示、传输协议、渲染模型及接口规范。作为该体系中的关键一环，ISO/IEC23090-13:2024《信息技术沉浸式媒体的编码表示第13部分：沉浸式媒体视频解码接口》（以下简称“标准”）应运而生。本标准发布日期的临近（2024年1月19日），标志着在沉浸式视频解码层面，国际社会首次确立了一个统一、开放且高效的接口标准。它并非定义新的视频压缩算法，而是专注于解决解码器与后续渲染系统或应用层之间的数据交互问题，从而确保不同厂商的硬件、软件和内容能够无缝协同工作。2.标准立项背景与必要性在ISO/IEC23090-13:2024立项之前，沉浸式媒体技术的开发面临诸多碎片化挑战：*接口不统一：不同厂商的解码芯片、SDK（软件开发工具包）以及播放器应用之间的解码调用接口各异，导致内容分发商需要适配多种平台，显著增加了研发成本和部署周期。*多数据流同步难题：沉浸式内容通常由多个视频流（如多个视点的纹理图、深度图、透明度图）和丰富的时间相关元数据（如相机参数、视口元数据、渲染提示信息）构成。缺乏标准化的解码接口意味着应用层难以精准、高效地获取并同步这些异构数据流。*解码效率瓶颈：由于没有统一的接口规范，解码器往往需要处理大量与应用层渲染逻辑耦合的“额外”任务，无法专注于其核心解码职能，从而影响了端到端的延迟和帧率表现。因此，制定一个专门的沉浸式媒体视频解码接口标准成为业界共识。本标准的立项，旨在解决上述一系列问题，通过构建一个清晰、抽象的解码接口层，分离解码过程与渲染过程，从而提升系统的模块化程度、可移植性和性能表现。3.标准核心技术内容与架构ISO/IEC23090-13:2024的核心是定义了一个平台无关的视频解码接口（VDI）。该接口为上层应用软件（如渲染引擎、媒体播放器）提供了一组标准化的查询和控制功能，使其能够灵活地访问解码器内部的各种资源。主要技术内容涵盖以下几个方面：3.1.接口角色定义标准明确将解码器视为一个“服务提供者”，而将渲染或应用层视为“服务使用者”。VDI定义了双方之间的“合约”或“契约”，确保了清晰的职责划分。解码器负责从压缩码流中解析出基本的图像数据（纹理、深度、辅助信息）以及相关的时序和结构信息；应用层则根据这些信息进行最终的渲染合成。3.2.支持的数据类型与流结构VDI专门设计用于处理沉浸式媒体中常见的复杂数据结构：*多路视频流映射：规范如何将多个编码后的视频轨道（如单视点纹理、多视点纹理、深度图、运动矢量场等）映射到一个统一的解码流程中，并实现同步输出。*元数据封装与传递：定义了解码器在解码过程中如何提取和转发与具体帧关联的元数据，如相机投影参数（Equirectangular、Cubemap等）、视口区域定义、空间变换矩阵等，确保了渲染引擎能基于正确的几何和光学属性进行精确渲染。3.3.关键功能与流程*帧调度与同步：定义了基于解码时间戳（DTS）和显示时间戳（PTS）的严格同步机制，确保多个视频流（如不同视点的纹理与深度）能够在同一渲染帧中精准对齐。*资源管理：规定了解码器如何向应用层报告其内部缓冲区状态、解码能力（如支持的最大分辨率、帧率、码率、配置文件）以及连接的头戴式显示器（HMD）所需的基础信息。*低延迟模式：针对交互式应用，特别定义了低延迟解码模式，允许解码器在满足一定条件下立即输出解码后的帧，而非等待缓冲积累，这对于减少运动到光子延迟（Motion-to-PhotonLatency）至关重要。*错误鲁棒性：提供了对错误隐藏（ErrorConcealment）的支持，使得在码流出现丢包或噪声时，解码器仍能提供可接受的输出，保障用户体验的连续性。4.标准的修订与参与单位ISO/IEC23090-13:2024作为一项国际标准的发布，是MPEG工作组众多专家与全球顶尖企业、研究机构通力合作的成果。标准的制定过程经过了多轮草案、技术提案（CallforProposals）、核心实验（CoreExperiments）以及评审，充满了严谨的学术讨论和技术博弈。【重点介绍参与单位：FraunhoferHeinrichHertzInstitute(HHI)】在所有积极参与该标准工作的机构中，德国弗劳恩霍夫海因里希·赫兹研究所（FraunhoferHeinrichHertzInstitute，FraunhoferHHI）扮演了极其核心的支撑与引领角色。作为全球视频编码与沉浸式媒体技术的顶尖研发机构，FraunhoferHHI的贡献体现在以下多个方面：*技术奠基：FraunhoferHHI是MPEG标准体系的核心贡献者之一，长期负责多项关键技术，包括但不限于HEVC/H.265、VVC/H.266以及MPEG-H3DAudio等标准。在ISO/IEC23090-13的制定过程中，HHI的专家团队基于其对MPEG-I整体架构的深刻理解，提出了大量关于如何将现有（如VVC、HEVC）和未来视频编解码器无缝嵌入到沉浸式解码接口中的关键技术提案。*参考软件与测试模型：HHI贡献并维护了关键的参考软件实现和测试模型。这些模型不仅是标准制定的技术依据，也是全世界开发者测试其产品兼容性的重要工具。在VDI的定义中，HHI的软件框架被广泛用来验证接口定义的有效性、性能开销以及在不同硬件平台上的可移植性。*元数据模型和结构化框架：HHI在空间音频、沉浸式视频的元数据模型方面拥有深厚积累。他们主导了标准中关于如何封装和传输与空间位置（6DoF）、视口变化以及场景几何关联的复杂元数据的架构设计，确保了VDI能够支持从简单的全景视频到复杂的动态光场采集场景。*低延迟渲染优化：针对VR/AR对极低延迟的要求，HHI团队在标准中引入了底层优化机制，例如通过定义“等待显示时间轴（WaitforDisplayTimeline）”和“自适应帧解析（AdaptiveFrameParsing）”等机制，有效缩短了从解码器输出到头部追踪触发渲染更新之间的关键路径。*互操作性验证与推广：FraunhoferHHI积极参与MPEG和全球其他标准化组织（如KhronosGroup，负责OpenXR标准的制定）的联动。他们组织并参与了多次跨厂商的互操作性测试（Plugfests），帮助验证VDI规范的实际互通能力，并推动其被主流硬件和软件平台采用。综上所述，FraunhoferHHI凭借其在视频编码、沉浸式媒体、实时系统以及标准化流程方面的全面技术实力，为ISO/IEC23090-13:2024的诞生提供了不可或缺的技术基础和实践保障。HHI的工作充分体现了科研机构在推动产业标准化过程中的核心价值：不仅是理论的提出者，更是将理论转化为可测试、可部署、可互操作的实践的桥梁。5.结论与展望ISO/IEC23090-13:2024《信息技术沉浸式媒体的编码表示第13部分：沉浸式媒体视频解码接口》的发布，是沉浸式媒体技术标准化进程中的里程碑事件。它成功地在复杂的多层次沉浸式媒体架构中，确定了一个明确、抽象且高性能的接口点——即解码器与渲染器的连接点。通过定义统一的视频解码接口，该标准显著降低了系统集成的复杂度，提升了多平台、多设备间的互操作性，并为优化端到端的延迟和性能铺平了道路。展望未来，本标准的影响将主要体现在以下几个方面：2.内容制作的规范化：内容创作者和分发商可以依据VDI接口打包其沉浸式内容，确保其能在不同类型的标准兼容终端设备上获得一致、流畅的体验。这将大大降低内容制作的市场准入风险。3.新兴应用场景的涌现：随着接口标准化，基于沉浸式媒体的新兴应用，如6DoF体育赛事直播、远程全息会议、虚实融合的工业仿真