信息技术 沉浸式媒体的编码表示 第28部分可互换的基于场景的媒体表示标准立项发展报告

信息技术沉浸式媒体的编码表示第28部分:可互换的基于场景的媒体表示标准立项发展报告StandardizationDevelopmentReport:Informationtechnology—Codedrepresentationofimmersivemedia—Part28:Interchangeablescene-basedmediarepresentations摘要：本报告旨在全面阐述国际标准ISO/IEC23090-28:2026《信息技术沉浸式媒体的编码表示第28部分:可互换的基于场景的媒体表示》的立项背景、技术演进、核心内容及其产业发展意义。随着元宇宙、虚拟现实（VR）、增强现实（AR）及混合现实（MR）技术的快速发展，构建统一的、可互操作的沉浸式内容格式成为行业迫切需求。本标准的制定，旨在解决不同平台间基于场景的沉浸式媒体内容格式不兼容的痛点，通过定义一种可互换的表示机制，促进内容创作、分发与消费环节的协同发展。报告详细介绍了标准的核心技术规范，包括场景图结构、媒体资源封装、空间锚定及交互语义等关键技术点，并深入分析了主要参与单位（如国际标准化组织动态图像专家组，MPEG）在标准制定中的核心作用。结论指出，ISO/IEC23090-28:2026的发布将成为沉浸式媒体领域迈向标准化、规模化应用的关键里程碑，为构建开放、繁荣的沉浸式内容生态奠定坚实基础，并对未来技术演进提出了展望。关键词：沉浸式媒体；基于场景的媒体；可互换表示；ISO/IEC23090；MPEG-I；场景图；互操作性Keywords:ImmersiveMedia;Scene-basedMedia;InterchangeableRepresentation;ISO/IEC23090;MPEG-I;SceneGraph;Interoperability正文1.研究背景与立项动因进入21世纪第三个十年，信息技术领域最显著的变革之一，便是从二维平面的数字内容向三维沉浸式体验的跃迁。元宇宙（Metaverse）概念的兴起，使得虚拟与现实世界深度交融的需求日益凸显。虚拟现实（VR）、增强现实（AR）、混合现实（MR）等技术已从专业领域逐步渗透至娱乐、教育、工业设计、远程协作、医疗健康等各行各业。用户不再满足于被动观看，而是渴望在动态、交互、且具有空间感的场景中进行沉浸式体验。然而，当前沉浸式媒体产业的发展面临一个根本性瓶颈：互操作性缺失。不同厂商、不同平台（如HTCVIVE、MetaQuest、AppleVisionPro、MicrosoftHoloLens等）所使用的内容格式和技术栈各不相同，导致内容创作者需要为每个平台量身定做，开发成本高昂且效率低下。这种“碎片化”的格局严重阻碍了内容的跨平台流通与规模化应用。在此背景下，国际标准化组织（ISO）和国际电工委员会（IEC）下属的第一联合技术委员会（JTC1）的“动态图像专家组”（MPEG，即ISO/IECJTC1/SC29/WG2）启动了MPEG-I（沉浸式媒体）系列标准项目。ISO/IEC23090-28:2026《信息技术沉浸式媒体的编码表示第28部分:可互换的基于场景的媒体表示》正是这一宏大标准化工程的最新成果。其核心动因在于：1.解决“孤岛”问题：制定一个厂商中立、平台无关的“通用语言”，使得基于场景的媒体内容（如3D场景、全景视频、空间音频、触觉反馈等）可以在不同系统和设备间无缝交换与呈现。2.降低创作门槛：通过标准化的表示方式，内容创作者可以专注于创意本身，无需再将大量精力耗费在针对特定平台的格式适配和转码上，从而释放创作潜能。3.促进产业链协同：为内容创作工具、平台运营方、硬件设备商、最终用户提供统一的接口规范，形成一个高效协同的产业生态，加速技术迭代和商业落地。4.响应技术发展趋势：当前，基于神经网络的3D表示（如NeRF、3DGaussianSplatting）、实时渲染技术、以及空间计算能力的进步，使得动态、可交互的场景级内容日益普及，亟需一个与之匹配的标准化框架。2.标准核心内容与技术规范ISO/IEC23090-28:2026的核心目标是定义一种可互换的基于场景的媒体表示（ISBMR）。它不是要取代已有的文件格式（如.gITF、.USD、.OBJ），而是提供一种抽象的数据模型和封装机制，允许将来自不同源、具有不同特征的场景组件（包括几何、材质、纹理、动画、音频、光照、交互行为等）组合成一个可以被任何符合标准的播放器所理解和渲染的单一实体或流。标准的主要技术组成部分包括：1.通用场景描述（UniversalSceneDescription，USD）：标准采纳了皮克斯公司开发的USD格式作为场景图（SceneGraph）的“骨架”或“编排语言”。USD强大的分层、变体、引用和继承能力，使其天然适合描述复杂、动态的3D场景。标准规定了如何将沉浸式媒体内容与USD的节点和属性进行映射。2.媒体流封装与同步：*封装格式：定义了基于ISO基媒体文件格式（ISOBMFF）的封装方式，用于承载视频、音频、点云、网格动画等时序媒体数据。这种方式保证了媒体流的同步和高效索引。*时空锚定（SpatiotemporalAnchoring）：规范了如何将各种媒体流精确地“钉”在场景的特定位置和特定时间点上。例如，一个全景视频可以被映射到3D穹顶内部，而一段立体声可以锚定在场景中某个虚拟声源的位置。3.场景图（SceneGraph）与媒体编解码器的松耦合：4.交互语义定义（InteractionSemantics）：*为了支持沉浸式应用的交互性，标准定义了一套基础的交互语义，例如“点击”、“悬停”、“拖拽”、“拾取”、“触发”等。这些语义通过元数据绑定到场景对象上，使得播放器能够理解用户的行为意图并驱动场景变化（如播放动画、切换状态、与控制逻辑交互）。5.元数据与资产管理：*标准规定了丰富的元数据结构，用于描述场景的版权信息、许可协议、空间范围、性能级别（LOD）、辅助功能信息等。同时，定义了资产标识（AssetIdentification）和资产管理机制，支持延迟加载、增量加载和内容替换。技术优势：*可互换性：这是标准的灵魂。任何符合标准的创作工具生成的ISBMR内容，都能被任何符合标准的渲染器正确解读和渲染。*模块化与可扩展：无需替换整个场景，即可独立更新、替换或添加单个媒体流或组件。*高效流式传输：支持渐进式加载和自适应流式传输，适应不同网络带宽和终端性能。*向后兼容：虽然定义了新范式，但也考虑了如何将现有3D资产（如gITF模型）引用到ISBMR场景中。3.参与单位与标委会：国际标准化组织动态图像专家组（MPEG）虽然本标准由ISO/IEC正式发布，其技术工作的实际完成者是国际标准化组织/国际电工委员会第一联合技术委员会第29分委员会第2工作组（ISO/IECJTC1/SC29/WG2），即我们熟知的国际标准化组织动态图像专家组（MovingPictureExpertsGroup，MPEG）。组织概况：MPEG成立于1988年，是数字音视频压缩与传输技术领域最具权威性和影响力的国际标准组织。从最初的MPEG-1（引领VCD时代）到MPEG-2（成就DVD和数字电视）、MPEG-4（网络流媒体和交互多媒体），再到MPEG-H（8K超高清和3D音频）、MPEG-I（沉浸式媒体），MPEG始终站在技术浪潮的最前沿，不断定义着行业的技术边界。在本标准制定中的角色：ISO/IEC23090-28:2026是MPEG-I（沉浸式媒体）系列标准的重要组成部分。MPEG-I的目标是构建一套完整的端到端沉浸式媒体技术生态，包括：*视频编码：如VVC（多功能视频编码，ISO/IEC23090-3），用于高效压缩全景视频。*点云编码：如V-PCC和G-PCC（ISO/IEC23090-5,23090-9），用于压缩3D点云数据。*场景表示：即本标准ISO/IEC23090-28，解决场景的组织和互操作。*网络传输：如MMT（MPEG媒体传输），用于在异构网络传输沉浸式流。核心贡献：MPEG在制定本标准时，展现了其独特的工作模式：1.凝聚全球共识：MPEG通过一系列“征集提案（CallforProposals）”和“核心实验（CoreExperiments）”，汇集了全球顶尖的学者、工程师和企业（如高通、华为、苹果、微软、索尼、三星等）的技术方案和智慧，通过充分的讨论和比较，最终达成共识并被纳入标准。在本标准中，如对USD的采纳决策，就是多方利益博弈后寻求最佳技术路径的体现。2.严谨的技术流程：从立项（NP）开始，经历工作草案（WD）、委员会草案（CD）、国际标准草案（DIS）到最后正式发布（IS），每一个阶段都伴随着严格的评审、投票和修改。本标准于2026年2月最终发布，标志着其技术成熟度达到最高级别。3.兼顾创新与实用：MPEG不仅追求技术的前沿性，更注重标准的可实现性和产业链价值。本标准在引入新概念（如交互语义、编解码器接口）的同时，也充分考虑了与现有行业实践的衔接，推动了沉浸式媒体从实验走向商业部署。成果意义：MPEG制定本标准的成功，再次证明了在国际标准舞台上，通过开放、透明、协作的方式解决行业共性问题的有效性。它为整个沉浸式媒体产业链提供了一份宝贵的“知识产品”。对于中国而言，积极参与此类国际标准的制定，不仅能将本土创新推向全球，更能深度融入全球数字内容生态，避免被技术壁垒所孤立。4.结论与展望ISO/IEC23090-28:2026《信息技术沉浸式媒体的编码表示第28部分:可互换的基于场景的媒体表示》的发布，是沉浸式媒体标准化进程中的一座里程碑。它精准地回应了行业对于内容“可互换、可流动”的核心诉求，为构建一个开放、多元、繁荣的沉浸式内容生态奠定了不可或缺的基石。结论总结：*解决了关键互操作问题：通过定义通用场景描述和媒体封装机制，打破了不同平台和工具之间的格式壁垒，使得内容的价值得以最大化。*提供了灵活的技术框架：采取“场景图+编解码器接口”的松耦合架构，既确保了上层编排的稳定性，又为底层渲染技术的快速演进留出了空间，能够适应未来如神经渲染等新兴技术的融入。*推动了产业规模化：标准为内容开发者、平台运营方和硬件制造商提供了统一的技术规范，有助于降低研发成本、缩短上市周期，从而加速沉浸式体验在更广泛领域的普及。未来展望：尽管本标准取得了重大突破，但技术与产业的发展永无止境。未来，可以在以下几个方面进行深入探索与演进：1.人工智能的深度融合：随着生成式AI（AIGC）的爆发，如何将AI生成的动态、自适应的场景内容无缝嵌入ISBMR框架，将是下一个研究热点。标准可能需要演进以支持“智能场景图”或“实时AI服务接口”。2.标准生态的完善：ISO/IEC23090-28本身是一个核心标准，但其最终效能取决于配套工具链（如创作软件的导出插件、渲染引擎的包、测试与验证套件）的开发与成熟。推动这些工具的普及，是将标准从“纸面”推向“现实”的关键。3.跨标准协同：该标准需与Web标准（如WebGPU、WebXR）、游戏引擎标准（如UnrealEngine、Unity的数据格式）、以及数字孪生标准（如GLTF、CityGML）等进行更深层次的协同，构建更大范围的互操