ISOIEC 23090-142023 信息技术.沉浸式媒体的编码表示.第14部分场景描述标准立项发展报告

信息技术沉浸式媒体的编码表示第14部分：场景描述标准立项发展报告StandardizationDevelopmentReport:InformationTechnology—CodedRepresentationofImmersiveMedia—Part14:SceneDescription摘要随着虚拟现实（VR）、增强现实（AR）及混合现实（MR）等沉浸式技术的迅猛发展，三维场景的高效描述与交互已成为数字媒体产业的核心技术瓶颈。场景描述作为连接视觉渲染、用户交互与动态内容编排的关键环节，其标准化工作对实现沉浸式媒体内容的互操作性、可扩展性与跨平台部署具有重要意义。本报告以国际标准化组织/国际电工委员会联合技术委员会发布的ISO/IEC23090-14:2023标准为研究对象，系统梳理了该标准的立项背景、技术框架、核心内容及修订进展，重点分析了其在沉浸式媒体编码体系（MPEG-I）中的定位与作用。报告指出，ISO/IEC23090-14:2023通过定义基于场景图（SceneGraph）的模块化描述架构，有效解决了沉浸式场景中空间关系表达、动态行为建模及多模态数据关联等关键问题，为下一代交互式媒体的开发与部署提供了关键性技术支撑。报告同时介绍了主要参与单位在标准研制过程中的技术贡献，并对该标准的未来发展方向进行了展望。关键词：沉浸式媒体；场景描述；MPEG-I；ISO/IEC23090；场景图；三维图形；标准化Keywords:ImmersiveMedia;SceneDescription;MPEG-I;ISO/IEC23090;SceneGraph;3DGraphics;Standardization一、引言1.1立项背景近年来，沉浸式媒体技术在全球范围内呈现爆发式增长态势。根据国际数据资讯（IDC）发布的报告，全球AR/VR市场支出预计在2024年达到近400亿美元规模，年复合增长率超过50%。从消费端的高保真游戏、虚拟演唱会，到行业端的远程协作、数字孪生、智能制造培训，沉浸式媒体的应用边界持续拓展。然而，在技术繁荣的背后，一个根本性挑战日益凸显：不同厂商、不同平台之间缺乏统一的场景描述标准，导致内容资产难以跨平台复用，开发成本居高不下，严重制约了产业的规模化发展。在传统视频编码领域，国际标准化组织（ISO）和国际电工委员会（IEC）联合成立的动态图像专家组（MPEG，MovingPictureExpertsGroup）已制定了包括MPEG-2、H.264/AVC、H.265/HEVC、H.266/VVC等一系列具有里程碑意义的国际标准，为全球数字视频产业奠定了坚实的技术基础。面对沉浸式媒体的新需求，MPEG于2017年正式启动MPEG-I（ISO/IEC23090）标准体系建设，旨在为沉浸式媒体的编码表示提供一套完整的国际标准解决方案。1.2标准体系定位ISO/IEC23090（MPEG-I）系列标准涵盖沉浸式媒体的多个关键环节，包括：-第2部分：沉浸式视频（ImmersiveVideo）-第3部分：沉浸式音频（ImmersiveAudio）-第5部分：点云编码（PointCloudCoding）-第7部分：沉浸式媒体元数据（ImmersiveMediaMetadata）-第9部分：基于几何的点云压缩（Geometry-basedPointCloudCompression）-第10部分：基于视频的点云压缩（Video-basedPointCloudCompression）-第12部分：沉浸式媒体的网络协议（ImmersiveMediaNetworkProtocol）-第14部分：场景描述（SceneDescription）←本报告研究对象场景描述（SceneDescription）在MPEG-I体系中处于核心枢纽位置——它定义了沉浸式场景中各类媒体对象（视频、音频、图像、点云、三维模型）的空间组织方式、时间行为特征以及交互逻辑，是对底层编码数据与上层应用体验之间的关键桥梁。二、标准技术内容分析2.1标准基本信息ISO/IEC23090-14:2023《信息技术沉浸式媒体的编码表示第14部分：场景描述》是MPEG-I场景描述工作组历经多年研制形成的正式国际标准。该标准于2023年6月2日正式发布，由ISO/IECJTC1/SC29（音频、图像、多媒体和超媒体信息编码分技术委员会）归口管理。2.2标准制定背景与技术需求在ISO/IEC23090-14之前，三维场景描述领域已有若干技术方案，其中最具影响力的是由Web3D联盟制定的X3D标准以及用于三维模型传输的glTF（GLTransmissionFormat）格式。然而，这些既有方案存在以下不足：第一，交互性支持不足。既有标准在动态场景更新、实时交互事件处理方面能力有限，难以满足沉浸式媒体对用户参与度和动态响应的高要求。第二，多模态数据融合能力欠缺。沉浸式场景往往需要同时集成视频、音频、点云、网格模型、光照环境等多种数据类型，既有标准缺乏对这些异构数据的高效组织与管理机制。第三，时序行为描述不完善。对于场景中随时间变化的动态元素（如物体运动、环境变化、触发事件），既有标准的表达能力和灵活性仍有不足。第四，与底层编码标准的兼容性有限。场景描述需要与MPEG-I体系中其他编码标准（如视频编码、点云编码）实现高效配合，而既有方案在设计之初并未考虑这种协同。2.3标准核心技术架构ISO/IEC23090-14:2023在继承既有场景图技术优点的同时，引入了多项关键创新。该标准的总体架构可概括为以场景图（SceneGraph）为骨架、以场景描述条目（SceneDescriptionItem）为基本单元的层级化描述体系。在标准设计中，场景被形式化地定义为一个由节点（Node）和连线（Edge）构成的有向无环图结构。每个节点对应一个场景元素（如三维模型、光照源、相机视角、音频源等），连线则表示各元素之间的空间关系或逻辑关系。在此基础上，该标准引入了四项核心关键机制：（1）模块化场景图结构。标准规定了场景图的组织形式与节点类型体系，允许不同节点按照功能划分为内容节点（ContentNode）、变换节点（TransformNode）、感知节点（SensorNode）等类别。标准特别设计了“场景片段”（SceneSegment）机制，支持将大型场景分割为多个可独立管理和传输的片段，有效解决了超大规模场景的流式加载与管理问题。这种模块化设计既保证了描述能力的完备性，又提供了良好的可扩展性。（2）动态场景更新机制。为了满足实时交互和应用场景的动态变化需求，标准定义了一套完整的场景更新指令集，支持通过增量更新方式实现对场景中任意节点的添加、删除、属性修改和关系变更。该机制在最大限度降低数据传输量的同时，保证了场景状态的实时一致性，为多用户协作和实时交互奠定了技术基础。（3）时序行为描述框架。标准引入了行为（Behavior）和时间线（Timeline）的抽象概念，允许场景元素绑定随时间变化的行为属性。例如，一个虚拟对象的旋转运动、颜色渐变、可见性切换等均可通过时序描述语言进行声明式定义，避免了对底层渲染引擎的依赖。（4）多模态数据关联机制。针对沉浸式场景中多类型媒体数据共存的典型需求，标准定义了场景节点与外部媒体资源（如视频流、音频流、点云数据）之间的关联方式，支持不同编码格式、不同传输协议的数据在统一场景框架中的协调呈现。2.4技术指标与性能在编码效率方面，该标准通过紧凑的二进制语法设计和增量更新优化，使得场景描述文件的编码开销较传统文本格式降低了一个数量级以上。在功能覆盖方面，标准支持从静止的三维模型展示到全动态的多人交互虚拟环境等多种应用场景。在兼容性方面，标准对场景中出现的视觉内容采用与MPEG-I系列其他标准一致的坐标系统与时间基准，确保了与ISO/IEC23090-2（沉浸式视频）、ISO/IEC23090-5（点云编码）等标准的无缝对接。2.5主要修订内容相较于早期工作草案和前一版本，ISO/IEC23090-14:2023在以下方面进行了重点修订和完善：-场景图节点类型的扩充：新增了若干用于增强现实场景的节点类型，加强了对真实世界与虚拟对象融合场景的支持；-交互事件的标准化定义：细化了用户交互事件（如拾取、拖拽、凝视等）的语义定义，提高了交互逻辑描述的一致性和准确性；-与ISO/IEC23090-12（网络协议）协同优化：调整了场景描述的分组和封装结构，使其更适配基于HTTP/3等现代传输协议的流式传输场景；-性能与实现约束的明确化：增加了关于解码复杂度和内存占用的约束说明，为不同能力终端的实现提供了指导。此外，标准中还完善了场景描述条目的编解码流程，提高了其在复杂网络环境下的抗丢包和自适应能力，为沉浸式媒体在5G/6G网络中的规模化部署创造了条件。三、主要参与单位及其技术贡献3.1国际电工委员会（IEC）ISO/IEC23090-14:2023由ISO与IEC联合技术委员会JTC1下属的SC29分技术委员会负责制定。IEC作为全球领先的电子电气领域国际标准化组织，在多媒体编码标准化方面拥有深厚的技术积累和完善的组织体系。IEC在沉浸式媒体标准化工作中的核心作用体现在以下方面：首先，在标准组织管理层面，IEC依托其成熟的标准化工作流程和全球专家网络，为MPEG-I系列标准的制定提供了高效的组织保障。JTC1在制定标准过程中引入了系统化的项目管理方法，促进了各参与国家成员体的意见协调和技术融合。此外，IEC还积极推动该标准与电子电气领域其他相关标准的协调与互操作，包括与IEC62448（多媒体应用格式）等IEC内部标准的兼容性评估，以及与国际电信联盟远程通信标准化部门（ITU-T）在相关领域的沟通协作。3.2国际标准化组织（ISO）作为全球最大的非政府间国际标准化机构，ISO在场景描述标准的制定过程中发挥了至关重要的统筹协调作用。ISO通过其完善的标准制定程序（如委员会草案CD、国际标准草案DIS、最终国际标准草案FDIS等各阶段评审），确保了标准技术内容的严谨性和各方共识的达成。3.3主要贡献单位本标准的制定汇聚了全球范围内在该领域具有领先技术实力的企业和研究机构。其中，法国巴黎高等电信学校（TélécomParis）及其附属的LTCI实验室（LaboratoireTraitementetCommunicationdel'Information）作为核心贡献单位之一，在标准的技术方案设计和完善过程中发挥了重要作用。巴黎高等电信学校是法国乃至欧洲在数字通信与多媒体技术领域最具声望的研究机构之一。LTCI实验室是法国国家科学研究中心（CNRS）联合研究实验室，在三维图形处理、沉浸式媒体编码和交互系统领域开展了大量前沿性研究。在ISO/IEC23090-14标准研制期间，LTCI实验室的研究团队在以下方面做出了重要技术贡献：-提出场景图高效编码方案：基于对三维场景数据特征的深入分析，提出了紧凑的二值化场景图编码方法，有效压缩了场景描述的存储和传输开销；-动态场景增量更新机制设计：主导设计了基于操作码（OpCode）的场景增量更新机制，支持毫秒级的场景动态更新响应，为实时交互应用提供了技术保障；-场景描述验证平台搭建：构建了完整的场景描述参考软件实现与验证平台，为标准的技术验证和一致性测试提供了重要的参考工具；-国际推广与协调：积极参与MPEG会议和跨区域技术协调工作，推动了不同国家和地区在场景描述技术路线上的共识凝聚。3.4其他重要参与主体除上述核心机构外，本标准还汇聚了大量国际顶尖企业和科研机构的智慧与力量：-FraunhoferHHI（德国弗劳恩霍夫电信研究所）：长期深耕视频编码和三维场景处理领域，在MPEG-I测试序列生成和主观质量评价方法上贡献了丰富的经验；-华为技术有限公司：基于其在通信网络和多媒体传输领域的技术积累，对场景描述数据的流式传输优化提出了多项创新性提案；-三星电子：在终端设备适配与渲染效率优化方面提供了大量工程实践反馈，推动了标准从实验室走向产品化落地；-索尼公司：凭借在游戏和虚拟制作领域的丰富经验，为场景交互机制的设计提供了极具实践价值的应用场景输入。四、标准实施与应用前景4.1应用场景分析ISO/IEC23090-14:2023标准的发布标志着沉浸式媒体场景描述技术从碎片化、私有化走向了统一化、开放化的新阶段。该标准的实施将为以下关键场景提供统一的技术底座：-沉浸式娱乐：高保真虚拟演唱会、VR游戏、沉浸式影院等C端应用场景，需要标准化场景描述以实现内容一次制作、多平台分发；-工业数字孪生：在智能制造领域，通过场景描述实现物理空间与虚拟空间的精准映射与实时同步，支撑远程运维、虚拟调试、人员培训等环节的高效运作；-远程协作与会话：在虚拟会议室、远程医疗、协同设计等场景中，标准化的场景描述可实现多用户视角一致性、注视感知渲染和实时标注交互；-智慧城市与建筑可视化：在城市级大规模场景中，通过模块化场景片段管理和增量更新，实现海量三维数据的高效加载与动态刷新；-自动驾驶仿真测试：借助标准化场景描述构建高逼真度的虚拟测试环境，支持自动驾驶算法的大规模并行化验证。4.2标准价值与意义该标准的实施价值和产业意义主要体现在以下几个层面：推动产业互操作性，降低开发门槛。场景描述的标准化从根本上解决了不同平台、不同设备之间的内容格式壁垒问题。内容创作者可以基于统一标准一次开发、多渠道分发，显著降低适配成本，这也为中小型创新企业进入沉浸式媒体领域创造了更为公平的竞争环境。促进沉浸式媒体与传统编码标准协同演进，完善生态体系。该标准与MPEG-I系列其他标准（如视频编码、点云编码、网络协议）的深度协同，构造了从内容采集、编码压缩、场景组织到网络传输、终端呈现的完整标准链，为沉浸式媒体产业的规模化商用提供了系统性支撑。五、结论与展望5.1主要成果总结ISO/IEC23090-14:2023作为MPEG-I系列中定义场景描述的核心国际标准，为沉浸式媒体内容的三维场景组织与交互提供了统一的技术框架。该标准的发布填补了国际标准体系中在沉浸式场景描述领域的空白，为VR/AR/MR应用的内容互操作性提供了关键支撑。从技术角度看，该标准创造性地引入了模块化场景图结构和动态增量更新机制，兼顾了描述的完备性、实时性和传输效率，在编码开销和功能覆盖等关键维度上达到了技术先进性与实用性的良好平衡。从产业角度看，该标准的确立有助于打破各厂商在场景描述技术路线上的碎片化格局，促进内容资产的跨平台复用，降低产业整体研发成本，为沉浸式媒体生态的繁荣发展奠定了坚实基础。5.2未来发展趋势展望未来，ISO/IEC23090-14标准将持续演进，面临以下发展方向与技术趋势：面向6G时代的网络协同增强。随着6G通信技术研究的深入，沉浸式媒体将走向更高带宽、更低时延、更海量连接的新阶段。场景描述标准将需要进一步加强与网络传输协议的协同设计，探索面向分布式边缘计算的场景描述优化方案，以支持跨地域、跨节点的协同渲染与实时交互。与人工智能技术的深度融合。近年来，AIGC（生成式人工智能）技术在三维内容生成领域取得了突破性进展。未来，场景描述标准有望与AI驱动的内容生成、场景理解与自动优化技术深度结合，支持基于语义描述的场景自动构建、基于用户行为分析的场景自适应调整、基于神经渲染的场景高效表达等前沿应用。面向Web3D与元宇宙的标准化拓展。随着元宇宙概念的兴起，三维场景描述技术在Web环境中的标准化需求愈发迫切。场景描述标准与Web端图形标准（如WebGPU、glTF）的深度集成将成为重要演进方向，以支撑开放、去中心化的三维互联网生态建设。扩展现实（XR）终端的多样化适配。从高保真头戴式显示器到轻量化AR眼镜，再到全息显示设备，不同终端在渲染能力、交互方式和显示特性上差异显著。标准需要进一步定义多层次、可伸缩的场景描述方案，使同一内容可自适应地呈现于能力迥异的终端设备之上。参考文献[1]