ISOIEC 23090-142023 信息技术.沉浸式媒体的编码表示.第14部分场景描述标准立项发展报告

信息技术沉浸式媒体的编码表示第14部分：场景描述标准立项发展报告StandardizationDevelopmentReport:InformationTechnology—CodedRepresentationofImmersiveMedia—Part14:SceneDescription摘要随着虚拟现实（VR）、增强现实（AR）和混合现实（MR）等沉浸式技术的迅猛发展，三维场景描述作为连接视觉呈现与用户交互的核心环节，其标准化需求日益迫切。本报告围绕ISO/IEC23090-14:2023《信息技术沉浸式媒体的编码表示第14部分：场景描述》标准的立项与发展进行系统分析。报告首先阐述了标准制定的技术背景与产业需求，指出传统图像编码标准已无法满足沉浸式媒体对空间结构、动态交互和实时渲染的复杂要求。继而梳理了标准制定的主要过程，包括国际标准化组织（ISO）与国际电工委员会（IEC）联合技术委员会的组织架构、各阶段工作进展及关键争议议题。报告重点剖析了该标准在场景图结构设计、几何与外观表示、交互行为建模、动画时序控制及流式传输支持等方面的核心技术内容，并详细介绍了标准制定过程中主要参与单位——华为技术有限公司在技术方案贡献、应用场景定义和跨区域协调等方面发挥的积极作用。最后，报告评估了该标准对沉浸式媒体产业生态的预期影响，从内容创作工具、终端设备、网络传输及应用分发等多维度分析了标准的应用前景，并对后续标准化方向提出了展望。本报告旨在为相关领域技术人员、标准研究人员及产业决策者提供全面的参考依据。关键词：沉浸式媒体；场景描述；ISO/IEC23090；标准化；三维图形；虚拟现实；场景图；MPEG-IKeywords:ImmersiveMedia;SceneDescription;ISO/IEC23090;Standardization;3DGraphics;VirtualReality;SceneGraph;MPEG-I一、引言1.1研究背景沉浸式媒体技术正在深刻改变人类感知和交互数字内容的方式。从沉浸式视频观影到虚拟社交、从数字孪生到远程协作，三维场景的逼真呈现与自然交互已成为下一代媒体体验的核心要素。国际数据公司（IDC）预测，全球AR/VR市场规模将在2024年达到728亿美元，年复合增长率超过54%。然而，产业快速发展的同时也面临着一个根本性挑战：缺乏统一的场景描述标准来支撑跨平台、跨设备的内容互操作。传统视频编码标准（如H.264/H.265）以像素为基本处理单元，能够高效压缩二维图像序列，却无法表达三维场景中的空间关系、物体属性、光源信息和交互逻辑。对于沉浸式媒体而言，场景不仅需要被"看"，更需要被"探索"和"交互"。用户可以在场景中自由移动视角、操作虚拟物体、触发事件响应，这些功能远远超出了传统编解码标准的表达能力范畴。1.2标准化意义ISO/IEC23090系列标准（通称MPEG-I）由ISO/IECJTC1/SC29（编码音视频、图像、超媒体和信息多媒体联合技术委员会）制定，旨在为沉浸式媒体提供端到端的编码表示框架。其中，第14部分专门针对场景描述制定统一规范，其标准化意义体现在以下三个维度：技术维度：确立三维场景的通用数据模型和编码格式，使得不同引擎和渲染器之间可实现场景数据的无损交换与解析。这要求标准在抽象层次、数据密度和可扩展性之间取得平衡——既要覆盖完整的场景语义，又要避免过度设计带来的实现负担。产业维度：打破内容创作工具、分发平台和终端设备之间的格式壁垒，构建开放、健康的产业生态。目前，业界的场景描述格式（如glTF、USD、FBX等）各有所长，但互不兼容。统一标准有望降低内容生产成本，加速优质内容的跨平台流通。用户维度：保障用户体验的一致性，使消费者在不同品牌的设备上获得等效的沉浸式体验，避免因格式差异导致的内容不可用或体验降级。二、标准概述2.1标准基本信息-标准编号：ISO/IEC23090-14:2023-标准名称：信息技术沉浸式媒体的编码表示第14部分：场景描述-英文名称：Informationtechnology-Codedrepresentationofimmersivemedia-Part14:Scenedescription-发布日期：2023年6月2日-发布机构：国际标准化组织（ISO）与国际电工委员会（IEC）联合发布-标准状态：已修订（当前版本为第二版，替代早期草案版本）-国际标准分类（ICS）号：35.040.40（图像编码）2.2标准定位ISO/IEC23090-14:2023是MPEG-I标准体系中的关键组成部分。MPEG-I系列标准涵盖沉浸式媒体的采集、表示、存储、传输和渲染全链路，其中部分10至部分13分别规定了下采样元数据（Downsamplingmetadata）、多视角视频编码、图像基渲染和点云编码等技术规范，而本部分（第14部分）聚焦于将上述各类媒体元素组织为统一场景的空间结构与行为逻辑。从功能定位来看，该标准与Web3D领域的ISO/IEC19775（X3D）和KhronosGroup的glTF等格式存在交集，但在功能要求和应用定位上存在显著差异：X3D侧重CAD和工程可视化应用，glTF侧重静态场景的高效传输，而ISO/IEC23090-14则面向动态、交互式、实时流媒体场景，强调与视频、音频、点云等多种媒体类型的集成能力。三、标准制定过程3.1组织架构ISO/IEC23090-14:2023由ISO/IECJTC1/SC29（音视频编码、图像编码、超媒体与信息多媒体编码联合技术委员会）下属的WG2（编码视频与音频工作组，原MPEG工作组）负责制定。SC29/WG2在沉浸式媒体编码领域设有多个特别关注组（AdhocGroup），其中场景描述相关的专项小组负责技术需求收集、候选方案评估和标准文本起草等工作。值得关注的是，我国专家深度参与了该标准的制定工作。工业和信息化部电子工业标准化研究院、中国电子技术标准化研究院、北京大学、清华大学等多家国内单位长期跟踪并参与MPEG-I系列标准的制定，在场景描述的需求定义、技术提案和验证测试等环节发挥了重要作用。3.2标准制定历程需求阶段（2019年—2020年）：SC29/WG2启动沉浸式媒体场景描述的需求调研工作。通过征集来自消费电子、内容制作、芯片设计和电信运营等不同领域的需求输入，形成了《沉浸式媒体场景描述技术需求》草案，明确了标准的应用场景、功能要求和性能指标。主要需求包括：支持六自由度（6DoF）运动、支持场景动态更新、支持多视点视频与图形内容的融合、支持实时流式传输等。提案征集与评估阶段（2020年—2021年）：面向全球征集场景描述技术提案。截至2021年初，共收到来自中国、美国、韩国、日本、德国、法国等国家的十余份提案。评估过程采用"核心实验"（CoreExperiment）模式，通过统一的测试数据集和评估标准对提案进行系统测试，涵盖编码效率、解析复杂度、渲染性能和可扩展性等指标。整合与草案阶段（2021年—2022年）：在核心实验基础上，WG2逐步整合各方技术优势，形成工作草案（WorkingDraft）。此阶段经历了多轮草案修订和一致性测试（ConformanceTesting），确保规范文本的严谨性和可实现性。2022年下半年起进入委员会草案（CommitteeDraft）阶段，开始面向各国家成员体征求意见。最终发布（2023年）：在解决所有技术争议和编辑性问题后，标准于2023年第一季度通过最终草案国际标准（FDIS）投票，并于2023年6月2日正式出版发布。3.3关键技术争议与解决标准制定过程中，若干关键议题引发了广泛讨论：场景图的数据结构选择：围绕采用基于树形层次结构（Tree-based）还是基于有向无环图（DAG）结构组织场景元素，各利益相关方展开了深入讨论。树形结构简单直观、易于串行化，但难以表达物体共享关系；DAG结构表达能力强，但增加了复杂性。最终标准采用了一种兼顾两者的设计方案，以树形结构为基础，通过引用机制支持共享实例。与Web标准的兼容性：是否将标准定位于兼容现有Web3D标准（特别是glTF）成为一个重要讨论议题。最终共识是：标准应支持从glTF等现有格式的导入路径，但建立独立于具体Web实现的通用表示，从而避免将标准绑定在特定技术生态上。交互能力的表达粒度：对于场景中交互行为的描述程度，存在"轻量描述派"和"强交互派"两种观点。前者主张标准仅描述静态场景结构和基本动画，将复杂行为逻辑留给上层应用实现；后者则认为标准应提供完备的交互行为描述能力。最终版本在两者之间取得了平衡——提供了一套基本的交互原语（如触碰检测、视点变化、物体变换等），同时保留了扩展接口。四、标准核心技术内容ISO/IEC23090-14:2023定义的场景描述格式采用JSON-based语法体系，以兼顾机器可解析性和人类可读性。标准规定的核心内容可从以下几个层面进行理解。4.1场景图结构标准采用基于节点的场景图模型来组织三维场景。场景图以层级化的结构描述场景中所有对象的空间关系、属性信息和逻辑组织。根节点代表整个虚拟世界，其子节点可以是空间节点、物体节点、光源节点、相机节点等。标准定义了四类基本节点类型：-空间节点（SpatialNode）：定义了坐标系变换关系，支持平移、旋转、缩放变换的组合，用于构建场景的嵌套空间结构。每个空间节点可包含多个子节点，从而形成层级化的场景组织。-图形节点（GraphicsNode）：描述具体的几何实体及其外观属性，是场景中可被渲染的对象。图形节点可包含网格（Mesh）、材质（Material）和纹理（Texture）等子元素。-光源节点（LightNode）：定义光源类型（方向光、点光源、聚光灯等）、强度、颜色和衰减参数，支持多种光照模型的渲染。-传感器与触发器节点（SensorandTriggerNode）：用于感知用户交互事件和场景状态变化，是实现交互功能的基础组件。每个节点包含唯一标识符、类型属性和可选扩展字段，通过节点间的引用关系表达共享资源，避免数据冗余。4.2几何与外观表示标准对三维物体的几何信息表达采用多种兼容路径：网格模型、参数化曲面和基于深度图像的表示。对于网格模型，标准支持三角形网格和四边形网格的编码表示，包括顶点坐标、法线、纹理坐标和顶点属性等数据。此外，标准还定义了LOD（多细节层次）机制，允许同一几何对象在不同距离或设备性能条件下切换不同精度的网格表示，从而在渲染质量和计算开销之间取得平衡。外观属性通过材质系统进行描述，支持PBR（基于物理的渲染）材质模型。材质节点包含基础色、金属度、粗糙度、法线贴图、环境光遮蔽贴图等PBR工作流所需的全部参数，同时也保留了传统Phong材质模型的兼容描述能力。纹理数据可嵌入场景文件内部，也可通过外部资源引用方式关联。4.3动画与时序控制场景要具备动态呈现能力，动画系统是不可或缺的技术支撑。标准提供了一套双层次动画支持机制：关键帧动画：对节点的空间变换、材质属性和相机参数等属性，可以定义时序关键帧序列。每个关键帧记录属性值和时间戳，渲染引擎通过插值算法计算任意时刻的属性状态。标准支持线性插值、样条插值和阶跃插值三种插值模式。骨骼动画：支持基于骨骼层次结构的蒙皮网格动画。标准允许定义骨骼节点的层级变换、蒙皮权重和动画剪辑（AnimationClip），满足人形角色和生物动画的常见需求。标准还定义了动画的循环控制、时间缩放和事件触发机制，使动画不仅能够预设播放，还能响应用户交互和场景条件的动态变化。4.4交互行为描述交互行为描述是场景描述标准中技术难度最高的部分，也是本标准的亮点所在。标准引入了"行为组件"（BehaviorComponent）的概念，通过声明式的方式描述用户与场景元素之间、场景元素之间以及场景元素与系统之间的交互逻辑：-观察者模式：定义了视角（Viewpoint）节点的概念，描述用户的观察位置和朝向。标准支持多种导航模式（自由漫游、轨道观察、飞行模式等）的描述，用户可以在不同视角之间切换。-拾取与选择：定义了拾取区域（PickRegion）和选择行为（SelectionBehavior），支持用户通过指向、触摸等操作选取场景中的对象。标准允许设定拾取的优先级和命中测试规则。-事件系统：定义了事件（Event）的数据结构以及事件源和事件监听器之间的连接关系。事件触发条件可以是用户输入、时间条件、场景状态变化等，触发的行为可以是节点属性的修改、动画的启动或停止等。4.5媒体集成与流式支持场景描述需要与真实世界的视听内容深度融合，支持多模态媒体数据的引用与同步。标准定义了媒体节点（MediaNode），用于在场景中嵌入视频流、音频流和图像等传统媒体数据。媒体节点可作为纹理映射到三维物体表面（例如在虚拟场景中的电视屏幕播放视频），也可作为空间音频源（位置化音频）。针对流式传输需求，标准支持场景描述的片段化编码与渐进式加载机制。场景文件可被分割为多个数据块（Segment），通过网络按需获取。这一机制显著降低了场景启动延迟，使用户在场景完全下载之前即可开始浏览——通过加载核心框架节点和关键对象的低分辨率版本先行渲染，随后根据视点位置和用户的移动方向逐步加载更精细的几何和纹理数据，实现了真正意义上的渐进式场景呈现。同时，标准还定义了场景更新（SceneUpdate）机制，支持在会话运行过程中对场景进行动态修改，包括增删节点、修改属性、替换纹理等操作。五、主要参与单位介绍5.1牵头制定单位：华为技术有限公司华为技术有限公司（HuaweiTechnologiesCo.,Ltd.）作为全球领先的信息与通信技术（ICT）解决方案提供商，在ISO/IEC23090-14:2023标准的制定过程中发挥了核心推动作用。华为在沉浸式媒体技术领域具有深厚的研究积累和前瞻性的战略布局。早在2017年，华为就启动了沉浸式媒体技术的研究计划，在*视觉处理、实时渲染、媒体传输等方向投入了大量研发资源。依托2012实验室下设的媒体技术实验室和中央软件研究院，华为组建了超过百人的标准化研究团队，专职从事MPEG等国际标准组织的标准制定工作。在本标准制定过程中，华为主要贡献体现在以下方面：技术方案的提出与论证。华为基于自研的场景描述引擎技术积累，在标准制定的核心实验阶段提交了多项关键技术提案，涵盖高效场景图编码算法、动态场景增量更新机制、低延迟交互事件分发架构等关键方向。其中基于增量编码的场景更新方案被工作组采纳为参考实现的核心算法之一，该方案通过检测场景图节点属性变化量并进行差分编码，在典型交互场景下可将场景更新数据量降低60%以上。应用场景的定义与需求输入。华为结合自身在CloudVR、增强现实导航、空间视频通话等业务中的实践经验，为标准的需求文档贡献了丰富的应用场景和用例描述。特别是在弱交互（用户仅可改变视点方向）和全交互（用户可在场景中自由移动和操作）之间的分层分类方法，被工作组采纳为需求文档的基本框架，为后续技术方案的评估提供了清晰的应用导向。跨区域协调与测试验证。华为积极参与中国国家成员体（通过中国电子技术标准化研究院组织）在SC29/WG2中的工作协调，推动反映国内产业需求的技术方案纳入标准文本。同时，华为搭建了符合标准草案的端到端测试平台，对标准的可实现性和性能指标进行了系统验证，为标准草案的完善和最终定稿提供了重要的实验数据支撑。5.2其他主要参与机构除华为外，多家国际知名企业和研究机构在本标准制定中发挥了重要作用。法国巴黎电信学院（TélécomParis）在场景图的高效编码方面提供了基础性理论支撑，其提出的基于空间一致性的几何数据压缩算法为网格编码模块的设计提供了理论依据。韩国电子通信研究院（ETRI）在多视点视频与图形内容融合技术方面贡