ISOIEC 23090-142023AMD12023 修改件1.信息技术.沉浸式媒体的编码表示.第14部分场景描述标准立项发展报告

修改件1信息技术沉浸式媒体的编码表示第14部分场景描述标准立项发展报告StandardizationDevelopmentReport:Amendment1-InformationTechnology-CodedRepresentationofImmersiveMedia-Part14:SceneDescription摘要随着虚拟现实（VR）、增强现实（AR）及混合现实（MR）等沉浸式技术的飞速发展，场景描述作为连接三维几何、动态对象与用户交互的核心技术环节，其标准化需求日益迫切。本报告围绕国际标准ISO/IEC23090-14:2023/AMD1:2023《修改件1信息技术沉浸式媒体的编码表示第14部分场景描述》的立项背景、技术内容、修订过程及行业影响展开系统阐述。该标准由国际电工委员会（IEC）下属的ISO/IECJTC1/SC29联合技术委员会发布，于2023年11月正式发布，是对ISO/IEC23090-14:2023基础文本的重要增补。修改件重点改进了沉浸式场景中动态对象的交互机制，增强了三维网格与材质模型的表达效率，并优化了与MPEG-DASH等多协议传输环境的兼容性。本报告同时梳理了标准从立项预研、各国投票到最终发布的全流程时间线，分析了其对沉浸式媒体内容生产、分发与终端呈现的全链条影响，并对未来版本在AI驱动场景生成、6DoF自由视角演进方向上的技术布局进行了前瞻性展望。该标准的发布标志着沉浸式媒体标准化体系步入了精细化迭代阶段，为全球沉浸式内容产业的规模化应用提供了统一的技术基准。关键词：沉浸式媒体；场景描述；ISO/IEC23090；MPEG-I标准体系；三维图形编码；交互式媒体Keywords:ImmersiveMedia;SceneDescription;ISO/IEC23090;MPEG-IStandardFamily;3DGraphicsCoding;InteractiveMedia一、引言1.1标准立项背景沉浸式媒体技术正在重塑人类感知世界的方式。根据中国信息通信研究院发布的《全球数字经济白皮书（2023年）》数据，全球XR（扩展现实）市场规模在2023年已达到约310亿美元，年复合增长率维持在30%以上。然而，在硬件设备快速迭代的同时，内容格式的碎片化问题始终制约着产业规模化发展。不同设备厂商、内容平台各自为政的场景格式，导致内容制作成本高昂、跨平台复用困难，严重阻碍了沉浸式内容的生态繁荣。在此背景下，国际标准化组织ISO/IECJTC1（信息技术联合技术委员会）下属的SC29分技术委员会（音频、图像、多媒体和超媒体信息编码）于2017年启动了MPEG-I（沉浸式媒体编码表示）系列标准的研究工作。该系列标准旨在建立一套端到端的沉浸式媒体编码与表示框架，涵盖从采集、编码、传输到渲染的完整技术链条。其中，第14部分（Part14）专注于场景描述（SceneDescription），是整个MPEG-I框架中负责组织空间内容、定义交互逻辑的核心组成部分。1.2场景描述在沉浸式媒体中的核心地位场景描述（SceneDescription）是沉浸式体验的逻辑骨架。它定义了三维虚拟空间中对象的几何信息、外观属性、空间变换关系、动画行为以及用户交互规则。在传统视频编码中，画面的组织逻辑由摄像头位置和帧序列隐含确定；而在沉浸式媒体中，用户可以在自由视点空间内主动探索，场景的组织方式必须从"序列帧驱动"转变为"描述驱动"。因此，场景描述格式的标准化不仅影响内容制作的效率，更从根本上决定了终端设备上沉浸式体验的表现力和一致性。ISO/IEC23090-14标准所定义的场景描述格式，基于场景图（SceneGraph）架构，支持高效的空间索引、动态对象管理和层次化渲染控制。该格式的设计目标在于：在保证表达灵活性的同时，实现高效的二进制序列化和渐进式加载，以适应流媒体分发场景下的带宽约束和实时渲染需求。二、标准技术内容分析2.1标准体系定位ISO/IEC23090-14:2023是MPEG-I系列标准中面向场景描述的核心规范。该标准建立在ISO/IEC23090-14:2023基础文本的技术框架之上，通过发布正式修改件（Amendment1）的方式实现技术演进。作为"修改件"，其技术变更遵循MPEG标准体系的两阶段更新机制：先由各国成员体提交技术提案（Proposal），经由专家组评审和核心实验验证后，形成最终文本（FDAM），再由各成员国投票表决。2.2修改件核心技术改进2.2.1动态对象交互增强原版标准在静态场景描述方面提供了较为完备的定义，但对于动态场景中对象间的复杂交互支持有限。AMD1引入了一套增强的动态对象交互描述机制，允许场景描述文件在运行期动态更新对象属性，支持基于骨骼动画（SkeletalAnimation）的角色动作控制，并提供了碰撞检测与响应的标准描述接口。这一改进使得同一场景描述文件能够适配更多样化的交互式应用，显著增强了标准在游戏、虚拟直播等强交互场景下的适用性。2.2.2三维网格与材质模型优化针对高精度三维模型的传输效率问题，修改件引入了基于子网格（Sub-mesh）划分的渐进式流送机制。在带宽受限的网络环境中，终端设备可首先加载并渲染低精细度的基础网格，再根据用户视点变化动态加载更高精度的细节层次（LOD）。在材质表达方面，AMD1补充了基于物理渲染（PBR）的材质参数集定义，支持金属度-粗糙度工作流（Metallic-RoughnessWorkflow），与业界主流的建模工具（如Blender、UnrealEngine、Unity）实现顺畅对接。2.2.3传输协议兼容性优化考虑到沉浸式媒体通常以流式传输的方式交付给用户，AMD1在场景描述封装格式上进行了面向传输层的优化。修改件定义了与MPEG-DASH（ISO/IEC23009-1）和MMT（ISO/IEC23008-1）协议的映射规范，支持场景分片（Chunk）的独立编址和条件获取。终端可根据当前视点和交互状态，仅请求必要的场景片段，从而大幅降低初始加载延迟和带宽占用。2.3标准技术架构与创新点总结|技术维度|基础版本（ISO/IEC23090-14:2023）|AMD1新增特性||---------|-------------------------------|-------------||场景图架构|静态场景图描述|动态对象实例化与运行时属性更新||动画支持|基本刚体变换动画|骨骼动画、混合形状（BlendShape）||交互机制|基础视点导航|碰撞检测、触发区域、事件响应的标准化描述||网格编码|单层网格|多分辨率子网格渐进式流送||材质表达|基本着色属性|PBR材质、环境光照、自定义着色器扩展||传输适配|原始二进制封装|DASH/MMT协议映射、分片独立编址||渲染优化|无|视锥剔除数据传输优化、LOD触发策略|三、标准立项与制定过程3.1标准制定时间线ISO/IEC23090-14:2023/AMD1:2023的制定工作遵循ISO/IECJTC1的标准开发流程，经历了以下关键阶段：|阶段|时间节点|主要工作内容||------|---------|-------------||提案征集（CallforProposals）|2022年3月|SC29/WG3（沉浸式媒体编码工作组）面向各成员体征集修改意见和技术提案||核心实验（CoreExperiment）|2022年6月-12月|针对各提交方案开展技术评估与对比验证，确定技术基线||工作草案（WD）|2023年1月|在综合各提案优势的基础上，形成首个工作草案||委员会草案（CD）|2023年3月|征求各国成员体官方意见||最终草案国际标准（FDIS）|2023年7月|汇总处理各方投票意见，形成最终文本||正式发布|2023年11月9日|经最终投票通过后，正式出版发行|3.2采用工作组参与情况AMD1的制定凝聚了全球范围内多个企业和研究机构的贡献。根据SC29会议纪要，在技术提案阶段共收到来自12个国家的38项正式提案，主要贡献机构包括：FraunhoferHHI（德国）、InterDigital（美国/法国）、华为（中国）、三星电子（韩国）、Nokia（芬兰）和索尼（日本）等。其技术贡献范围涵盖网格编码优化、交互描述框架设计、传输适配层定义及验证工具研发等多个维度。四、标准修订参与单位及协作机制4.1主要参与单位介绍：FraunhoferHHI弗劳恩霍夫海因里希·赫兹研究所（FraunhoferHeinrich-Hertz-Institut，简称FraunhoferHHI）是德国弗劳恩霍夫应用研究促进协会旗下专注于通信技术领域的研究机构，总部位于柏林。作为全球视频编码与沉浸式媒体领域最负盛名的研究机构之一，FraunhoferHHI在MPEG标准体系中扮演着核心技术与主要贡献者的角色。FraunhoferHHI在沉浸式媒体领域的核心技术积累可追溯至其在视频编码领域的长期深耕。该所是H.264/AVC、H.265/HEVC和H.266/VVC等历代视频编码标准的共同发明者与核心推动者，在三维场景表示、点云压缩和自由视点视频等方向积累了深厚的技术底蕴。在ISO/IEC23090-14及AMD1的制定过程中，FraunhoferHHI承担了关键技术框架设计、验证软件开发和互操作性测试等重要工作。具体而言，FraunhoferHHI对AMD1标准的技术贡献主要集中在以下方面：第一，在网格压缩编码方面，贡献了基于子网格划分的渐进式编码方案，该方案后被采纳为AMD1标准中多分辨率网格流送机制的技术基线；第二，在场景图动态更新方面，提出了基于增量描述符（DeltaDescriptor）的对象属性更新机制，显著提升了场景描述文件在动态场景中的解析效率；第三，FraunhoferHHI还负责牵头编制了标准一致性测试规范的草案，为后续标准验证和认证工作提供了可操作的技术指引。同时，FraunhoferHHI深度参与了标准制定中的各阶段技术验证工作。在核心实验阶段（2022年6月至12月），FraunhoferHHI搭建了一套完整的端到端测试平台，涵盖从三维场景建模、场景描述编码到终端解码与实时渲染的全流程，为AMD1各项技术提案的性能对比和方案选型提供了关键的实验数据支撑。4.2标准协作机制AMD1的制定成果依托于ISO/IECJTC1/SC29/WG3工作组的高效协同机制。WG3（沉浸式媒体编码）内部采用分专题（Ad-hocGroup）并行推进的方式，每个专题组聚焦一个技术方向，定期以线上和线下结合的方式召开会议。同时在正式会议之外，各参与单位通过共享的参考软件仓库、GitHub协作平台开展日常技术讨论和代码提交，实现了全球分布式协作开发。五、标准应用现状与影响分析5.1标准在市场中的应用反馈自2023年11月发布以来，ISO/IEC23090-14:2023/AMD1:2023已在全球范围内获得了产业界和学术界的广泛关注。多家主要终端厂商在三目全景相机、VR一体机和空间计算设备中开始评估部署该标准的场景描述能力。在空间视频、3D数字人、虚拟演播厅等典型应用场景中，AMD1所支持的动态场景更新和渐进式网格流送技术已展现出显著的性能优势。5.2对产业生态的影响在内容生产侧，AMD1对PBR材质的原生支持降低了三维内容从建模工具（如Blender、3dsMax）向终端渲染引擎迁移的格式转换开销，提升了内容制作管线的效率。在内容分发侧，场景分片独立编址机制使得CDN（内容分发网络）可按需返回场景片段，改变了传统整包分发的流量消耗模式，为大规模沉浸式内容分发提供了标准化解决方案。在终端渲染侧，与主流实时渲染引擎的兼容性测试显示，AMD1的场景描述文件可直接导入Web端的Three.js和原生端的UnrealEngine，无需额外的格式转换层。六、第三方技术评测与标准落地验证为检验AMD1的工程可行性与性能增益，国内外多家研究机构和标准化测试实验室已开展独立技术评测工作。在清华大学计算机科学与技术系与北京理工大学光电学院于2024年联合开展的验证测试中，团队基于AMD1标准构建了一套动态场景交互系统，针对4K分辨率的6DoF沉浸式场景进行了加载性能对比测试。测试结果显示：在带宽受限的5G网络环境下（20Mbps），采用AMD1分片渐进式流送机制的方案相较于传统整包加载方案，首帧绘制时间降低了约63%，场景切换延迟降低了约55%，验证了标准在网络适应性方面的技术增益。七、结论与展望7.1标准制定的总结性评述ISO/IEC23090-14:2023/AMD1:2023的发布，标志着沉浸式媒体场景描述标准化从"基础能力定义"迈入了"精细化功能增强"的新阶段。修改件在保持与基础版本完全向后兼容的前提下，通过动态交互增强、网格流送优化和传输适配扩展三方面核心改进，显著拓展了标准在交互式应用场景中的适用深度。从标准制定方法论来看，AMD1的成功发布检验了MPEG体系在"增量式演进"路径上的可行性。通过工作草案、核心实验和多方投票的多轮迭代验证，确保了技术内容的成熟度与广泛共识。参与单位在制定过程中形成的开放协作模式，也为后续其他部分的修改提供了可复制的组织方法论。7.2尚未解决的技术与产业问题尽管AMD1取得了显著进展，部分技术和产业层面的问题仍有待后续版本回应。在渲染一致性方面，不同GPU厂商和浏览器的渲染管线差异较大，如何定义一致的渲染结果以确保"一次制作、到处一致"的体验，仍是标准制定的难点。在AI辅助的内容生成管线上，AI模型输出的场景表示往往带有概率性特征，直接嵌入确定性场景描述框架仍存在语义转换的Gap。此外，大带宽、低时延的沉浸式体验成本仍然偏高，如何通过标准化路径实现内容层面的降本增效，尚需进一步的产业协同。7.3未来演进方向前瞻展望未来，ISO/IEC23090-14系列标准的演进将呈现以下趋势：在AI驱动场景生成方面，SC29/WG3已启动关于AI辅助场景构建（AI-assistedSceneConstruction）的探索性研究，将场景描述与神经网络表示（NeuralRepresentation）相结合，实现基于语义理解的自动化场景生成与编辑。随着空间计算设备在消费市场的进一步普及，场景描述标准预计将支撑交互式远程呈现（Telepresence）、数字孪生和工业元宇宙等新兴应用场景的差异化需求。在技术架构层面，未来版本预计将进一步提升描述文件的可扩展性，支持多模态场景描述（融合几何、光照、音频、触觉等多感官通道）的统一编排与同步呈现。参考文献[1]ISO/IEC23