ISOIEC 23090-72022 信息技术.沉浸式媒体的编码表示.第7部分沉浸式媒体元数据标准立项发展报告

信息技术沉浸式媒体的编码表示第7部分：沉浸式媒体元数据标准立项发展报告StandardizationDevelopmentReport:Informationtechnology—Codedrepresentationofimmersivemedia—Part7:Immersivemediametadata摘要随着虚拟现实（VR）、增强现实（AR）及混合现实（MR）技术的日益成熟与商业化普及，沉浸式媒体已成为下一代数字内容的核心形态。然而，海量、多维且交互性强的沉浸式内容在创建、传输、渲染及消费过程中面临严重的数据兼容性与互操作性挑战。标准化的元数据体系是解决这些问题的关键基石。本报告聚焦国际标准ISO/IEC23090-7:2022（即MPEG-I第7部分），对其立项背景、技术框架、主要内容及行业价值进行了系统性分析。报告首先阐述了沉浸式媒体元数据标准化的迫切需求，指出当前不同设备与平台间的信息孤岛现象。随后，报告深入剖析了该标准所定义的核心元数据结构，包括静态场景、动态场景、三维音频及交互性描述等关键领域。重点分析了标准如何通过统一的描述语言，实现从内容捕获到终端呈现的全链条信息通联。结论指出，ISO/IEC23090-7:2022的发布是沉浸式媒体标准化进程中的一个里程碑，它有效解决了内容属性描述的一致性难题，为构建开放、兼容的沉浸式媒体生态奠定了坚实基础。该标准对于推动沉浸式内容的大规模生产、跨平台分发以及个性化体验具有深远的指导意义，预示着一个更加智能、高效的沉浸式媒体时代的到来。关键词：沉浸式媒体；元数据；MPEG-I；ISO/IEC23090；互操作性；三维音频；虚拟现实Keywords：ImmersiveMedia;Metadata;MPEG-I;ISO/IEC23090;Interoperability;3DAudio;VirtualReality1.引言在数字媒体技术的演进历程中，从二维平面影像到三维立体空间，再到如今能够实现全方位感官包裹的沉浸式媒体，每一次跃迁都伴随着编码技术与数据描述体系的革新。沉浸式媒体，涵盖了包括全景视频、六自由度（6DoF）视频、容积视频以及空间音频在内的多种前沿形式，其核心在于为用户构建出一个与现实世界无缝隙融合或完全虚拟的、可通过自然交互进行探索的动态环境。然而，这种高度的复杂性与自由性也带来了前所未有的挑战。传统的静态媒体（如图片、文字）和线性动态媒体（如传统视频）拥有成熟的标准支撑，例如JPEG、MPEG-2、H.264等。相比之下，沉浸式媒体内容的描述面临着更复杂的维度：它需要被表征的不再仅仅是帧数、码率或分辨率，而是包括但不限于三维空间几何结构、时间序列的动态变化、用户视点的自由选择、空间音频的反射与声场、内容的分辨率梯度（用于视驱动渲染）、以及版权信息与时序同步等海量属性。在缺乏统一标准的情况下，沉浸式内容的开发呈现出“碎片化”态势。不同设备厂商、内容平台提供的SDK（软件开发工具包）定义了各自的私有元数据格式，导致内容在创作引擎（如Unity、Unreal）中打包后，无法在其他品牌的头显设备（HMD）上正确解析“重力方向”、“初始视角”、“场景锚点”等关键参数。这种互操作性的缺失严重阻碍了内容资产的跨平台复用，增加了开发成本，并最终导致了用户体验的分裂。正是在这一背景下，国际标准化组织（ISO）与国际电工委员会（IEC）的第一联合技术委员会（JTC1）下属的运动图像专家组（MPEG）启动了MPEG-I系列标准（ISO/IEC23090）的制定工作。其中，ISO/IEC23090-7:2022作为专门定义沉浸式媒体元数据的关键部分，其立项与发布，旨在构建一个全面、可扩展的元数据框架，用以描述沉浸式媒体内容的创建、封装、传输、渲染及交互全过程。2.标准制定背景与意义2.1技术演进的需求牵引自2016年VR产业迎来“元年”高潮后，沉浸式媒体技术经历了从“可用”到“好用”的快速迭代。早期的全景视频采用等距柱状投影（ERP），仅需简单的元数据标识其投影格式。但近年来，容积视频、自由视点视频（FVV）以及基于网格或点云的动态场景成为主流。这些内容背后往往包含数十个摄像机阵列生成的深度图、纹理图、以及庞杂的三维网格数据（数百万个顶点）。为了高效渲染，引擎需要预先知道这些数据的空间排列、坐标原点、时间戳对齐方式以及质量层级（LOD，细节层次）策略。ISO/IEC23090-7:2022的出现，正是为了给这些复杂的物理和逻辑属性提供一个统一的“身份证”编码规则。2.2产业链协同的迫切需求沉浸式媒体产业涉及的环节众多：从上游的内容捕获（多相机阵列、激光雷达扫描）、中游的内容加工与封装（拼接、音视频同步、压缩编码），到下游的硬件终端渲染（PCVR、一体机、AR眼镜）和云分发平台。若无标准化的元数据，整个产业链将陷入“点对点”定制的泥潭。例如，一个由A公司拍摄的8KVR高清航拍视频，可能在B公司的云平台上被错误地标记为6K，或者在C品牌的HMD上因为缺少渲染变换矩阵而出现画面畸变。本标准的实施，使得上游内容的属性能够在分发链条中无损、精确地传递，从而降低适配成本，加速内容从制作到消费的流通速度。2.3对用户体验的直接影响最终用户体验的提升是标准化的最终目标。合理的元数据能够指导终端设备进行智能化的资源分配。例如，通过“视口相关”的元数据（视口分片信息），终端可以根据用户的实时注视点，仅下载中心凹区域的高分辨率纹理，而其他区域保持低分辨率，从而大幅降低网络带宽消耗和渲染延迟。此外，通过三维音频元数据描述“声场旋转矩阵”与“距离衰减曲线”，用户佩戴不同品牌的耳机时都能获得一致且富有空间感的听觉体验，避免了因硬件差异导致的声音方向错乱或“头中定位”效应。3.标准核心技术内容ISO/IEC23090-7:2022作为MPEG-I系列标准的核心组成部分，其技术内容旨在建立一个自描述、可扩展且与编解码器无关的元数据体系。该标准并未规定具体的编解码算法，而是定义了一套语法和语义规则，用于承载描述沉浸式场景所有维度的信息。其核心内容包括以下几个主要方面：3.1基础总体结构标准定义了一个核心的元数据容器，被称为“沉浸式媒体元数据”实例。该容器是自包含的，可以独立于音视频数据流传输，也可以作为流媒体封装格式（如ISOBMFF，基于ISO的媒体文件格式）中的一部分复用。它采用基于XML或二进制的编码表示（使用MPEG的通用位流语法），提供了高效的机器可解析能力。结构上主要包括场景描述元数据、媒体编码元数据、交互性元数据和资产元数据四大模块。3.2场景描述与几何元数据这是本标准最突出的创新点之一。它专门用于描述虚拟或真实场景的几何构成和空间关系。-坐标系与空间参考：明确定义了全局坐标系和局部坐标系的映射关系，包括世界坐标系、观察者坐标系和对象坐标系。这对于多个3D对象在场景中的正确摆放至关重要。-几何模型描述：支持包括网格模型（顶点、法线、纹理坐标）、点云（位置、颜色、属性）、隐式曲面等多种几何表示方式。元数据会描述顶点数量、面的连通性规则、法线编码格式等属性。-视口与渲染参数：定义了“视口元数据”，描述了理想虚拟摄像机的视场角、焦距、传感器尺寸以及位置，用以指导终端渲染器生成与源内容特性一致的图像。此外，还包括动态场景中的时间轴与关键帧标记。3.3三维音频元数据除了视觉沉浸，听觉沉浸也是体验的关键。该标准对空间音频的描述进行了专门细化：-声场描述：支持基于对象（Object-Based）和基于通道（Channel-Based，如7.1.4）以及基于场景（HOA-Ambisonics）的音频空间化参数。元数据中包含对象的3D位置（Cartesian坐标）和速度矢量。-声学属性描述：定义了早期反射、混响时间、混响尾音指数等声学参数，使得不同终端设备能够根据自身声学特性（如耳机、外放）和预设（如剧院模式、标准扬声器模式）进行智能化的声场重建。-同步与定位：提供严格的音频帧与视频帧之间的时间戳关联机制，确保唇形同步和音画一致。3.4交互性与可访问性元数据针对AR/MR应用，标准定义了丰富的交互性描述：-锚点与平面检测：提供“可锚定”对象的元数据，允许内容标记出哪些空间位置适合放置虚拟物品。同时描述了“平面检测”结果，帮助终端设备在真实世界中快速找到水平或垂直的支撑面。-交互事件与触发：支持定义虚拟对象与用户的交互规则，例如：当用户点击某个对象时变化其颜色或播放音效。这些交互逻辑通过元数据中的“行为描述器”进行编码。-可访问性属性：提供了文字、语言描述、高对比度颜色方案等替代性访问元数据，以满足不同能力用户的需求。3.5资产与许可元数据为了支持商业化和版权保护，标准包含了：-内容资产标识：支持统一的资源定位符（URL）和专用国际标准内容代码（ISAN）等标识符，用于唯一确定媒体资产。-许可与使用限制：描述了内容的许可证类型、地域限制、年龄评级以及导出权等信息。这为内容分发平台实现精细化权限管理提供了数据支持。4.标准主要参与单位介绍：国际标准化组织/国际电工委员会第一联合技术委员会运动图像专家组(ISO/IECJTC1/SC29/WG2-MPEG)ISO/IEC23090-7:2022的主导制定单位是具备全球声誉的运动图像专家组（MovingPictureExpertsGroup,MPEG）。MPEG是由国际标准化组织（ISO）和国际电工委员会（IEC）联合成立的一个专门负责制定数字音视频及多媒体编码与压缩国际标准的权威技术委员会。其正式编号为ISO/IECJTC1/SC29/WG2。组织背景与权威性MPEG成立于1988年，迄今为止已发布了包括MPEG-1（VCD标准）、MPEG-2（DVD/数字电视标准）、MPEG-4（互联网流媒体标准）、MPEG-7（多媒体内容描述接口）以及MPEG-21（多媒体框架）等具有划时代意义的系列标准。这些标准不仅深刻影响了消费电子产业，更是当前全球数字媒体生态的基石。MPEG的权威性来自于其严谨规范的制定流程、广泛而开放的国际参与度以及卓越的技术前瞻性。在沉浸式媒体标准制定中的角色面对沉浸式媒体技术的浪潮，MPEG于2016年前后启动了最新的MPEG-I系列（即ISO/IEC23090系列）标准的立项工作。第7部分（沉浸式媒体元数据）即为该系列的关键组成部分。在制定本标准的过程中，MPEG汇集了来自全球数百家公司、大学和研究机构的顶尖专家，包括但不限于以下领域的代表：-硬件厂商：如索尼、Meta（Oculus）、HTC、Microsoft等，提供对终端渲染能力和传感器技术的深刻理解。-内容制作与分发平台：如谷歌、苹果、Netflix等，提供对内容生产与分发现实需求的实践经验。-编码与图形技术公司：如英伟达、AMD、FraunhoferIIS等，贡献了在GPU渲染、空间音频编码及压缩方面的核心技术。-学术界：来自世界各地的高校学者，提供了前沿的理论创新与算法验证。贡献与影响在ISO/IEC23090-7:2022的制定过程中，MPEG展现了其典型的工作模式：通过征求草案（CallforProposals）、评估提案、协同编辑、技术验证（核心实验）以及内部投票等多个阶段，最终通过全体共识形成标准文本。MPEG不仅定义了本标准的语法和语义，还开发了相应的参考软件（ReferenceSoftware）和一致性测试（ConformanceTesting）体系，确保不同厂商的实现能够互操作。该标准的发布，标志着MPEG在沉浸式媒体领域又一次展现了其定义产业规则的能力，为未来的空间计算和元宇宙基础设施奠定了不可或缺的数据描述基础。5.结论与展望ISO/IEC23090-7:2022:信息技术沉浸式媒体的编码表示第7部分：沉浸式媒体元数据的发布，是沉浸式媒体技术从实验性走向大规模产业化应用的关键一步。本标准解决了长期以来困扰行业的核心痛点——缺乏统一的内容描述语言。它不仅定义了基础的空间声场与几何元数据，更前瞻性地引入了交互性、可访问性及资产管理等维度，为构建一个复杂且富有生命力的沉浸式数字宇宙提供了标准化支撑。未来展望：1.智能化与AI融合：随着AI技术的爆发，未来的元数据标准将可能与机器学习模型结合。例如，AI可以根据内容自动生成更精细的元数据（如自动识别场景中物体的物理属性、光照变化、语义标签等），而标准化的元数据格式将成为AI模型进行内容理解和推荐的基础设施。2.面向元宇宙的互操作：在未来的元宇宙愿景中，用户需要在不同平台间无缝穿梭其身份、资产和数字空间。ISO/IEC23090-7:2022所提供的元数据框架，经过扩展后，有望成为连接不同元宇宙平台的“通用语言”，实现虚拟资产（如3D模型、虚拟时装）的跨平台流转。3.边缘计算与流式优化：未来的沉浸式媒体将更多地依赖边缘计算。标准化的元数据可以指导边缘节点进行预渲染、缓存策略优化以及按需分发。例如，根据元数据中标记的场景复杂度（静态/动态），边缘服务器可以提前加载或计算相关数据，从而保证低延迟、高并发的云VR/X