ISOIEC 23001-102020Amd 12021 信息技术.MPEG系统技术.第10部分ISO基媒体文件格式的媒体定时元数据度量的承载.修改件1对沉浸式媒体的内容引导转码和空间关系的支持标准立项发展报告

StandardizationDevelopmentReport:CarriageofTimedMetadataMetricsofMediainISOBaseMediaFileFormat—Amendment1:SupportforContent-GuidedTranscodingandSpatialRelationshipofImmersiveMedia英文标题StandardizationDevelopmentReport:Informationtechnology—MPEGsystemstechnologies—Part10:CarriageoftimedmetadatametricsofmediainISObasemediafileformat—Amendment1:Supportforcontent-guidedtranscodingandspatialrelationshipofimmersivemedia摘要随着超高清视频、虚拟现实（VR）、增强现实（AR）及自由视点视频等沉浸式媒体的迅猛发展，传统视频编码与传输模式面临前所未有的挑战。媒体内容的高复杂度、多视角特性及动态网络环境对转码效率、质量控制和空间关系表达提出了更高要求。在此背景下，国际标准化组织（ISO）与国际电工委员会（IEC）联合发布ISO/IEC23001-10:2020/Amd1:2021修订案，对ISO基媒体文件格式（ISOBMFF）中定时元数据度量的承载机制进行了重要扩展。本报告系统阐述了该修订案的立项背景、核心技术内容、应用场景及产业价值。修订案引入了内容引导转码（Content-GuidedTranscoding）的支持能力，使转码决策可基于媒体内容语义特征进行自适应优化，显著提升转码效率与主观质量；同时，新增了沉浸式媒体空间关系描述机制，为多视角视频、点云及全景媒体提供标准化的空间坐标与方位表达框架。本报告还深入分析了参与修订工作的核心标准化组织——国际标准化组织/国际电工委员会第一联合技术委员会（ISO/IECJTC1）第29分技术委员会（SC29）的组织架构与工作机制，并对该标准在流媒体服务、云转码平台、沉浸式终端及智慧媒体生产等领域的应用前景进行了展望。该修订案的发布标志着媒体文件格式标准化在智能化、沉浸式方向的实质性推进，为未来媒体生态系统的互操作性与高效性奠定了重要基础。关键词：ISO基媒体文件格式；定时元数据；内容引导转码；沉浸式媒体；空间关系；MPEG系统；标准化Keywords:ISOBaseMediaFileFormat(ISOBMFF);TimedMetadata;Content-GuidedTranscoding;ImmersiveMedia;SpatialRelationship;MPEGSystems;Standardization1引言1.1背景与研究意义数字媒体技术正经历从平面高清向沉浸式多维感知的深刻变革。虚拟现实、增强现实、自由视点视频、体积视频等新兴媒体形态不断涌现，其数据量呈指数级增长。以8K超高清视频为例，单路原始数据率已超过48Gbps，远超当前网络传输能力的上限。与此同时，终端设备的多样性（从智能手机到头戴式显示器）与网络环境的异构性（从5G移动网到家庭宽带）使得媒体内容必须经过多次转码与适配方可送达最终用户。传统转码策略通常基于码率、分辨率等低层信号特征进行决策，难以感知媒体内容的语义重要性，导致在带宽受限场景下出现关键区域质量劣化、非关注区域码率浪费等问题。此外，沉浸式媒体中多路视频流、点云数据与音频对象之间存在复杂的空间位置关系，缺乏标准化描述手段使得跨系统、跨设备的内容呈现与交互面临严重互操作障碍。在此背景下，ISO/IECJTC1/SC29（编码音频、图像、多媒体和超媒体信息分技术委员会）启动了ISO/IEC23001-10标准修订工作，旨在通过扩展ISO基媒体文件格式（ISOBMFF）的定时元数据承载能力，解决上述关键问题。1.2标准基本信息本报告所涉及的标准修订案编号为ISO/IEC23001-10:2020/Amd1:2021，由国际标准化组织（ISO）与国际电工委员会（IEC）联合发布，发布日期为2021年9月20日，标准状态为现行。该修订案归属于ISO/IEC23001系列标准（MPEG系统技术），该系列标准为MPEG多媒体应用提供系统层面的基础技术规范。1.3报告结构本报告共分为七个部分：第一部分为引言，介绍研究背景与标准基本信息；第二部分为修订背景与需求分析，梳理技术演进脉络与产业驱动因素；第三部分为核心技术内容，详细阐述修订案的两大技术扩展；第四部分为标准实施与应用场景；第五部分为参与单位介绍；第六部分为结论与展望；最后为参考文献。2修订背景与需求分析2.1媒体格式标准化的演进历程ISO基媒体文件格式（ISO/IEC14496-12，即ISOBMFF）是当今数字媒体领域最具影响力的封装格式标准。自2001年首次发布以来，ISOBMFF经历了十余次修订与扩展，形成了涵盖视频、音频、图像、字幕等各类媒体类型的完整封装体系。其设计理念核心在于"box-based"的层次化数据结构，通过灵活的box嵌套实现媒体数据的组织与描述。在此基础上，ISO/IEC23001-10（2015年首次发布）专门规定了媒体定时元数据度量（timedmetadatametrics）在ISOBMFF中的承载方式。该标准定义了一系列元数据度量类型的语法与语义，包括解码时间、呈现时间、码率波动等基础度量项，为媒体质量监测与自适应流传输提供了标准化接口。2.2沉浸式媒体带来的新技术需求2.2.1内容感知转码的需求传统转码系统以客观质量指标（如PSNR、SSIM）为优化目标，采用"一刀切"的参数配置策略。然而，沉浸式媒体内容具有显著的空间非均匀性——观众注视区域（如对话主体、运动物体）与周边区域在感知重要性上存在数量级差异。如果转码系统能够理解内容的语义结构，将有限码率优先分配给感知关键区域，即可在同等带宽下显著提升主观体验。具体而言，内容引导转码的实现需要视频编码端能够生成、封装并传递以下类型的定时元数据：-空间显著性图（spatialsaliencymaps）：标识视频帧中各区域的人眼关注概率；-感兴趣区域（ROI）信息：语义级别的关键区域标注；-内容复杂度度量（contentcomplexitymetrics）：体现不同区域编码难度的统计特征；-转码建议参数（transcodingguidanceparameters）：基于源内容分析得出的最优转码参数建议。2.2.2空间关系描述的需求沉浸式媒体最本质的特征在于其空间性。无论是多相机阵列采集的自由视点视频，还是激光雷达扫描得到的点云序列，抑或是全景相机的球面视频，无不涉及严格的空间坐标体系与方位关系定义。以自由视点视频为例，用户在观看时可在一定范围内自由切换视角，这一功能的实现依赖于系统确切知晓各相机之间的相对位置关系、相机的内参矩阵、拍摄时间同步等信息。又如体积视频（volumetricvideo），需将每一帧点云数据映射到统一的全局坐标系中，才能使多个采集设备的输出形成一致的三维场景表达。现有ISOBMFF规范对上述空间信息的承载能力十分有限，迫切需要一种通用、可扩展的空间关系描述机制。2.3产业需求驱动2020年前后，多家国际科技巨头加速布局沉浸式媒体生态。Meta（原Facebook）的Horizon平台、微软的Mesh混合现实平台、苹果的ARKit生态等均对标准化媒体格式提出了迫切需求。与此同时，流媒体服务商（Netflix、YouTube等）在自适应流传输中遭遇了固定码率阶梯（ladder）在多样化内容与动态网络条件下效果不佳的问题，开始探索基于内容特征的动态编码优化方案。上述产业实践共同推动了SC29/WG3（MPEG系统）工作组于2019年启动ISO/IEC23001-10修订立项工作，并最终于2021年9月正式发布修订案。3核心技术内容3.1修订案总体框架ISO/IEC23001-10:2020/Amd1:2021在保持原有标准框架的基础上，新增了两大核心支持能力：1.内容引导转码支持（Clause8新增内容）；2.沉浸式媒体空间关系支持（Clause9新增内容）。修订案对标准中已有box结构进行了扩展，同时定义了若干新型box类型，并进行了详细的语法与语义规范。修订案维持了与ISO/IEC14496-12（ISOBMFF基础规范）的兼容性，所有新增内容均不改变现有文件的解析方式，确保向后兼容。3.2内容引导转码支持3.2.1设计目标内容引导转码的核心理念在于：将源内容分析阶段生成的"转码知识"与媒体数据一同封装，使下游转码节点无需重复分析即可做出优化决策。这一设计具有以下优势：-降低计算开销：转码节点无需进行全帧分析，仅需解析轻量级元数据；-保证决策一致性：源端分析采用最先进算法，避免各转码节点算法差异导致的质量不一致；-支持端到端质量管控：内容特征信息贯穿采集—处理—分发—终端全链路。3.2.2新增数据类型修订案定义了多个新类型的定时元数据度量，包括但不限于：（1）内容显著性度量（ContentSaliencyMetrics）定义了一个标准的显著性值表示格式，范围为[0,1]，其中1表示最高显著性。该度量可以以单值（全帧）或映射图（如16×16块级网格）两种粒度承载。语法设计上，映射图的块大小可由系统配置，支持从编解码单元级到宏块级的灵活适配。（2）感兴趣区域描述（RegionofInterestDescriptors）采用矩形框列表的形式标记ROI区域，每个ROI包含以下字段：-矩形框坐标（归一化或绝对像素坐标）；-ROI优先级（priority），用于转码时决定比特分配次序；-ROI类别标签（category），如人脸、文字、物体等语义类别，标签值采用可扩展的枚举方式，厂商可在标准保留字段之外定义私有类别。（3）内容复杂度谱（ContentComplexityProfiles）定义了一种分层的内容复杂度描述方式。在时间维度上，复杂度谱分为场景级别（scene-level）、镜头级别（shot-level）和帧级别（frame-level）三级粒度；在空间维度上，采用多分辨率金字塔结构，低分辨率层提供全局复杂度概览，高分辨率层提供精细的空间分布信息。复杂度特征值包括空间细节度量（如纹理能量）、时间运动度量（如帧间差异）等。（4）转码参数建议集（TranscodingParameterSuggestions）该数据集将源端分析的结论直接映射为转码参数建议。参数集支持任意组合的以下建议项：量化参数偏移（QPoffset）、分辨率缩放比例、帧率降采样策略、码率分配权重等。参数建议可通过XML或二进制两种形式承载，以便在不同部署环境下灵活选用。3.2.3Box结构设计修订案引入了名为`Tgtc`（TimedGuidanceforTranscoding）的样本组（samplegroup）box，以及与之关联的样本组描述box`TgtD`。此结构允许不同时间段携带不同的转码引导参数，实现时变的自适应转码策略。`Tgtc`样本组的设计采用"通用容器+特定度量"的分层策略——通用的样本组描述结构定义时间区间、度量类型标识和度量字节流，特定度量类型在自身的规范（如注册到MPEG注册机构）中定义字节流的内部布局。这种设计既保持了规范的可扩展性，又确保了多样性度量的统一承载。3.3沉浸式媒体空间关系支持3.3.1需求分析沉浸式媒体的空间关系描述可概括为三类需求：1.空间坐标参考（spatialcoordinatereferencing）：定义全局坐标系及设备/内容在该坐标系的位姿（位置+朝向）；2.采集设备参数（capturedeviceparameters）：包括相机内参（焦距、主点、畸变系数）、外参（相对于全局坐标系的位置与朝向）、时间同步信息；3.内容空间布局（spatiallayoutofcontent）：多路媒体流（如视角阵列中各视角的视频流）之间的空间组织关系。3.3.2新增Box类型与语义修订案定义了以下持久化结构的box（非定时元数据）来支持空间关系描述：（1）空间坐标系统Box—`scrd`（SpatialCoordinateReferenceDevice）该box定义空间中一个或多个设备（采集或呈现设备）的坐标系统。其核心字段包括：-设备标识列表（可关联到文件中对应的媒体轨）；-坐标系统类型（直角坐标/极坐标/地理坐标）；-坐标单位与量纲；-原点定义与轴向定义。（2）设备位姿Box—`dvps`（DevicePose）描述特定设备相对于全局空间参考的位置与姿态，采用四元数（quaternion）表示姿态以避免万向锁问题。`dvps`支持静态位姿（适用于固定采集设备）与动态位姿（适用于移动设备，通过引用定时元数据方式实现时变位姿）两种模式。（3）空间时间元数据轨道类型新增一种空间时间元数据样本条目类型，样条中的数据编码了给定时刻某设备的三维位置（x,y,z）与朝向（四元数qw,qx,qy,qz）。该条目类型支持定期采样（固定时间间隔）与事件驱动采样（仅在位置变化超过阈值时记录）两种采样模式。（4）内容空间布局Box—`cslg`（ContentSpatialLayout）描述同一文件中多个媒体轨之间的空间布局关系。通过指定各轨的归一化坐标区域（在全局空间归一化立方体中的位置和体积），该box使播放器无需外部信令即可理解多视角视频的自由视点切换布局，也可用于描述空间音频对象的位置。3.3.3兼容性与扩展性设计修订案在空间关系描述的设计上充分考虑了与已有MPEG标准体系的融合：-与ISO/IEC23090-2（OmnidirectionalMediaFormat,OMAF）的投影与区域描述机制保持兼容，`cslg`box可直接引用OMAF定义的区域坐标体系；-与ISO/IEC23090-5（Video-basedPointCloudCompression,V-PCC）的几何信息描述进行了字段级映射，支持点云数据的空间参考；-为后续MPEG-I阶段2的沉浸式视频规范预留了扩展字段，确保未来新需求可平滑演进。3.4与其他标准的关系本修订案并非孤立的技术规范，它与MPEG标准体系中多个部分形成互补与协同关系：|相关标准|关系说明||---------|---------||ISO/IEC14496-12(ISOBMFF)|基础封装格式，本修订案的内容以box形式扩展于此||ISO/IEC23001-7(CommonEncryption)|同为系统层标准，共享设计理念与交互方式||ISO/IEC23090-2(OMAF)|全景媒体格式，空间关系描述与之紧密衔接||ISO/IEC23008-1(HEVCT&I)|传输与封装层面，本修订案可作为其补充信息源||ISO/IEC23009-1(DASH)|自适应流传输协议，内容引导转码元数据可映射到DASH描述符中|该标准体系协同设计确保了从封装、编码、传输到呈现的完整技术链路的互操作性。4标准实施与应用场景4.1应用场景描述4.1.1云转码平台在云端转码服务中，内容引导转码元数据可显著降低转码计算成本并提升输出质量。具体实施路径为：视频源在进入云平台时首先经过一次内容分析，生成转码引导元数据；平台内各转码实例读取该元数据，据此调整编码参数（如帧级QP偏移、ROI码率分配），避免重复的全帧分析。更为关键的是，对于大规模转码集群而言，这一机制可以显著降低传统"先分析再转码"模式下的排队时延与算力消耗——根据现有实验数据，在保证同等主观质量的前提下，采用内容引导转码可使计算资源消耗降低约20%-30%（依赖具体内容复杂度分布）。4.1.2沉