ISOIEC 23001-162021 信息技术.MPEG系统技术.第16部分ISO基本媒体文件格式的导出可视轨迹标准立项发展报告

信息技术·MPEG系统技术·第16部分：ISO基本媒体文件格式的导出可视轨迹标准立项发展报告StandardizationDevelopmentReport:InformationTechnology-MPEGSystemsTechnologies-Part16:DerivedVisualTracksintheISOBaseMediaFileFormat摘要随着超高清视频、虚拟现实（VR）、增强现实（AR）及多视角媒体应用的迅猛发展，媒体内容在分辨率、帧率、视角维度和动态范围等方面呈现出高度异构性特征。为满足不同终端设备、网络带宽和用户偏好下的自适应交付需求，国际标准化组织ISO/IECJTC1/SC29（编码音频、图像、多媒体和超媒体信息）下属的MPEG（MovingPictureExpertsGroup，动态图像专家组）系统工作组制定了ISO/IEC23001-16:2021标准。该标准定义了ISO基本媒体文件格式（ISOBMFF）中的“导出可视轨迹”（DerivedVisualTracks）机制，允许在不对媒体数据进行重新编码的前提下，通过声明式描述方式动态导出多分辨率、多视角或多区域的可视轨迹。本报告系统阐述该标准的立项背景、编制历程、核心技术方案、主要参与单位及行业应用价值，并对该标准在沉浸式媒体、智能交通和自适应流媒体等领域的应用前景进行了展望。关键词：ISO基本媒体文件格式；导出可视轨迹；MPEG系统；媒体封装格式；自适应流媒体；沉浸式媒体AbstractWiththerapiddevelopmentofUltra-High-Definitionvideo,VirtualReality(VR),AugmentedReality(AR),andmulti-viewmediaapplications,mediacontenthasexhibitedahighdegreeofheterogeneityintermsofresolution,framerate,viewpointdimensions,anddynamicrange.Tomeettheadaptivedeliveryrequirementsunderdiverseterminaldevices,networkbandwidths,anduserpreferences,theMPEGSystemsgroupunderISO/IECJTC1/SC29developedtheISO/IEC23001-16:2021standard.Thisstandarddefinesthe"DerivedVisualTracks"mechanismwithintheISOBaseMediaFileFormat(ISOBMFF),enablingdynamicderivationofmulti-resolution,multi-view,ormulti-regionvisualtracksthroughdeclarativedescriptionswithoutre-encodingtheunderlyingmediadata.Thisreportsystematicallyelaboratesonthestandard'sprojectbackground,developmentprocess,coretechnicalsolutions,primaryparticipatingorganizations,andindustryapplicationvalue,whilealsoprovidinganoutlookonitsfutureapplicationprospectsinimmersivemedia,intelligenttransportation,andadaptivestreaming.Keywords:ISOBaseMediaFileFormat;DerivedVisualTracks;MPEGSystems;MediaContainerFormat;AdaptiveStreaming;ImmersiveMedia一、引言1.1立项背景传统解决方案是为每种终端设备单独编码存储一个版本，这种方法不仅造成存储资源的巨大浪费（通常需要5-10倍冗余），还带来内容管理与同步更新的复杂性。更严峻的挑战出现在视角可变的沉浸式媒体场景中：用户视角动态变化，系统需要从全景视频中实时提取对应的视口区域，传统“一刀切”的编码存储方式根本无法满足这种按需生成的动态需求。为解决上述问题，国际标准化组织ISO/IECJTC1/SC29/WG3（MPEGSystems）启动了ISO/IEC23001-16标准的制定工作。该标准的核心理念是：在ISO基本媒体文件格式（ISOBMFF）中定义一种“导出可视轨迹”，将“内容描述”与“数据存储”分离——原始媒体数据仅存储一次，而不同规格的可视轨迹则通过声明式导出机制在封装层动态生成。1.2标准定位与作用ISO/IEC23001-16:2021是MPEG系统技术标准族（ISO/IEC23001系列）的第16部分。该系列标准旨在定义MPEG媒体应用的系统级技术，包括文件格式、数据封装、同步机制等基础性规范。本标准聚焦于“导出可视轨迹”这一关键机制，其核心价值体现在以下三个维度：维度一：消除“编码-存储”冗余。通过导出机制，同一条编码轨道可被多个导出轨迹按不同方式引用和变换，从根本上避免了为每种分辨率或视角单独存储编码版本的存储冗余。维度二：支持“按需生成”的媒体服务模式。在流媒体分发场景中，服务端可根据用户的实时需求（如视口位置、终端分辨率）动态生成对应的可视轨迹，切换响应时间可以达到“帧级”精度。维度三：为沉浸式媒体提供标准化封装基础。该标准定义了裁剪区域导出、拼接操作导出和时间子集导出等标准化方法，为VR/AR和自由视角视频等新兴应用提供了统一的封装层解决方案。二、标准研制历程2.1需求分析与立项阶段ISO/IEC23001-16的研制工作起源于MPEG对沉浸式媒体封装格式的持续探索。2018年前后，MPEG-7（多媒体内容描述接口）和MPEG-A（多媒体应用格式）等标准在媒体描述和封装方面积累了丰富经验，但面对新兴的密集阵列相机采集、全景视频拼接和视口自适应传输等需求，既有标准暴露出描述能力不足、扩展性受限等问题。2019年7月，MPEG第126次会议（法国日内瓦）上，韩国电子通信研究院（ETRI）联合多家机构提交了关于在ISOBMFF中引入“导出可视轨迹”的技术提案。提案指出，MPEG-7Part2（视觉描述工具）和MPEG-APart4（音乐播放应用格式）等已有标准虽然能够实现媒体特征的描述，但均无法在文件封装层面直接定义“由一个或多个存在的轨迹派生新的可视轨迹”这一操作。该提案得到了与会专家的积极响应，会议决定成立专门的AdHocGroup（特别工作组）开展需求收集和技术预研。2019年10月，MPEG第127次会议（日内瓦）上正式通过了新工作项提案（NWIP），确定制定ISO/IEC23001-16标准，标准名称为“Informationtechnology—MPEGsystemstechnologies—Part16:DerivedvisualtracksintheISObasemediafileformat”。2.2核心技术与草案编制阶段2020年1月至2021年初，MPEG系统工作组围绕以下核心技术问题开展了深入研究：（1）导出机制的类型定义。经过多轮讨论，标准确定了四种基础导出操作类型：裁剪区域导出（Crop）、拼接操作导出（Stitch）、时间子集导出（TemporalSubset）和空间子集导出（SpatialSubset）的组合方式。每种操作均有明确的语法定义和语义规范。（2）与ISOBMFF既有架构的兼容性。作为ISO/IEC14496-12（ISOBMFF）的扩展，如何在保持向后兼容的前提下引入导出描述，是标准制定的关键约束。最终采用了基于“TrackReference（轨道引用）”类型的扩展方案。（3）派生链与递归约束。标准允许导出轨迹引用其他导出轨迹形成派生链，同时规定了严格的环路检测和深度限制机制，确保封装结构的解析复杂度和计算开销在可控范围内。2021年1月，ISO/IEC23001-16进入最终草案（FDIS）阶段。2021年11月19日，标准正式发布。2.3数据来源与素材说明本报告的编制基于以下权威信息来源：（1）标准正式文本。ISO/IEC23001-16:2021正式发布版本，可通过ISO官方网站或ISO/IEC标准数据库获取。标准全文约60页，包含完整的语法定义、语义说明和示例。（2）MPEG会议文件。2019-2021年间MPEG各次会议的输入文稿和输出文稿，特别是关于“导出可视轨迹”的会议决议和技术报告。（3）技术验证报告。各参与单位在标准制定过程中提交的符合性测试结果和实验验证数据。（4）行业应用与产业动态。DASH-IF（动态自适应流媒体联盟）等产业组织对该标准的引用和应用情况。三、标准主要内容ISO/IEC23001-16:2021标准共分为以下主要技术章节（依据标准正式文本）：3.1范围与术语定义标准适用于基于ISO基本媒体文件格式（ISO/IEC14496-12）的所有媒体文件封装场景。标准明确界定了以下核心术语：导出可视轨迹（DerivedVisualTrack）：一种特殊类型的可视轨迹，其样本数据不是直接存储在文件中，而是通过引用一个或多个其他轨迹的样本，经过特定的导出操作动态生成。源轨迹（SourceTrack）：为导出可视轨迹提供原始样本数据的基础轨迹。导出参数集（DerivationParameterSet）：描述导出操作的属性集合，包括操作类型、裁剪窗口位置、拼接布局等关键信息。此外，标准还定义了“导出链”（DerivationChain）、“直接派生”（DirectDerivation）和“间接派生”（IndirectDerivation）等关键概念，为后续技术规范奠定了语义基础。3.2导出可视轨迹的架构模型标准提出了一种基于“参考-派生”关系的架构模型。在该模型中，导出可视轨迹通过轨道引用机制与源轨迹建立关联，核心逻辑层次如下：第一层：轨迹层（TrackLevel）。定义每条导出轨迹的基本属性，包括轨迹标识符、轨迹类型、样本入口（SampleEntry）等。标准规定导出可视轨迹的样本入口必须包含特定的“导出类型信息”（DerivationTypeInformation），以声明其派生态。第二层：引用层（ReferenceLevel）。通过扩展ISOBMFF的轨道引用类型（TrackReferenceType），定义名为“'derv'”的新引用类型，用于建立导出轨迹对源轨迹的依赖关系。第三层：操作层（OperationLevel）。在“派生信息样本”（DerivationInformationSample）中详细描述具体的导出操作。标准定义了包含裁剪（Crop）、拼接（Stitch）、时间子集（TemporalSubset）、空间子集（SpatialSubset）等基础操作在内的完整语法体系。3.3关键技术与创新点3.3.1基于元数据的动态导出标准不修改任何编码比特流，而是通过定义在封装层的“派生信息”（DerivationInformation）实现动态导出。每次导出操作的执行，可以是在文件被解析时、流媒体会话建立时或用户请求触发时进行。该设计确保了从高清到标清、从全景到视口的各种转换均可逆、可重复且可并发。3.3.2轨道引用与派生链管理标准通过在轨道引用（TrackReference）中引入类型为“'derv'”的引用，明确标识“导出轨迹”所依赖的源轨迹。当导出轨迹被引用作为另一条导出轨迹的源时，形成“多级派生”，标准设定了最多不超过8级的派生深度限制。文件解析器可据此判断派生链的有效性和计算可行性，在性能受限的终端上进行合理的降级处理。3.3.3无状态导出及可重入设计在整个导出过程中不改变源轨迹中的样本解码顺序、时间戳或呈现时间映射关系，保证导出轨可与原始轨共存并用于无缝切换。这为自适应流媒体播放器提供了“零延迟切换”的封装基础——播放器不必重新缓冲或重新初始化解码器，仅需在封装层切换轨迹即可。3.4与其他标准的协调关系（1）与ISO/IEC14496-12（ISOBMFF）的关系。ISO/IEC23001-16作为ISOBMFF的扩展标准，完全兼容ISO/IEC14496-12定义的盒结构、样本表和轨道引用等基础架构。标准中所有新增的盒（Box）类型均使用四字符码（FourCC）标识，确保与既有ISOBMFF解析器的兼容性——未实现本标准的解析器可安全跳过新增扩展盒而不会导致解析错误。（2）与ISO/IEC23009-1（DASH）的衔接。ISO/IEC23001-16为DASH标准中的“自适应集”（AdaptationSet）和“表示”（Representation）提供了更丰富的封装层灵活性。DASH客户端可通过媒体呈现描述（MPD）中的补充属性引用导出的可视轨迹，实现更为精细的码率自适应和视口自适应选择。（3）与ISO/IEC23090-2（OMAF）的配合。在MPEG的OmnidirectionalMediaFormat（OMAF，ISO/IEC23090-2）标准体系中，ISO/IEC23001-16提供了视口相关导出轨迹的定义方法，使全景视频应用可以在不传输整个全景画面的情况下，从服务器侧或CDN边缘动态生成用户所需的视口区域。四、主要参与单位ISO/IEC23001-16:2021标准由ISO/IECJTC1/SC29/WG3（MPEGSystems）归口制定，主要参与单位来自全球多个国家和地区的标准化机构和行业领先企业，其中韩国电子通信研究院（ElectronicsandTelecommunicationsResearchInstitute，简称ETRI）在标准制定过程中发挥了关键性的主导作用。4.1韩国电子通信研究院（ETRI）单位概况。ETRI成立于1976年，是韩国科学和信息通信技术部直属的国家级综合性研究机构，总部位于大田广域市。作为韩国最大的应用技术研究机构之一，ETRI拥有约2,000名研究人员，年度研发预算超过5亿美元，在信息通信、电子、广播融合技术领域具有深厚的积累。ETRI在MPEG标准化工作中有着悠久的历史传统，曾深度参与MPEG-2、MPEG-4、MPEG-7、MPEG-21、MPEG-H等系列标准的研制工作，特别是在媒体封装格式和元数据描述领域积累了丰富的技术经验和标准制定经验。技术贡献。在本标准的研制过程中，ETRI的研究团队（主要由韩国科学技术研究院与多家韩国高校联合培养的标准化专业人才组成）承担了以下关键技术工作：（1）提出“基于裁剪与拼接的导出可视轨迹”基础架构：该方案设计了从单一源轨迹的矩形区域裁剪和多个源轨迹的空间拼接两种基本操作，为后续标准文本的形成奠定了核心框架。（2）开发原型验证系统：ETRI研发了支持导出可视轨迹的ISOBMFF解析器和渲染器原型，在MPEG会议期间进行了多次公开技术演示，验证了标准方案的可行性和互操作性。该原型系统支持8K全景视频的实时视口导出，处理延迟控制在50毫秒以内，充分证明了技术方案的工程可行性。（4）贡献了标准文本的主要章节：ETRI专家作为编辑（Editor）和技术撰稿人，负责起草了标准中“导出可视轨迹的定义”“派生信息语法”“导出操作语义”等技术核心章节，累计贡献技术文稿超过200页。4.2其他重要参与机构除ETRI外，以下机构也在标准制定中发挥了重要作用：（1）FraunhoferIIS（德国弗劳恩霍夫集成电路研究所）。作为MPEG音频和系统技术领域的重要贡献者，FraunhoferIIS在导出操作的类型定义和语义约束方面提供了关键技术输入，特别是基于其在高效率视频编码（HEVC）和自适应流媒体领域的深厚积累，在“导出可视轨迹与DASH分片兼容性”方面提出了建设性方案。（2）华为技术有限公司。来自中国的华为技术专家在视频编码标准的国际化方面拥有丰富经验。该公司在标准制定过程中重点贡献了导出参数可扩展性设计方案，关注异构网络环境下导出操作的适应性和鲁棒性，其提交的“多级联合派生机制”被纳入标准考量。（3）高通公司（Qualcomm）。凭借其在移动终端芯片和多媒体处理领域的技术积累，高通公司重点评估了导出可视轨迹在移动设备上的计算复杂度和存储开销，提出了轻量化导出参数集（LightweightDerivationParameterSet）的改进