ISOIEC 14496-152022AMD12023 修改件1.信息技术.视听对象的编码.第15部分ISO基本媒体文件格式的网络抽象层（NAL）单元结构视频的传输标准立项发展报告

修改件1.信息技术.视听对象的编码.第15部分:ISO基本媒体文件格式的网络抽象层（NAL）单元结构视频的传输标准立项发展报告StandardizationDevelopmentReport:Amendment1-InformationTechnology-CodingofAudio-visualObjects-Part15:CarriageofNetworkAbstractionLayer(NAL)UnitStructuredVideointheISOBaseMediaFileFormat摘要随着超高清视频、虚拟现实（VR）、增强现实（AR）及沉浸式媒体应用的迅猛发展，音视频编码技术与媒体封装格式之间的协同演进已成为国际标准化领域的重要议题。ISO/IEC14496-15作为ISO基本媒体文件格式（ISOBMFF）体系中承载网络抽象层（NAL）单元结构化视频的关键标准，其持续修订对保障多种视频编码标准（包括H.264/AVC、H.265/HEVC、H.266/VVC及AV1等）在实际应用中的高效封装与互操作性具有基础性支撑作用。本报告围绕ISO/IEC14496-15:2022/AMD1:2023修改件（以下简称"本修改件"）的立项背景、技术内容、修订过程及应用价值展开系统性分析。本修改件由国际电工委员会（IEC）于2023年10月27日正式发布，重点针对增强型视频编码在ISO基本媒体文件格式中的传输机制进行补充与完善，涉及NAL单元结构化视频的封装方式、参数集管理与高级别媒体集成等关键技术领域。报告详细介绍了标准的修订背景与动因、核心技术改进内容及其对产业界的深远影响，并以国际标准化工作的重要参与单位——德国弗劳恩霍夫应用研究促进协会（Fraunhofer-Gesellschaft）为典型案例进行了专题分析。本报告旨在为标准使用者、技术研发人员及行业决策者提供全面的技术参考与决策依据，并为我国在该领域的标准化工作提供有益借鉴。关键词：ISO基本媒体文件格式；网络抽象层；视频编码；标准修订；互操作性；媒体封装Keywords:ISOBaseMediaFileFormat;NetworkAbstractionLayer;VideoCoding;StandardRevision;Interoperability;MediaEncapsulation1.引言1.1研究背景数字音视频技术的快速发展深刻改变了信息传播与媒体消费的形态。从传统广播电视到流媒体服务，从高清视频到8K超高清乃至沉浸式体验，每一代视频编码标准的迭代都对媒体封装格式提出了更高要求。ISO/IEC14496-15（即ISO基本媒体文件格式中的NAL单元结构化视频承载规范）作为连接视频编码层与文件存储/传输层的关键桥梁，其重要性不言而喻。ISO基本媒体文件格式（ISOBMFF）是目前全球范围内应用最为广泛的媒体封装格式之一，其设计理念基于面向对象的层次化结构，支持媒体的本地存储、流式传输和渐进式播放等多种应用模式。MP4、MOV、F4V等常见文件格式均建立在ISOBMFF基础之上。ISO/IEC14496-15则专门规定了如何在ISOBMFF中封装以网络抽象层（NAL）单元为基本结构单位的视频编码流，覆盖样本格式定义、参数集存储、时间信息映射以及随机接入支持等核心内容。1.2标准基本信息本修改件（AMD1）是对ISO/IEC14496-15:2022版本的补充修订，标准全称为《修改件1.信息技术.视听对象的编码.第15部分:ISO基本媒体文件格式的网络抽象层（NAL）单元结构视频的传输》，英文名称为“Amendment1-Informationtechnology-Codingofaudio-visualobjects-Part15:Carriageofnetworkabstractionlayer(NAL)unitstructuredvideointheISObasemediafileformat”。该标准由国际电工委员会（IEC）归口管理，发布日期为2023年10月27日，标准状态为已修订。其电子版以PDF格式发布，售价为541.0元人民币。2.修订背景与立项动因2.1视频编码技术的快速演进近年来，视频编码标准领域呈现加速迭代态势。继H.265/HEVC（高效率视频编码）之后，H.266/VVC（多功能视频编码）于2020年由国际电信联盟电信标准化部门（ITU-T）和国际标准化组织/国际电工委员会（ISO/IEC）联合发布，相比HEVC在同等画质下可节省约50%的码率。与此同时，开放媒体联盟（AOM）推出的AV1编码标准也在互联网视频领域获得广泛应用。这些新一代编码标准均采用NAL单元作为视频编码层（VCL）与传输/封装层的接口抽象，但其NAL单元的具体结构和参数集类型各不相同，这对ISO/IEC14496-15的封装规范提出了新的适配要求。2.2ISOBMFF生态系统的持续扩展ISOBMFF的应用范畴已远超传统意义上的"文件格式"，它同时定义了流化传输（如DASH、HLS）中的媒体段（segment）格式以及CMA格式。随着MPEG-DASH在自适应流媒体领域的全面普及，越来越多的视频服务依赖ISOBMFF实现分片传输与码率自适应。ISO/IEC14496-15中关于NAL单元的封装要求直接影响着流媒体服务的启动时延、切换效率和故障恢复能力，因此其修订需要充分考虑流媒体应用的真实需求。2.3新兴应用场景的驱动VR/AR、全景视频、多视角视频和点云等新兴媒体形态对封装格式提出了新的能力要求。例如全景视频需要存储多个视角的编码流及其空间关系信息，动态点云压缩（V-PCC）和基于几何的点云压缩（G-PCC）也需要在ISOBMFF中定义相应的样本条目和辅助信息。此外，面向机器学习的视频编码（VCM）也逐渐进入标准化视野。这些新兴应用往往依赖NAL单元级别的信息交互和灵活的样本组织方式，因而推动了ISO/IEC14496-15的持续修订。2.4互操作性需求的提升随着编码标准种类的增多，终端设备需要支持多编码格式的解码和渲染。在这种背景下，封装格式层面的统一和规范对于降低终端实现复杂度、提升用户体验具有重要意义。ISO/IEC14496-15作为NAL单元结构化视频在ISOBMFF中的统一承载规范，其修订需要确保不同类型NAL单元视频流在封装和解析层面的一致性和兼容性。3.标准修订的技术内容本修改件的技术内容覆盖多个维度，以下从封装结构改进、NAL单元处理机制、参数集管理优化以及功能扩展等方面进行详细分析。3.1封装结构优化本修改件对ISO/IEC14496-15中的样本条目（SampleEntry）进行了必要扩展和优化。样本条目是描述解码器初始化所需信息的核心数据结构。针对新一代编码标准中新增的编码工具和解码参数，修改件定义了扩展样本条目的方式，使得兼容旧版本解码器的同时能够承载新的编码参数信息。这种向后兼容的设计理念确保了标准演进的平滑性。此外，修改件对样本组（SampleGroup）的描述进行了细化。样本组用于描述在时间上具有相同性质的样本集合（如相同时间层的样本），在视频流中实现时间可伸缩编码（TemporalScalability）和视图间预测时具有重要作用。AMD1进一步完善了样本组的描述语法，增强了表达复杂预测结构（如分层B帧结构）的能力。3.2NAL单元处理机制优化NAL单元是视频编码层与传输层之间的基本数据单位。不同类型NAL单元（如VCL单元、参数集单元、增强信息单元等）在封装时需要不同的处理策略。本修改件对此进行了以下方面的完善：-NAL单元类型映射增强：明确了更多NAL单元类型与样本条目中存储位置的对应关系，包括随机接入点指示（IRAP）和逐步解码刷新（GDR）相关NAL单元的处理。-NAL单元头部信息的封装优化：对NAL单元头部长度字段的存储方式进行适当调整，在保证正确解析的同时减少了封装开销。-跨层NAL单元传输机制改进：为不同时间层或空间层的NAL单元定义更加灵活的存储策略，使封装层能够更高效地支持可伸缩视频编码（SVC）和多视角视频编码（MVC）。3.3参数集管理优化参数集是解码过程中不可或缺的初始化信息，包括序列参数集（SPS）、图像参数集（PPS）以及更高级别的自适应参数集（APS）等。本修改件在参数集管理方面进行了以下改进：-参数集样本条目的结构化存储：优化了参数集在样本条目中的存储方式，支持更多的参数集类型和更大的参数集容量。-参数集的动态更新：支持编码器在视频流中途更新参数集，并提供了明确的信令机制，使封装层能够正确跟踪和关联不同时间段的参数集版本。-参数集的冗余存储与容错设计：为降低参数集在传输过程中的丢失风险，修改件允许在多个不同存储位置冗余存储关键参数集，提升了流媒体场景下解码的鲁棒性。3.4对新编码标准的支持本修改件的重要目标之一是将新一代视频编码标准纳入ISOBMFF的NAL单元承载范围。具体而言，修改件增加了对H.266/VVC标准中新增封装特性的支持，包括对不同NAL单元类型的扩展定义、对VVC中新增编码工具（如块划分结构、变换单元结构等）的描述能力以及对多层面（Multi-Layer）编码的支撑。此外，修改件也兼容了AV1编解码器在ISOBMFF中的封装需求。3.5高级媒体集成与功能扩展新修改件进一步丰富了ISOBMFF中媒体的功能集成能力：-增强的随机接入支持：优化了对开放GOP（GroupofPictures）结构和逐步解码刷新（GDR）起始位置的信令支持，为流媒体服务的快速频道切换和搜索操作提供了更灵活的技术保障。-改进的时序信息定义：细化了编辑列表（EditList）中涉及合成时序的NAL单元信息，使得复合视频内容的时间同步更加精确。-更丰富的元数据支持：增加可用于携带内容保护、色彩管理和动态范围（HDR）信息的相关NAL单元信息定义，强化了封装层的表达能力。3.6修订的演进逻辑与技术路线本修改件的修订过程体现了ISO/IEC标准工作"需求驱动、技术导向、兼容兼顾"的演进逻辑。首先，修订严格遵循ISO/IECJTC1/SC29（音频、图像、多媒体和超媒体信息编码分技术委员会）确立的工作程序，历经多轮草案讨论（CD、DIS、FDIS阶段）和成员国投票，确保技术方案的成熟度和共识度。修订工作沿用了MPEG系列标准中业已成熟的"增量化"修订模式——即在不推翻既有主标准框架的前提下，通过修改件（Amendment）的形式对特定技术点进行小步快跑式的迭代优化，以保证标准版本的稳定性与开发者的承接便利。在技术路线的选择上，修订团队确立了三个核心原则：一是向后兼容原则，即所有封装格式的改动须保证现有符合ISO/IEC14496-15:2022版的文件在此次修改后仍能被正确解析与播放；二是编码标准中立原则，既要完善对H.266/VVC等最新编码标准的支持，也要维护与H.264/AVC、H.265/HEVC等既有编码标准的兼容，避免出现"标准绑定编码"的倾向；三是面向流媒体优先原则，鉴于自适应流媒体已成为视频分发的绝对主流，封装层的设计在存储效率和网络友好性之间发生冲突时，优先保障流媒体应用的传输效率和码率切换的平滑性。这一修订路径的确定性为产业界提供了清晰的部署时间表：终端芯片和操作系统厂商可以在修改件公示期间提前评估技术支持方案，编码器/封装器开发厂商可以在最终文本发布后快速实现并部署更新，内容生产方则可以根据其上游工具链的成熟度择机升级制作流程。这种分层的适配节奏有助于在实现标准完整落地的同时控制产业升级的总体成本。4.主要参与单位专题介绍国际标准的制定依赖于全球范围内产学研机构的深度协作。ISO/IEC14496-15系列的修订工作汇集了来自通信设备制造商、消费电子企业、软件开发商、研究机构及高校的众多专家。以下以德国弗劳恩霍夫应用研究促进协会（Fraunhofer-Gesellschaft）为例，介绍其主要贡献。4.1单位概况弗劳恩霍夫协会成立于1949年，是欧洲最大的应用科学研究机构，总部位于德国慕尼黑，下设76个研究所和独立研究单位，拥有超过30,000名研究人员，年度研究经费约为30亿欧元。在音视频编码与多媒体技术领域，弗劳恩霍夫协会下属的集成电路研究所（FraunhoferIIS，埃尔朗根）是享誉全球的权威机构，也是MPEG音频编码（MP3、AAC）、视频编码（H.264/AVC、H.265/HEVC、H.266/VVC）核心技术的重要贡献者。FraunhoferIIS在视频编码领域有着三十余年的技术积累，深度参与了从MPEG-2到H.266/VVC各代视频编码标准的制定工作，并积极推动相关技术在广播、流媒体、移动通信和虚拟现实等领域的产业化应用。该研究所拥有国际化标准的专利组合，其技术方案被应用于全球数十亿台设备中。FraunhoferIIS还主导或参与开发了多个主流编码器和解码器参考软件，如针对HEVC的开源编码器x265的前期研究、VVC参考软件VTM的重要模块开发，以及面向专业视频制作的编码工具链。4.2在ISO/IEC14496-15修订中的贡献在ISO/IEC14496-15及其修改件的制定过程中，FraunhoferIIS主要在以下方面发挥了重要作用：-技术提案与实验验证：FraunhoferIIS的研究团队针对封装格式中NAL单元承载效率、参数集管理策略、时间可伸缩支持等关键技术问题提出了多项技术提案，并通过核心实验和交叉验证提供了充分的实验数据支撑。-参考软件实现：FraunhoferIIS参与了ISO/IEC14496-15相关参考软件的开发与维护工作，为标准的合规性测试和互操作性验证提供了基础工具支持。-互操作性测试组织：该研究所长期参与MPEG组织在标准化进程中组织的互操作性测试活动（如MPEG-H、VVC测试序列），协助发现各厂商实现之间的兼容性问题，推动标准文本的完善。4.3中国参与情况中国在该标准的修订过程中同样发挥了积极作用。华为、中兴、腾讯、阿里巴巴等中国企业在ISO/IECJTC1/SC29中均有活跃参与，在移动视频、流媒体封装和智能媒体传输等领域提出了多项提案。中国电子技术标准化研究院作为全国信标委多媒体分委会的秘书处单位，积极组织国内相关单位参与国际标准制定，推动中国技术方案纳入国际标准，并同步推进国家标准和行业标准的制定工作。我国数字音视频编解码技术标准化工作组（AVS工作组）在音视频编码领域形成的自主标准体系也为国际标准化工作贡献了中国方案。5.标准应用价值与行业影响5.1对流媒体产业的支撑在流媒体服务占据主导地位的数字媒体生态中，ISO/IEC14496-15的持续修订对保障服务质量和用户体验具有重要意义。新型编码标准（特别是H.266/VVC）在同等画质下显著降低比特率，但需要封装格式提供精确的NAL单元级信息描述。本修改件通过增强对新一代编码标准在ISOBMFF中的承载能力，为超高清、高帧率、高动态范围内容的流媒体传输提供了坚实的格式基础。5.2对终端设备与芯片产业的推动对于终端设备制造商和芯片设计企业而言，IEC标准文本的发布为新一代解码器的硬件实现提供了明确的规格输入。ISO/IEC14496-15:2022/AMD1:2023中的技术改进可帮助SoC设计厂商在硬件解码器中更好地实现NAL单元解析、参数集缓存管理和多码流切换能力，从而提升终端产品的竞争力。5.3对内容生产与分发链路的影响内容制作工具链和云转码平台需要及时适配最新的封装标准，以支持面向不同终端和网络条件的内容交付。本修改件的发布为编码器、封装器、打包器和播放器软件厂商提供了统一的技术参照，有利于压缩端到端内容生产管线的适配成本，并提升内容资产跨平台分发的效率与稳定性。5.4对标准化生态的长远影响ISO/IEC14496-15系列标准的持续演进是MPEG标准化体系健康发展的缩影。该标准与ISO/IEC14496-10（AdvancedVideoCoding）、ISO/IEC14496-12（ISOBaseMediaFileFormat）、ISO/IEC23008-2（HighEfficiencyVideoCoding）、ISO/IEC23090-3（VersatileVideoCoding）等标准密切配合