信息技术.视听对象的编码.第15部分ISO基本媒体文件格式的网络抽象层（NAL）单元结构视频的传输标准立项发展报告

标题：信息技术视听对象的编码第15部分：ISO基本媒体文件格式的网络抽象层（NAL）单元结构视频的传输标准发展报告EnglishTitle:StandardizationDevelopmentReport:Informationtechnology—Codingofaudio-visualobjects—Part15:Carriageofnetworkabstractionlayer(NAL)unitstructuredvideointheISObasemediafileformat摘要研究背景：随着超高清视频、流媒体直播、虚拟现实（VR）及增强现实（AR）等应用的蓬勃发展，高效、灵活的视频编码与封装技术成为数字媒体产业的核心支柱。ISO基本媒体文件格式（ISOBMFF）作为多媒体文件封装的事实标准，其兼容性与扩展性直接影响着数字内容的制作、分发与消费。网络抽象层（NAL）单元结构是H.264/AVC、H.265/HEVC、H.266/VVC及AV1等现代视频编码标准的基石，如何高效、可靠地将这些编码后的视频数据封装至ISOBMFF，对于保证媒体内容的互操作性、支持流媒体传输（如DASH、HLS）以及实现高级功能（如切换、拼接、随机访问）至关重要。主要内容：本报告深入分析了国际标准ISO/IEC14496-15:2022《信息技术视听对象的编码第15部分：ISO基本媒体文件格式的网络抽象层（NAL）单元结构视频的传输》的发展历程、技术核心与行业应用。详细解读了该标准如何定义针对不同NAL单元结构视频（包括AVC、HEVC、VVC及LCEVC等）在ISOBMFF中的特定封装方案，重点阐述了其架构设计、样本条目定义、NAL单元提取器、访问单元结构完整性保证、以及对多轨道封装和增强层支持等关键技术特性。报告还探讨了该标准在支持超高清视频（4K/8K）、高动态范围（HDR）、自适应流媒体（MPEG-DASH）、广播分发及专业制作领域的应用价值。重要结论：该标准的核心价值在于为现代视频编码格式提供了标准化的、统一的封装方案，极大提升了不同系统与设备之间的互操作性。通过定义清晰的样本条目格式和NAL单元处理机制，它简化了播放器、转码器、流媒体服务器等媒体基础设施的实现难度，为整个音视频产业链的标准化、系统化发展奠定了坚实基础。该标准的废止并非意味着其失效，而是表明其技术内容已被后续版本或修订完全吸纳，或ISO/IECJTC1/SC29工作组已启动了新一轮的修订或替换工作，以适应更新的编码技术（如AOMediaVideo1(AV1)的进一步优化或其他新型编码标准）和未来的媒体应用场景。标准化工作的持续演进，是保障行业长期健康发展、避免技术碎片化的关键。关键词：ISO基本媒体文件格式；网络抽象层；视频编码；MPEG；文件封装；互操作性；流媒体；视听对象Keywords:ISOBaseMediaFileFormat;NetworkAbstractionLayer;VideoCoding;MPEG;FilePackaging;Interoperability;StreamingMedia;Audio-VisualObjects正文1.引言：标准化背景与核心意义在数字化浪潮中，视频已成为信息传递、娱乐消费和商业沟通的主要载体。从早期的MPEG-2、H.264到如今主流的H.265/HEVC以及下一代H.266/VVC和AV1，视频编码技术不断演进，其核心目标是实现更高的压缩效率和更好的视觉质量。这些先进编码标准的共同特征之一，是采用了基于网络抽象层（NetworkAbstractionLayer,NAL）单元的结构。NAL层将编码后的视频数据（如视频编码层（VCL）数据）与辅助信息（如参数集、增强信息）封装成统一格式的NAL单元，从而独立于传输网络与存储介质。ISO基本媒体文件格式（ISOBaseMediaFileFormat,ISOBMFF，标准为ISO/IEC14496-12）则是多媒体文件封装领域的基石。它是MP4、QuickTimeMovie、3GP等广泛应用的容器格式的基础。ISOBMFF的设计核心在于其结构化、可扩展的面向对象模型，能够容纳任意类型的定时媒体数据（视频、音频、定时元数据）。为了装载由NAL单元构成的视频流，使其能够被通用播放器、流媒体服务器和编辑软件正确识别、解析与处理，就需要一个专门的“适配器”标准。ISO/IEC14496-15正是这一关键角色。本报告所探讨的ISO/IEC14496-15:2022版本，是该标准的重要里程碑。它系统性地整合并扩展了此前版本对H.264/AVC、H.265/HEVC的封装规范，并前瞻性地加入了新兴编码格式的支持，如多功能视频编码（VVC/H.266）和低复杂度增强视频编码（LCEVC）。该标准的持续更新，不仅是对新技术采纳的响应，更是对产业应用（如OTT流媒体、广播、专业制作与存档）需求多样化和复杂化的积极应对。标准的状态“废止”通常标志着ISO/IECJTC1/SC29（音视频编码工作组）已完成新一轮修订，其核心内容已被新版标准（可能是2024或2025年版本）所继承和优化，体现了标准化工作的动态性和持续改进原则。2.标准技术内容深度解析ISO/IEC14496-15:2022的核心目标是为基于NAL单元的视频编码格式在ISOBMFF中提供统一的、精确的封装框架。其主要技术内容涵盖以下几个层面：2.1样本条目（SampleEntry）的设计样本条目是ISOBMFF中描述特定媒体流编码格式和属性的关键结构。该标准为不同视频编码格式定义了专用的样本条目类型：-AVC样本条目:定义了`“avc1”`等条目类型，用于存储AVC配置信息（如序列参数集（SPS）、图像参数集（PPS））。-HEVC样本条目:定义了`“hev1”`（用于HEVC主轨）和`“hvc1”`等条目，用于存储HEVCVPS（视频参数集）、SPS、PPS等，并支持多种子比特流格式。-VVC样本条目:定义了`“vvi1”`和`“vvc1”`等条目，用于承载VVC的配置信息，包括多项参数集，并支持多尺度、多层结构。-AV1样本条目:虽然AV1的NAL结构略有不同（通常使用OBU序列头），但标准也为其定义了`“av01”`样本条目，以兼容其基于帧的交付模式（尽管严格来说AV1并非NAL结构，但标准通过适配确保其能合理封装）。2.2多轨封装（Multi-trackCarriage）为了支持分层视频编码（如可分级视频编码（SVC）的遗续，或HEVC/VVC的可缩放扩展）和空间/质量切换，标准完善了对多轨封装的支持。例如，一个4K/8K节目可以分解为基础层轨道（包含基础分辨率编码）和增强层轨道（包含提高分辨率、比特深度、HDR色彩的增强数据）。播放器或流媒体流选择器可以根据网络带宽和终端能力，灵活地选择解码单轨或多轨，实现自适应体验。2.3NAL单元提取器（NALUnitExtractor）这是该标准的核心创新之一。该机制允许在轨道样本中不直接存储原始NAL单元，而是存储对其他轨道或本轨道中已有NAL单元的引用或操作指令。这极大地提升了文件打包的灵活性，尤其在：-码流流切换:当播放器在不同比特率或分辨率的表示（Representation）之间切换时，提取器可以动态地从多个文件中组合出新NAL单元序列，无需重建整个文件结构。-减少重复:在分层编码或多视角编码中，基础层的参数集可能被多个轨道引用，避免了数据的冗余存储。-实现拼接与插入:通过提取器，可以方便地将广告、片头片尾等片断优雅地插入主内容中，而不破坏NAL单元流的完整性。2.4假检测与访问单元边界样本定义必须明确哪个NAL单元构成一个完整的“访问单元”（AU），即一组被认为是同时解码的一个或多个图片的集合。标准对如何在不同编码格式下正确标记AU边界提供了严格指引，确保解码器不会混淆帧的起始与结束，尤其是在处理B帧、时域可分级编码（TemporalScalability）的H.265/HEVC/H.266/VVC流时。3.介绍主要修订单位：ISO/IECJTC1/SC29/WG3（MPEGSystems）ISO/IEC14496-15:2022的主要修订工作由国际标准化组织/国际电工委员会第一联合技术委员会第29分委员会（ISO/IECJTC1/SC29）下属的WG3工作组负责。WG3工作组官方名称为“MPEGSystems”，其前身为MPEG-H系统标准工作组。3.1组织架构与地位ISO/IECJTC1/SC29是音视频编码技术的全球最高标准化机构，其成员包括来自世界各国的国家标准机构（如中国的国家标准化管理委员会（SAC）、美国的美国国家标准学会（ANSI）、德国的德国标准化协会（DIN）等）、国际行业协会以及顶尖企业的代表。WG3工作组专注定义多媒体内容的系统层规范，即“容器”和“传输”层面的标准。其制定的ISOBMFF（ISO/IEC14496-12）和ISO/IEC14496-15等标准，是全球媒体产业的基础设施。WG3的成果广泛应用于数字电视、蓝光光盘、流媒体（如DASH、HLS的底层都以14496-12为基础）、专业摄像机、视频编辑软件以及几乎所有数字视频设备中。3.2WG3在本次修订中的关键作用在制定ISO/IEC14496-15:2022的过程中，WG3扮演了多重角色：-技术主导者：响应产业界对H.266/VVC和LCEVC封装的需求，WG3主导提出了VVC样本条目的详细设计，包括如何定义多视角编码轨道、如何存储新的参数集类型（如DCI、OPS）以及如何处理子比特流的抽取。他们通过广泛的实验和互操作性测试（MPEGCallforProposalsandCoreExperiments），验证了所提议的设计能够高效运作且无歧义。-协调与整合者：WG3紧密与其他工作组（如WG2负责视频编码，WG4负责音频编码）协作。例如，为支持LCEVC（一种增强层标准），WG3与制定LCEVC标准的WG2协调，确保增强层轨道与基础层轨道的时序、样本对齐以及NAL单元提取器机制的协同工作。-前瞻性规划者：工作组预见到了未来媒体格式的发展趋势，比如基于图像的沉浸式媒体（如MPEGI）、点云压缩、神经编码等。因此，在2022版标准中，他们不仅解决了当下的封装问题，还通过设计模块化、可扩展的架构，为该标准未来的演进（例如支持下一代编码算法）预留了空间。-文档严谨性与认证：WG3负责撰写详尽的技术规范，确保每一处语法、语义（包括C语言风格的伪代码）都精确无歧义。他们还维护着参考软件（ReferenceSoftware），以验证规范的实现正确性。MPEG的参考软件是行业内开发者和研究人员实现标准的重要起点。3.3标准废止后的工作方向目前ISO/IEC14496-15:2022状态为“废止”，这表明WG3的工作并未停歇。全新的一版标准（例如ISO/IEC14496-15:2024或2025版）正在起草或已发布。新的版本很可能包含：-对AV1封装方案的进一步细化和补充（可能定义专用的AV1NAL-like单元的处理）。-对H.266/VVC的更广泛应用（如虚拟现实（VR）光场、沉浸式媒体）的封装支持。-针对基于神经网络（NeuralNetwork）的视频编解码器的容器封装框架的探索。-对超低延迟场景（如实时通信、监控）的封装优化。WG3的持续投入确保了ISOBMFF家族标准总能与最前沿的媒体技术保持同步。结论总结与展望ISO/IEC14496-15:2022作为连接现代视频编码算法与多媒体文件封装的桥梁，其标准化工作深刻影响了数字媒体生态系统的运作方式。通过严谨定义NAL单元结构视频在ISOBMFF中的封装、样本条目、多轨机制与提取器技术，该标准解决了从内容制作、编码、包装、分发到终端播放全链条的互操作性问题。它为超高清（4K/8K）、HDR、自适应流媒体（DASH/HLS）、专业广播与后期制作等关键应用场景提供了可靠的、标准化的技术基础。该标准的废止，并非技术性的终结，而是标准化工作持续演进的自然体现。这通常意味着其核心技术成果已被最新版的标准完全吸收与优化，且工作组已将研究与修订的重心转向了应对下一代视频编解码器（如VVC的商业普及、AV1的深度优化、乃至神经网络编解码）、新型媒体格式（如沉浸式、点云、神经渲染内容）的封装挑战，以及满足超低延迟、极高可靠性（如远程医疗、自动