ISOIEC 14496-152024 信息技术视听对象编码第15部分网络抽象层（NAL）单元结构视频的传输标准立项发展报告

信息技术视听对象编码第15部分网络抽象层（NAL）单元结构视频的传输标准立项发展报告英文标题StandardizationDevelopmentReport:Informationtechnology—Codingofaudio-visualobjects—Part15:Carriageofnetworkabstractionlayer(NAL)unitstructuredvideointheISObasemediafileformat摘要本报告围绕国际标准ISO/IEC14496-15:2024《信息技术视听对象编码第15部分网络抽象层（NAL）单元结构视频在ISO基础媒体文件格式中的传输》的立项与发展展开深入分析。随着超高清视频、流媒体服务及交互式多媒体应用的爆发式增长，如何高效、兼容地封装由网络抽象层（NAL）单元结构构成的视频流（如H.264/AVC、H.265/HEVC、H.266/VVC等），已成为行业关键挑战。本标准作为MPEG-4系统层核心技术标准，旨在定义一种通用、可扩展的存储和传输机制，将NAL结构化视频无缝集成至ISO基础媒体文件格式（ISOBMFF）中。报告回顾了该标准的演进历程，详细阐述了其在文件格式容器、轨道结构（如AVC1、HEV1、VVC1等）、样本条目、参数集封装及随机访问支持等方面的核心技术内容。研究表明，ISO/IEC14496-15:2024不仅为视频编码标准提供了统一的存储载体，还通过引入抽象封装层（如BIFS结构），实现了对旧有和未来标准的前向兼容。报告重点介绍了该标准的主要修订单位——动态图像专家组（MPEG）及其在标准制定中的核心作用，并对该标准在未来沉浸式媒体、云端流媒体及AI驱动编码中的应用前景进行了展望。结论指出，该标准是构建开放、高效、可互操作数字媒体生态系统的基础性规范。关键词：ISO/IEC14496-15；网络抽象层（NAL）；ISOBMFF；视频传输；MPEG-4；文件格式封装；HEVC；VVCKeywords:ISO/IEC14496-15;NetworkAbstractionLayer(NAL);ISOBMFF;VideoCarriage;MPEG-4;FileFormatEncapsulation;HEVC;VVC正文1.引言：标准制定的背景与意义在数字媒体技术日新月异的今天，视频编码标准的迭代更新（从H.264/AVC到H.265/HEVC，再到H.266/VVC）不断推动着压缩效率与画质的边界。然而，这些先进的压缩标准背后，共同依赖一个核心的语法结构——网络抽象层（NAL）。NAL单元化的视频流本质上是一种“裸流”（ElementaryStream），它缺乏文件存储和网络传输所需的元数据信息，如时长、索引、随机访问点、参数集等。ISO/IEC14496-15:2024《信息技术视听对象编码第15部分网络抽象层（NAL）单元结构视频在ISO基础媒体文件格式中的传输》正是在此背景下应运而生。该标准利用ISO基础媒体文件格式（ISOBMFF，即MP4文件格式）作为容器，提供了一套严谨的封装规范。它旨在解决以下几个关键问题：1.行业兼容性：为不同编码标准提供统一的“容器”标准，避免针对每种新编码标准单独制定封装规范，降低系统开发成本。2.流媒体适配性：定义了分段文件（Segments）、初始化的轨道（InitializationSegments）等结构，完美适配基于HTTP的动态自适应流媒体（如MPEG-DASH）协议。3.参数集管理：规范了视频参数集（VPS）、序列参数集（SPS）、图像参数集（PPS）等关键元数据的存储位置和生命周期，确保解码器的正确初始化和资源切换。4.高性能处理：支持“样本组”（SampleGroups）、“直通模式”（SampleEntryforPassthrough）等功能，使得播放器无需完全解析深层码流即可实现快速寻址、跳跃播放和画面暂停。该标准的发布标志着视频编码技术与文件格式封装技术实现了深度融合，是构建现代数字媒体分发体系（如OTT流媒体、直播、非编系统）的基石。2.标准技术内容详解本部分将深入剖析ISO/IEC14496-15:2024的核心技术内容，其结构主要围绕“头部结构”、“样本条目”与“废弃与新增特性”展开。2.1样本条目与轨道技术标准定义了针对不同NAL结构化视频的专用“样本条目”（SampleEntry），这是轨道（Track）的核心部分，描述了轨道的编码格式、配置数据及解码约束。-AVC配置（AVCDecoderConfigurationRecord）：为H.264/AVC码流设计，包含SPS和PPS等关键参数集。这些配置记录存储在`avc1`或`avc3`样本条目中。其中，`avc1`强制要求参数集在样本条目中，而`avc3`允许参数集在样本条目中或内嵌于样本数据中，提供了更大的灵活性。-HEVC配置（HEVCDecoderConfigurationRecord）：为H.265/HEVC码流设计。相比于AVC，HEVC新增了VPS（视频参数集），用于描述公共的视频层和子层信息。因此HEVC格式的`hvc1`和`hev1`样本条目包含VPS、SPS和PPS。`hvc1`要求参数集必须在样本条目中，而`hev1`允许参数集与样本数据混合，这是H.265应用的一个关键扩展。-VVC配置（VVCDecoderConfigurationRecord）：为最新一代视频编码标准H.266/VVC设计。VVC支持更复杂的码流结构，如基于NAL单元头的跨层预测和输出层集（OLS）信息。因此，`vvc1`（参数集在头部）和`vvi1`（参数集混合模式）样本条目包含了丰富的VPS、SPS、PPS以及AdaptationParameterSet（APS）信息。标准还引入了`VvcDecoderConfigurationRecord`，它能够描述多个输出层集，为未来多视角、全向媒体应用提供了容器支持。2.2网络抽象层（NAL）单元的映射与传输标准详细规定了如何将NAL单元序列映射到ISOBMFF的样本中。一个典型的样本（Sample）通常包含一个或多个访问单元（AccessUnit，即一幅完整编码图像所需的NAL单元集合）。标准定义了“NAL单元大小”（NALUnitLength）字段的编码方式（如4字节、2字节或1字节），用于在样本数据内识别每个NAL单元的边界。此外，标准定义了“参数集NAL单元”的特定处理方式。参数集（如SPS,PPS,VPS,APS）是解码重要的共享信息。标准鼓励（在某些配置中强制）将这些参数集存储在样本条目中的解码器配置记录（DecoderConfigurationRecord）中，这样解码器在初始化阶段即可获取，无需在每个样本中重复解析，从而提升了随机访问和切换效率。2.3随机访问与流式传输支持对于流媒体场景，该标准提供了强大的随机访问支持，这是通过样本组（SampleGroups）和结构化信号（如`RollRecovery`样本组、`SyncSample`盒）实现的。-关键帧与开放GOP：标准准确定义了当SPS、PPS发生变化时，文件必须如何标记新的样本作为“流接入点”（StreamAccessPoint）。特别是对于VVC码流中的“逐渐解码刷新”（GDR）和“敞开视频编码”（OpenGOP）结构，标准引入了特定的样本组描述（如`VvcNalUnitTypeSampleEntry`），允许播放器在不完全重构参考帧列表的前提下，实现低时延的平滑切换。-分段文件（Segments）：该标准完全兼容MPEG-DASH。每个分段文件（如`Sidx`盒指向的分段）必须包含一个独立的、自包含的码流切片。标准规定了分段文件的初始化部分必须包含参数集，确保播放器能从分段文件的任意起始点正确解码。2.4废弃特性与新旧格式对比2024版标准对一些过时或低效的特性进行清理，并优化了架构：-废弃MV-HEVC（多视角HEVC）的某些已过时轨道处理方法：随着3D和VR技术的认知变化，标准简化了对多视角轨道的基本流程，强调使用更有前瞻性的`mvvc`轨道（该轨道已在其他MPEG-4标准中更新）。-优化对旧标准的前向兼容：通过定义在`stsd`（样本描述盒）中的泛型结构，使得标准能够在不修改核心容器的情况下，支持未来的编码标准（如ECM或未来AI编解码器）。2.5标准在国际化与互操作性中的核心作用ISO/IEC14496-15:2024不仅是技术规范，更是全球范围内无缝媒体互操作性的基石。任何一款遵循该标准的解码器或播放器（如Chromium/VLC/FFmpeg）都能够正确处理封装了不同NAL编码的MP4文件。从OTT服务器到客户端的编码器、封装器，这一系列流程均严格遵循此标准，这使得YouTube、Netflix、Bilibili等平台的视频内容能够在全球任意设备上被准确解析和播放。该标准通过其严格、规范且富有弹性的语法设计，保证了世界范围内不同品牌、不同操作系统、不同硬件设备之间的视频文件格式的语义一致性，从而极大促进了数字媒体内容的全球化流通和复用。标准修订的主要参与单位动态图像专家组（MPEG）ISO/IEC14496-15:2024的制定与修订工作，主要由国际标准化组织/国际电工委员会第一联合技术委员会（ISO/IECJTC1）的第29分委员会（SC29）下属的“动态图像专家组”（MovingPictureExpertsGroup，简称MPEG）负责。作为本标准的发起者和长期维护者，MPEG在全球数字媒体标准化领域中具有无可替代的权威地位。详细介绍：MPEG的架构、使命与贡献MPEG成立于1988年，最初由国际标准化组织（ISO）和国际电工委员会（IEC）联合组建，是一个专门致力于制定运动图像、音频及其组合压缩、解压缩、处理及编码表示的国际标准的专家组。MPEG的核心使命是建立通用的、可互操作的多媒体格式标准，以促进全球数字媒体技术的创新和应用。在ISO/IEC14496-15:2024的修订过程中，MPEG的具体贡献体现在以下几个方面：1.技术与组织架构：MPEG由来自全球顶尖大学、研究机构、跨国科技公司（如高通、苹果、华为、三星、微软、谷歌等）的数百名专家组成。其内部设有多个“核心实验”（CoreExperiments）和临时工作组（如系统组SYS、视频组VID），专门负责分析最新视频编码标准（如VVC）对存储格式提出的新挑战。在制定2024版时，视频组负责分析VVC码流中的新NAL单元类型（如APS、DCI）、子层信息，而系统组则负责将这些新需求转化为严谨的ISOBMFF规范。2.标准制定流程：MPEG遵循严格的“提案-参考软件-验证测试-草案-最终国际标准”流程。对于ISO/IEC14496-15:2024，MPEG不仅组织了数次物理/虚拟会议（如2023年日内瓦会议、2024年里斯本会议等），还搭建了标准符合性参考软件。这些参考软件是标准文本的“可执行版”，任何声称支持该标准的产品都必须通过严格的验证测试。MPEG还特别针对VVC、HEVC的复杂随机访问模式（如关闭GOP、开放GOP、GDR）举办了多轮互操作性测试（CFICallforImplementation），确保2024版标准描述的算法在实际应用中能够完美运行。3.前向兼容与标准化管理：MPEG深谙技术演进的不确定性。因此，在ISO/IEC14496-15:2024中，MPEG特意保留了“私有扩展”和“保留码点”的机制。这意味着，即使在未来出现全新的、革命性的编码结构（如基于神经网络的编解码），该标准的容器框架（通过定义新的样本条目类型和特定的解码器配置记录）仍然能够无缝支持，而无需推翻格式核心。MPEG还负责维护该标准的专利池（通常与MPEGLA或ViaLicensing等专利池管理机构合作），确保技术专利的公正许可。4.与其他标准的融合：MPEG不仅仅是孤立的孤岛。在2024版标准中，MPEG协调了与诸多其他重要标准的关系，如MPEG-DASH（ISO/IEC23009-1）、MPEG-H3DAudio（ISO/IEC23008-3）以及CMAF（CommonMediaApplicationFormat，ISO/IEC23000-19）。这种交叉协调确保了从封装、传输、解码到播放的整个媒体处理链条的完整性和一致性。结论与展望ISO/IEC14496-15:2024的发布，不仅完成了对新一代视频编码标准（VVC）的格式适配，更是一次对MP4文件格式体系的结构性优化。它通过对复杂的参数集管理、灵活的随机访问模式和高效的流式分段支持，为当前超高清（4K/8K）和低时延交互式流媒体（如云游戏、远程手术、实时直播）提供了坚实的基础支撑。展望未来，该标准的发展呈现以下趋势：1.向沉浸式媒体扩展：随着SMPTEST2065-4标准（虚拟现实）和MPEG-I（沉浸式视觉）系列标准的推进，ISO/IEC14496-15将需要支持更复杂的媒体轨道关系（如多个视点、深度图、元数据层）。未来版本预计将引入“3D点云”的NAL传输封装，直接支持6DoF（六自由度）应用的存储和传输。2.与AI和神经网络编码的融合：当前的视频压缩技术正迅速向基于深度学习的神经网络编码过渡。虽然目前基于NAL的码流结构是主流，但未来，标准可