信息技术视听对象编码第15部分ISO基本媒体文件格式的网络抽象层（NAL）单元结构视频的传输修改件1对LCEVC的支持标准立项发展报告

信息技术视听对象编码第15部分：ISO基本媒体文件格式的网络抽象层（NAL）单元结构视频的传输修改件1：对LCEVC的支持标准立项发展报告英文标题StandardizationDevelopmentReport:Informationtechnology—Codingofaudio-visualobjects—Part15:Carriageofnetworkabstractionlayer(NAL)unitstructuredvideointheISObasemediafileformat—Amendment1:SupportforLCEVC摘要本报告围绕国际标准ISO/IEC14496-15:2022/Amd1:2023的立项与发展历程展开深入分析。该标准作为ISO/IEC14496（MPEG-4）系列标准的重要组成部分，专注于定义如何在ISO基本媒体文件格式（ISOBMFF）中封装网络抽象层（NAL）单元结构视频。其最新修改件（Amd1）引入了对低复杂度增强视频编码（LCEVC）的支持。研究背景指出，随着超高清（UHD）、流媒体和实时通信技术的发展，对高效、灵活且兼容性强的视频编码与封装格式的需求日益迫切。LCEVC作为一种高效的视频编码增强层技术，能够在不增加大量计算复杂度的前提下，显著提升现有编码标准（如H.264/AVC和H.265/HEVC）的压缩效率。本报告详细阐述了该标准修改件的核心内容，包括LCEVC增强层数据在ISOBMFF中的封装结构、轨道参考模型、采样组描述以及解码流程。重要结论表明，该标准的发布为LCEVC技术的标准化部署提供了坚实的基础，有助于推动视频服务提供商、设备制造商和内容分发网络（CDN）在现有基础设施上平滑升级其视频质量，从而实现更优的带宽利用率和用户体验。同时，报告也指出，该标准被废止状态可能意味着其内容已整合到更新的版本或更广泛的框架中，反映了标准化工作的动态演进特性。关键词ISO/IEC14496-15;网络抽象层(NAL);ISO基本媒体文件格式(ISOBMFF);低复杂度增强视频编码(LCEVC);编码与封装;视频传输;流媒体标准EnglishKeywordsISO/IEC14496-15;NetworkAbstractionLayer(NAL);ISOBaseMediaFileFormat(ISOBMFF);LowComplexityEnhancementVideoCoding(LCEVC);CodingandEncapsulation;VideoTransmission;StreamingStandard正文1.引言数字视频技术是当今信息化社会的核心驱动力之一，其应用范围覆盖了从移动短视频、视频会议到超高清广播电视、云游戏等众多领域。在视频编解码技术持续演进的同时，确保各种编码后的视频数据能够高效、可靠地在不同系统、设备和网络之间传输和存储，是标准化工作的关键任务。ISO/IEC14496-15标准，即“信息技术——视听对象编码——第15部分：ISO基本媒体文件格式的网络抽象层（NAL）单元结构视频的传输”，正是为了解决这一问题而制定。该标准定义了将H.264/AVC、H.265/HEVC以及H.266/VVC等基于NAL单元结构的视频流封装到ISO基本媒体文件格式（ISOBMFF，即MP4文件格式的基础）中的详细规范。在视频编解码领域，提升压缩效率通常意味着引入更复杂的算法和更高的计算成本。然而，对于已经部署了广泛H.264/AVC或H.265/HEVC硬件解码器的终端设备而言，全面升级解码器代价高昂。在此背景下，低复杂度增强视频编码（LCEVC，ISO/IEC23094-2）技术应运而生。LCEVC是一种创新的编码范式，它不是在基础编码流之上进行生硬的叠加，而是通过一个极低复杂度的增强层，对基础编码流（如H.264/AVC或H.265/HEVC解码后的视频）进行后处理增强，从而以极低的计算开销实现分辨率提升（如从480p提升至1080p甚至4K）和主观质量优化。要将LCEVC的美好愿景变为现实，一个关键环节就是定义其在标准文件格式中的封装方式，这正是本报告所关注的ISO/IEC14496-15:2022/Amd1:2023修改件所要解决的核心问题。2.标准背景与演进2.1标准体系定位ISO/IEC14496系列标准通称MPEG-4标准，是一个庞大的音频-对象编码标准家族。第15部分（ISO/IEC14496-15）是其极为重要的组成部分，因为它定义了“容器”标准，为整个MPEG系列以及第三方的视频编码标准提供了统一的存储和传输机制。该标准与ISO/IEC14496-12（ISO基础媒体文件格式，ISOBMFF）紧密耦合。ISOBMFF是一个面向对象的、可扩展的文件格式框架，用于描述时间媒体数据。ISO/IEC14496-15则在其之上，针对NAL单元结构视频（即现代主流视频编码标准）制定了特定的封装规则，包括如何管理编码层、参数集、时间信息以及随机访问点等。2.2修改件的提出为了推动LCEVC技术的大规模应用，国际标准化组织（ISO）与国际电工委员会（IEC）联合技术委员会JTC1下的SC29（音频、图像、多媒体和超媒体信息编码分委员会）启动了本修改件的制定工作，将LCEVC支持纳入ISO/IEC14496-15。3.标准核心内容ISO/IEC14496-15:2022/Amd1:2023修改件为支持LCEVC，对原有标准框架进行了精确而必要的扩展。其核心内容包括以下几个方面：3.1结构定义：增强层与基础层的关联该修改件定义了如何在ISO基本媒体文件格式（ISOBMFF）中使用“轨道”（Track）来代表视频数据。基础层视频（如一个H.264或H.265流）被封装在一个标准的视频轨道中。LCEVC增强层数据则被封装在与基础层轨道关联的一个或多个“增强层轨道”（EnhancementLayerTrack）中。关键创新在于关联机制：修改件引入了新的“轨道参考类型”，专门用于指明LCEVC增强层轨道与其所增强的基础层轨道之间的关系。这确保了解码器能够通过读取文件的元数据（metadata），明确地了解到“这个基础层轨道需要搭配哪个LCEVC增强层轨道进行解码后增强”。这种设计具有高度的模块化和灵活性，允许一个基础层流被一个LCEVC增强层增强，也支持更复杂的多增强层组合。3.2采样与样本组描述在ISOBMFF中，视频数据被分割为“样本”（Sample），通常一帧对应一个或多个样本。对于LCEVC，增强层的样本在时间上与基础层样本对齐。修改件定义了LCEVC增强层样本的封装格式。此外，它还引入了新的“样本组”（SampleGroup）描述机制，用于对LCEVC增强数据的特性进行分组说明，例如增强层的分辨率、配置文件、级别信息等。这使得解码器无需解析每个样本的复杂头部信息，就能通过样本组描述快速获取元数据，从而进行高效的资源初始化和解码调度。3.3解码流程的标准化表述该修改件不仅规范了数据格式，还从标准层面明确了推送至解码器的流程。它定义了在MP4文件结构中，如何将基础层数据和LCEVC增强层数据以正确的顺序、时间戳和依赖关系提供给应用层。这种“格式化”的解码流程描述为终端播放器实现提供了清晰的指南，减少了因不同实现解读差异导致的兼容性问题。标准中描述了如何构建包含基础层和增强层的“解复用”后的NAL单元流，并明确定义了随机访问行为（如开关键帧或即时解码刷新帧IDR配合LCEVC帧）。3.4兼容性与向后兼容标准设计中特别强调了兼容性。一个不识别LCEVC的旧版播放器仍然可以提取并解码基础层视频轨道（如H.264/AVC），获得标准质量的视频，而不会因为文件中存在未知的增强层轨道报错。LCEVC增强层数据被打包在专门的“兼容性扩展框”（CompatibilityExtensionBox）或新定义的结构中，不影响基础播放。这种向后兼容设计对于标准在真实世界中的推广至关重要，确保了渐进式的部署策略成为可能。4.介绍修订的企事业单位或标委会ISO/IECJTC1/SC29-音频、图像、多媒体和超媒体信息编码分技术委员会本标准的修订主要由国际标准化组织与国际电工委员会下设的第一联合技术委员会（JTC1）的第29分技术委员会（SC29）负责。SC29是全球数字音视频和多媒体信息编码领域最权威的技术委员会之一，其工作范围涵盖了从静止图像编码（JPEG系列）、音频编码（MPEG系列）到视频编码（如H.264、H.265、H.266）以及多媒体文件格式（如ISOBMFF）的全方位标准化。SC29的核心工作模式是汇聚全球顶尖的技术专家、学术机构、行业巨头（如苹果、高通、华为、三星、微软等）和内容提供商的标准力量。针对LCEVC这一特定技术，V-Nova公司是该技术的核心发明者和主要推动者。V-Nova作为SC29的积极参与者，提供了大量技术提案、验证数据和实现草案，以证明LCEVC的高效性和实用性。在SC29的框架下，V-Nova与来自其他公司的专家（如来自编码器厂商、流媒体平台、芯片设计商）共同组成了特设工作组，专门负责定义ISO/IEC14496-15对LCEVC的支持规范。SC29的具体职责在此修订中包括：1.需求收集与分析：评估LCEVC对现有MP4文件封装格式的潜在影响和具体需求，确保修改方案能有效解决传输和存储问题。2.技术方案评审：对V-Nova等公司提出的封装候选方案进行严格的技术评审，包括编码效率、兼容性、解析复杂度、可扩展性等多个维度。3.标准文本制定与投票：将达成的共识形成标准文本（如Amd1草稿），并在成员国中进行多轮研究和投票，最终形成国际标准。4.软件参考软件整合：SC29通常会配套发布参考软件（如开源C语言实现），ISO/IEC14496-15的修改件也要求提供用于解析和封装LCEVC增强层的参考代码，以验证标准的正确性和互操作性。通过SC29的全球化协作，ISO/IEC14496-15的本次修订确保了其技术方案具有广泛的产业共识支持，避免了单点厂商的垄断风险，并促进了国际范围内互操作性的达成。V-Nova作为技术贡献者，其在SC29中的工作不仅推动了其专有技术的标准化，也使其成为LCEVC生态系统的核心标准化推动力量。5.标准状态及其意义1.版本更新：该修改件（Amd1）的核心内容可能已被整合到一个全新的、更综合的基础版本中。例如，ISO/IEC14496-15可能在后续发布了2024或更高版本，其中直接包含了LCEVC支持，因此独立的Amd1:2023被废止。2.合并至其他标准：LCEVC的封装规范可能被宏观地纳入其他文件格式标准框架（如未签署许可的MPEG标准）。3.技术演化：新的技术补充或勘误使得本修改件不再适用。无论具体原因，该标准废止并不代表其技术的失败或无效。相反，它恰恰反映了标准化工作的动态性和高成熟度——当一个技术变更被充分证实并被无缝吸收为父标准的主体部分后，作为分支的修改件的使命就已完成。因此，报告撰写应重点突出该修改件在推动LCEVC标准化进程中的历史关键作用。它为后续的集成版本提供了最权威的技术基础。从实践角度看，任何基于ISOBMFF支持LCEVC的播放器或服务器实现，其设计依据依然是本修改件所定义的技术规范——只是这一规范如今可能以基础标准中的某一章节呈现。因此，理解该修改件的技术细节，对于从事视频流传输、设备兼容性测试、编码器开发的专业人士而言，依然具有极高的指导价值。它定义了LCEVC增强层在MP4文件中的“形状”和“位置”，是连接编码端与解码端的标准桥梁。6.结论ISO/IEC14496-15:2022/Amd1:2023作为一项国际标准修改件，在视频编码与文件封装领域具有里程碑意义。它成功地将LCEVC这一高效的增强视频编码技术与主流MP4文件格式进行了解耦与集成，为视频服务提供商提供了一条低成本、高效率的视频质量升级路径。通过定义新的轨道参考、样本组描述和结构化数据包装规则，该标准确保了LCEVC增强层可以“无侵入”地与现有H.264/AVC和H.265/HEVC内容共存。展望未来，随着LCEVC技术的持续成熟和ISO/IEC14496-15标准的版本演进（其废止状态暗示了整合），以下趋势将成为发展重点：-广泛部署于流媒体与OTT平台：LCEVC的极低复杂度特性使其特别适合在服务器端进行画质优化，而终端设备仅需软件解码增强层，无需硬件改动。许多大型CDN和流媒体平台可能会采用该技术，以实现向超高清的平滑过渡。-助力边缘计算与元宇宙：在实时视频分发上，LCEVC能显著降低带宽需求，对于云游戏、AR/VR、全息视频等新兴应用，该标准的支持将提供关键的基础设施能力。-标准化互操作性持续加强：虽然本修改件已废止，但SC29将继续推动LCEVC在更