ISOIEC 14496-152024AMD12025 信息技术 视听对象编码 第15部分ISO基本媒体文件格式的网络抽象层(NAL)单元结构化视频的承载 修改件1支持神经网络后滤波补充增强信息和其他改进标准立项发展报告

信息技术视听对象编码第15部分：ISO基本媒体文件格式的网络抽象层单元结构化视频的承载修改件1：支持神经网络后滤波补充增强信息和其他改进标准立项发展报告StandardizationDevelopmentReport:InformationTechnology–CodingofAudio-visualObjects–Part15:CarriageofNetworkAbstractionLayer(NAL)UnitStructuredVideointheISOBaseMediaFileFormat–Amendment1:SupportforNeural-NetworkPost-FilterSupplementalEnhancementInformationandOtherImprovements摘要随着多媒体技术向超高清、高动态范围和沉浸式体验方向迅猛发展，传统视频编码工具的压缩效率已逐渐逼近理论极限，基于神经网络的智能化视频处理技术正成为突破瓶颈的关键路径。在此背景下，国际电工委员会（IEC）于2025年1月29日正式发布ISO/IEC14496-15:2024/AMD1:2025修改件，旨在为ISO基本媒体文件格式（ISOBaseMediaFileFormat,ISOBMFF）增添对神经网络后滤波补充增强信息（Neural-NetworkPost-FilterSupplementalEnhancementInformation,NNPFSEI）的承载支持，并集成多项其他改进。本报告系统阐述了该标准的立项背景、核心技术内容、修订过程、主要参与单位以及应用前景。报告指出，该修改件的发布填补了神经网络增强信息在封装格式层面的标准化空白，为AI驱动视频增强技术在广播、流媒体、视频会议等领域的规模化商用提供了统一的封装与交互规范。同时，该标准维持了与既有ISOBMFF体系的完全向后兼容性，体现了标准化工作前瞻性与稳健性的有机统一。本报告还对该修改件的主要起草单位——动态影像专家组（MPEG）及其所属ISO/IECJTC1/SC29联合技术委员会的组织架构和工作机制进行了详细介绍，并对标准实施后可能催生的产业生态变革进行了展望。关键词：ISO/IEC14496-15；ISOBMFF；神经网络后滤波；补充增强信息；视频编码；MPEG；标准修订Keywords:ISO/IEC14496-15;ISOBMFF;Neural-NetworkPost-Filter;SupplementalEnhancementInformation(SEI);VideoCoding;MPEG;StandardAmendment1引言1.1标准修订背景视频媒体已成为全球信息基础设施中占比最高、增长最快的流量类型。根据思科年度互联网报告预测，到2025年视频流量将占据全球IP流量的82%以上。在超高清（UHD）、高动态范围（HDR）、高帧率（HFR）、虚拟现实（VR）和自由视角视频等新兴应用的强力驱动下，产业界对视频编码压缩效率和感知质量的要求持续攀升。然而，自HEVC/H.265和VVC/H.266标准化以来，传统基于块混合编码框架的压缩增益已逐步趋缓，单纯依靠扩大编码工具集来换取编码效率提升的路径面临边际收益递减的困境。与此同时，深度学习技术的爆发式发展为视频处理带来了全新范式。研究表明，基于神经网络的环路滤波和后处理滤波技术能够在相同码率条件下显著提升重建视频的主观质量，在降低压缩伪影、增强边缘锐度和恢复纹理细节方面表现尤为突出。在视频编码标准层面，VVC/H.266标准已于2022年发布第一版神经网络滤波使能技术（Neural-Network-basedIn-LoopFilter），而相应补充增强信息（SEI）消息的标准化亦同步推进。然而，SEI消息在传输和封装系统中的携带与交互问题——特别是神经网络模型参数、激活开关和区域标识等元数据如何嵌入ISO基本媒体文件格式的问题——长期缺乏统一规范，制约了该技术的端到端产业化落地。1.2修订的必要性ISO/IEC14496-15（即MPEG-4Part15）定义了网络抽象层（NAL）单元结构化视频在ISO基本媒体文件格式中的承载方式，是MP4、MOV等主流多媒体封装格式的核心规范。随着NNPFSEI消息纳入视频编码标准体系，ISOBMFF迫切需要同步扩展，以支持：-神经网络后滤波SEI消息在媒体文件中的标准化存储与提取；-基于神经网络增强的编码流在支持不同能力等级终端间的兼容传输；-神经网络模型相关补充数据的封装规范与版本管理机制。在此背景之下，ISO/IECJTC1/SC29（音频、图像、多媒体和超媒体信息编码）下属动态影像专家组（MPEG）启动了本修改件的立项工作，经过多轮技术评审与协作讨论，最终形成ISO/IEC14496-15:2024/AMD1:2025并正式发布。2标准主要内容与技术分析2.1标准基本信息|项目|内容||------|------||标准编号|ISO/IEC14496-15:2024/AMD1:2025||标准名称|信息技术视听对象编码第15部分：ISO基本媒体文件格式的网络抽象层单元结构化视频的承载修改件1：支持神经网络后滤波补充增强信息和其他改进||英文名称|Informationtechnology-Codingofaudio-visualobjects-Part15:Carriageofnetworkabstractionlayer(NAL)unitstructuredvideointheISObasemediafileformat-Amendment1:Supportforneural-networkpost-filtersupplementalenhancementinformationandotherimprovements||标准状态|现行||发布机构|国际电工委员会（IEC）||发布日期|2025-01-29||国别|国际组织||语言|英语|2.2核心技术内容本修改件在技术层面主要涵盖以下关键扩展：2.2.1NNPFSEI消息承载机制修改件新增了神经网络后滤波SEI消息在ISOBMFF中的样本条目（SampleEntry）扩展和样本分组（SampleGroup）映射机制。具体而言，当编码视频流包含NNPFSEINAL单元时，封装层需正确标识该NAL单元的类型并建立与对应样本（Sample）的关联关系，确保解码器侧能够准确提取和同步神经网络模型参数及滤波控制信息。2.2.2神经网络模型补充数据封装该修改件定义了神经网络模型参数集在文件中存储的标准化结构，包括但不限于：模型标识符（ModelID）、模型版本（Version）、输入输出格式规范、计算精度要求（如8-bit或16-bit定点运算）以及可选的初始权重数据。这一设计允许不同编码器厂商采用异构的神经网络架构，同时保证模型数据在封装层面的统一交互。2.2.3兼容性与扩展性设计修改件严格遵循ISOBMFF的向后兼容原则，所有新增box（数据盒）均采用“可选+跳过”（optionalandskipable）策略——不支持的播放器可以安全忽略新增信息而不影响基本媒体的正常解码和呈现。此外，修改件还预留了未来扩展空间，以支持网络神经环路滤波（NNLF）、超分辨率（Super-resolution）等更多AI视频处理工具的封装需求。2.2.4其他改进除NNPFSEI支持外，本修改件还整合了若干其他改进，包括：-对HEVC和VVC多图层编码流在文件封装层面的标注优化；-更新了对SVT-AV1和AVS3等编码格式的样本条目描述；-修正了此前版本中若干编辑（Edit）列表和片段（Fragment）时序解析的模糊表述。2.3技术定位与产业意义从标准化技术层级来看，ISO/IEC14496-15系列处于视频编码标准和传输封装协议之间的“粘连”位置。本修改件使AI增强视频能力从纯编码技术层面延伸到文件封装层面，打通了神经网络后滤波从编码器输出到解码器渲染的完整链路。3标准修订过程与主要编制单位3.1修订过程本修改件的制定历经标准提案（WD）、委员会草案（CD）、国际标准草案（DIS）和最终国际标准草案（FDIS）等阶段。自2023年下半年立项以来，MPEG专家组围绕SEI消息承载粒度、样本分组映射关系、模型元数据定义等核心议题展开了多轮深度讨论。其中关于“NNPFSEI是否应在样本条目级别而非样本级别进行声明”的争论尤为激烈——前者倾向于声明同一编码流使用统一的神经网络后滤波策略，后者则允许不同帧或不同片段采用不同模型。最终标准采用了兼顾灵活性与实现复杂度的折中方案：在样本条目层面声明默认模型，同时允许样本分组级别进行覆盖（override）。3.2主要参与单位——动态影像专家组（MPEG）本标准的制定工作由ISO/IECJTC1/SC29下设的MPEG专家组主导完成。MPEG（MovingPictureExpertsGroup，动态影像专家组）成立于1988年，是国际标准化组织（ISO）和国际电工委员会（IEC）联合技术委员会JTC1下属的第29分技术委员会（SC29）的重要组成部分，负责音视频编码、多媒体系统和内容描述等领域的国际标准制定。MPEG以其在MPEG-1、MPEG-2、MPEG-4、MPEG-7和MPEG-21系列标准方面的开创性工作而闻名全球。尤其值得关注的是，MPEG与ITU-TVCEG（视频编码专家组）联合制定的H.26x系列标准（包括H.264/AVC、H.265/HEVC和H.266/VVC）深刻塑造了全球数字视频产业的生态格局。MPEG的工作模式以“提案—评估—共识”为核心，每年召开多次全体会议和临时工作组会议，汇聚了来自全球领先企业、研究机构和高校的数百名专家。在本修改件的制定过程中，MPEG视频编码子组和系统子组密切协作，在NNPFSEI的设计理念和封装需求之间架起了有效的沟通桥梁。来自华为、高通、三星、腾讯、字节跳动等企业的技术专家贡献了大量基于实际产品验证的提案，而来自欧洲、中国、韩国、日本和美国的多所高校和研究机构的学者则为模型元数据设计和未来发展空间规划提供了前瞻性的学术支撑。4标准应用场景与产业影响4.1主要应用场景（1）流媒体服务平台爱奇艺、Netflix、YouTube等流媒体平台已开始部署基于神经网络的画质增强技术以提升存量内容的视觉体验。本修改件提供的标准化承载方式使平台能够在同一媒体文件中携带AI增强模型参数，避免服务端分发与客户端下载之间模型数据匹配不一致的对接难题。（2）视频会议与实时通信WebRTC和5G音视频通信场景中，终端算力差异悬殊。通过将轻量化神经网络后滤波模型封装于媒体流中，接收端可根据自身解码能力和计算资源灵活选择是否启用AI增强处理，从而实现自适应画质优化。（3）智能安防与工业视觉在智能安防监控和工业视觉检测领域，编码视频的清晰度和细节保真度直接影响人工智能分析算法的准确率。NNPFSEI的标准化封装支持安防设备制造商在保留标准编码兼容性的前提下叠加自研增强算法，兼顾系统封闭性和互操作性。（4）数字电影与专业制作数字电影母版制作和后期调色流程追求极致的画质还原。本修改件支持在专业制作文件中携带高精度神经网络模型参数，方便在调色、合成、母版输出等环节应用AI画质增强，同时确保最终交付文件在不同影院服务器上呈现一致的视觉预期。4.2对产业生态的影响本修改件的发布将在以下层面产生深远影响：-降低集成门槛：此前AI视频增强技术的集成通常需要自定义私有扩展或外部元数据通道，系统集成复杂度高、互操作性差。标准化承载机制显著降低了技术集成的工程成本和兼容性风险。-推动模型标准化意识：该标准首次在封装层面对神经网络模型元数据进行规范，有望引导产业就模型互操作性达成更多共识，推动模型交换格式（如ONNX）在媒体封装场景的适配应用。-助力差异化竞争：终端厂商可在遵循统一封装标准的基础上，通过优化自有神经网络模型在特定场景下的增强效果来实现差异化竞争优势，同时不影响与其他标准兼容设备之间的互操作。5结论与展望ISO/IEC14496-15:2024/AMD1:2025作为ISOBMFF体系的重要扩展，首次在ISO/IEC层面系统性地解决了神经网络后滤波补充增强信息在文件封装格式中的标准化承载问题。该修改件在技术设计上兼顾了前瞻性与兼容性，在标准化流程上体现了MPEG专家组开放协作、科学论证的工作机制传统。展望未来，随着端侧AI算力持续增强和神经网络压缩技术不断进步，AI驱动的视频增强能力将进一步从“可选项”演变为“必选项”。本修改件的发布为这一演进过程奠定了关键的封装基础。可以合理预见，后续ISO/IEC14496-15系列将持续演进——包括支持多模型级联增强管线、基于注意力机制的自适应滤波模型，以及面向机器视觉任务的联合编码优化等方向均有望纳入标准化轨道。同时，建议国内相关企事业单位密切关注该标准的技术细节，并积极参与后续版本的标准制定工作，在神经网络模型封装互操作性、自主视频编码标准（AVS系列）与ISOBMFF融合适配等方面提前布局，以在全球AI视频技术标准竞争中占据有利位置。参考文献[1]ISO/IEC14496-15:2024/AMD1:2025,Informationtechnology-Codingofaudi