ISOIEC 15938-172022 信息技术.多媒体内容描述接口.第17部分多媒体内容描述和分析用神经网络的压缩标准立项发展报告

信息技术多媒体内容描述接口第17部分：多媒体内容描述和分析用神经网络的压缩标准立项发展报告StandardizationDevelopmentReport:InformationTechnology—MultimediaContentDescriptionInterface—Part17:CompressionofNeuralNetworksforMultimediaContentDescriptionandAnalysis摘要随着人工智能技术的迅猛发展，神经网络在多媒体内容描述与分析领域扮演着日益重要的角色。然而，深度学习模型日益增长的参数量和计算复杂度，严重制约了其在资源受限环境下的部署与应用。在此背景下，ISO/IEC15938-17:2022《信息技术多媒体内容描述接口第17部分：多媒体内容描述和分析用神经网络的压缩》作为国际标准化组织发布的专项标准，旨在建立面向多媒体场景下神经网络模型的统一压缩框架与表征规范。本报告系统梳理了该标准的立项背景、技术架构、核心内容及产业应用价值，详细阐述了标准参与单位的组织架构与标准化工作实践，并对神经网络压缩标准化的发展趋势进行了前瞻性展望。报告指出，ISO/IEC15938-17:2022虽已废止，但其开创性的技术框架为后续MPEG神经网络压缩标准的迭代演进奠定了坚实基础，对推动AI模型互操作性和高效部署具有重要的历史意义与参考价值。关键词：神经网络压缩；多媒体内容描述；MPEG标准；模型互操作性；AI标准化Keywords:NeuralNetworkCompression;MultimediaContentDescription;MPEGStandard;ModelInteroperability;AIStandardization一、引言1.1研究背景多媒体内容描述与分析技术是数字媒体管理的核心支撑，广泛应用于视频检索、图像分类、目标检测、语义分割等众多场景。长期以来，ISO/IECJTC1/SC29（编码音频、图像、多媒体和超媒体信息分技术委员会）下属的MPEG（MovingPictureExpertsGroup，动态图像专家组）制定了一系列多媒体内容描述接口标准，即ISO/IEC15938系列标准（亦称MPEG-7），为多媒体信息的结构化描述和检索提供了统一的规范化框架。近年来，深度学习技术的突破性进展深刻改变了多媒体内容分析的技术范式。基于卷积神经网络（CNN）、循环神经网络（RNN）和Transformer架构的深度模型在各类多媒体理解任务中取得了显著优于传统方法的性能表现。然而，这些高性能模型通常包含数百万乃至数十亿的参数，存储需求高达数百兆字节，推理过程需要大量的计算资源和内存带宽。这种高资源消耗特性使得深度神经网络难以在移动终端、嵌入式设备、物联网节点等资源受限环境中高效部署，形成制约AI技术规模化落地的“最后一公里”瓶颈。1.2标准化需求分析面对上述挑战，研究机构和企业纷纷探索模型压缩技术，包括网络剪枝（Pruning）、参数量化（Quantization）、知识蒸馏（KnowledgeDistillation）、低秩分解（Low-rankFactorization）和神经架构搜索（NAS）等。然而，市场上缺乏统一的神经网络压缩标准框架，具体表现为：1.压缩格式不统一：不同厂商和研究机构提出的压缩方法各成体系，压缩后的模型格式互不兼容，严重阻碍了模型的跨平台、跨设备部署和交换。2.压缩表示缺乏互操作性：缺乏公认的压缩神经网络表征格式，使得压缩模型难以在不同推理框架（如TensorFlowLite、ONNXRuntime、CoreML等）之间无缝迁移。3.评价基准缺失：缺乏统一的压缩模型性能评价方法，不同压缩方案之间的比较缺乏公平性和可重复性。在这一背景下，MPEG于2019年启动神经网络压缩标准化探索工作，并于2022年正式发布ISO/IEC15938-17:2022标准，为多媒体内容描述与分析场景下的神经网络模型压缩提供了第一份国际标准。1.3标准基本信息该标准的完整信息如下：-标准编号：ISO/IEC15938-17:2022-标准全称：信息技术多媒体内容描述接口第17部分：多媒体内容描述和分析用神经网络的压缩-英文名称：Informationtechnology—Multimediacontentdescriptioninterface—Part17:Compressionofneuralnetworksformultimediacontentdescriptionandanalysis-发布机构：国际标准化组织（ISO）与国际电工委员会（IEC）联合技术委员会JTC1-发布日期：2022年8月26日-标准状态：已废止（被后续版本或替代标准取代）-语言版本：英语二、标准立项背景与研制历程2.1MPEG标准化体系概览MPEG（MovingPictureExpertsGroup）成立于1988年，是ISO/IECJTC1/SC29下设的国际化标准制定组织，其制定的MPEG-1、MPEG-2、MPEG-4、MPEG-7和MPEG-21等系列标准对全球数字媒体产业产生了深远影响。其中，ISO/IEC15938系列标准即MPEG-7标准，正式名称为“多媒体内容描述接口”（MultimediaContentDescriptionInterface），旨在提供一套标准化的工具和描述符，实现对多媒体内容的结构化描述和高效检索。随着深度学习技术对多媒体领域的深度渗透，MPEG意识到需要将神经网络模型的压缩纳入标准化轨道。2019年7月，MPEG在第126次会议（瑞典哥德堡）上正式启动了神经网络压缩（NeuralNetworkCompression,NNC）的标准化探索，经过前期的需求收集和使用场景分析，于2020年正式成立NNC特别工作组（AdhocGroup），开始技术方案征集与评估。2.2立项论证与需求分析在标准立项论证阶段，MPEGNNC工作组通过广泛调研，识别出以下关键技术需求和目标应用场景：-设备端AI推理：在智能手机、智能摄像头、可穿戴设备、智能家电等边缘设备上高效运行神经网络模型；-云-端协同推理：在云端训练的大型模型经压缩后部署到终端设备，实现云端-边缘协同的推理架构；-模型分发与更新：通过OTA（Over-The-Air）方式向大规模设备分发或更新压缩后的AI模型；-多媒体内容分析：面向视频监控、图像检索、多媒体事件检测等应用场景的神经网络模型压缩。工作组同时确立了标准制定的核心技术原则：（1）保持压缩后模型的任务精度；（2）支持多种压缩技术的协同优化；（3）定义统一的压缩模型表示格式；（4）确保解码器的标准一致性。2.3研制时间线该标准从立项到发布经历了约三年的研制周期，主要里程碑节点如下：-2019年7月（第126次会议，瑞典哥德堡）：MPEG启动神经网络压缩标准化探索-2020年1月（第128次会议）：成立NNC特别工作组，发布《神经网压缩使用场景和需求》草案-2020年7月（第130次会议）：发布NNC标准技术征集书（CallforProposals,CfP）-2020年10月（第131次会议）：收到多份技术提案，确定参考测试模型（TestModel）-2021年—2022年：多次核心实验和一致性测试，完成标准文本的起草与完善-2022年8月：ISO/IEC15938-17:2022正式发布三、标准核心技术内容3.1标准框架与适用范围ISO/IEC15938-17:2022定义了面向多媒体内容描述和分析应用的神经网络压缩表示格式，包括压缩神经网络（CompressedNeuralNetwork,CNN）的比特流语法、解码过程以及一致性测试要求。该标准的核心目标是在保持神经网络任务性能的前提下，尽可能降低模型的存储和传输开销。标准适用的神经网络类型包括但不限于：-用于图像分类、目标检测、语义分割的卷积神经网络；-用于视频内容理解和动作识别的三维卷积网络与循环网络；-用于多媒体内容描述的Transformer架构模型。3.2关键技术机制标准的压缩框架围绕以下核心机制展开：（1）结构化压缩与参数编码标准定义了神经网络的权重参数和偏差项的统一编码方案，支持多种量化精度（如8比特、4比特、2比特乃至更低比特）的参数表示。通过熵编码（如算术编码）对量化后的参数进行进一步的无损压缩。（2）剪枝信息表征标准提供了一种标准化的剪枝掩码（PruningMask）表示方法，用于记录网络中被移除的冗余连接或通道信息。该机制允许解码端根据剪枝掩码重建稀疏网络结构，从而实现非结构化剪枝和结构化剪枝的标准化表征。（3）分层编码与比特流语法标准定义了一套分层级的比特流语法结构，能够对网络的拓扑结构、层类型、层参数以及权重数据进行系统化描述。比特流语法支持灵活的扩展机制，允许对不同网络架构进行编码。（4）解码器规范标准规定了解码器的标准一致性要求，确保任何符合标准的解码器能够正确解析压缩比特流并重建神经网络的权重参数和结构信息，从而在不同部署平台之间实现互操作。（5）性能评估参考标准附录提供了参考配置和评估方法建议，包括对不同压缩配置下模型精度损失的评价方案，为压缩方案的公平比较提供了统一的参考基点。3.3与相关标准的关系ISO/IEC15938-17:2022是ISO/IEC15938（MPEG-7）标准家族的第17部分，与其他部分共同构成本体描述与压缩的标准化体系。同时，该标准与MPEG正在制定的其他AI相关标准（如ISO/IEC23090-9（MPEG-I基于神经网络的视频编码）等）保持技术协同。四、主要参与单位介绍4.1组织架构与标准化工作机制ISO/IECJTC1/SC29/WG11（即MPEG工作组）是该标准研制的核心技术组织。MPEG工作组实行开放式的国际参与机制，汇聚了来自全球的ICT企业、研究机构和学术组织的专家代表。在NNC标准研制过程中，工作组形成了高效的协作机制：全体会议（PlenaryMeeting）进行重大技术方向的审议与决策，下设的核心实验组（CoreExperimentGroup）负责具体技术方案的实验验证与对比评估，特别工作组（AdhocGroup）处理跨领域的协调事务。各参与单位通过提交技术提案、开展核心实验、参与交叉审查等方式深度贡献技术力量。4.2主要参与单位介绍——以FraunhoferHHI为例4.2.1机构概况弗劳恩霍夫海因里希·赫兹研究所（FraunhoferHeinrichHertzInstitute，简称FraunhoferHHI）是德国弗劳恩霍夫应用研究促进协会旗下专注于通信和媒体技术领域的研究机构，总部位于柏林。作为全球多媒体处理和通信技术领域享有盛誉的研究机构，FraunhoferHHI长期以来深度参与MPEG系列标准的研制工作，是该标准最重要的技术贡献单位之一。4.2.2核心研究方向FraunhoferHHI在以下与神经网络压缩密切相关的领域具有深厚的技术积累：-视频编码与压缩：作为MPEG视频编码标准的核心贡献者，HHI在高效压缩算法设计、率失真优化等方面积累了丰富的理论与工程经验；-神经网络的压缩与加速：HHI在模型量化、剪枝、结构化压缩等方向开展了系统的研究工作，提出了多项具有业界影响力的压缩算法；-机器学习与多媒体分析：HHI在计算机视觉、多媒体内容理解方面拥有世界级的研究团队和科研成果。4.2.3在标准研制中的贡献在ISO/IEC15938-17:2022的研制过程中，FraunhoferHHI承担了多项关键技术工作：-提出基于张量分解的神经网络压缩方案：HHI团队提出的低秩分解与结构化稀疏结合方案被纳入标准参考测试模型，在保持高压缩率的同时有效控制了精度损失；-主导加权量化方案设计：HHI在非均匀量化和重要性感知量化方面的研究成果，为标准中量化模块的设计提供了关键技术支撑；-承担一致性测试验证工作：HHI参与了标准一致性和互操作性测试方案的制定与验证；-组织技术提案评估：在CfP评审阶段，HHI派遣资深专家参与了多轮交叉评估，确保提案评估的科学性和公正性。4.2.4组织意义FraunhoferHHI的深度参与体现了研究机构在标准制定中的重要角色。其以扎实的基础研究为根基，以国际标准为平台实现技术转化与产业影响，形成了“基础研究—标准制定—产业转化”的良性循环，为全球多媒体AI标准化工作做出了突出贡献。五、标准应用与产业影响5.1典型应用场景ISO/IEC15938-17:2022面向的典型应用场景包括：（1）移动多媒体应用智能手机和平板电脑上的多媒体应用需要运行图像识别、增强现实（AR）、实时视频分析等AI功能。通过标准化的神经网络压缩，可将大型模型压缩至原来的1/10乃至更小，显著降低存储占用和应用体积，提高模型下载和更新速度。（2）智能视频监控系统视频监控系统中的目标检测和行为识别模型对实时性和功耗有严格要求。标准化压缩框架能够帮助安防设备制造商在嵌入式硬件上高效部署高性能模型，同时避免厂商锁定（VendorLock-in）问题。（3）云端模型分发与管理大型云服务提供商需要向海量终端设备分发AI模型。统一的神经网络压缩比特流格式简化了模型的打包、分发和版本管理流程，提升了全链条的运维效率。（4）多媒体内容检索系统基于深度学习的多媒体内容检索系统（如图像检索、视频指纹）受益于标准化压缩框架，可在索引构建和查询阶段实现更高效的模型部署与更新。5.2产业价值分析该标准的发布对产业链各环节均具有重要意义：|产业链角色|价值体现||:---:|:---||AI芯片厂商|明确的解码器规范指导芯片硬件设计，降低支持成本||模型开发者|统一的编码标准促进模型资产的可移植性和复用性||系统集成商|减少跨平台适配工作量，提升部署效率||最终用户|享受更小体积、更低功耗的AI应用体验|5.3标准废止的启示需要注意的是，ISO/IEC15938-17:2022已被废止，但其技术遗产并未消失。MPEG在完成该标准后，在更广泛的范围内继续推进神经网络压缩标准化工作，其后续相关标准化项目在技术框架上与该标准保持延续性。该标准的技术积累为以下方面的持续演进奠定了基础：（1）更高效的压缩算法纳入；（2）更广泛的网络架构支持；（3）增强的互操作性测试方案。该标准的废止反映了标准化工作的动态迭代特性——即技术在高速发展期，标准需要在实践中不断修订和完善，以适应新的技术需求和产业格局。六、结论与展望6.1结论ISO/IEC15938-17:2022作为国际标准化组织在神经网络压缩领域发布的首批标准之一，敏锐地捕捉了人工智能与多媒体技术融合发展带来的标准化需求，以系统化的方法定义了面向多媒体内容描述与分析场景的神经网络压缩表示框架。该标准在技术上实现了对网络参数编码、剪枝表征和比特流语法等关键机制的规范化，在产业层面为AI模型的高效部署与互通提供了国际通用的技术接口。尽管该标准已废止，但其研制过程中形成的技术方案、评测方法和协作机制，对后续神经网络压缩标准化工作产生了深远影响。标准的迭代与废止从根本上反映了标准化组织对技术快速演进环境的积极适应能力。6.2未来展望展望未来，神经网络压缩标准化将呈现以下发展趋势：（1）标准体系的完善与融合随着AI模型规模的指数级增长和新型架构（如大型语言模型、多模态模型）的涌现，神经网络压缩标准将不断扩展其覆盖范围。未来的标准体系有望实现训练后压缩、量化感知训练、结构化剪枝等多种技术的深度融合，并支持更广泛的模型架构和计算平台。（2）互操作性要求持续提升随着边缘计算和物联网的普及，跨平台、跨框架的模型互操作性需求将更加强烈。标准化的压缩表示格式将成为打通AI模型从云端到终端的关键纽带。（3）与AI治理标准的协同随着AI伦理和治理议题日益受到重视，神经网络压缩标准需要与AI安全、隐私保护、可解释性等AI治理标准协同发展，确保压缩技术不损害模型的公平性和可靠性。（4）面向垂直行业的定制化标准医疗影像分析、自动驾驶、工业质检等垂直行业对神经网络压缩有特殊需求（如精度敏感、实时性要求高），未来可能出现面向特定行业的神经网络压缩标准分支。综上所述，ISO/IEC15938-17:2022的研制与发布是AI标准化进程中的一个重要里程碑。它以丰富的技术内涵和深远的产业影响，为构建开放、高效、互操作的人工智能生态系统贡献了不可忽视的力量。标准化组织和技术共同体需要持续投入，共同推动神经网络压缩技术标准的迭代完善，为全球人工智能产业的健康发展奠定更加坚实的制度和技术基础。参考文献[1]ISO/IEC15938-17:2022,Informationtechnology—Multimediacontentdescriptioninterface—