ISOIEC 15938-162021 信息技术多媒体内容描述接口第16部分视频分析用压缩描述符的一致性和参考软件标准立项发展报告

信息技术多媒体内容描述接口第16部分：视频分析用压缩描述符的一致性和参考软件标准立项发展报告StandardizationDevelopmentReport:InformationTechnology—MultimediaContentDescriptionInterface—Part16:ConformanceandReferenceSoftwareforCompactDescriptorsforVideoAnalysis摘要随着视频数据呈指数级增长，面向视频分析的高效描述符技术已成为多媒体信息检索与智能处理领域的关键基础。ISO/IEC15938（多媒体内容描述接口，又称MPEG-7）系列标准作为国际公认的多媒体内容描述框架，为视频、图像、音频等媒体资源的语义化描述与检索提供了统一规范。其中，第16部分（ISO/IEC15938-16:2021）聚焦于视频分析用压缩描述符（CompactDescriptorsforVideoAnalysis，简称CDVA）的一致性测试与参考软件实现，是确保标准可实施性、互操作性和产业落地的重要支撑性规范。本报告系统梳理了该标准的立项背景、技术内容、主要特点和修订情况，重点分析了标准中所规定的一致性测试框架、参考软件架构及其与CDVA编码流程的关系，并介绍了主要参与单位在标准研制过程中的贡献。报告指出，该标准的发布填补了CDVA技术在实际应用中缺乏统一验证手段的空白，对于推动视频分析技术的标准化进程和产业发展具有重要意义。未来，随着深度学习与视频理解技术的深度融合，该标准将持续演进，为智能视频分析应用提供更加完善的标准化支撑。关键词：MPEG-7；视频分析；压缩描述符；一致性测试；参考软件；多媒体内容描述；ISO/IEC15938一、引言随着互联网、移动通信和物联网技术的迅猛发展，视频数据已成为全球信息流中占比最大且增速最快的媒体类型。据统计，视频流量在全球互联网总流量中的占比已超过80%，而这一比例仍在持续攀升。在这一背景下，如何对海量视频内容进行高效的分析、检索和语义理解，已成为学术界和产业界共同关注的核心议题。传统的视频分析技术往往依赖高维特征提取和复杂计算模型，难以满足移动端和嵌入式场景下对实时性、低带宽和低功耗的严苛需求。为解决上述瓶颈，国际标准化组织（ISO）和国际电工委员会（IEC）联合下设的MovingPictureExpertsGroup（MPEG，动态图像专家组）于2015年前后启动了面向视频分析的压缩描述符（CDVA）标准化工作，旨在定义一套紧凑高效的视频特征描述方法，使设备端能够在资源受限条件下提取视频内容的语义级特征，并通过轻量化的二进制描述符实现高效的比对与检索。在CDVA编码框架标准化的基础上，ISO/IEC15938-16:2021进一步定义了该技术的一致性测试方法和参考软件规范，为标准的验证、评估和产业部署提供了统一的技术依据。本报告将从标准的基本信息、立项背景、技术内容、一致性测试框架、参考软件实现以及参与单位等多个维度，对ISO/IEC15938-16:2021标准进行系统性梳理和深度解析，力求为相关领域的研究人员、工程技术人员和标准化工作者提供有价值的参考。二、标准基本信息ISO/IEC15938-16:2021由国际标准化组织（ISO）和国际电工委员会（IEC）联合技术委员会JTC1（信息技术委员会）下属的SC29分技术委员会（音频、图像、多媒体和超媒体信息编码）负责制定，是MPEG-7（多媒体内容描述接口）系列标准的第16部分。该标准于2021年6月7日正式发布，当前状态为“现行”（Active），文件语言为英语。该标准的标准编号为ISO/IEC15938-16:2021，其作为ISO/IEC15938大家族的重要组成部分，与ISO/IEC15938-15（视频分析用压缩描述符的编码工具和技术）等标准形成紧密配套关系。值得注意的是，ISO/IEC15938系列标准的第15部分（CDVA编码工具）于2019年发布，而本标准的第16部分在此基础上从一致性测试和参考软件的维度对标准体系进行了关键补充，标志着CDVA技术标准从“定义工具”走向了“验证实现”的新阶段。从标准出版和获取的角度来看，该标准以电子版加密PDF格式发行，用户需通过FileOpen插件在联网环境下打开文件。下载时长约1分钟，文件带有水印标识，并限制累计3台电脑共打印5次的使用权限，售价为808.0元人民币（含平台服务费）。需说明的是，售价包含平台服务费，为用户提供了便捷的数字获取渠道。三、立项背景与研制历程（一）视频分析技术发展的现实需求随着视频采集设备的普及和视频分享平台的蓬勃发展，全球视频数据量呈现爆发式增长态势。然而，传统的视频内容分析技术在面临大规模数据时暴露出诸多问题：一是特征维度高、计算复杂度大，难以适应移动设备资源受限的实际条件；二是不同系统间特征表示格式不统一，导致跨平台、跨应用的互操作性差；三是传统的描述符方法在光照变化、视角变换、遮挡等复杂场景下鲁棒性不足，检索准确率难以保障。上述问题严重制约了视频分析技术的规模化应用和产业化进程。在此背景下，MPEG组织启动了CDVA标准化项目，目标是定义一种面向视频分析的高效且标准化的视觉描述方法，通过对深层特征进行聚合压缩和紧凑编码，在保持高检索精度的同时显著降低特征数据的存储和传输开销。CDVA技术方案于2015年7月进入立项评估阶段（CfP，征集提案），经过多轮主观和客观性能评估，于2019年正式发布ISO/IEC15938-15，完成了CDVA编码工具和技术的标准化定义。然而，仅定义编码工具尚不足以支撑产业的全面落地——不同实现方案之间是否满足标准要求、彼此之间的互操作性如何验证、是否存在一致的参考基准等问题，需要通过“一致性测试”和“参考软件”来加以解决。由此，ISO/IEC15938-16的研制工作被提上议事日程。（二）标准化工作总体进程ISO/IEC15938-16:2021的研制工作遵循了ISO/IECJTC1的标准制定程序和MPEG组织成熟的工作流程。在CDVA编码工具标准（第15部分）发布后，MPEG专家组随即启动了第16部分的起草工作，历时约两年时间完成了从工作草案（WD）到委员会草案（CD）、国际标准草案（DIS）再到最终国际标准草案（FDIS）的全部审批流程。在标准研制过程中，来自全球多个国家和地区的视频编码、计算机视觉和多媒体检索领域的专家学者围绕一致性测试的覆盖范围、测试条件的设定、参考软件的功能架构、测试向量的生成方法以及解码器符合性判定准则等关键技术问题进行了深入研讨和技术验证。该标准于2021年6月7日由ISO和IEC正式发布，标准全称为“Informationtechnology—Multimediacontentdescriptioninterface—Part16:Conformanceandreferencesoftwareforcompactdescriptorsforvideoanalysis”。四、标准主要内容ISO/IEC15938-16:2021标准的技术内容涵盖一致性测试和参考软件两大部分，为ISO/IEC15938-15所定义的CDVA编码工具提供了完整的测试验证框架和配套实现参照。（一）CDVA编码流程概述ISO/IEC15938-15所定义的CDVA编码流程主要包括以下核心环节：局部特征提取（基于深度学习网络如卷积神经网络或传统手工特征，提取图像的局部描述子）、特征聚合（通过Fisher向量或VLAD等方法对局部特征进行聚合编码，生成全局描述符）、降维与量化（通过主成分分析等方法进行降维处理并实施标量量化）、熵编码（对量化后的描述符进行可变长编码以生成最终压缩描述符比特流）。上述流程中每一步均设有多种可选配置模式，以适应不同的应用场景和性能需求。CDVA描述符支持两种基本类型：全局描述符（GlobalDescriptor，压缩后通常为32字节或64字节）和局部描述符（LocalDescriptor，用于更精细的视觉匹配），两者均可针对不同的视频帧通过特定参数配置生成。（二）一致性测试规范ISO/IEC15938-16:2021的第6条至第11条详细规定了对符合ISO/IEC15938-15的CDVA编码器进行一致性测试的框架与方法。主要包括以下方面：一致性测试的总体框架：标准定义了“编码器一致性”（EncoderConformance）和“比特流一致性”（BitstreamConformance）两类测试层级。编码器一致性测试旨在验证编码器生成的比特流是否符合标准规定——即编码后产生的压缩描述符能够被标准参考解码器成功解码；比特流一致性测试则侧重于验证给定比特流是否符合语法和语义约束，即可由标准解码器正确解析。在CDVA场景中，由于不存在单独的解码器结构（描述符的生成过程为单向编码），因此标准的符合性验证重点在于编码器所产生的比特流是否严格遵循第15部分规定的语法结构和解码过程要求。测试比特流的生成与管理：标准规定了一组用于开展一致性测试的测试比特流集合（即“符合性测试点”），并按照编码配置参数的不同分为若干测试组。这些测试比特流覆盖了CDVA编码工具的全部配置选项，包括不同特征提取方法（深度学习特征与选择性多种手工特征）、不同聚合方法（全局与局部描述符）、多种降维目标维数和量化参数以及全部可选的熵编码模式。同时，标准还给出了各测试点对应的预期输出描述符特征值（基准校验值），用于对照验证实测结果。符合性判定准则：编码器的输出比特流中不出现语法错误且解码得到的描述符与规定基准校验值在允许误差范围内完全一致时，判定该编码器实现为符合性实现。标准在判定准则中既给出了比特流级的严格要求，又预留了对浮点运算误差的容忍区间，在保障技术严格性的同时兼顾了不同硬件平台实现的实际差异。（三）参考软件规范ISO/IEC15938-16:2021的第12条给出了参考软件（ReferenceSoftware）的规范说明。参考软件从功能上分为两个模块：编码器参考软件模块（ReferenceEncoderModule）和描述符比对参考软件模块（ReferenceMatchingModule）。编码器参考软件模块实现了ISO/IEC15938-15所定义的全部编码工具和配置选项，为开发人员提供了一套可直接使用或二次开发的基础实现。该模块的输入接口接收视频帧序列或静态图像及相应的编码参数配置，输出为按标准语法封装的标准CDVA压缩描述符比特流；描述符比对参考软件模块则实现了CDVA描述符之间的距离计算和相似度打分逻辑，用于验证编码后描述符的实际检索和匹配性能。参考软件的代码结构采用模块化设计，遵循可移植性和可扩展性原则，支持在Windows、Linux等主流操作系统上编译运行，并提供清晰的应用程序接口（API）文档。与此同时，参考软件还内置了日志输出和调试工具，便于开发过程中的问题定位与性能分析。需要注意的是，按照ISO/IECJTC1的通用版权政策，参考软件以标准附件的形式提供，使用者需遵守相关软件许可条款——该参考软件仅作为标准实现的参考基准，并非面向生产环境的高性能优化实现。五、标准的特点与技术优势ISO/IEC15938-16:2021作为CDVA标准的验证支撑性规范，其内容设计和体系架构呈现出一系列显著的技术特点。第一，实现了标准化体系中“核心编码工具”与“验证手段”的协同配套。标准紧密围绕ISO/IEC15938-15所定义的CDVA编码流程展开一致性验证，所有测试条件和判定准则均以第15部分的编码工具和语法结构为基准，确保了两部分标准在技术逻辑上的完整统一。这一特点从根本上保障了标准体系的闭环性——不仅有“工具”，还有“标尺”。第二，一致性测试点的覆盖面广且层次清晰。标准设计了覆盖CDVA全部编码配置维度（特征提取、聚合方式、降维维数、量化参数、熵编码模式）的测试组集合，对全局描述符和局部描述符均设置了相应的验证路径，兼顾了技术的全面性和测试的可操作性。第三，参考软件具有较高的工程参考价值。参考软件虽然定位为非优化的参考实现，但其代码结构设计规范、接口定义清晰、模块划分合理，为不同平台上的CDVA实现提供了一个功能完整、行为可预期的参照基线。对于希望快速部署CDVA技术的企业和研究机构而言，参考软件明显降低了集成开发的初始门槛。第四，一致性判定准则兼顾了严格性与灵活性。标准在比特流语法层面强调严格符合，在数值比较层面则允许有明确界定的浮点运算精度容差，这一设计既保证了不同实现之间的互操作性和结果可重复性，又充分考虑了实际工程环境中异构硬件带来的数值差异问题。六、主要参与单位及其贡献在ISO/IEC15938-16:2021标准的研制过程中，来自全球的多家知名企业和研究机构深度参与，其中韩国电子通信研究院（ETRI）在标准的技术方案贡献和编辑工作中发挥了核心作用。韩国电子通信研究院（ElectronicsandTelecommunicationsResearchInstitute，ETRI）成立于1976年，是韩国规模最大的综合性信息通信技术研究机构，长期致力于广播电视、通信网络、人工智能和多媒体技术的前沿研究与产业化推广。ETRI是MPEG组织的长期活跃成员单位，在MPEG-2、MPEG-4、H.264/AVC、HEVC、VVC以及MPEG-7、MPEG-21等系列国际标准的制定中均有深入参与，积累了丰富的视频编码和多媒体标准研制经验。在CDVA系列标准的研制过程中，ETRI的技术团队深度参与了CDVA核心编码工具的提案设计与性能评估、测试序列的选择与标注、以及第16部分一致性测试规范和参考软件整体框架的构建。ETRI研究团队在深度特征压缩、紧凑描述符设计和高效比对算法等关键技术方向拥有深厚积累，为标准中多处关键技术参数和测试条件的确定提供了核心实验数据支撑。ETRI还主导了参考软件中编码器模块的初始版本开发和验证测试环境搭建，其贡献贯穿了标准的完整研制周期。除ETRI外，标准研制还得到了来自中国、日本、德国、美国等多个国家的企业和研究机构的积极参与，包括华为、三星、富士通、西门子、FraunhoferHHI、NTT等国际知名企业和机构均在CDVA技术评估和一致性测试方案完善方面提供了技术输入和实验验证支持。七、结论与展望从技术发展的宏观趋势来看，随着深度学习、视频理解、多模态大模型等技术的快速发展，视频分析的手段和范式正在经历深刻变革。MPEG-7标准体系也需要在保持既有框架稳定性的同时，积极吸纳新的技术成果，持续拓展和深化标准的覆盖面。CDVA系列标准的后续演进可能将重点关注以下方向：面向端侧智能场景的更低比特率描述符、支持跨模态检索的联合描述符、以及与神经网络压缩编码标准的协同互操作。与此同时，随着越来越多的企业采用CDVA技术开发视频检索和智能分析产品，一致性测试工具和认证体系的完善也将成为未来标准生态建设的重要工作方向。可以预见的是，ISO/IEC15938-16:2021作为视频分析标准化链条中的重要一环，将在智慧城市、公共安全、智能安防、版权保护、社交媒体内容管理等众多应用领域发挥日益重要的作用。其持续推进和广泛应用，也将为全球视频分析技术的标准化、产业化和生态化发展提供强有力的技术支撑和制度保障。参考文献[1]ISO/IEC15938-16:2021,Informationtechnology—Multimediacontentdescriptioninterface—Part16:Conformanceandreferencesoftwareforcompactdescriptorsforvideoanalysis[S].Geneva:ISO/IEC,2021.[2]ISO/IEC15938-15:2019,Informationtechnology—Multimediacontentdescriptioninterface—Part15:Compactdescriptorsforvi