ISOIEC TR 23002-82021 信息技术.MPEG视频技术.第8部分视频编码效率实验评估用客观量度的工作实践标准立项发展报告

信息技术MPEG视频技术第8部分：视频编码效率实验评估用客观量度的工作实践标准立项发展报告StandardizationDevelopmentReport:InformationTechnology—MPEGVideoTechnologies—Part8:WorkingPracticesUsingObjectiveMetricsforEvaluationofVideoCodingEfficiencyExperiments摘要随着视频编码技术的迅猛发展，视频编码效率的客观评估已成为数字多媒体领域技术标准化工作的核心环节。视频编码技术的持续演进——从H.264/AVC到H.265/HEVC，再到当前正在推进的H.266/VVC以及面向机器视觉和点云编码的新一代编码技术——使得编码效率评估方法的科学性、准确性和可重复性面临前所未有的挑战。在此背景下，国际标准化组织（ISO）与国际电工委员会（IEC）联合技术委员会下属的动态图像专家组（MPEG）于2021年5月发布了ISO/IECTR23002-8:2021技术报告，系统规范了视频编码效率实验评估中客观量度的工作实践。该标准旨在建立统一的客观评估框架，明确测试条件、实验设计、数据采集与统计分析方法，解决传统主观评估成本高昂、可重复性差等问题，为全球视频编码技术的研发与标准化评估提供了权威技术指引。本报告系统梳理了该标准的立项背景、编制过程、技术内容、关键创新点及其应用前景，并对其未来发展方向进行了展望分析。关键词：视频编码；编码效率评估；客观量度；MPEG；标准化；率失真优化；测试方法Keywords:VideoCoding;CodingEfficiencyEvaluation;ObjectiveMetrics;MPEG;Standardization;Rate-DistortionOptimization;TestingMethodology一、引言1.1标准立项背景视频编码技术是现代数字媒体产业的基础支撑技术，广泛应用于视频通信、广播电视、网络流媒体、视频监控、虚拟现实和机器视觉等众多领域。自20世纪90年代以来，国际视频编码标准经历了从MPEG-2、H.263到H.264/AVC、H.265/HEVC的多次代际更替，每一次新的编码标准的制定都依赖于对候选编码工具和整体编码方案的效率进行系统、严谨的评估。视频编码效率的评估方法主要分为两类：主观质量评估与客观质量评估。主观评估方法（如ITU-RBT.500中规定的双刺激连续质量分级法（DSCQS）和绝对类别评级法（ACR））被视为画面质量评估的“金标准”，能够在人类视觉感知层面准确反映编码失真程度。然而，主观评估方法存在显著不足：其一，测试成本高昂，需要搭建受控的观看环境，招募大量经过筛选的受试者，并投入大量时间进行测试组织与结果统计；其二，结果可重复性有限，受试者的个体差异、疲劳程度、测试环境等因素均可能影响评估结果；其三，主观评估周期长，难以满足编码技术快速迭代对评估效率的需求。相比之下，客观质量度量方法——如峰值信噪比（PSNR）、结构相似度指数（SSIM）、视频多方法评估融合（VMAF）等——以其计算高效、结果稳定、自动化程度高等优势，在视频编码研发和标准化进程中得到了广泛应用。然而，客观度量的应用并非没有挑战：不同实验室和不同研究团队在使用客观度量的方法上存在显著差异，包括测试序列选择不统一、编码参数配置不一致、统计方法使用各异等问题，这些差异导致实验结果之间缺乏可比性，严重影响了标准化评估的科学性与公信力。正是基于上述背景，MPEG委员会认识到亟需制定一份统一的技术报告，对视频编码效率实验中客观量度的使用工作实践进行规范性指导。1.2标准制定历程ISO/IECTR23002-8:2021的制定工作始于2018年前后。MPEG委员会在其常规工作会议中设立专项工作组，由视频编码专家组（VideoCodingExpertsGroup）核心成员牵头，联合来自全球领先企业、科研机构和高校的专家共同参与。该技术报告的编制历经多次MPEG全体会议和专项工作组会议的深入讨论，草案文本经过反复修改与完善，最终于2021年5月21日正式发布。该标准的发布机构为国际标准化组织（ISO）和国际电工委员会（IEC）联合成立的第1联合技术委员会（JTC1），具体归口管理由JTC1/SC29（音频、图像、多媒体和超媒体信息编码分技术委员会）负责。标准性质为技术报告（TechnicalReport,TR），属于ISO/IEC23002系列标准（MPEG视频技术）的第8部分，该系列标准的其他部分涵盖了MPEG视频技术的其他相关方面，如图像描述子、视频工具等。二、标准技术内容解析2.1标准定位与适用范围ISO/IECTR23002-8:2021定位为一份技术报告，而非规范性标准。这意味着其核心目的在于提供技术指导和建议，而非设定具备强制性的技术要求。该技术报告的适用范围涵盖视频编码效率实验的设计与执行、客观质量度量的选择与使用、实验数据的统计处理与结果报告等方面。具体而言，该标准适用的场景包括但不限于：-视频编码标准制定过程中对候选编码工具的效率评估；-企业或研究机构在新编码算法研发中的性能验证；-不同视频编码方案之间的性能横向比较；-编码器优化过程中的参数调优与性能验证。2.2客观质量度量方法框架标准系统梳理和分析了当前主流客观视频质量评估度量方法，根据其技术原理和应用特征，可将其分为以下三个主要类别：（一）像素保真度度量以峰值信噪比（PeakSignal-to-NoiseRatio,PSNR）及其变体为代表。PSNR通过计算原始视频与重建视频之间像素值的均方误差（MSE）来评估编码失真程度，因其计算简洁、物理意义明确而被广泛采用。标准中指出，在H.264/HEVC等现代编解码器中广泛使用的率失真优化（Rate-DistortionOptimization,RDO）过程也以PSNR为主要失真度量。PSNR的局限性在于其与人眼感知之间的一致性存在偏差，但对编码效率的一阶评估仍然有效。（二）结构相似度度量以结构相似度指数（SSIM）及其多尺度变体MS-SSIM为代表。SSIM基于人类视觉系统在感知图像结构信息方面的特性，从亮度相似性、对比度相似性和结构相似性三个维度综合评估图像质量。标准中强调，SSIM及其变体在评估中等至重度失真时与主观感知的相关性优于PSNR，已在业界获得较广泛的应用。（三）感知一致性度量以视频多方法评估融合（VMAF）为代表的新一代机器学习驱动的质量度量。VMAF由Netflix提出并开源，通过融合多种基础质量特征并使用机器学习模型训练得到与主观评分高度相关的综合质量分数。标准中认可了VMAF等新兴感知度量在编码参数优化和编码效率评估中的应用前景，同时也指出这类度量方法对训练数据集的依赖可能导致的偏差问题。2.3编码效率实验的方法论框架（一）实验设计原则标准强调，视频编码效率实验的设计应遵循以下核心原则：1.控制变量原则：在比较不同编码技术时，应确保除被测试的变量外所有其他条件保持恒定，包括编码器配置、输入序列、参考帧数量、编码结构等。2.代表性原则：测试序列的选择应具有代表性，覆盖不同分辨率、不同内容类型（如运动剧烈程度、纹理复杂度、色彩丰富度等）、不同应用场景（如广播、流媒体、视频会议、用户生成内容等）。4.可重复性原则：实验的配置参数、测试条件和数据处理流程应被详细记录并公开，确保其他研究团队能够在完全相同的条件下复现实验结果。（二）统计分析方法在编码效率实验的数据分析方面，标准着重强调了统计方法的重要性。针对编码效率比较中最基本的RD曲线（率失真曲线）分析，标准推荐采用以下方法：-BD-PSNR法：由GisleBjøntegaard提出的方法，通过插值拟合不同编码器在相同码率点上的PSNR差值，以平均增量PSNR（BD-PSNR）量化编码效率差异。-BD-Rate法：同样的插值框架下，计算达到相同PSNR所需的平均码率节省百分比（BD-Rate）。-标准同时指出，BD-PSNR/BD-Rate方法虽然在MPEG和ITU-T的标准化过程中被广泛使用，但其插值拟合过程基于高阶多项式，在某些特殊情况下（如数据点分布不均或RD曲线形态复杂时）可能产生拟合偏差，建议结合置信区间分析进行综合判断。三、关键技术问题与工作实践建议3.1客观度量与主观质量的相关性校准标准明确指出，任何客观质量度量都应经过与主观评估结果的相关性验证后才能适用于编码效率评估。具体而言，标准建议在使用某客观度量进行编码效率比较之前，应先在一个包含多种内容类型的测试集上验证该度量与主观打分之间的相关性（如皮尔逊相关系数、斯皮尔曼秩相关系数等）。相关性的高低往往受内容类型、失真类型、码率范围等因素影响，标准建议根据不同应用场景选择经过验证的相应客观度量。3.2测试序列的管理与选择标准推荐使用公共可获取的标准测试序列集，并建立序列使用与分发的规范化管理机制。当前MPEG和VCEG标准测试常用的序列集包括ClassesA1/A2/B/C/D/E等分类体系，覆盖了从4K超高清到低分辨率移动视频的不同层次。标准建议：-在实验报告中明确列出所用测试序列的名称、分辨率、帧数、帧率、色彩空间等元数据；-在条件允许时使用原始未压缩格式进行编码实验，避免因源文件压缩导致的二次编解码效应；-测试序列的使用不应局限于标准推荐序列，可根据应用场景适当补充其他代表性内容。3.3编码器配置与参数的一致性控制标准特别强调了编码器配置一致性的问题。不同编码器（如x264、x265、HM、VTM、JM等）在默认参数设置上存在较大差异，即使是同一编码器的不同版本也可能因默认参数调整而导致比较结果的偏差。标准建议：-在编码效率比较实验中，应使用编码器在率失真优化意义上的公平配置，即允许各编码器使用其最优参数组合，但所有可选编码工具均应明确记录；-在可能的情况下，应关闭非确定性优化（如随机跳过、自适应帧跳过等）以保证实验结果的可重复性；-对于涉及复杂度与效率权衡的比较，应同时报告编码时间和解码时间等复杂度指标。3.4结果报告规范标准对编码效率实验的结果报告提出了建议性的规范化要求，包括：-报告实验环境信息（硬件平台、操作系统、编译器版本等）；-编制详尽的测试条件表，说明每个实验的编码结构（如IPP、Hierarchical-B等）、帧内周期、搜索范围、运动估计精度等关键参数；-以RD曲线图和BD指标值相结合的方式呈现编码效率数据；-明确标注原始和重建视频的质量度量值及客观度量模型版本。四、主要参与单位介绍在本标准的编制过程中，众多国际知名企业和研究机构贡献了重要的技术力量。在此重点介绍德国弗朗霍夫协会集成电路研究所（FraunhoferIIS，FraunhoferInstituteforIntegratedCircuits）的突出贡献。FraunhoferIIS是全球视频编码技术研究和标准化的重要引领者之一，总部位于德国埃尔朗根（Erlangen），是欧洲最大的应用研究机构——弗劳恩霍夫协会（Fraunhofer-Gesellschaft）下属的专门从事集成电路与多媒体技术研发的研究所。FraunhoferIIS在音频编码领域取得了举世瞩目的成就——MP3音频编码格式的发明者，在视频编码领域同样是核心贡献者，深度参与了MPEG-2、H.264/AVC、H.265/HEVC，以及H.266/VVC标准的技术研发工作，其提出的多项编码工具成为国际标准的核心组成部分，其主导研发的x265编码器在开源社区得到广泛应用。在本标准的制定过程中，FraunhoferIIS凭借其在视频编码效率和客观质量评估领域的深厚积累，为技术报告的编写提供了大量实验数据和实践经验。该研究所的团队在编码器基准配置的设计、高效测试方案的制定、RD测量方法的优化以及结果统计方法标准化等方面贡献了关键性技术建议。其研究团队在视频编码客观质量评估方面的学术积累和在多个国际标准化项目中的实践经验，为技术报告的严谨性和实用性提供了重要保障。除FraunhoferIIS外，参与标准编制的还包括荷兰埃因霍温理工大学（EindhovenUniversityofTechnology）、日本广播协会（NHK）、韩国电子通信研究院（ETRI）、美国Netflix公司等全球数十家单位，形成了产学研相结合的多元参与格局。五、标准发布意义与影响ISO/IECTR23002-8:2021的发布在视频编码标准化领域具有多方面的重要意义。第一，在实验方法的统一化层面，该技术报告首次以国际标准文件的形式系统规范了视频编码效率实验中客观量度的使用工作实践，为全球各标准化组织、企业和研究机构在编码效率评估方面提供了共同的方法论基础，大幅提升了不同实验之间结果的可比性。第二，在标准化工作效率层面，通过确立统一的客观评估框架，后续视频编码标准的制定过程中可大幅减少因实验方法不一致而导致的重复验证和反复讨论，加速标准化决策进程。第三，在技术研发支撑层面，该技术报告为编码器研发人员提供了系统、可操作的效率评估方法论，有助于提高研发工作的效率和质量。特别是对Bjøntegaard方法的规范化和客观度量选择的系统化梳理，为研发人员提供了高效、公平的性能评估工具。第四，在国际合作促进层面，该标准的发布进一步促进了ISO/IEC、ITU-T等国际标准化组织在视频编码领域的协调一致性，为未来各组织间在视频编码标准上的深度合作创造了条件。六、结论与展望ISO/IECTR23002-8:2021《信息技术——MPEG视频技术——第8部分：视频编码效率实验评估用客观量度的工作实践》的正式发布，标志着视频编码效率评估方法从分散的、基于经验的技术实践向标准化、规范化的技术体系迈出了重要一步。该技术报告通过对PSNR、SSIM、VMAF等客观度量工具的全面梳理和系统比较，对测试序列选择、编码器配置、RD曲线分析和BD指标计算等核心环节的技术指导，以及实验报告规范的标准化建议，为全球视频编码标准化和产业研发建立了科学、规范的实验评估框架。展望未来，视频编码技术正向着更高分辨率（8K及以上）、更高帧率、更丰富的色彩表达以及面向机器视觉等新兴应用需求的方向持续演进。随之而来的是对客观质量度量方法论提出的新挑战：高动态范围（HDR）视频的人眼感知特征与传统SDR存在差异，点云、沉浸式视频等新类型媒体内容的客观质量度量仍有待深入探索，基于深度学习的端到端视频编码方案对传统失真度量提出了根本性的范式挑战。因此，ISO/IECTR23002-8所确立的评估框架和方法论原则将在未来的标准化实践中不断演进和完善，以满足新一代视频编码技术与应用的发展需求。我们期待MPEG委员会及其合作伙伴在这一领域持续开展工作，推动视频编码效率评估方法不断迈向更高水平的科学性和规范化。参考文献[1]ISO/IECTR23