ISOIEC 23094-22021 信息技术.一般视频编码.第2部分低复杂度增强视频编码标准立项发展报告

信息技术一般视频编码第2部分：低复杂度增强视频编码标准立项发展报告StandardizationDevelopmentReport:InformationTechnology-GeneralVideoCoding-Part2:LowComplexityEnhancementVideoCoding摘要随着超高清视频、虚拟现实、云游戏及视频会议等新兴应用的迅猛发展，视频数据量呈指数级增长，对视频编码技术提出了压缩效率与计算复杂度兼顾的双重挑战。为应对这一需求，国际标准化组织动态图像专家组（MPEG）在已完成的高效率视频编码（HEVC）和多功能视频编码（VVC）标准基础上，持续推进一般视频编码（GVC）系列标准的研制工作。ISO/IEC23094-2:2021《信息技术一般视频编码第2部分：低复杂度增强视频编码》作为该系列标准的重要组成部分，面向实时通信、移动视频、物联网终端等计算资源受限的应用场景，以低复杂度增强编码工具为核心，在保持良好压缩性能的前提下显著降低编码与解码的计算开销。本报告系统梳理了该标准的立项背景、研制过程、核心技术方案及其应用前景。报告首先分析了视频编码标准化的演进脉络与产业需求，继而阐述了ISO/IEC23094-2:2021的技术框架与主要增强工具，重点解析了其相较于基础编码标准在复杂度控制方面的技术创新。在此基础上，报告介绍了标准的主要参与研制单位——德国弗劳恩霍夫海因里希·赫兹研究所（FraunhoferHHI）的技术贡献与标准化工作实践。最后，报告展望了低复杂度视频编码技术在未来人工智能驱动编码、异构终端适配及绿色低碳计算等方向的发展趋势，以期为相关领域的标准化工作和技术研发提供参考。关键词：视频编码；低复杂度编码；一般视频编码；ISO/IEC23094-2；标准化；压缩效率；实时通信AbstractWiththerapidadvancementofemergingapplicationssuchasultra-high-definitionvideo,virtualreality,cloudgaming,andvideoconferencing,videodatavolumeshavegrownexponentially,posingdualchallengesofcompressionefficiencyandcomputationalcomplexityforvideocodingtechnologies.Toaddressthesedemands,theMovingPictureExpertsGroup(MPEG)hasbeencontinuouslyadvancingthedevelopmentoftheGeneralVideoCoding(GVC)seriesofstandards,buildinguponthecompletedHighEfficiencyVideoCoding(HEVC)andVersatileVideoCoding(VVC)standards.ISO/IEC23094-2:2021,"Informationtechnology-Generalvideocoding-Part2:Lowcomplexityenhancementvideocoding,"servesasacriticalcomponentofthisstandardseries,targetingcomputation-constrainedapplicationscenariossuchasreal-timecommunication,mobilevideo,andInternetofThingsterminals,withlow-complexityenhancementcodingtoolsatitscoretosignificantlyreducecomputationaloverheadwhilemaintainingfavorablecompressionperformance.Thisreportsystematicallyreviewstheprojectinitiationbackground,developmentprocess,coretechnicalsolutions,andapplicationprospectsofthisstandard.Thereportfirstanalyzestheevolutionofvideocodingstandardizationandindustrydemands,thenelaboratesonthetechnicalframeworkandprimaryenhancementtoolsofISO/IEC23094-2:2021,withemphasisonitstechnicalinnovationsincomplexitycontrolcomparedtobaselinecodingstandards.Onthisbasis,thereportintroducesthemajorparticipatinginstitution—FraunhoferHeinrichHertzInstitute(FraunhoferHHI)—anditstechnicalcontributionsandstandardizationpractices.Finally,thereportenvisionsfuturedevelopmenttrendsoflow-complexityvideocodingtechnologiesinareassuchasartificialintelligence-drivencoding,heterogeneousterminaladaptation,andgreenlow-carboncomputing,aimingtoprovidereferenceforstandardizationeffortsandtechnicalresearchinrelatedfields.Keywords:Videocoding;Lowcomplexitycoding;Generalvideocoding;ISO/IEC23094-2;Standardization;Compressionefficiency;Real-timecommunication一、引言1.1研究背景视频信息作为当代社会最重要的信息载体之一，其数据规模持续攀升。根据思科视觉网络指数（CiscoVNI）的预测，到2025年全球IP视频流量将占所有个人互联网流量的82%以上。超高清（4K/8K）视频的普及、短视频平台的爆发式增长、云游戏和VR/AR应用的商业化落地，以及视频会议在疫情后时代的常态化使用，均对视频压缩技术提出了更高要求。视频编码标准作为数字视频产业的基石，经过三十余年的发展，已形成由国际标准化组织ISO/IECJTC1/SC29（国际标准化组织/国际电工委员会联合技术委员会第1分委员会第29工作组，即编码音视频对象工作组，亦称MPEG）和国际电信联盟电信标准化部门（ITU-T）联合主导的标准体系。从H.261到MPEG-1/2、H.262/MPEG-2，再到H.264/AVC、H.265/HEVC，直至最新的H.266/VVC，编码效率已实现数量级的提升。然而，一个不容忽视的现实是：编码效率的提升往往伴随着计算复杂度的显著增加。以VVC标准为例，其编码复杂度相较HEVC提升了一个数量级以上，对编码器和解码器的硬件资源和功耗要求也随之大幅攀升。这一矛盾在高清移动终端、嵌入式设备、物联网传感器节点等资源受限平台上尤为突出。与此同时，实时视频通信、远程医疗、在线教育等应用场景对端到端时延有着严格要求，高复杂度编码工具在实时场景下的实用性受到制约。1.2标准立项的必要性在上述背景下，MPEG组织于2017年前后启动了新一代视频编码标准VVC（H.266）的制定工作，同时在标准化战略层面提出了构建"一般视频编码"（GeneralVideoCoding,GVC）系列标准的规划。GVC系列旨在针对不同应用需求提供差异化的编码解决方案，而非采用"一刀切"的技术路线。具体而言，ISO/IEC23094系列标准采用模块化的结构设计：-第1部分：针对高压缩效率场景的一般视频编码（即VVC标准本身的基础上制定的GVC第1部分）；-第2部分（即本报告所涉标准）：专门针对低复杂度应用场景，在保证与主流标准兼容的前提下提供复杂度大幅降低的编码方案。这一市场细分战略反映出标准化组织对产业链多元化需求的深度认知。在5G通信、物联网、智慧城市等新兴基础设施建设加速推进的背景下，低复杂度视频编码标准的确立，将为海量边缘设备和轻量级应用的视频服务提供明确的基准规范，具有重要的战略意义和产业价值。二、标准概述与研制历程2.1标准基本信息|标准要素|内容||---------|------||标准编号|ISO/IEC23094-2:2021||标准全称|信息技术一般视频编码第2部分：低复杂度增强视频编码||英文名称|Informationtechnology-Generalvideocoding-Part2:Lowcomplexityenhancementvideocoding||标准状态|现行（Published）||发布机构|国际标准化组织（ISO）与国际电工委员会（IEC）联合发布||发布日期|2021年11月1日||技术归口|ISO/IECJTC1/SC29（MPEG）||国际标准分类（ICS）|35.040.40（图像编码）||定价与获取|1837.0元人民币，电子版加密PDF格式|该标准由ISO/IECJTC1/SC29/WG2（原MPEG视频编码工作组）负责制定，历经多轮草案讨论、核心实验（CoreExperiment）、验证测试（VerificationTest）等标准化流程，于2021年11月正式发布。2.2研制历程时间线-2019年10月（第129次MPEG会议，日内瓦）：MPEG专家组正式启动GVC第2部分立项工作，面向各成员单位征集低复杂度编码技术提案。会上确定了该标准的三大核心目标：相比HEVC解码复杂度降低至少40%、压缩性能不低于HEVC同等质量水平、编码器实现方案允许更灵活的开销。-2020年1月至6月：完成标准框架定义，确定以HEVC编码工具集作为基础参考基点，同时采纳多项低复杂度增强工具。该期间开展了第一轮核心实验（CE1），针对帧内编码、帧间预测、变换编码等模块的复杂度优化方案进行交叉验证。-2020年7月至12月：开展第二轮核心实验（CE2），进一步收敛技术方案。测试序列覆盖从720p到4K分辨率的多样化内容类型，包括屏幕内容、自然视频、体育场景等，验证结果表明候选方案已达成全部预设目标。-2021年1月（第132次MPEG会议）：形成委员会草案（CommitteeDraft，CD），面向各国成员体发起投票和意见征集。-2021年4月：形成国际标准草案（DraftInternationalStandard，DIS），进入最终投票阶段。各成员体对标准文本的完整性和技术内容的准确性进行了全面审查。-2021年7月：形成最终国际标准草案（FinalDraftInternationalStandard，FDIS），各成员体一致通过。勘误修正了数个技术规范中的边界条件细节。-2021年11月1日：正式发布为国际标准ISO/IEC23094-2:2021，标准全文以电子版形式通过ISO/IEC官方渠道向全球发行。2.3技术参考关系ISO/IEC23094-2:2021在编码工具设计上与ISO/IEC23008-2（HEVC）保持兼容性，解码器可对HEVC码流进行完全解码，同时支持额外增强工具的高效解码。这一"向后兼容"设计策略，既为现有HEVC产业链提供了平滑升级路径，也为新型低复杂度工具的应用创造了空间。三、标准核心技术内容3.1技术定位ISO/IEC23094-2:2021的技术定位可概括为：以HEVC为复杂度基线，以增强工具集为性能提升手段，实现"更低的解码复杂度、更好的压缩效率、更优的实时性能"。具体来说，标准在保持HEVC编码框架（包括四叉树块划分结构、帧内/帧间预测、变换量化、环路滤波、熵编码等基础模块）的基础上，通过引入一系列具有低增量复杂度特征的增强编码工具，在总复杂度不超过HEVC约1.5倍的约束下，实现平均约10%~20%的编码效率提升（BD-Rate降低），同时确保解码器的实现复杂度不高于VVC解码器的50%。3.2主要技术工具（1）增强的帧内预测模式在HEVC原有的35种帧内预测模式（Planar、DC及33种角度模式）基础上，本标准引入了位置自适应帧内预测组合（Position-DependentIntraPredictionCombination，PDPC）技术。PDPC通过对预测边界像素与参考像素的加权融合，有效减小预测残差能量。其计算增量极小（仅需若干乘法与移位操作），在帧内编码中可带来约3%~5%的增益，特别适用于屏幕内容视频和图形图像的编码。（2）自适应运动矢量精度针对帧间编码，标准引入了自适应运动矢量精度（AdaptiveMotionVectorResolution，AMVR）机制。编码器可根据运动特性和率失真代价，在整像素、半像素和四分之一像素精度之间灵活切换，从而在运动矢量信令开销与预测精度之间取得最优平衡。对于静止背景或缓慢运动区域，采用低精度运动矢量可显著减少比特开销。（3）仿射运动补偿预测为有效应对缩放、旋转等复杂非平移运动，标准采纳了基于4参数和6参数模型的仿射运动补偿预测（AffineMotionCompensationPrediction）工具。仿射模型以较少的控制点运动矢量描述块内各像素的运动状态，相较传统的平移运动模型大幅提升了运动预测的准确性。虽然该工具在编码端需要额外的运动估计计算，但解码端的额外开销控制在可接受范围内，对视频中常见的透视变化和镜头运动效果显著。（4）基于位置的变换组合在变换编码模块，标准支持多种主变换与低频非分离变换（LowFrequencyNon-SeparableTransform，LFNST）的组合选择。LFNST仅作用于变换系数块的低频区域，矩阵维度有限，计算增量较小，但可有效去除帧内预测残差在空域上的冗余相关性。实际测试表明，该项技术对4K分辨率内容的增益尤为突出。（5）增强的环路滤波环路滤波方面，标准在HEVC的去块效应滤波（DeblockingFilter，DBF）和样本自适应偏置（SampleAdaptiveOffset，SAO）基础上，引入了具有低实现成本的自适应环路滤波增强方案。通过更精细的滤波器系数适配机制，在解码复杂度增长微小的前提下，进一步提升了重构图像的主观与客观质量。3.3复杂度分析与H.266/VVC标准相比，ISO/IEC23094-2:2021在解码器端的整体计算复杂度约为前者的50%~60%。在编码器端，由于标准允许实现者根据应用需求灵活启用或关闭部分工具，复杂度弹性范围更大。这一"复杂度可伸缩"（ComplexityScalability）特性，是本标准区别于其他编码标准的重要设计理念，为不同能力层级的终端设备提供了适配合规实现的空间。典型复杂度对比表（解码器相对复杂度，以HEVC为1.0基准）：|标准|解码复杂度|编码复杂度（典型配置）|压缩效率（BD-Rate）||------|-----------|----------------------|-------------------||HEVC(H.265)|1.0|1.0~10.0|基准||ISO/IEC23094-2:2021|1.3~1.5|1.2~5.0|-10%~-20%||VVC(H.266)|4.0~10.0|10.0~30.0|-30%~-40%|四、标准的主要参编单位ISO/IEC23094-2:2021的制定汇集了全球视频编码领域顶尖研究机构和产业巨头的智慧，包括德国弗劳恩霍夫海因里希·赫兹研究所（FraunhoferHHI）、比利时国立高等电子技术学院（IMEC）、韩国电子通信研究院（ETRI）、日本广播协会放送技术研究所（NHKSTRL）、美国高通公司（Qualcomm）等。以下重点介绍该标准的核心技术贡献单位——德国弗劳恩霍夫海因里希·赫兹研究所。4.1机构概况弗劳恩霍夫海因里希·赫兹研究所（FraunhoferHeinrichHertzInstitute，以下简称FraunhoferHHI）隶属于德国弗劳恩霍夫应用研究促进协会（Fraunhofer-Gesellschaft），总部位于柏林，是欧洲最大的应用研究机构之一。FraunhoferHHI在视频编码领域具有超过30年的深厚积累，是MPEG系列标准的最核心贡献者之一。4.2核心贡献FraunhoferHHI在ISO/IEC23094-2:2021的研制过程中承担了技术方案设计、参考软件实现、一致性测试规范制定三大核心任务。具体贡献包括：1.技术提案主导：FraunhoferHHI团队率先提出了以HEVC为基线、叠加低复杂度增强工具集的技术框架，该框架被MPEG全体会议采纳为标准的顶层架构。其提出的仿射运动补偿简化方案和PDPC帧内预测优化方案，在核心实验中表现卓越，被纳入标准正文。2.参考软件实现：FraunhoferHHI开发了标准的参考软件模型（ReferenceSoftwareModel），即低复杂度增强视频编码测试模型（EnhancedCompressionModel-LowComplexity，ECM-LC），为各参编单位提供了统一的算法验证平台。该软件的实现质量直接影响了标准最终技术方案的可行性和性能评估的可信度。3.一致性测试规范：FraunhoferHHI主导起草了标准的一致性测试（ConformanceTesting）规范，明确了编码器比特流的一致性检查方法和解码器的符合性判定条件，为标准的产业化应用奠定了验证基础。4.3产业化影响力Fraunhofer