ISOIEC 23003-62022 信息技术.MPEG音频技术.第6部分统一语音和音频编码参考软件标准立项发展报告

信息技术MPEG音频技术第6部分：统一语音和音频编码参考软件标准立项发展报告StandardizationDevelopmentReport:InformationTechnology—MPEGAudioTechnologies—Part6:UnifiedSpeechandAudioCodingReferenceSoftware摘要统一语音和音频编码（UnifiedSpeechandAudioCoding,USAC）技术作为MPEG音频编码体系的重大创新成果，有效解决了语音信号与通用音频信号在编码效率与主观质量之间的技术矛盾，为数字广播、流媒体传输、语音通信及存储应用提供了统一的编码解决方案。ISO/IEC23003-6:2022作为MPEG-D标准体系中USAC技术的参考软件实现规范，规定了统一语音和音频编码技术的参考软件架构、模块构成及功能要求，是保障USAC编解码器互操作性、验证算法性能一致性、促进技术产业化落地的基础性标准文件。本报告系统梳理了该标准的立项背景、技术演进脉络、适用范围、核心技术内容及主要参与单位，深入分析了参考软件在标准验证、一致性测试、编解码器开发等方面的关键作用。报告指出，随着5G通信、沉浸式音频和智能语音交互等应用的快速发展，USAC参考软件标准将持续演进，为新一代音频编码技术的标准化验证和产业化部署提供重要支撑。关键词：MPEG音频技术；统一语音和音频编码；USAC；参考软件；ISO/IEC23003-6；音频编码标准化AbstractUnifiedSpeechandAudioCoding(USAC)technology,asasignificantinnovationintheMPEGaudiocodingframework,effectivelyresolvesthetechnicalcontradictionbetweencodingefficiencyandsubjectivequalityforspeechsignalsandgeneralaudiosignals,providingaunifiedcodingsolutionfordigitalbroadcasting,streamingtransmission,voicecommunication,andstorageapplications.ISO/IEC23003-6:2022,asthereferencesoftwareimplementationspecificationofUSACtechnologywithintheMPEG-Dstandardfamily,definesthereferencesoftwarearchitecture,modulecomposition,andfunctionalrequirementsofunifiedspeechandaudiocodingtechnology,servingasthefundamentalstandarddocumentforensuringUSACcodecinteroperability,verifyingalgorithmperformanceconsistency,andpromotingtechnologyindustrialization.Thisreportsystematicallyreviewsthestandard'sbackground,technicalevolution,applicationscope,coretechnicalcontent,andmajorparticipatingorganizations,andprovidesin-depthanalysisofthecriticalroleofreferencesoftwareinstandardverification,conformancetesting,andcodecdevelopment.Thereportindicatesthatwiththerapiddevelopmentof5Gcommunications,immersiveaudio,andintelligentvoiceinteractionapplications,theUSACreferencesoftwarestandardwillcontinuetoevolve,providingcrucialsupportforthestandardizationverificationandindustrialdeploymentofnext-generationaudiocodingtechnologies.Keywords:MPEGAudioTechnologies;UnifiedSpeechandAudioCoding;USAC;ReferenceSoftware;ISO/IEC23003-6;AudioCodingStandardization一、引言（一）研究背景为解决上述技术矛盾，国际标准化组织（ISO/IECJTC1/SC29，即国际标准化组织/国际电工委员会联合技术委员会第1分委员会第29子委员会，负责音频、图像、多媒体和超媒体信息的编码表示）于2008年启动了统一语音和音频编码（USAC）标准化工作，旨在开发一种能够高效处理语音、音乐及混合内容的新型音频编码技术。2012年，ISO/IEC23003-3:2012正式发布，标志着USAC技术标准的诞生。此后，MPEG组织持续完善USAC技术标准体系，陆续发布了包含一致性测试、参考软件等配套标准，形成了较为完整的标准族。ISO/IEC23003-6:2022作为USAC参考软件标准，是该技术标准体系中至关重要的一环。参考软件是以标准文本为依据编写的、可供验证和参考的软件实现，是标准技术内容的可执行表达，对于标准的技术验证、产品开发、一致性测试等工作具有不可替代的作用。（二）标准立项背景ISO/IEC23003-6的制定工作由ISO/IECJTC1/SC29下属的MPEG音频子工作组（MPEGAudioSubgroup）负责组织推进。该项目立项的核心动因包括以下几个方面：第一，技术复杂性要求标准化的参考实现作为基准。USAC技术融合了线性预测编码（LPC）、修正离散余弦变换（MDCT）、频域噪声整形等多类核心算法，同时引入了MPEG环绕（MPS）技术用于立体声处理，并且集成了增强频谱带宽复制（eSBR）工具用于高频重建，技术架构极为复杂。仅靠文本规范难以完全准确地表达所有的技术细节，需要可运行的参考软件作为技术规范的补充和验证工具，以消除歧义，确保不同实现之间的一致性。第二，产业界需要统一的参考软件保障互操作性。在USAC标准发布后，全球多家芯片厂商、软件开发商和设备制造商需要开发符合标准的编解码产品。如果没有统一的参考软件基准，各厂商对标准文本的不同理解将可能导致产品之间的互操作性问题，严重影响生态系统的健康发展。第三，一致性测试需要可靠的测试基准。参考软件是生成一致性测试向量、建立一致性测试流程的基础工具。通过参考软件生成标准测试序列的标准输出，可以为后续的一致性测试提供基准数据，确保测试结果的权威性和可重复性。在以上背景下，MPEG音频工作组经过多轮深入讨论和广泛征集意见，正式立项启动ISO/IEC23003-6的制定工作，由来自全球主要科研机构和企业的一批音频编码领域权威专家组成项目团队，共同推进该标准的起草和制定。二、标准概述（一）标准基本信息ISO/IEC23003-6:2022《信息技术MPEG音频技术第6部分：统一语音和音频编码参考软件》由ISO/IECJTC1/SC29（音频、图像、多媒体和超媒体信息的编码表示分技术委员会）归口管理，于2022年8月30日正式发布，2022年标准状态为现行有效。该标准是ISO/IEC23003（MPEG-D）标准体系的重要组成部分。MPEG-D系列标准的整体结构如下：-ISO/IEC23003-1：MPEG环绕（MPEGSurround,MPS）-ISO/IEC23003-2：空间音频对象编码（SpatialAudioObjectCoding,SAOC）-ISO/IEC23003-3：统一语音和音频编码（USAC）-ISO/IEC23003-4：无参考音频质量评估（DynamicRangeControl,DRC）-ISO/IEC23003-5：MPEG-H3D音频（MPEG-H3DAudio，低复杂度配置文件）-ISO/IEC23003-6：统一语音和音频编码参考软件ISO/IEC23003-6:2022与ISO/IEC23003-3:2012及其后续修订版本（包括对USAC扩展内容——xHE-AAC（扩展高效AAC）技术的纳入）保持严格对应关系，其参考软件实现了USAC编码器、解码器的全部标准化功能模块。（二）适用范围与定位ISO/IEC23003-6:2022主要适用于以下范围：1.标准技术验证：为标准制定者提供可执行的技术参考，用于验证标准文本中描述的编解码算法功能是否与设计目标一致；2.编解码器开发参考：为各厂商开发符合USAC标准的商业编解码器提供参考基准，帮助开发者正确理解标准的各项技术要求；3.一致性测试基础：作为生成一致性测试向量和建立测试基准的工具，支撑一致性测试标准的执行；4.技术研究与教学：为学术界和培训机构提供标准实现范例，便于技术研究和专业人才培养。该标准文件提供了包含编码器（Encoder）、解码器（Decoder）在内的完整参考软件，以及必要的说明文档，可在多种主流操作系统平台和开发环境下编译执行。三、标准技术内容分析（一）USAC技术概述USAC技术本质上是一种“切换式”的混合编码架构，其核心技术特征如下：1.双模式切换机制USAC在编码端对输入音频信号进行分析，根据信号特性在两种编码模式之间进行自适应切换：-频域编码模式（频域/变换域）：采用改进型离散余弦变换（MDCT）结合感知量化技术，适用于“类音频”（audio-like）信号的编码，满足音乐等宽频信号的音质需求。此模式基于高级音频编码（AAC）的技术基础发展而来，在频域编码效率和感知质量方面进行了进一步优化。编码器通过开环或闭环的信号分类决策机制，在语音模式与音频模式之间平滑切换，实现混合内容的最佳编码效率。2.增强频谱带宽复制（eSBR）工具eSBR是USAC中用于高频重建的关键工具，它源自高效AAC编码中的频段复制（SBR）技术，但针对USAC的编码框架进行了增强优化。eSBR利用低频段信息参数化地重建高频段信号，从而在较低码率下实现更宽的音频带宽还原。3.MPEG环绕（MPS）立体声处理USAC集成了MPEG环绕（MPEGSurround）技术中的双声道处理模块，通过参数化立体声编码有效降低立体声信号的编码码率。在极低码率场景下，MPS工具与eSBR工具的组合使用可以显著提升空间音质的还原效果。4.元数据支持与比特流封装USAC定义了灵活、可扩展的比特流语法结构，支持音频元数据的传输，包括响度信息、动态范围控制信息、增益调整信息等，为广播和流媒体等行业应用提供了完备的支撑。（二）参考软件的技术架构ISO/IEC23003-6:2022描述的参考软件在技术架构上遵循模块化设计原则，主要包含以下几个功能模块：1.输入信号分析模块：负责对输入PCM音频信号进行预处理、重采样和信号特征分析，为编码模式选择提供决策依据；2.编码核心模块：包括LPC/ACELP编码子模块、MDCT变换编码子模块、eSBR编码子模块和MPS编码子模块，分别实现USAC各类核心技术算法；3.比特流复用模块（MUX）：按照USAC标准定义的语法格式，对编码参数、编码数据和辅助信息进行封装与复用；4.比特流解复用模块（DEMUX）：在解码端对称地完成比特流的解析和解复用，提取各编码参数和编码数据；5.解码核心模块：包含LPC/ACELP解码子模块、MDCT解码子模块、eSBR解码子模块和MPS解码子模块，完成编码数据的解码和音频信号重建；6.后处理与输出模块：对解码后的音频信号进行后处理（包括增益控制、限幅等），输出最终的PCM音频数据。参考软件的代码实现严格遵循标准文本中定义的所有语法元素、语义约束和算法描述，保证软件行为与标准规定完全一致。同时，参考软件在编码器端提供了参数配置接口，允许使用者设置目标码率、采样率、声道数等编码参数，以适应不同的应用场景需求。（三）标准的关键技术支持ISO/IEC23003-6:2022在技术层面与以下关键标准和技术规范保持配套关系：-ISO/IEC23003-3（USAC核心标准）：参考软件是对该标准中编解码算法和比特流语法的具体软件实现；-ISO/IEC23003-4（动态范围控制）：与DRC相关的元数据编码和处理工具在参考软件中实现了接口支持；-ISO/IEC14496-3（AAC系列标准）：USAC中的频域编码模式与AAC技术存在技术继承关系，参考软件中保留了与AAC工具的兼容性处理逻辑；-ITU-T相关语音编码标准：USAC的ACELP语音编码模式在技术上与ITU-T标准中的码激励线性预测（CELP）编码框架存在同源性，参考软件在低延迟和语音质量方面进行了系统优化。这些技术配套关系使参考软件不仅服务于USAC标准本身，还能为MPEG-D标准体系中的其他组成部分提供技术验证和功能测试基础。（四）参考软件在标准化中的作用参考软件在ISO/IEC标准体系中具有独特的价值和作用。从标准化方法论的角度来看，参考软件在整个标准体系中承担着以下几个层面的功能：-作为文本规范的“可执行规格”：标准文本以自然语言和数学表达式描述算法，难免存在多义性或理解偏差，参考软件以编程语言精确、无歧义地呈现了标准算法的完整逻辑。-作为技术验证的“基准实现”：在标准制定过程中，提案算法需将编码结果提交主观音质测试和客观指标评测，参考软件在客观指标评测中提供可复现的基准结果，以便对不同技术方案进行公平比较。-作为一致性评测的“测试基准”：一致性测试通过比对被测解码器输出与参考解码器输出，判断产品是否满足标准规定的技术要求。-作为产业落地的“开发参照”：参考软件为商业实现提供了完整的功能蓝本，帮助开发团队从参考实现出发进行性能优化和平台移植，显著缩短了产品开发周期。在USAC标准的制定和推广过程中，参考软件始终发挥着贯穿全局的“锚定”和“基准”作用。四、主要参与单位和组织（一）国际标准化组织架构ISO/IEC23003-6:2022的制定由ISO/IECJTC1/SC29（音频、图像、多媒体和超媒体信息的编码表示分技术委员会）组织，具体由其下属的MPEG音频子工作组（ConvenorshipofMPEGAudioSubgroup）负责执行，该工作组汇集了全球音频编码领域顶尖的研究机构和产业力量。MPEG音频子工作组下设多个特别小组（AhG,AdhocGroup）分别推进不同技术方向的标准化工作。USAC项目组（USACAdhocGroup）负责USAC核心标准与参考软件的制定和维护，工作组成员包括来自全球主要通信企业、消费电子企业、半导体企业、科研机构和高校的技术专家。（二）主要贡献单位——Fraunhofer集成电路研究所（FraunhoferIIS）Fraunhofer集成电路研究所（Fraunhofer-InstitutfürIntegrierteSchaltungen,FraunhoferIIS）是USAC参考软件标准制定的核心贡献单位之一，总部位于德国埃尔朗根（Erlangen），是弗劳恩霍夫应用研究促进协会下属的著名研究机构。FraunhoferIIS是全球音频编码技术领域的权威研究机构，其技术发展脉络几乎贯穿了整个数字音频编码标准化的历史进程。该研究所是MP3（MPEG-1AudioLayerIII）技术的主要发明者之一，主导开发了AAC（AdvancedAudioCoding）系列编码技术，并深度参与了MPEG环绕、MPEG-H3D音频等后续标准的制定。在USAC标准的制定过程中，FraunhoferIIS承担了核心技术研发、参考软件编写、主观质量测试、复杂度分析等多项关键任务。基于USAC/MPEG-D技术，FraunhoferIIS开发了商业化的xHE-AAC编解码器产品，被广泛应用于数字广播和流媒体服务中，在Android等主流操作系统和移动平台中得到了系统级集