ISOIEC 23090-42025 信息技术 沉浸式媒体的编码表示 第4部分MPEG-I沉浸式音频标准立项发展报告

信息技术沉浸式媒体的编码表示第4部分：MPEG-I沉浸式音频标准立项发展报告StandardizationDevelopmentReport:InformationTechnology-CodedRepresentationofImmersiveMedia-Part4:MPEG-IImmersiveAudio摘要随着虚拟现实（VR）、增强现实（AR）及混合现实（MR）等沉浸式技术的迅猛发展，用户对高品质、强临场感音频体验的需求日益迫切。传统的基于声道（channel-based）的音频编码技术难以满足六自由度（6DoF）交互场景下对空间音频灵活渲染和场景描述的需求。在此背景下，国际标准化组织ISO/IECJTC1/SC29（编码音频、图像、多媒体和超媒体信息分技术委员会）联合运动图像专家组（MPEG），启动了MPEG-I沉浸式音频标准的制定工作。本报告围绕ISO/IEC23090-4:2025《信息技术沉浸式媒体的编码表示第4部分：MPEG-I沉浸式音频》标准，系统梳理了该标准的立项背景、技术框架、核心创新与产业应用前景。该标准于2025年11月3日由国际电工委员会（IEC）正式发布，取代了此前基于MPEG-H3DAudio的初步版本。标准通过引入基于场景（scene-based）、基于对象（object-based）及基于声道（channel-based）三种音频表示形式的深度融合编码框架，结合高阶高保真度立体声（HOA）技术、元数据驱动交互渲染及双耳渲染技术，实现了对沉浸式音频内容的高效压缩与灵活呈现。本报告指出，该标准的发布标志着沉浸式音频技术从专用方案走向全球统一，对推动下一代广播、流媒体、在线游戏及远程协作等领域的发展具有重要的里程碑意义。关键词：沉浸式音频；MPEG-I；ISO/IEC23090-4；空间音频编码；六自由度；高阶高保真度立体声；元数据驱动渲染Keywords:ImmersiveAudio;MPEG-I;ISO/IEC23090-4;SpatialAudioCoding;SixDegreesofFreedom;HigherOrderAmbisonics;Metadata-drivenRendering一、引言1.1研究背景自20世纪末以来，数字音频编码技术经历了从立体声到多声道环绕声的演进历程。MPEG系列标准——从MPEG-1Audio（MP3）、MPEG-2AAC到MPEG-4AAC和MPEG-H3DAudio——持续引领着音频编码技术的发展和产业化的进程。然而，随着沉浸式媒体技术的快速崛起，特别是虚拟现实（VR）头显设备的普及和元宇宙概念的兴起，用户不再满足于被动地接收二维平面声场，而是期望在三维空间中自由移动并实时感知与之对应的空间声学变化。这一需求催生了对六自由度（6DoF）音频技术的迫切需求——用户不仅可以在水平面内自由移动，还可以在垂直方向及旋转方向获得与视觉内容严格对应的声学反馈。传统音频编码技术在设计之初主要面向声道-扬声器映射关系固定的播放场景，难以适应以听者位置和朝向动态变化为核心的沉浸式交互需求。因此，国际标准化组织亟需制定一套全新的、统一且灵活的沉浸式音频编码标准，以应对上述挑战。1.2标准立项必要性与意义ISO/IEC23090-4标准的立项源于以下几方面的迫切需要：1.技术需求的变革：沉浸式媒体系统（如VR/AR）在音频方面要求支持听者位置和朝向的动态变化，并能根据用户的头部运动实时调整声场渲染。这要求音频编码格式不仅具备传统的“播放”功能，更要具备“交互式渲染”的能力，对编码框架提出全新要求。2.产业生态的统一：在MPEG-I标准制定之前，市场上已出现了多种专有的沉浸式音频格式（如DolbyAtmos、Sony360RealityAudio等），格式互不兼容的问题严重制约了内容制作、分发和终端呈现的产业链效率。制定统一国际标准有助于消除技术壁垒，促进全球范围内沉浸式音频内容的无缝流通。3.技术基础积累成熟：MPEG-H3DAudio（ISO/IEC23008-3）已为三维音频编码奠定了坚实的技术基础，包括基于对象的音频编码、HOA编码和元数据驱动的渲染框架。MPEG-I第4部分正是在此基础上向更高维度交互能力的自然延伸。二、国际标准制定总体情况2.1国际标准化背景ISO/IEC23090系列标准（统称MPEG-I）由ISO/IECJTC1/SC29/WG2（即MPEG）负责制定，旨在为沉浸式媒体（包括视频、音频、场景描述等）提供全面的编码表示规范。该系列涵盖多个部分：第2部分（沉浸式视频）、第3部分（沉浸式媒体格式）、第4部分（沉浸式音频）等。其中，第4部分的制定整合了多个国际企业和研究机构的技术提案，经过了需求分析、提案征集、核心实验、验证测试等国际化标准制定流程，最终形成了广泛共识。2.2版本演进ISO/IEC23090-4经历了两个重要的版本阶段：第一阶段（版本1，基于MPEG-H3DAudio）：初始版本采用MPEG-H3DAudio的音频编码技术作为基础，支持三阶HOA（Third-OrderAmbisonics）的编码，以及基于对象的交互式音频渲染。这一阶段主要满足了基于头部追踪的双耳渲染需求，并考虑了5.1+4、7.1+4等声道配置，为沉浸式音频的广泛部署奠定了基础。第二阶段（版本2/3，即当前发布的2025年版本）：在保留既有功能的基础上进行了深度扩展。新版本支持对基于场景的音频表示（如HOA）和基于对象的音频表示进行独立编码及组合编码，支持动态HOA（即HOA信号随时间变化阶数/通道数）的新技术，增强了交互式渲染能力，扩展了对更大规模对象数量及更丰富元数据语义的支持。此外，新版本还对用户体验质量（QoE）进行了优化，更加适合流媒体传输环境下带宽受限的应用场景。三、ISO/IEC23090-4:2025核心技术与框架原理3.1编码框架体系ISO/IEC23090-4:2025采用统一编码框架，支持三类音频表示形式：3.1.1基于声道的表示（Channel-basedRepresentation）该形式延续了传统的基于固定声道配置的编码方式（如立体声、5.1、7.1等），适用于不要求交互性的传统播放场景，是沉浸式音频系统的基准兼容层。与MPEG-H3DAudio相比，该标准扩展了对更高阶声道配置（如22.2声道）的支持能力，并通过统一的编码管线实现与其余两种形式的无缝混合编码。3.1.2基于对象的表示（Object-basedRepresentation）该形式将音频信号视为携带位置坐标、运动轨迹、尺寸、增益等元数据的声音对象。听者端可以根据自身的视角和位置对这些独立的对象进行实时空间化处理和混音。该标准在对象数量上限、元数据表达粒度等方面进行了大幅扩展，支持多达上百个同步音对象，有效支撑复杂沉浸式场景（如体育赛事直播、互动游戏）的音频表现需求。3.1.3基于场景的表示（Scene-basedRepresentation）该形式采用高阶高保真度立体声（HigherOrderAmbisonics，HOA）技术对完整声场进行球谐函数展开表示。HOA不依赖于具体的扬声器布局，具有天然的旋转不变性，非常适合虚拟现实场景下的动态渲染。标准支持的HOA阶数可至第三阶（16通道），同时支持动态HOA，即HOA信号的阶数（通道数）在编码过程中可以随时间变化，从而在带宽和音质之间取得最优化平衡，显著优于固定阶数方案。3.2编码与渲染关键模块ISO/IEC23090-4:2025在编码链路中包含以下关键模块：1.统一量化与熵编码模块：采用与MPEG-4AAC一脉相承的先进音频编码技术，优化了瞬态检测、心理声学模型和比特分配策略，支持从低码率（如96kbps）到高码率（如1.5Mbps）的全码率范围。2.元数据编码模块：采用高效的空间-时间元数据编码方案，支持对音频对象的空间轨迹进行预测编码，大幅降低了元数据带来的比特率开销。3.渲染器参考模型：标准定义了参考渲染器的技术框架，支持基于扬声器的声场重放和基于双耳的耳机渲染两种模式。双耳渲染模块利用头部相关传递函数（HRTF）和头部追踪信息，实时合成与听者头部运动对应的双耳信号，实现了精确的空间声像定位。4.HOA编码与旋转模块：针对HOA信号引入了高阶球谐系数的域间预测、旋转编码及去相关技术，有效消除了HOA信号中的冗余信息，显著提高了压缩效率。3.3与ISO/IEC23090-3（沉浸式媒体格式）的协同ISO/IEC23090-4定义了音频编码层的比特流语法和语义，而上层封装和场景描述则由ISO/IEC23090-3（沉浸式媒体格式）规范。两者协同工作，实现了音频流与视频流、场景描述信息的同步封装与时间对齐，为端到端的沉浸式媒体系统提供了完整的技术支撑。四、标准应用前景分析4.1广播与流媒体MPEG-I沉浸式音频标准的发布为广播和流媒体行业带来了可交互、可定制的音频体验。体育赛事直播中，用户可通过切换音频轨道获得不同解说员视角、不同环境声比例的自定义声音体验；音乐流媒体服务可提供基于对象的交互式混音，满足用户对乐器/人声音量独立控制的需求。同时，各码率档次的配置方案也很好地适应了互联网传输带宽的波动。4.2虚拟现实与增强现实在VR/AR设备领域，ISO/IEC23090-4支持的6DoF交互式渲染能力是提供真实沉浸感的核心技术支撑。用户可在虚拟场地中自由移动，听到与位置关系一致的空间音效，极大提升了虚拟环境的真实感和临场感。该标准已被多家主流VR平台纳入其内容制作和分发技术路线。4.3在线游戏与远程协作在线游戏和远程协作平台可借助MPEG-I沉浸式音频技术实现“近大远小”“声随人动”的透明音频通信体验。多用户会议室场景中，每位参与者的语音均以空间化对象的形式传输，收听者能辨别每个发言者的空间方位，大幅提升多人协作的沟通效率和自然度。4.4智慧座舱与公共展览智能座舱音频系统可通过该标准实现个性化的车内声场控制，为驾驶员和乘客提供独立的声音区域；公共展览和主题乐园可借助沉浸式音频技术打造沉浸式的叙事体验，增强文化内容的感染力。五、主要参与单位介绍ISO/IEC23090-4:2025的制定汇聚了全球领先的信息技术企业、研究机构和高等院校的集体智慧，其中，FraunhoferIIS（弗劳恩霍夫集成电路研究所）在标准制定过程中发挥了突出的核心作用。FraunhoferIIS总部位于德国埃尔朗根，是欧洲最大的应用研究机构——弗劳恩霍夫协会下属的重要组成单元。该研究所在音频与声学技术领域拥有超过30年的深厚积累，是全球音频编码技术发展的领军力量。FraunhoferIIS不仅是MP3技术的发明者，也是AAC（AdvancedAudioCoding）和MPEG-H3DAudio等国际音频标准的核心贡献者。在ISO/IEC23090-4的制定过程中，FraunhoferIIS深度参与了从需求定义、提案撰写、核心实验设计到一致性测试的全流程工作。作为MPEG-H3DAudio技术体系的主要设计者，FraunhoferIIS将其在基于对象的音频编码、HOA编码以及双耳渲染等方面的核心技术积累和大量的专利技术方案，引入到MPEG-I沉浸式音频标准的技术框架之中。同时，该研究所积极推动基于场景与基于对象的混合编码框架在标准化讨论中达成广泛共识，促成了多种技术路线在统一框架下的融合与共存。除FraunhoferIIS外，参与该标准制定的重要单位还包括：韩国电子通信研究院（ETRI）、日本广播协会（NHK）、杜比实验室、华为技术有限公司、高通公司以及清华大学等国内外知名机构，这些机构的通力协作确保了该标准在国际范围内的广泛代表性和技术先进性。六、结论与展望从技术发展角度看，该标准首次在国际层面系统解决了六自由度沉浸式音频的编码与交互渲染问题，其动态HOA技术和元数据驱动渲染框架代表了空间音频编码技术的前沿水平。从产业生态角度看，该标准的发布将为全球沉浸式音频产业链提供统一的技术基准，有助于降低内容制作和分发成本，推动跨平台、跨设备的内容互操作。展望未来，随着5G/6G通信网络的持续演进以及终端计算能力的不断提升，MPEG-I沉浸式音频标准的应用场景将进一步拓展。可以预见，ISO/IEC23090-4:2025将作为沉浸式音频领域的基础性规范，在下一代广播系统（如3GPP沉浸式语音和音频服务、ATSC3.0）以及互联网流媒体架构（如MPEG-DASH的沉浸式媒体扩展）中得到广泛引用和部署。与此同时，标准的持续演进工作也将同步推进——随着人工智能技术在音频处理领域的深入应用，未来的沉浸式音频编码有望融合AI驱动的场景理解和个性化渲染能力，从而进一步提升沉浸式音频的智能水平和用户体验品质。参考文献[1]ISO/IEC23090-4:2025,Informationtechnology—Codedrepresentationofimmersivemedia—Part4:MPEG-Iimmersiveaudio[S].Geneva:ISO/IEC,2025.[2]ISO/IEC23008-3:2022