CN117501362B 音频渲染系统、方法和电子设备 （北京字跳网络技术有限公司）

PCT/CN2021/1000622021.06.2023.12.15PCT/CN2022/0988502022.06.15WO2022/262750ZH2022.12.22WO2021074007A1,2021.04.22设备。提供了一种用于音频渲染的音频编码方的音频信号和与所述特定音频内容格式的音频用于基于与所述特定音频内容格式的音频信号格式的音频信号进行空间编码以获得编码音频2获取步骤，用于获取特定音频内容格式的音频信号和所述空间编码步骤，用于基于所述特定音频内容格中所述空间编码音频信号是Ambisonics类型其中，在所述特定音频内容格式的音频信号包括基于对象的音频表示信号的情况下，所述空间编码步骤包括基于所述基于对象的音频表示信号的相关参数中的空间属性信息2.根据权利要求1所述的方法，其中，所述Ambisonics类型的音频信号能够包括FOA（FirstOrderAmbisonicsHOA(HigherOrderAmbisonics)，MOA(Mixed-orderAmbisonics)中的至少一种。所述空间编码步骤进一步包括根据基于该音频表示信号中的声音对象到收听者的空间传播路径的路径能量强度对音频信号进行滤波的滤波函数以及基于空间传播路径的方位信息的球谐函数中的至少一者进行音频表对于音频表示信号中的每一声音对象，基于音频表示信号的该声音对基于元数据中定义的声音对象的权重，对各声音对象的音频表示信在所述特定音频内容格式的音频信号包括基于对象的音频表述基于对象的音频表示信号的相关参数中的混响参数获得基于对象的音频表示信号的混3特定类型声道信号转换为基于对象的音频表示信述特定类型声道信号按声道拆分为音频元素并转换为元数据来进行频信号相关的声源相对于收听者的相对方位信息中在所述特定音频内容格式的音频信号包括基于场景的音频表示信号在所述特定音频内容格式的音频信号包括基于声道的音频表示信号中的特定类型声音频信号编码步骤，用于采用根据权利要求1-15中任一项所述的音频信号解码步骤，用于对所述编码音频信号进行空间解码，以19.根据权利要求16-18中任一项所述的音频渲染方法，进一步包括信号后处理步骤，获取单元，被配置为获取特定音频内容格式的音频信号和所述空间编码单元，被配置为基于所述特定音频特定音频内容格式的音频信号进行空间编码以获得具有公共空间格式的空间编码音频信4其中，在所述特定音频内容格式的音频信号包括基于对象的音频表示信号的情况下，所述空间编码单元被配置为基于所述基于对象的音频表示信号的相关参数中的空间属性21.根据权利要求20所述的设备，其中，所述Ambisoni（FirstOrderAmbisonicsHOA(HigherOrderAmbisonics)，MOA(Mixed-orderAmbisonics)中的至少一种。所述空间编码单元被配置为根据基于该音频表示信号中的声音对象到收听者的空间传播路径的路径能量强度对音频信号进行滤波的滤波函数以及基于空间传播路径的方位信息的球谐函数中的至少一者进行音频表示信号对于音频表示信号中的每一声音对象，基于音频表示信号的该声音对基于元数据中定义的声音对象的权重，对各声音对象的音频表示信在所述特定音频内容格式的音频信号包括基于对象的音频表述基于对象的音频表示信号的相关参数中的混响参数获得基于对象的音频表示信号的混所述特定类型声道信号转换为基于对象的音频表示信号并进行空所述特定类型声道信号按声道拆分为音频元素并转换为元数据来进行空5频信号相关的声源相对于收听者的相对方位信息中在所述特定音频内容格式的音频信号包括基于场景的音频表示信号在所述特定音频内容格式的音频信号包括基于声道的音频信号中的特定类型声道信34.根据权利要求20-30中任一项所述的音频信号解码器，用于对所述音频处理设备得到的编码音频信耦接至所述存储器的处理器，所述处理器被配置为基于存储6[0002]本申请要求2021年6月15日提交的申请号为PCT/CN2021/100062的国际专利申请[0004]音频渲染指的是对于来自声源的声音信号进行适当处理以在用户应用场景中为[0005]一般来说，一个优秀的沉浸式音频系统要为听音者提供沉浸在虚拟环境中的感该使用场景在内容生产与消费过程中所期待的精细程度。例如在对于用户生产的内容7用于为至少一个处理器提供计算机执行指令，至少一个处理器用于执行计算机执行指令，实现本公开中所述的任一实施例的音频编码方法和处理器执行时实现本公开中所述的任一实施例的音频编码方法和音频渲染方法中至少一8的比例关系绘制的。在各附图中使用了相同或相似的附图标记来表示相同或者相似的部[0038]应当理解，本公开的方法实施方式中记载的各个步骤可[0043]图1示出了音频信号处理、尤其是从采集到渲染过程/系统的一些概念性示意9然后将元数据和音频内容通过包括编解码过程的中间过程来传输给渲染器/渲染系统，以压缩。这里的制作和消费阶段可分别对应于图2A中所示的制作和渲染阶段的示例性实现。括以下三种中的至少一者：基于场景的音频表示(scene-basedaudiorepresentation)、基于声道的音频表示(channel-basedaudiorepresentation)和基于对象的音频表示[0051]根据一些实施例，所使用的基于场景的音频格式的例子可包括B-Format、一阶[0052]根据一些实施例，B-format麦克风(B-formatMicrophone)或一阶Ambisonics用纯水平B型麦克风(HorizontalonlyB-formatmicrophones)来进行听觉场景的捕捉和换格式中，声道的排序(channelorder)、归一化的方法(normalization)和极性整个复杂的音频场景，每个音频元素包括一个音频波形和一组相关参数或元数据音频更有可能满足制作者的艺术意图。作为示例，基于对象的音频表示通常可指示包括道音轨可作为声音元素在例如数字音频工作站(DAW)的工具中可以被进一步处理，比如说频表示还可以是其它已知的或者将来要知晓的合适形式，并且可采用适当的装置来获取，只要这样的音频表示可从音乐场景获取并且可用于呈现[0070]在通过音频捕获/采集系统获取了音频信号之后，该音频信号将被输入到制作阶尤其是对于经授权和元数据标记得到的结果进行标[0075]在音频内容制作流程中或者之后可以得到了具有适当的音频制作格式的音频内[0080]-基于场景的音频表示所使用的归一化方法(normalization)与通道的排序Ambisonics类型、顺序、通道顺序和标准化等信息。该容器格式还可包括非叙事音频盒评论、立体声音乐等)。在实现中，可以使用AmbisonicChannelNumber(ACN)通道排序，Schmidtsemi-normalization(SN3D)归式)中所有有效的采样率。AmbiX采用ACN排序和SN3D归一化，支持HOA和混合阶数的元数据为例如符合BS.2076的ADM基础元数据。描述音频格式的ADM元数据可被以XML(可扩[0095]在接收到从音频制作阶段传输到的音频信号后，在音频渲染端/回放端对音频信行，并生成真实或虚拟的扬声器信号。扬声器信号可以为矢量形式的扬声器阵列信号S=号进行呈现。双耳信号可以通过虚拟扬声器信号S和扬声器位置的双耳脉冲响应矩阵IRBIN通道的音频表示，每个通道都与一个相应的扬声器相关联并可通过相应的扬声器来呈现。扬声器的位置在例如ITU-RBS.2051或MPEGCICP染也有多种不同的方式，比如使用每个声源对应方向的HRTF(Head-relatedtransfer在保证渲染效果与效率的同时能够兼容以上所有输入与输出格式的标准沉浸式音频渲染这样的音频表示信号变换/编码为公共空间格式的音频信号；然后可以遵照用户收听环境定空间格式的音频信号可以是从可能各种音频表示信号得到的公共空间格式的音频信号提高本申请的音频渲染系统的普适性。作为示例，该特定空间格式的音频信号可以是Ambisonics类型音频信号，更特别地，该特定空间格式的音频信号是FOA(FirstOrder数据相关信息，对所述特定音频内容格式的音频信号进行空间编码以获得编码音频信号。系统中需要或者被要求进行空间编码的音频信号，其例如可包括基于场景的音频表示信块可以通过对输入信号进行解析而得到特定音频内容格式的音频信号以及该音频信号相而音频信号编码模块可被进一步配置为基于音频信号相关联的元数据和所述音频参数中入音频信号来获取适合于用户应用场景中渲染、尤其是通过回放环境中的设备呈现/回放于输入音频信号的格式来进行适当处理以获得特定空[0122]另一方面，所输入的音频信号可以是非空间音频交换格[0127]应指出，上述渲染处理中对于音频数据和/或元数据的处理可被采用各种适当的[0128]以下将参照附图进一步详细描述根据本公开的实施例的音频渲染处理/系统中的开的实施例，适于音频渲染系统进行渲染处理的信号可以是特定音频内容格式的音频信信号解析模块可被配置为从输入音频信号获得具有音频渲染系统兼容的音频内容格式的音频信号解析操作中，可以将特定音频内容格式的音频信号进一步转换为预定配置参数。基于场景的音频信号转换为音频渲染系统约定的通道排序音频信号甚至可以是前文所述的特定空间格式的音频信号，这样的输入音频信号可以直这样的特定输入设备也可以作为音频信号获取操作/模块的一部分，甚至被包含在音频信[0138]应指出，前述的音频信号解析模块和特定音频输入设备的实现仅仅是示例性块和直传子模块，这样音频信号解析模块可以接收任何类型的输入信号并进行适当处理。其中判断子模块可判断输入音频信号为何种格式/类型，并且在判断输入音频信号为空间音频内容格式的音频信号相关联的元数据获取所述特定音频内容格式的音频信号的音频定类型的音频信号可包括前述得自输入音频信号的具有音频渲染系统兼容的音频内容格处理模块被配置为获取基于对象的音频表示信号的空间属性信息作为可用于空间音频编处理模块被配置为基于与该音频信号相关联的元数据信息中获取音频信号相关的旋转信信号编码模块还可被配置为获取特定音频内容格式的音频信号以及相关联的元数据相关述特定音频内容格式的音频信号进行空间编码以获得编码音[0149]根据本公开的实施例，该特定空间格式可以是音频渲染系统能够支持的空间格供用于渲染。该特定空间格式的编码音频信号可以如前文所述的特定空间格式的音频信定空间格式的编码音频信号，也即是说，即使音频信号可能包含不同的内容格式/音频表且当所输入的音频信号的格式或表示方式匹配需要进行编码的音频信号的格式或表示方的具有空间音频交换格式的输入信号进行解析时而得到的特定音频表示信号相关联的元与音频信号相关联的元数据进行处理以获得适当的音频参数/信息。在一些实施例中，例模块可以被配置为将特定音频内容格式的音频信号转换得到具有特定空间格式的音频信能量强度对音频信号进行滤波的滤波函数是对该声音对象在沿该空间传播路径传播之前在沿该空间传播路径传播之前的音频信号指的是在声音对象沿该空间传播路径到达收听[0161]在一些实施例中，对于基于对象的音频信号的空间编码(诸如上文所述的对于基于对象的音频信号的空间编码)可分别针对声音对象到收听者的一条或多条空间传播路径示信号相关联的元数据中所包含的各声音对象的权重来对于各声音对象的编码音频信号到达听者的路径方向角θ,并利用基于该方位角的特定函数，例如对应声道的球谐函数步应用近场补偿函数(near-fieldcompensation)和扩散函数(sourcespread)中的至少置为获取混响参数信息，并且对音频信号进行混响处理以获取音频信号的混响相关信号。响应包括但不限于RIR(RoomImpulseResponse)，ARIR(AmbisonicsRoomImpulseResponse)，BRIR(BinauralRoomImpulseResponse)，MO-BRIR(Multiorientation数信息，可在该编码模块中加入人工混响生成器(例如，反馈延迟网络(Feedbackdelay且音频信号编码模块进一步配置为基于与该音频表示信号相关联的元数据中所指示的或据中所指示的或包含的空间旋转信息，对于基于场景的音频表示信号进行声场旋转操作。表示信号按声道拆分为音频元素并转换为元数据来进[0176]根据本公开的实施例，在如上所述地音频信号被进行音频编码或者被直传/透传之后，将对这样的编码音频信号或者直传/透传的音频信号进行音频解码处理以便获取适解码得到的音频信号能够适合于特定类型的回放环境，尤其适合于回放环境中的回放设行与渲染器ID对应的解码处理以获得适于通过该渲染器进行回放的音频信号。作为示例，应用场景中的回放设备对应的解码方式对特定空间格式的音频信号进述解码矩阵为所述音频信号解码器中内置的或者从外部接收的与所述预定扬声器阵列相面，对于直传/透传的音频信号，可以根据标准扬声器的定义将该信号转换到扬声器阵列值。扬声器解码矩阵的计算方式可以有SAD(SamplingAmbisonicDecoder)、MMD(ModeMatchingDecoder)、EPAD(EnergypreservedAmbisonicDecoder)、AllRAD(AllRound放设备对解码后的音频信号进行频率响应补偿和动态控制范围中的但不限于针对具体设备的频率响应补偿(EQ，Equalization)以及动态范围控制(DRC，的三种音频表示格式的信号及其元数据处理并在用户应用环境中通中用虚线示出指示这些单元可以并不实际存在，而它们所实现的操作/功能可由包含该模信号解析以获得具有特定空间音频表示的音频信号，例如基于对象的空间音频表示信号、户应用场景中进行回放的音频信号作为输出信号，这样的输出信号可通过用户应用场景、例如音频回放环境中的音频回放设备被呈现内容格式的音频信号进行空间编码以获得编码音频信号；以及在步骤S440(也被称为音频编码步骤中，可进一步包括基于所述音频参数对于所述特