CN111918176B 音频处理方法、装置、无线耳机以及存储介质 （北京全景声信息科技有限公司）

EP3687193A1,2020.07.29US2018073886A1,2018.03.15质第一无线耳机对第一待呈现音频信号进行渲染2所述第一无线耳机接收所述播放设备发送的第一待呈现音频信号，所述第一无线耳机与所述第二无线耳机同步渲染所述渲染元数据包括第一无线耳机元数据、第二无线耳机元数据以及播放设备元数所述第一无线耳机元数据包括第一耳机传感器元数据以及头相关变换函数HRTF数据所述第二无线耳机元数据包括第二耳机传感器元数据以及头相关变换函数HRTF数据所述播放设备元数据包括播放设备传感器元数据，其中，所述播放设所述第一无线耳机基于所述渲染元数据对所述第一待呈现音频所述第一无线耳机播放所述第一播放音频信号，所述第二无线耳机播所述第一无线耳机与所述第二无线耳机上均设置有耳机传感器，所所述第一无线耳机将所述第一耳机传感器元数据发送至所述播放所述第一无线耳机将所述第一耳机传感器元数据发送至所述第二无线耳3所述第一无线耳机接收所述播放设备发送的第一待呈现音频信号，所述第一无线耳机与所述第二无线耳机同步渲染所述第一无线耳机元数据包括第一耳机传感器元数据以及头相关变换函数HRTF数据所述第二无线耳机元数据包括第二耳机传感器元数据以及头相关变换函数HRTF数据所述第一无线耳机基于所述渲染元数据对所述第一待呈现音频所述第一无线耳机播放所述第一播放音频信号，所述第二无线耳机播所述第一无线耳机与所述第二无线耳机上均设置有耳机传感器，所所述第一无线耳机将所述第一耳机传感器元数据发送至所述第二无线耳无线耳机将所述第二耳机传感器元数据发送至所述所述第一无线耳机与所述第二无线耳机均根据所述第一耳机传感器元数所述第一无线耳机将所述第一耳机传感器元数据发送至所述播放所述第一无线耳机与所述第二无线耳机分别接收所述渲所述第一无线耳机接收所述播放设备发送的第一待呈现音频信号，4所述第一无线耳机与所述第二无线耳机同步渲染所述渲染元数据包括第一无线耳机元数据和播放设所述第一无线耳机元数据包括第一耳机传感器元数据以及头相关变换函数HRTF数据所述播放设备元数据包括播放设备传感器元数据，其中，所述播放设所述第一无线耳机基于所述渲染元数据对所述第一待呈现音频所述第一无线耳机播放所述第一播放音频信号，所述第二无线耳机播所述第一无线耳机上设置有耳机传感器，所述第二无线耳机上未设置有耳机传感器，所述第一无线耳机将所述第一耳机传感器元数据发送至所述播放设所述第一无线耳机接收所述播放设备发送的播放设备传感所述第一无线耳机根据所述第一耳机传感器元数据、所述播放设备所述第一无线耳机将所述渲染元数据发送至所述第所述第一无线耳机接收所述播放设备发送的第一待呈现音频信号，所述第一无线耳机与所述第二无线耳机同步渲染所述渲染元数据为第一无线耳机元数据；所述第一无线耳机元数据包5所述第一无线耳机播放所述第一播放音频信号，所述第二无线耳机播所述第一无线耳机上设置有耳机传感器，所述第二无线耳机上未设置有耳机传感器，所述第一无线耳机将所述第一耳机传感器元数据发送至所述第二无线耳无线耳机将所述第一耳机传感器元数据作为第二耳机传感所述第一无线耳机对所述第一待呈现音频信号进行解码处理，以对应的，所述第一无线耳机基于所述渲染元数据对所述第一待呈现音在所述第二无线耳机基于所述渲染元数据对所述第二待呈现音频信号进行渲染处理所述第二无线耳机对所述第二待呈现音频信号进行解码处理，以对应的，所述第二无线耳机基于所述渲染元数据对所述第二待呈现音所述第二待呈现音频信号包括基于声道的音频信号、基于对象的6第一渲染模块，用于基于所述渲染元数据对所述第一待呈现音频信号进行渲染处理，第二渲染模块，用于基于所述渲染元数据对所述第二待呈现音频信号进行渲染处理，其中，所述第一待呈现音频信号和第二待呈现音频信号根据所述第一耳机传感器元数据、所述第二耳机传感器元数据根据所述第一耳机传感器元数据、所述第二耳机传感器元数据7第一渲染模块，用于基于所述渲染元数据对所述第一待呈现音频信号进行渲染处理，第二渲染模块，用于基于所述渲染元数据对所述第二待呈现音频信号进行渲染处理，其中，所述第一待呈现音频信号和第二待呈现音频信号耳机元数据；所述第一无线耳机元数据包括第一耳机传感器元数据以及头相关变换函数述第二无线耳机元数据包括第二耳机传感器元数据以及头相关变换函数HRTF数据库，其根据所述第一耳机传感器元数据、所述第二耳机传感器元数据以根据所述第一耳机传感器元数据、所述第二耳机传感器元数据以8第一渲染模块，用于基于所述渲染元数据对所述第一待呈现音频信号进行渲染处理，第二渲染模块，用于基于所述渲染元数据对所述第二待呈现音频信号进行渲染处理，其中，所述第一待呈现音频信号和第二待呈现音频信号根据所述第一耳机传感器元数据、所述播放设备传感器元数据以第一渲染模块，用于基于所述渲染元数据对所述第一待呈现音频信号进行渲染处理，9第二渲染模块，用于基于所述渲染元数据对所述第二待呈现音频信号进行渲染处理，其中，所述第一待呈现音频信号和第二待呈现音频信号用于将所述第一耳机传感器元数据发送至所述所述第二同步模块，具体用于将所述第一耳机传感器元数据作为所述第一音频处理装置播放所述第一播放音频信号以及所述第二音频处理装置播放所述第一解码模块，用于对所述第一待呈现音频信号进行解码所述第一渲染模块，具体用于：根据所述第一解码音频信号以及渲染元第二解码模块，用于对所述第二待呈现音频信号进行解码所述第二渲染模块，具体用于：根据所述第二解码音频信号以及渲染元所述第二待呈现音频信号包括基于声道的音频信号、基于对象的其中，所述处理器被配置为通过执行所述计算机程序来实现权利要求1-其中，所述处理器被配置为通过执行所述计算机程序来实现权利要求1-被处理器执行时实现权利要求1-12中任意一项所述的耳机存在与播放设备数据交互无法满足高品质音效的要[0020]所述第二无线耳机元数据包括第二耳机传感器元数据以及头相关变换函数HRTF第二无线耳机将所述第一耳机传感器元数据作为所述第二第二无线耳机将所述第二耳机传感器元数据发送第二无线耳机将所述第二耳机传感器元数据发送[0042]所述第一无线耳机以及所述第二无线耳机分别根据所述第一耳机传感器元数据、[0067]所述第二无线耳机元数据包括第二耳机传感器元数据以及头相关变换函数HRTF所述计算机程序用于执行第一方面所提供的任意一种可能的音[0128]下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述[0130]图3为本发明根据一示例性实施例示出的音频处理方法的流程示意图。如图3所[0135]需要说明的是第一待呈现音频信号和第二待呈现音频信号是原始音频信号按照预设的分配模型进行分配后，得到的两个在音频信号特性上能够组成一个完整的双耳声[0136]第一待呈现音频信号或第二待呈现音频信号包含采集HOA/FOA信号的麦克风数第一无线耳机与第二无线耳机。若上述立体声双声道信号控制指令指明该双声道信号不需进一步后续双耳处理，则分别把左声道压缩音频信号即第一待呈现音频信号传输给左耳机端即第一无线耳机，把右声道压缩音频信号即第二待呈现音频信号传输给右耳机端即第二无线耳机，对象信息则依然需要都传输给左右耳机端处理单元，最后提供给第一无线耳机和第二无线耳机的播放信号是对象渲染后信号与对应声道信号的混合。[0141]进一步可选的，播放设备可以对渲染后的音频数据及渲染后的元数据进行再编[0156]具体的，第一待呈现音频信号或第二待呈现音频信号包[0157]当第一待呈现音频信号或第二待呈现音频信号是基于声道的音频信号时，例如[0158]当第一待呈现音频信号或第二待呈现音频信号是基于对象的音频信号时，例如[0159]当第一待呈现音频信号或第二待呈现音频信号是基于场景的音频信号时，例如[0162]存在着不可分割关系的第一播放音频信号和第二播放音频信号在无线耳机如TWSFOA/HOA可以看成特殊空间结构化的声道信号，因此如下对声道信息的渲染对场景内容音[0167]音频接收单元301接收到传入左耳机声道信息D31和内容S31(i)即第一解码音频侧耳需滤波处理信号S38(j1)的合集。此外，音频接收单元301和302分别把声道特性信息D31和D32传给三维空间坐标构建单元303和3[0169]元数据单元305给整个渲染系统提供左侧耳使用的渲染元数据，可以包含传感器第二无线耳机将所述第一耳机传感器元数据作为所述第二第二无线耳机将所述第二耳机传感器元数据发送第二无线耳机将所述第二耳机传感器元数据发送[0190]所述第一无线耳机以及所述第二无线耳机分别根据所述第一耳机传感器元数据、[0193]所述第二无线耳机元数据包括第二耳机传感器元数据以及头相关变换函数HRTF此时同步方式包含但不限于a、耳机两侧元数据通过无线互传(左侧sensor33传入右侧耳机；右侧sensor34传入左侧耳机)，然后在耳机端两侧分别进行同步数值处理，产生sensor33传入前级设备，前级设备基于sensor0和sensor33进行数值处理，把处理后的sensor35再无线返回给左右侧耳机，供307和308使用。b、把前级设备的传感器元数据分别从所述元数据单元305传入的左耳HRTF数据库Data_L和所述306传入的右耳HRTF数据库Data_R选择相对应的HRTF数据组HRTF_L(i1)和HRTF_R(j1)。然后对从音频接收单元301和302中传入的有待虚拟处理的声道信号S37(i1)和S38(j1)进行HRTF滤波，得到滤波后左[0208]元数据单元403部分给整个对象的左耳机渲染提供元数据，包含传感器元数据元数据单元305和306中所述4种方式，最终把同步后的传感器元数据sensor45分别传入到三维立体声环绕，并且由于第一无线耳机与第二无线耳机相对于播放设备来说比较独立，[0224]以上内容针对一对耳机进行的阐述，当播放设备与多对无线耳机如TWS耳机共同[0225]图7为本发明实施例提供的多对无线耳机与播放设备连接的应用场景示意图。如[0245]所述第二无线耳机元数据包括第二耳机传感器元数据以及头相关变换函数HRTF[0292]第一处理器901和第二处理器902都至少一个处理器和存储器。图9示出的是以一[0294]第一存储器9012和第二存储器9022可能包含高速RAM存储器，也可能还包括非易[0296]第一处理器9011和第二处理器9021分别用于执行第一存储器9012和第二存储器[0297]其中，第一处理器9011或第二处理器9021可能是一个中央处理器(central连(peripheralcomponent，PCI)总线或扩展工业标准体系结构(extendedindustry连(peripheralcomponent，PCI)总线或扩展工业标准体系结构(extendedindustry[0304]本申