CN111918177B 音频处理方法、装置、系统以及存储介质 （北京全景声信息科技有限公司）

EP3687193A1,2020.07.29WO2019152783A1,2019.08.08音频信号包括播放设备渲染处理后的音频信号即第一音频信号以及待渲染的音频信号即第二第一音频信号和/或第三音频信号进行后续音频2通过无线传输方式接收播放设备发送的待呈现音频信号，所若所述待呈现音频信号包括所述第二音频信号，则对所述第二音频信号进行渲染处根据所述第一音频信号和/或所述第三音频信号进行后通过无线传输方式向所述播放设备发送指示信号，所述指示信号用若所述标识码为第二字段，则所述播放设备对所述原始音若所述标识码为第三字段，则所述播放设备对所述原始音接收所述播放设备发送的音频特性信息，所述音频特性信息包对所述待呈现音频信号进行解码处理，以获得所述第一音频信号和/或所述第二音频3所述第二元数据包括耳机传感器元数据以及头相关变换函数HRTF所述播放设备传感器元数据通过播放设备传感器获得，所述第一无线耳机与所述第二无线耳机中均设置有所述耳机传感器所述第一无线耳机接收所述播放设备发送的第一待呈现音频信号，所述第一无线耳机对所述第一待呈现音频信号进行渲染处理，以所述第一无线耳机播放所述第一播放音频信号，所述第二无线耳机播所述第一无线耳机对所述第一待呈现音频信号进行解码处理，以所述第一无线耳机根据所述第一解码音频信号以及渲染元数据进行渲所述第二无线耳机对所述第二待呈现音频信号进行解码处理，以所述第二无线耳机根据所述第二解码音频信号以及渲染元数据进行渲4所述第二无线耳机元数据包括第二耳机传感器元数据以及头相关变换函数HRTF数据所述播放设备元数据包括播放设备传感器元数据，其中，所述播放设所述第一无线耳机与所述第二无线耳机同步所述渲所述第一无线耳机将所述第一耳机传感器元数据发送至所述第二无线耳无线耳机将所述第一耳机传感器元数据作为所述第二耳机传感所述第一无线耳机将所述第一耳机传感器元数据发送至所述第二无线耳无线耳机将所述第二耳机传感器元数据发送至所述所述第一无线耳机与所述第二无线耳机分别根据所述第一耳机所述第一无线耳机将所述第一耳机传感器元数据发送至所述播放所述第一无线耳机与所述第二无线耳机分别接收所述渲所述第一无线耳机将所述第一耳机传感器元数据发送至所述播放设所述第一无线耳机接收所述播放设备发送的播放设备传感所述第一无线耳机根据所述第一耳机传感器元数据、所述播放设备所述第一无线耳机将所述渲染元数据发送至所述第5所述第一无线耳机将所述第一耳机传感器元数据发送至所述播放所述第一无线耳机将所述第一耳机传感器元数据发送至所述第二无线耳无线耳机将所述第二耳机传感器元数据发送至所述所述第一无线耳机与所述第二无线耳机分别接收所述播放设备传感器所述第一无线耳机以及所述第二无线耳机分别根据所述第一耳机20.根据权利要求1-3中任意一项所述的音频处获取原始音频信号，并根据所述原始音频信号生成待呈现音通过无线传输方式向无线耳机发送待呈现音通过无线传输方式接收所述无线耳机发送的指示信号，所述指示信若所述标识码为第二字段，则所述播放设备对所述原始音若所述标识码为第三字段，则所述播放设备对所述原始音通过所述无线传输方式接收所述无线耳机的性能参数，并根据所述性6根据所述特性参数以及所述性能参数确定所24.根据权利要求21-23中任意一项所述的音对所述第四音频信号进行解码处理，以获得第六音频信号，对所述第八音频信号以及所述第九音频信号进行编码，以获取第十音所述第二元数据包括耳机传感器元数据以及头相关变换函数HRTF所述播放设备传感器元数据通过播放设备传感器获得，28.根据权利要求21-23中任意一项所述的音频29.根据权利要求21-23中任意一项所述的音频处30.根据权利要求21-23中任意一项所述的音7获取模块，用于通过无线传输方式接收播放设备发送的待呈现渲染模块，用于在所述待呈现音频信号包括所述第二音频信号时发送模块，用于在所述获取模块通过无线传输方式放设备对原始音频信号按照对应的预设处理方式进行渲染，以获取所述待呈现音频信号；若所述标识码为第二字段，则所述播放设备对所述原始音若所述标识码为第三字段，则所述播放设备对所述原始音所述获取模块，还用于获取无线耳机的性能参数，并根据所述性能参所述获取模块，还用于接收所述播放设备发送的音频特性信息，34.根据权利要求31-33中任意一项所述的音频所述渲染模块，用于根据渲染元数据对所述第二音频信号进行渲8所述第二元数据包括第二传感模块元数据以及头相关变换函数H述第二传感模块元数据用于表征所述无线耳机所述第一传感模块元数据通过第一传感模块获得，所述第一传感模块所述第一音频处理装置与所述第二音频处理装置中均设置有第二第一渲染模块，用于对所述第一待呈现音频信号进行渲染第二渲染模块，用于对所述第二待呈现音频信号进行渲染第一解码模块，用于对所述第一待呈现音频信号进行解码所述第一渲染模块，具体用于：根据所述第一解码音频信号以及渲染元第二解码模块，用于对所述第二待呈现音频信号进行解码所述第二渲染模块，具体用于：根据所述第二解码音频信号以及渲染元9所述第二无线耳机元数据包括第二耳机传感器元数据以及头相关变换函数HRTF数据所述播放设备元数据包括播放设备传感器元数据，其中，所述播放设根据所述第一耳机传感器元数据、所述第二耳机传感器元数据以根据所述第一耳机传感器元数据、所述第二耳机传感器元数据以根据所述第一耳机传感器元数据、所述播放设备传感器元数据以根据所述第一耳机传感器元数据、所述第二耳机传感器元数据根据所述第一耳机传感器元数据、所述第二耳机传感器元数据48.根据权利要求31-33中任意一项所述的音频处理装置，49.根据权利要求31-33中任意一项所述的音频处理装置，其50.根据权利要求31-33中任意一项所述的音所述获取模块，用于在所述发送模块通过无线传输方式向无线耳若所述标识码为第二字段，则所述播放设备对所述原始音若所述标识码为第三字段，则所述播放设备对所述原始音所述获取模块，还用于通过所述无线传输方式接收所述无线耳机的性54.根据权利要求51-53中任意一项所述的编码模块，用于对所述第八音频信号以及所述第九所述渲染模块，用于根据渲染元数据对所述第七音频信号进行渲所述第二元数据包括第二传感子模块元数据以及头相关变换函数HRTF数据库，其中，所述第二传感子模块元数据用于表征所述无线耳机所述第二传感子模块元数据通过第二传感子模块获得，58.根据权利要求51-53中任意一项所述的音59.根据权利要求51-53中任意一项所述的音60.根据权利要求51-53中任意一项所述的音频处理其中，所述处理器被配置为通过执行所述计算机程序来实现权利要求1-其中，所述处理器被配置为通过执行所述计算机程序来实现权利要求21-30中任意一被处理器执行时实现权利要求1-20中任意一项所述的被处理器执行时实现权利要求21-30中任意一项所述的[0018]若所述标识码为第二字段，则所述播放设备对所述原始[0019]若所述标识码为第三字段，则所述播放设备对所述原始[0021]对所述待呈现音频信号进行解码处理，以获得所述第一音频信号和/或所述第二[0023]根据渲染元数据对所述第二音频信号进行渲染处理，以[0046]所述第二无线耳机元数据包括第二耳机传感器元数据以及头相关变换函数HRTF第二无线耳机将所述第一耳机传感器元数据作为所述第二第二无线耳机将所述第二耳机传感器元数据发送第二无线耳机将所述第二耳机传感器元数据发送[0068]所述第一无线耳机以及所述第二无线耳机分别根据所述第一耳机传感器元数据、[0079]在一种可能的设计中，所述通过所述无线传输方式接收所述无线耳机的性能参[0084]若所述标识码为第二字段，则所述播放设备对所述原始[0085]若所述标识码为第三字段，则所述播放设备对所述原始述待呈现音频信号包括所述第五音频信号以及所述第十[0092]根据渲染元数据对所述第七音频信号进行渲染处理，以[0103]播放模块，用于根据所述第一音频信号和/或所述第三音频信号进行后续音频播[0112]若所述标识码为第二字段，则所述播放设备对所述原始[0113]若所述标识码为第三字段，则所述播放设备对所述原始[0119]所述第二元数据包括第二传感模块元数据以及头相关变换函数HRTF数据库，其[0123]所述第一音频处理装置或所述第二音频处理装置中设置有所[0124]所述第一音频处理装置与所述第二音频处理装置中均设置有所述第二传感子模[0142]所述第二无线耳机元数据包括第二耳机传感器元数据以及头相关变换函数HRTF[0184]所述获取模块，还用于通过所述无线传输方式接收所述无线耳机发送的指示信[0192]若所述标识码为第二字段，则所述播放设备对所述原始[0193]若所述标识码为第三字段，则所述播放设备对所述原始所述计算机程序用于执行第一方面所提供的任意一种可能的音所述计算机程序用于执行第二方面所提供的任意一种可能的音[0229]图9为本发明实施例提供的音频处理信号在播放设备和无线耳机中的数据链路示[0238]下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述[0240]图3为本发明根据一示例性实施例示出的音频处理方法的流程示意图。如图3所的三维空间信息，以及无线耳机的渲染元数据，例如可以包含但不限于传感器元数据和HRTF(HeadRelatedTransferFunction头相关变换函数[0250]图4为本发明实施例提供的一种音频数据渲染模块所含渲染方式示意图。在本实[0270]对于图4所示的声道渲染，播放设备可以对全部或者部分声道音频信号进行渲染[0271]对于图4所示的对象渲染，播放设备可对输入的全部或部分对象音频信号进行渲[0272]对于图4所示的场景渲染，播放设备可对输入的全部或部分场景音频信号进行渲[0273]进一步可选的，播放设备可以对渲染后的音频数据及渲染后的元数据进行再编音频信号722必须经过无线耳机的渲染才能够作为后续播放音频74或者是后续播放音频74[0289]具体的渲染过程与播放设备的渲染原理相同，可以参考图5和图6所示的HRTF渲[0291]根据渲染元数据对所述第二音频信号进行渲染处理，以起无线耳机也跟随着运动，并且第二元数据还可以包含左右两个无线耳机的相对运动距[0294]所述第二元数据包括第二传感器元数据以及头相关变换函数所述第二传感器元数据用于表征所述无线耳机[0297]所述第二传感器元数据通过第二传感器获得，所述第二传感器包括陀螺仪传感[0302]在本步骤中，无线耳机将第一音频信号和/或第三音频信号进行音频播放，具体频信号以及待渲染的音频信号即第二音频信号；然后若待呈现音频信号包括第二音频信据第一音频信号和/或第三音频信号进行后续音频播放。从而实现无线耳机能够呈现高品[0313]若所述标识码为第二字段，则所述播放设备对所述原始[0314]若所述标识码为第三字段，则所述播放设备对所述原始[0315]指示信息可以在无线耳机与播放设备第一次连接时就从无线耳机发送到播放设[0319]图9为本发明实施例提供的音频处理信号在播放设备和无线耳机中的数据链路示示信号的作用就是对原始音频信号S0的数频信号S01用于处理后生成所述第一音频信号S40，所述第五音频信号S02用于生成所述第[0321]播放设备在所述获取原始音频信号S0之后，对所述第四音频信号S01进行解码处[0323]对所述第八音频信号S12以及所述第九音频信号S2进行编码，以获取第十音频信[0325]根据渲染元数据对所述第七音频信号S11进行渲染处理，以获得所述第九音频信[0326]在图9所示的音频信号传输链路中，可以存在多条从原始音频信号至后续播放音频信号以及待渲染的音频信号即第二音频信号；然后若待呈现音频信号包括第二音频信据第一音频信号和/或第三音频信号进行后续音频播放。从而实现无线耳机能够呈现高品[0352]所述第二无线耳机元数据包括第二耳机传感器元数据以及头相关变换函数HRTF第二无线耳机将所述第一耳机传感器元数据作为所述第二第二无线耳机将所述第二耳机传感器元数据发送第二无线耳机将所述第二耳机传感器元数据发送[0374]所述第一无线耳机以及所述第二无线耳机分别根据所述第一耳机传感器元数据、选的，多对无线耳机之间也可以通过由播放设备综合调度各对无线耳机间的渲染处理资[0389]播放模块，用于根据所述第一音频信号和/或所述第三音频信号进行后续音频播[0398]若所述标识码为第二字段，则所述播放设备对所述原始[0399]若所述标识码为第三字段，则所述播放设备对所述原始[0405]所述第二元数据包括第二传感模块元数据以及头相关变换函数HRTF数据库，其[0409]所述第一音频处理装置或所述第二音频处理装置中设置有所[0410]所述第一音频处理装置与所述第二音频处理装置中均设置有所述第二传感子模[0428]所述第二无线耳机元数据包括第二耳机传感器元数据以及头相关变换函数HRTF[0471]所述获取模块，还用于通过所述无线传输方式接收所述无线耳机发送的指示信[0479]若所述标识码为第二字段，则所述播放设备对所述原始[0480]若所述标识码为第三字段，则所述播放设备对所述原始[0498]存储器1402可能包含高速RAM存储器，也可能还包括非易失性存储器(non-[0500]其中，处理器1401可能是一个中央处理器(centralprocessingunit，简称为体系结构(industrystandardarchitecture，简称为ISA)总线、外部设备互连(peripheralcomponent，PCI)总线或扩展工业标准体系结构(extendedindustry存储器1402和处理器1401可以通过[0504]图15为本发明提供的另一种播放设备的结构示意图。如图15所示，该电子设备[0506]存储器1502可能包含高速RAM存储器，也可能还包括非易失性存储器(non-[0507]处理器1501用于执行存储器502存储的计算机执行指令，以实现以上各