CN111710344B 一种信号处理方法、装置、设备及计算机可读存储介质 （腾讯科技（深圳）有限公司）

本发明实施例提供一种信号处理方法、装频信号的频谱特征，该频谱特征包括N维对数能特征进行处理，得到N维对数能量频谱特征对应能量频谱特征和M维噪声修正系数进行计算，得2若当前所在位置的环境的空间类型为第一类型，则对采集到若当前所在位置的环境的空间类型为第二类型，则提取调用噪声优化模型对所述N维对数能量频谱特征进对所述N维对数能量频谱特征和所述M维噪声修正系数进行计算，其中，所述噪声优化模型是根据包括噪声音频信号的音其中，音频训练数据训练所述噪声优化模型的过程中，训练用修正系数对应包括n维人声音频信号的对数能量频谱的噪声修正系数和p维回声音频信号对数能量频谱是依次先后排列或是交叉混合排列，n维人声音频信号的对数能量频谱的噪量频谱特征中n维人声音频信号的对数能量频谱和p维回声音频信号的对数能量频谱的排将获取到的人声音频信号和噪声音频信号在时域上叠加，得到混合其中，所述音频训练数据包括X段混合音频信号，第i段在播放有音频信号的多个目标环境中进行音频录根据所述多段噪声音频信息生成各录制设备信息所对应的音所述噪声优化模型是将基于第一干净对数频谱特征、与第二干净对数3所述第一干净对数频谱特征是根据所述音频训练数据中的混合音初始模型对所述音频训练数据中的混合音频信号进行处理后输出的训练噪声修正系数相构建的所述初始模型输出的训练噪声修正系数用于体现第二干净对数频谱特征所对其中，所述混合音频信号所对应的对数频谱能量为：混对所述会议音频信号进行编码，并将编码后的会议音频信号发送给将所述环境音频信号作为新的音频训练数据对所述噪声优化模型进行优化记录优化后的噪声优化模型，以便于后续根据优化后的噪声优理的音频信号对应的对数能量频谱特征进行根据当前会议环境下所处位置的位置属性，从所述噪声优化模型集合所述处理单元，还用于确定当前所在位置的环境的空间类型；若其中，所述噪声优化模型是根据包括噪声音频信号特征的音频训练数据训练得到的，4其中，音频训练数据训练所述噪声优化模型的过程中，训练用修正系数对应包括n维人声音频信号的对数能量频谱的噪声修正系数和p维回声音频信号对数能量频谱是依次先后排列或是交叉混合排列，n维人声音频信号的对数能量频谱的噪量频谱特征中n维人声音频信号的对数能量频谱和p维回声音频信号的对数能量频谱的排条指令，所述一条或多条指令适于由处理器加载并执行如权利要求1-8任一项所述的信号5又能够最大限度地减少一些随着参会人员的语音一并输入的非必[0008]调用噪声优化模型对所述对数能量频谱特征进行处理，得到所述N维对数能量频[0010]其中，所述噪声优化模型是根据包括噪声音频信号的音所述噪声优化模型输出的M维噪声修正系数中包括：用于对输入的对数能量频谱特征中关[0014]其中，所述噪声优化模型是根据包括噪声音频信号的音6所述噪声优化模型输出的M维噪声修正系数中包括：用于对输入的对数能量频谱特征中关[0032]本申请实施例涉及人工智能(ArtificialIntelligence，AI)及机器学习7[0035]基于传统机器学习的统计估计回声消除算法可以用来对待处理的音频信号进行方误差(LeastMeanSquare,LMS)通常[0036]基于神经网络方式的回声消除算法也可以用来对待处理的音频信号进行分析处和循环卷积神经网络(RecurrentNeuralNetwork)都可以应用到对回声等噪声信号的消端设备参加远程会议，比如入会方采用了终端设备101进行远程会议，在远程会议的过程8果入会方的用户也在说话而产生入会方用户的声波，则终端设备101采集的音频信号就可声优化模型对N维对数能量频谱特征进行处理，得到N维对数能量频谱特征对应的M维噪声修正系数，在一个实施例中，所述噪声优化模型可以是基于长短时记忆单元(LongShortTermMemory,LSTM)的卷积神经网络构建的模型，M维噪声修正系数为估计的频谱修正系声音频信号的对数能量频谱的噪声修正系数和p维回声音频信号的对数能量频谱的噪声修正系数的排列方式、与N维对数能量频谱特征中n维人声音频信号的对数能量频谱和p维回是人声音频信号所对应的修正系数，第i维噪声修正系数表征的是噪声信号所对应的修正的噪声修正系数进行运算是指：将N维对数能量频谱特征中第i维对数能量频谱特征的值、9的音频信号的时长是10ms，那么每10ms的音频信号会对应N维的对数能量频谱特征；又例[0044]图3为本申请实施例提供的一种从时域音频信号中提取频域频谱特征的流程图。量分布(即频域离散频谱)；接着对频域离散频谱进行取平方操作(如将频域离散频谱输入频谱平方操作器中)；最后对平方运算的结果进行取对数操作得到时域音频信号对应的对维用于表征回声音频信号的特征，则400维用于表征人声音频信号的特征的对数能量频谱的噪声修正系数的值为1或趋近于1，100维用于表征回声音频信号的特征的对数能量频谱征人声音频信号的特征的对数能量频谱的噪声修正系数的值均小于能量阈值或为0，则表100维用于表征回声音频信号的特征的对数能量频谱的噪声修正系数的值均小于能量阈值clean型的参数优化后，对于目标音频训练数据(所有的音频训练数据中的任一音频训练数据)，对数频谱特征所对应的人声音频信号的对数频谱能量；Secho(w)为回声音频信号的对数频号所对应的对数频谱能量为人声音频信号的对数频谱能量与回声音频信号的对数频谱能优化模型输出的噪声修正系数与音频测试数据的对数能量频谱特征相乘，得到测试结果。该噪声优化模型测试不通过，并继续通过上述S401-S404中的方法对该噪声优化模型进行[0068]在一种实施方式中，还可以采用不同的音频录制设备(如智能终端，多方会议电声音频信息是使用麦克风在会议室1中采集的语音播放设备使用2级播放音量播放语音过议室2中采集的语音播放设备使用2级播放音量播放语音过程中的回声得到的；第4段回声音频信息是使用手机等智能终端在会议室1中采集的语音播放设备使用5级播放音量播放专用设备)录制的回声音频信号生成多方会议电话对应的音频对智能终端的噪声优化模型；当某个目标环境下的录制设备为八爪鱼等会议专用设备时，设备对应的类型标识)与噪声优化模型的标识之间的型进行性能测试。可以理解的是，上述S413和S414的具体描述还可以参考图4a所对应的入如图7所示的会议会话界面时(即在多端会议通信过程中来对回声等进行优化。其中，若终端设备当前所在位置的空间类型属于第一类型(本申请二类型(本申请中，第二类型主要是指室内等环境，比如通过定位发现用户在某栋大楼中能够避免对回声小于阈值的待处理音频信号进行回声消除处理，进而降低内存资源浪费，的一段语音对应64维或500维等对数能量频谱特征，输出是与能量频谱特征相同维数(64-………处位置属于上述表1中某一地址时，则调用与之关联的噪声优化模型对待处理的会议音频[0085]相应地，若终端设备通过定位功能未检测当前会议环境下所处位置属于上述表1据对噪声优化模型进行优化训练，得到优化后的噪声优化模型(即针对当前会议环境的噪声优化模型)，优化训练的具体实施过程可参考步骤S401-S405中训练噪声优化模型的过能终端，则在S603调用的噪声优化模型为与智能终端对应的已经优化好的噪声优化模型，[0097]其中，所述噪声优化模型是根据包括噪声音频信号的音所述噪声优化模型输出的M维噪声修正系数中包括：用于对输入的对数能量频谱特征中关[0104]在播放有音频信号的多个目标环境中进行音频录制操作，得到多段噪声音频信[0114]将所述环境音频信号作为新的音频训练数据对所述噪声待处理的音频信号对应的对数能量频谱特征[0116]在一个实施例中，在存储的噪声优化模型集合中记录了至少由图8所示的处理单元802执行。图4b中所示的步骤S411可由图8所示的获取单元801执行，中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操以用于收发数据；通信接口902还可以用于终端内部数据的传输以及交互。存储器903储空间，该存储空间存储了终端的操作系统，可包括但不限于：Android系统、iOS系统、[0128]通过通信接口902采集待处理的音频信号，并提取所述待处理的音频信号的频谱[0129]调用噪声优化模型对所述对数能量频谱特征进行处理，得到所述N维对数能量频[0131]其中，所述噪声优化模型是根据包括噪声音频信号的音所述噪声优化模型输出的M维噪声修正系数中包括：用于对输入的对数能量频谱特征中关[0138]在播放有音频信号的多个目标环境中进行音频录制操作，得到多段噪声音频信对所述音频训练数据中的混合音频信号进行处理后输出的训练噪声修正系数相乘后得到[0148]将所述环境音频信号作为新的音频训练数据对所述噪声待处理的音频信号对应的对数能量频谱特征[0163]本领域普通技术人员可以理解上述实施例的各种