CN119172682B 基于改进Transformer模型的耳机降噪方法、耳机与存储介质 （江西瑞声电子有限公司）

术开发区京九大道与创新大道交叉口US2020236466A1,2020.基于改进Transformer模型的耳机降噪方本发明公开了一种基于改进Transformer模音频特征序列与辅助特征序列输入到配置了代理注意力机制的改进Transformer模型中，得到参数。本申请通过改进Transformer模型和多源2从所述环境音频信号中提取出音频特征序列；从所述位置信息与姿态信息中提取出辅助特征序列；将所述音频特征序列与辅助特征序列输入到配置了代理注意力机制的改进根据所述匹配值的大小，得到目标场景类型，并获取所述目标所述从所述位置信息与姿态信息中提取出辅助特征序列2.根据权利要求1所述的基于改进Transformer所述音频特征序列与辅助特征序列输入到配置了代理注意力机制的改进Transformer模型对所述音频特征序列与辅助特征序列进行映射与编码，分别得到音频增3.根据权利要求2所述的基于改进Transforme根据所述音频增强序列与预设的转换权重矩阵，分别得到第一矩阵4.根据权利要求2所述的基于改进Transformer5.根据权利要求1所述的基于改进Transf36.根据权利要求1所述的基于改进Transform7.根据权利要求1所述的基于改进Transf8.一种耳机，其包括存储器、处理器以及存储任一项所述的基于改进Transformer模型的耳机降噪方法9.一种计算机可读存储介质，所述计算机可读存储介质存于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于改进4[0001]本发明涉及耳机降噪技术领域，特别涉及一种基于改进Transformer模型的耳机[0003]不同的噪声环境对于降噪程度的需求是不同的，为更好[0005]鉴于现有技术存在的不足，本发明提供一种基于改进Transformer模型的耳机降[0006]为实现上述的目的，本发明的第一方面提供一种基于改进Transformer模型的耳5可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一项的基于改进算机程序，计算机程序被处理器执行时实现上述任一项的基于改进Transformer模型的耳6[0045]图1为本发明实施例公开的基于改进Transformer模型的耳机降噪方法的第一流[0046]图2为本发明实施例公开的基于改进Transformer模型的耳机降噪方法的第二流[0047]图3为本发明实施例公开的基于改进Transformer模型的耳机降噪方法的第三流[0048]图4为本发明实施例公开的基于改进Transformer模型的耳机降噪方法的第四流[0049]图5为本发明实施例公开的基于改进Transformer模型的耳机降噪方法的第五流7场景的声音特性的可输入于改进Transfor预设的要求将所得的频谱图分割成若干份的子频谱，再从若干的子频谱上提取音频特征。得到的可表示耳机当前状态特性的可输入于改进Transformer[0068]S4、将音频特征序列与辅助特征序列输入到配置了代理注意力机制的改进注意力机制来替代Transformer模型中原有的自注意力机制，可实现利用多源信息特征实[0071]该代理注意力机制由两个softmax注意力操作组成，在原有的注意力机制的三元8述操作所得的信息广播给Q，建立了跨模态信息融合机制，实现了多源特征信息的交互融[0072]在将音频特征序列和辅助特征序列输入到改进Transformer模型后，先对音频特列和辅助增强序列。所得的音频增强序列和辅助增强序列再经过Transformer模型的代理计的需求进行选择，环境音频频谱包括但不限于由短时傅里叶变换所得到的环境音频频9[0087]S31、分别对位置信息与姿态信息进行预处理，得到去噪位置信息与去噪姿态信兴趣点信息等；姿态特征信息包括但不限于耳机的佩戴姿态信息和耳机的加速度信息等。助特征序列，可更好地从整体层面体现出耳机当前所处位置与耳机姿态之间的特征关系，[0102]具体的，可以通过与耳机连接的终端来实现地理位置信息与地理信息库的交得到位置特征序列，以确保位置特征序列可输入于改进Transformer模型，以被改进类型初始信息来辅助调整改进Transformer模型的代理注意力机制的识别权重，提高后续动状态，实现根据用户当前的运动状态来辅助调整改进Transformer模型的代理注意力机配置了代理注意力机制的改进Transformer模型中，得到各场景类型的匹配值的步骤S4包辅助增强序列；到的具备权重信息的数据。匹配值为预设的场景类型与耳机当前所处声音场景的匹配程[0118]在将音频特征序列与辅助特征序列输入到改进Transformer模型中后，音频特征[0119]在将音频增强序列与辅助增强序列输入到改进Transformer模型中的代理注意力机制后，代理注意力机制再利用音频增强序列与辅助增强序列分别进行两次softmax注意[0128]在完成音频增强序列与辅助增强序列转换的后，先进行第一次的softmax注意力器10上并可在处理器20上运行的基于改进Transformer模型的耳机降噪方法程序指令30，基于改进Transformer模型的耳机降噪方法程序指令30被处理器20执行时实现前述的基于[0142]在一些实施例中，处理器可以是中央处理器(CentralProcessingUn