CN119940417B 用于检测电机的多层特征融合Transformer神经网络及方法 （苏州声学产业技术研究院有限公司）

(19)国家知识产权局(12)发明专利司地址215500江苏省苏州市常熟市研究院路5号(72)发明人陈兴达李鹏高吴沛辰戴晶晶卢明辉谢海圣刘秋艳GO6N3/0所(普通合伙)32276本发明公开了用于检测电机的多层特征融技术领域；神经网络包括第一MFCC模块、第二谱系数数量大于第一MFCC模块的梅尔频率倒谱融合和获得分类结果；多层特征融合的Transformer神经网络模型融合了不同梅尔系数第一全基层第一岳马层第一均值层第二岳马层第二均值层第n编码层第三全描层第一场值房合分英21.一种用于检测电机的多层特征融合Transformer神经网络，其特征在于：包括特征提取模块、转换融合模块和融合分类模块，所述特征提取模块包括第一MFCC模块和第二MFCC模块，第二MFCC模块的梅尔频率倒谱系数数量大于第一MFCC模块的梅尔频率倒谱系数数所述转换融合模块包括第一转换融合模块和第二转换融合模块，第一转换融合模块包括依次连接的第一归一化模块、第一全连接层、第一编码器、第一均值模块和第一拼接模块，第一MFCC模块与第一归一化模块连接；第二转换融合模块包括依次连接的第二归一化模块、第二全连接层、第二编码器、第二均值模块和第二拼接模块，第二MFCC模块与第二归一化模块连接；所述第一编码器和第二编码器均为含有多层编码层的编码器，所述第一均值模块和第二均值模块均为含有多层均值层的均值模块，每一编码器中编码层的层数与均值模块中均值层的层数相同；一个编码器中所有编码层按顺序依次连接，编码器中每一编码层与相邻均值模块中相应的一个均值层连接，均值模块中所有均值层均与相邻的拼接模块连接；第一拼接模块和第二拼接模块均与融合分类模块连接。2.根据权利要求1所述的用于检测电机的多层特征融合Transformer神经网络，其特征在于：所述编码器中编码层的层数和均值模块中均值层的层数均用n表示，n层的编码器包括第一编码层至第n编码层，n层的均值模块包括第一均值层至第n均值层；所述第一全连接层、第一编码器的第一编码层至第n编码层依次连接，第一编码器的一个编码层与第一均值模块的一个均值层连接，第一编码器的第一编码层与第一均值模块的第一均值层连接，第一编码器的第n编码层与第一均值模块的第n均值层连接，第一均值模块的所有均值层均与第一拼接模块连接；所述第二全连接层、第二编码器的第一编码层至第n编码层依次连接，第二编码器的一个编码层与第二均值模块的一个均值层连接，第二编码器的第一编码层与第二均值模块的第一均值层连接，第二编码器的第n编码层与第二均值模块的第n均值层连接，第二均值模块的所有均值层均与第二拼接模块连接。3.根据权利要求2所述的用于检测电机的多层特征融合Transformer神经网络，其特征4.根据权利要求1所述的用于检测电机的多层特征融合Transformer神经网络，其特征在于：所述融合分类模块包括依次连接的第三拼接模块、第三全连接层、转换模块和二分类全连接层，第一拼接模块和第二拼接模块均与第三拼接模块连接，转换模块包括第三编码器和第三均值模块，第三全连接层、第三编码器、第三均值模块和二分类全连接层依次连5.根据权利要求4所述的用于检测电机的多层特征融合Transformer神经网络，其特征在于：所述第三编码器包括第一编码层和第二编码层，第三全连接层、第三编码器的第一编码层、第三编码器的第二编码层、第三均值模块和二分类全连接层依次连接。6.根据权利要求1所述的用于检测电机的多层特征融合Transformer神经网络，其特征在于：所述第二MFCC模块的梅尔频率倒谱系数数量是第一MFCC模块量的两倍；所述第一MFCC模块的梅尔频率倒谱系数数量取值范围为32～64,第二MFCC模块的梅尔频率倒谱系数数量取值范围为64～128。37.一种检测电机的方法，基于权利要求1～6中任意一项所述的一种用于检测电机的多步骤S2:将第一频谱特征矩阵输入至第一归一化模块，第一拼接模块输出第一拼接特步骤S3:将第一拼接特征矩阵和第二拼接特征矩阵输入至融合分类模块获得二分类结将第一频谱特征矩阵输入至第一归一化模块之后还包括如下步骤将第二频谱特征矩阵输入至第二归一化模块之后还包括如下步骤征矩阵的形状为(n_frame,n_mfcc1),第二频谱特征矩阵的形状为(n_frame,n_mfcc2),在所述步骤S2中，第一归一化矩阵的形状为(n_frame,n_mfcc1),第一全连接形状为(n_frame,n_embedding1),第一编码器的编码层特征矩阵的形状为(n_frame,n_embedding1),第一均值模块的平均后的特征向量的形状为(1,n_embedding1),第一拼接特征矩阵的形状为(n,n_embedding1);第二归一化矩阵的形状为(n_frame,n_mfcc2),第二全连接矩阵的形状为(n_frame,n_embedding2),第二编码器的编码层特征矩阵的形状为(n_frame,n_embedding2),第二均值模块平均后的特征向量的形状为(1,n_embedding2),第二拼接特征矩阵的形状为(n,n_embedding2);n_embedding1为第一全连接4将第一拼接特征矩阵和第二拼接特征矩阵输入至第三拼接模块，第一拼接特征矩阵和第二拼接特征矩阵经过第三拼接模块拼接获得形状为(n,n_embedding1+n_embedding2)的特征融合矩阵；将形状为(n,n_embedding1+n_embedding为(1,n_embedding3)的融合Transformer特征；将形状为(1,n_embedding3)的融合Transformer特征输入到二分类全连接层获得二分类结果；n_embedding3为第三全连接层5技术领域[0001]本发明涉及电机测试技术领域，尤其涉及一种用于检测电机的多层特征融合Transformer神经网络及方法。背景技术[0004]由于这些优势，Transformer已广泛应用于语音识别、声音分类以及对话语言大模[0005]在Transformer进行电机声音分类时，仅依赖最后一层的输出可能导致浅层局部[0006]因此，用Transformer神经网络检测电机声音时域信号时，Transformer神经网络的分类精度低成为亟待解决的技术问题。发明内容[0007]本发明提供一种用于检测电机的多层特征融合Transformer神经网络及方法，解决Transformer神经网络检测电机声音时域信号分类精度低的技术问题。[0008]为解决上述技术问题，本发明所采取的技术方案在于如下方面：[0009]一种用于检测电机的多层特征融合Transformer神经网络，包括特征提取模块、转换融合模块和融合分类模块，所述特征提取模块包括第一MFCC模块和第二MFCC模块，第二[0010]所述转换融合模块包括第一转换融合模块和第二转换融合模块，第一转换融合模块包括依次连接的第一归一化模块、第一全连接层、第一编码器、第一均值模块和第一拼接模块，第一MFCC模块与第一归一化模块连接；第二转换融合模块包括依次连接的第二归一归一化模块连接；所述第一编码器和第二编码器均为含有多层编码层的编码器，所述第一均值模块和第二均值模块均为含有多层均值层的均值模块，每一编码器中编码层的层数与均值模块中均值层的层数相同；一个编码器中所有编码层按顺序依次连接，编码器中每一编码层与相邻均值模块中相应的一个均值层连接，均值模块中所有均值层均与相邻的拼接模块连接；[0011]第一拼接模块和第二拼接模块均与融合分类模块连接。[0012]进一步的技术方案在于：所述编码器中编码层的层数和均值模块中均值层的层数均用n表示，n层的编码器包括第一编码层至第n编码层，n层的均值模块包括第一均值层至6第n均值层；[0013]所述第一全连接层、第一编码器的第一编码层至第n编码层依次连接，第一编码器的一个编码层与第一均值模块的一个均值层连接，第一编码器的第一编码层与第一均值模块的第一均值层连接，第一编码器的第n编码层与第一均值模块的第n均值层连接，第一均值模块的所有均值层均与第一拼接模块连接；[0014]所述第二全连接层、第二编码器的第一编码层至第n编码层依次连接，第二编码器的一个编码层与第二均值模块的一个均值层连接，第二编码器的第一编码层与第二均值模块的第一均值层连接，第二编码器的第n编码层与第二均值模块的第n均值层连接，第二均值模块的所有均值层均与第二拼接模块连接。[0015]进一步的技术方案在于：所述n,取值范围为4～6。[0016]进一步的技术方案在于：所述融合分类模块包括依次连接的第三拼接模块、第三全连接层、转换模块和二分类全连接层，第一拼接模块和第二拼接模块均与第三拼接模块连接，转换模块包括第三编码器和第三均值模块，第三全连接层、第三编码器、第三均值模块和二分类全连接层依次连接。[0017]进一步的技术方案在于：所述第三编码器包括第一编码层和第二编码层，第三全连接层、第三编码器的第一编码层、第三编码器的第二编码层、第三均值模块和二分类全连接层依次连接。[0018]进一步的技术方案在于：所述第二MFCC模块的梅尔频模块的梅尔频率倒谱系数数量的两倍；所述第一MFCC模块的梅尔频率倒谱系数数量取值范围为32～64,第二MFCC模块的梅尔频率倒谱系数数量取值范围为64～128。[0019]一种检测电机的方法，基于上述的一种用于检测电机的多层特征融合[0020]步骤S1:获得电机声音的时域信号，将电机声音的时域信号经第一MFCC模块特征提取获得第一频谱特征矩阵，将电机声音的时域信号经第二MFCC模块特征提取获得第二频谱特征矩阵；[0021]步骤S2:将第一频谱特征矩阵输入至第一归一化模块，第一拼接模块输出第一拼接特征矩阵；将第二频谱特征矩阵输入至第二归一化模块，第二拼接模块输出第二拼接特征矩阵；[0022]步骤S3:将第一拼接特征矩阵和第二拼接特征矩阵输入至融合分类模块获得二分类结果，二分类结果为正常或者异常。[0023]进一步的技术方案在于：在所述步骤S2中，[0024]将第一频谱特征矩阵输入至第一归一化模块之后还包括如下步骤，第一频谱特征矩阵经过第一归一化模块均值归一化获得归一化后的第一归一化矩阵；将第一归一化矩阵经过第一全连接层获得第一全连接矩阵；将第一全连接矩阵输入到第一转换融合模块中第一编码器的每一编码层，一个编码层获得一个编码层特征矩阵；将第一编码器的每一个编码层特征矩阵输入至第一均值模块的相应的一个均值层，第一均值模块的每一均值层获得一个平均后的特征向量；将第一均值模块的所有平均后的特征向量输入至第一拼接模块拼接获得第一拼接特征矩阵；[0025]将第二频谱特征矩阵输入至第二归一化模块之后还包括如下步骤，第二频谱特征7[0027]在所述步骤S2中，第一归一化矩阵的形阵的形状为(n_frame,n_embedding1),第一编码器的编码层特征矩阵的形状为(n_frame,n_embedding1),第一均值模块的平均后的特征向量的形状为(1,n_embedding1),第一拼接特征矩阵的形状为(n,n_embedding1);第二归一化矩阵的形状为(n_frame,n_mfcc2),第二全连接矩阵的形状为(n_frame,n_embedding2),第二编码器的编码层特征矩阵的形状为(n_frame,n_embedding2),第二均值模块平均后的特征向量的形状为(1,n_embedding2),第二拼接特征矩阵的形状为(n,n_embedding2);n_embedding1为第一全连接阵和第二拼接特征矩阵经过第三拼接模块拼接获得形状为(n,n_embedding1+n_输入到第三全连接层获得形状为(n,n_embedding3)的第三全连接矩阵；将形状为(n,n_embedding3)的第三全连接矩阵输入到转换模块的第三编码器，然后经过第三均值模块取平均值获得形状为(1,n_embedding3)的融合Transformer特征；将形状为(1,n_embedding3)的融合Transformer特征输入到二分类全连接层获得二分类结果；n_第一转换融合模块和第二转换融合模块等，多层特征融合的Transformer神经网络模型在8加了模型在不同层特征之间的表达能力，提升了检测电机声音时域信号的分类精度。[0032]一种检测电机的方法，基于上述的一种用于检测电机的多层特征融合Transformer神经网络，包括如下步骤，步骤S1:获得电机声音的时域信号，将电机声音的时域信号经第一MFCC模块特征提取获得第一频谱特征矩阵，将电机声音的时域信号经第二MFCC模块特征提取获得第二频谱特征矩阵；步骤S2:将第一频谱特征矩阵输入至第一归一化模块，第一拼接模块输出第一拼接特征矩阵；将第二频谱特征矩阵输入至第二归一化模块，第二拼接模块输出第二拼接特征矩阵；步骤S3:将第一拼接特征矩阵和第二拼接特征矩阵输入至融合分类模块获得二分类结果，二分类结果为正常或者异常。通过步骤S1至步骤S3,提升了检测电机声音时域信号的分类精度。附图说明[0033]图1是本发明实施例1的原理框图；[0034]图2是本发明实施例2的数据流图。具体实施方式[0035]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。[0036]在下面的描述中阐述了很多具体细节以便于充分理解本申请，但是本申请还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施例的限制。[0037]实施例1:[0038]如图1所示，本发明公开了一种用于检测电机的多层特征融合Transformer神经网二MFCC模块的梅尔频率倒谱系数数量n_mfcc2取值范围为64～128,第二MFCC模块的梅尔频率倒谱系数数量n_mfcc2大于第一MFCC模块的梅尔频率倒谱系数数量n_mfcc1。[0039]所述转换融合模块包括依次连接的归一化模块、全连接层embedding、编码器Encoder、均值模块和拼接模块，所述编码器Encoder为n层的编码器，n层的编码器包括第一编码层至第n编码层，所述均值模块为n层的均值模块，n层的均值模块包括第一均值层至第n均值层，所述归一化模块、全连接层embedding、第一编码层至第n编码层依次连接，一个编码层与一个均值层连接，第一编码层与第一均值层连接，所有的均值层均与拼接模块连接。[0040]n的取值范围为4～6。[0041]所述转换融合模块的数量为两个，分别是第一转换融合模块和第二转换融合模块。[0042]第一转换融合模块包括依次连接的第一归一化模块、第一全连接层embedding1、第一编码器Encoder1、第一均值模块和第一拼接模块，第二转换融合模块包括依次连接的9第二归一化模块、第二全连接层embedding2、第二编码器Encoder2、第二均值模块和第二拼接模块，所述第一编码器Encoder1和第二编码器Encoder2均为n层的编码器，n层的编码器包括第一编码层至第n编码层，所述第一均值模块和第二均值模块均为n层的均值模块，n层的均值模块包括第一均值层至第n均值层。[0043]所述第一MFCC模块、第一归一化模块、第一全连接层embedding1、第一编码器Encoder1的第一编码层至第n编码层依次连接，第一编码器Encoder1的一个编码层与第一均值模块的一个均值层连接，第一编码器Encoder1的第一编码层与第一均值模块的第一均值层连接，以此类推，直至第一编码器Encoder1的第n编码层与第一均值模块的第n均值层连接，第一均值模块的所有均值层均与第一拼接模块连接。[0044]所述第二MFCC模块、第二归一化模块、第二全连接层embedding2、第二编码器Encoder2的第一编码层至第n编码层依次连接，第二编码器Encoder2的一个编码层与第二均值模块的一个均值层连接，第二编码器Encoder2的第一编码层与第二均值模块的第一均值层连接，以此类推，直至第二编码器Encoder2的第n编码层与第二均值模块的第n均值层连接，第二均值模块的所有均值层均与第二拼接模块连接。[0045]融合分类模块包括依次连接的第三拼接模块、第三全连接层embedding3、转换模块和二分类全连接层，第一拼接模块和第二拼接模块均与第三拼接模块连接，转换模块包括第三编码器和第三均值模块，第三编码器包括第一编码层和第二编码层，第三全连接层embedding3、第三编码器的第一编码层、第三编码器的第二编码层、第三均值模块和二分类全连接层依次连接。[0046]所述特征提取模块、转换融合模块和融合分类模块Transformer模型，即多层特征融合Transformer神经网络。[0047]实施例2:[0048]本发明公开了一种基于多层特征融合Transformer神经网络检测电机的方法，包括步骤S1特征提取，步骤S2获取Transformer待融合的每层特征，步骤S3特征融合和获得分[0050]步骤S1特征提取：[0051]如图2的上部所示，获得电机声音的时域信号，将电机声音的时域信号经第一梅尔频率倒谱系数数量n_mfcc1的MFCC特征提取获得形状为(n_frame,n_mfcc1)的第一频谱特征矩阵，将电机声音的时域信号经第二梅尔频率倒谱系数数量n_mfcc2的MFCC特征提取获得形状为(n_frame,n_mfcc2)的第二频谱特征矩阵，n_frame为MFCC中傅里叶变换的帧个数，第一梅尔频率倒谱系数数量n_mfcc1取值范围为32～64,第二梅尔频率倒谱系数数量n_mfcc2取值范围为64～128,第二梅尔频率倒谱系数数量n_mfcc2大于第一梅尔频率倒谱系数数量n_mfcc1,第二梅尔频率倒谱系数数量n_mfcc2是第一梅尔频率倒谱系数数量n_mfcc1的两倍左右，第一频谱特征矩阵为低维特征矩阵，第二频谱特征矩阵为高维特征矩[0052]步骤S2获取Transformer待融合的每层特征：[0053]如图2的左部所示，将形状为(n_frame,n_mfcc1)的第一频谱特征矩阵经过第一归一化模块均值归一化获得形状为(n_frame,n_mfcc1)归一化后的第一归一化矩阵，第一归一化矩阵即低维特征矩阵。将形状为(n_frame,n_mfcc1)的第一归一化矩阵经过第一全连接层embedding1获得形状为(n_frame,n_embedding1)的第一全连接矩阵embeddingl。[0054]将形状为(n_frame,n_embedding1)的第一全连接矩阵embedding1输入到第一转换融合模块中第一编码器Encoder1的每一编码层，一个编码层获得一个形状为(n_frame,n_embedding1)的编码层特征矩阵，共计n个形状为(n_frame,n_embedding1)的编码层特[0055]第一转换融合模块的第一编码器Encoder1中，由于Transformer的Encoder是一个序列到序列的模型，因此不会改变输入的维度。形状为(n_frame,n_embedding1)第一全连接矩阵embedding1,经过n层编码层Encoder,得出n个形状为(n_frame,n_embedding1)编码层特征矩阵。第一编码器Encoder1的第一编码层获得第一编码器Encoder1的第一编码层特征矩阵，第一编码器Encoder1的第二编码层获得第一编码器Encoder1的第二编码层特征矩阵，以此类推，第一编码器Encoder1的第n编码层获得第一编码器Encoder1的第n编码层特征矩阵。第一编码器Encoder1的每一编码层特征矩阵的形状均为(n_frame,n_[0056]将第一编码器Encoder1的每一个形状为(n_frame,n_embedding1)编码层特征矩阵输入至第一均值模块的相应的一个均值层，第一均值模块的每一均值层获得一个形状为(1,n_embedding1)平均后的特征向量，共获得n个形状为(1,n_embedding1)平均后的特[0057]将n个形状为(n_frame,n_embedding1)编码层特征矩阵取平均，得出n个形状为(1,n_embedding1)平均后的特征向量。第一编码器Encoder1的第一编码层特征矩阵输入至第一均值模块的第一均值层获得形状为(1,n_embedding1)平均后的第一特征向量，以此类推，直至第一编码器Encoder1的第n编码层特征矩阵输入至第一均值模块的第n均值层获得形状为(1,n_embedding1)平均后的第n特征向量。n_embedding1为第一全连接层嵌入的特征数量。[0058]将n个形状为(1,n_embedding1)平均后的特征向量输入至第一拼接模块拼接获得形状为(n,n_embedding1)的第一拼接特征矩阵，第一拼接特征矩阵即低维特征矩阵每层[0059]如图2的右部所示，将形状为(n_frame,n_mfcc2)的第二频谱特征矩阵经过第二归一化模块均值归一化获得形状为(n_frame,n_mfcc2)归一化后的第二归一化矩阵，第二归一化矩阵即高维特征矩阵。将形状为(n_frame,n_mfcc2)的第二归一化矩阵经过第二全连接层embedding2获得形状为(n_frame,n_embedding2)的第二全连接矩阵embedding2。[0060]将形状为(n_frame,n_embedding2)的第二全连接矩阵embedding2输入到第二转换融合模块中第二编码器Encoder2的每一编码层，一个编码层获得一个形状为(n_frame,n_embedding2)的编码层特征矩阵，共计n个形状为(n_frame,n_embedding2)的编码层特[0061]第二转换融合模块的第二编码器Encoder2中，由于Transformer的Encoder是一个序列到序列的模型，因此不会改变输入的维度。形状为(n_frame,n_embedding2)第二全连接矩阵embedding2,经过n层编码层Encoder,得出n个形状为(n_frame,n_embedding2)编码层特征矩阵。第二编码器Encoder2的第一编码层获得第二编码器Encoder2的第一编码层11特征矩阵，第二编码器Encoder2的第二编码层获得第二编码器Encoder2的第二编码层特征矩阵，以此类推，第二编码器Encoder2的第n编码层获得第二编码器Encoder2的第n编码层特征矩阵。第二编码器Encoder2的每一编码层特征矩阵的形状均为(n_frame,n_embedding2)。n_embedding2为第二全连接层嵌入的特征数量。[0062]将第二编码器Encoder2的每一个形状为(n_frame,n_embedding2)编码层特征矩阵输入至第二均值模块的相应的一个均值层，第二均值模块的每一均值层获得一个形状为(1,n_embedding2)平均后的特征向量，共获得n个形状为(1,n_embedding2)平均后的特[0063]将n个形状为(n_frame,n_embedding2)编码层特征矩阵取平均，得出n个形状为(1,n_embedding2)平均后的特征向量。第二编码器Encoder2的第一编码层特征矩阵输入至第二均值模块的第一均值层获得形状为(1,n_embedding2)平均后的第一特征向量，以此类推，直至第二编码器Encoder2的第n编码层特征矩阵输入至第二均值模块的第n均值层获得形状为(1,n_embedding2)平均后的第n特征向量。[0064]将n个形状为(1,n_embedding2)平均后的特征向量输入至第二拼接模块拼接获得形状为(n,n_embedding2)的第二拼接特征矩阵，第二拼接特征矩阵即高维特征矩阵每层[0065]步骤S3特征融合和获得分类结果：[0066]如图2的中部往下所示，将形状为(n,n_embedding1)的第一拼接特征矩阵即低维特征矩阵每层特征和形状为(n,n_embedding2)的第二拼接特征矩阵即高维特征矩阵每层特征输入至第三拼接模块拼接获得形状为(n,n_embedding1+n_embedding2)的特征融合矩阵。将形状为(n,n_embedding1+n_embedding2)的特征融合矩阵输入到第三全连接层embedding3获得形状为(n,n_embedding3)的第三全连接矩阵embedding3。[0067]n_embedding3为第三全连接层嵌入的特征数量。[0068]将形状为(n,n_embedding3)的第三全连接矩阵embedding3输入到转换模块的第三编码器，第三全连接矩阵embedding3依次经过第三编码器的第一编码层和第二编码层，然后经过第三均值模块取平均值获得形状为(1,n_embedding3)的融合Transformer特征。将形状为(1,n_embedding3)的融合Transformer特征输入到二分类全连接层获得二分类结[0070]本申请采用公开数据集MIMIIDataset来验证基于多层特征融合的Transformer工业电机设备异常检测方法的优越性。MIMIIDataset是用于故障工业机器调查和检查的和滑轨分别公开了4个型号(id0,id2,id4,id6),每个型号公开了-6db,Odb,6db信噪比的声音数据，每个型号的数据包含正常声音和异常声音。[0071]本申请选取0db信噪比的，id0的泵电机声音作为实验数据，以8:2的比例切割训练集和测试集。[0072]特征提取中：n_frame=5,n_mfcc1=32,n_mfcc2=64。[0073]该数据实施例中，第二梅尔频率倒谱系数数量n_mfcc2是第一梅尔频率倒谱系数数量n_mfcc1的两倍。[0074]获取Transformer待融合的每层特征中：n=4,n_embedding1=32,n_embedding2=[0075]该数据实施例中，4层的编码器包括第一编码层、第二编码层、第三编码层和第四编码层。[0078]将仅仅使用n_mfcc1=32的无多层特征融合的Transformer模型和仅仅使用nmfcc2=64的无多层特征融合的Transformer模型和基于多层特征融合的Transformer模型进行比较。仅仅使用n_mfcc1=32的Transformer模型的精度为97.39;仅仅使用n_mfcc1=64的Transformer模型的精度为97.83;基于多层特征融合的Transformer模型精度为99.13。因此，多层特征融合的Transfo