CN114373451B 一种端到端中文语音识别方法 （江南大学）

US2020135174A1,2020.04.30别领域。首先探索了基于Transformer编码器和LAS解码器的Transformer-LAS语音识别模型的效果，并针对Transformer不善于捕捉局部信息灵活的对齐方式会使其在嘈杂环境中的效果急剧下降，研究中采用连接时序分类(CTC)辅助训练以加快收敛，并加入音素级别的中间CTC损失联合优化，提出效果更好的Conformer-LAS-CTC语音识别模型；最后，在开源中文普通话Aishell-1数据集上对提出来的模型进2基于Conformer的混合CTC/Attention模型包括三个部分：共享Conform所述的共享Conformer编码器首先使用卷积子采样层处理输入，将卷积子采样层处理影通道数，然后是一维深度卷积，一维深度卷积后接Batchnorm和swish激活层；共享Conformer编码器将输入的帧级别声学特征x＝(x1,...xT)映射到序列高级表示h＝(h1,在每个时间步t，通过注意力机制计算输出对编码器特征h的条件C)(O)3所述的CTC解码器以共享Conformer编码器输出特征h作为输入进行解码，经过所以需要去掉路径中的重复的标签和空白标在CTC解码器训练中跳过中间层之后的所有层，加入中间层音素级别CTC损失，即LN/2小基于Conformer的混合CTC/Attention模型使用CTC解码器和LAS注意力解码器联合优三、对基于Conformer的混合CTC/Attention模型进行训练，使用训4[0002]自动语音识别系统(AutomaticSpeechRecognition,ASR)广泛应用到许多产品在一个模型中通过训练学习语音到文字的映射，可以直接将语音输入转换为字符序列输分类(connectionisttemporalclassification,CTC)和基于注意力的编解码器classification:labellingunsegmentedsequencedatawithrecurrentneuralnetworks[C]//Proceedingsofthe23rdinternationalconferenceonMachineetal.DeepSpeech:Scalingupend-to-endspeechrecognition[J].Computer等人【AmodeiD,AnanthanarayananS,AnubhaiR,etal.Deepspeech2:End-to-endspeechrecognitioninenglishandmandarin[C]//Internationalconferenceon型取得了更好的结果。JaesongLee【LeeJ,WatanabeS.Intermediatelossregularizationforctc-basedspeechrecognition[C]//ICASSP2021-2021IEEEInternationalConferenceonAcoustics,SpeechandSignalProcessing(ICASSP)[0004]基于自注意力的Transformer体系结构由于能够捕获长距离交互和高训练效率而5tion-augmentedtransformerforspeechrecognition[J].arXivpreprintarXiv:networkforlargevocabularyconversationalspeechrecognition[C]//2016IEEEInternationalConferenceonAcoustics,SpeechandSignalProcessing(ICASSP)由一个编码器循环神经网络(RNN)作为听者(listener)，一个解码器RNN作为拼写者尚未探索基于最先进的Conformer模型作为listener[0006]基于以上内容，本发明首先探索了不同编解码器组合而成的LAS语音识别系统的型提出了基于Conformer的LAS语音识别模型(Conformer-LAS)；为进一步提高语音识别准确率以及加快模型训练收敛速度，添加CTC解码器联合训练，并加入【LeeJ,WatanabeS.Intermediatelossregularizationforctc-basedspeechrecognition[C]//ICASSP2021-2021IEEEInternationalConferenceonAcoustics,SpeechandSignal[0007]本发明旨在解决现有技术存在的问题，提供一种基于Conformer的混合CTC/[0014]所述的共享Conformer编码器首先使用卷积子采样层处理输入，将卷积子采样层处理后的数据输入到N个Conformer编码器块中，每个Conformer编码器块依次包括前馈模块(Feedforwardmodule)、多头自注意力模块MHSA(Multi-headself-attention6为2的逐点卷积，通过GLU激活层投影通道数，然后是一维深度卷积，一维深度卷积后接过程为：利用局部注意力(local-attention)来关注共享Conformer编码器器输出的信息，利用LSTM来解码出信息，在每个LSTM的输出过程中，LAS注意力解码器将已经生成的文本h(w,h,+w,d,+b,)(3)得到的参数；dt表示解码器在时间步数t的隐藏状态。然后对uit进行softmax，得到[0023]每一时刻，用于捕捉先前输出上下文的注意力解码器隐藏状态dt经以下方式得e)()[0028]所述的CTC解码器以共享Conformer编码器输出特征h作为输入进行解码，经过7[0037]基于Conformer的混合CTC/Attention模型使用CTC解码器和LAS注意力解码器联[0042]本发明的技术效果：本发明提出了Conformer-LAS-CTC声学模型用于端到端语音上显示出最好的性能。本发明还对比了传统语音识别模型和其他端到端模型，验证了Conformer-LAS-CTC声学模型的先进性。该模型在Conformerdecoder具有3层LSTM网络时8augmentedtransformerforspeechrecognition[J].arXivpreprintarXiv:no-recurrencesequence-to-sequencemodelforspeechrecognition[C]//2018IEEEInternationalConferenceonAcoustics,SpeechandSignalProcessing(ICASSP)结果。ConformerEncoder首先使用卷积子采样层处理输入，然后使用大量的conformerrecognitionmodelwithtransformerencodersandrnn-tloss[C]//ICASSP2020-2020IEEEIn-ternationalConferenceonAcoustics,SpeechandSignalProcessingstudyontransformervsrnninspeechapplications[C]//2019IEEEAutomaticSpeechRecognitionandUnderstandingWorkshop(ASRU).IEEE,2019:449-456.】中的Transformer块来处理输入，图1左边展示了Conformer编码器整体架构，右边展示了[0051]其中Conformerblock是由前馈模块(Feedforwardmodule)，多头自注意模块(Multi-headself-attentionModule)，卷积模块(ConvolutionModule)三个模块组成，[0056]其中，FFN是指前馈模块，MHSA是指多头自注意力模块，Conv是指卷积模块，9(x1,...,xT)转换为高层次的表示h，其中高级别特征序列h的长度可以和输入声学序列x一[0060]本发明探索了BLSTM,Transformer,Conformer三种不同的模型结构作为listener[0075]CTC在标注符号集中加入了一个空白符号(blank)，它意味着此帧没有预测值输[0087]LAS解码器则通过使用注意力机制指定字符序列的概率分布，相较于其他端到端[0089]由于CTC可以被视为一种能够直接优化输入序列与输出目标序列似然度的目标函[0091]我们考虑具有CTC损失函数的N层编码器，由于子模型和完整模型共享较低的结[0096]本发明模型使用CTC和LAS解码器联合优化模型参数，同时加入中间层音素级别[0101]本发明实验使用的数据集为希尔贝壳开源的178h数据集(Aishell-1)，采样率LuH,SakH,etal.Transformertransducer:Astreamablespeechrecognitionmodelwithtransformerencodersandrnn-tloss[C]//ICASSP2020-2020IEEEIn-ternationalConferenceonAcoustics,SpeechandSignalProcessing(ICASSP)出的SpecAugment【ParkDS,ChanW,ZhangY,etal.Specaugment:Asimpledataaugmentationmethodforautomaticspeechrecogni-tion[J].arXivpreprint经网络以及批次归一化层(BatchNorm2d)以及ReLu激活函数，每个CNN都有32个滤波器组，每个滤波器内核大小为3x3，步长为1。然后接2维最大池化层(2D-MaxPool)，内核大小为中使用的Swish[28]激活函数，每个模块之前都使用了Layernorm和残差连接来加速模型训[0107]本发明首先在Aishell-1数据集上验证了所提出的Conformer-LAS,以及使用音素级别中间层CTC损失(权重为0.1)辅助训练的Conformer-LAS-CTC效果，并将其与基线模型[0111](1)在解码器都采用LAS模型时，所提出的Conformer-LAS-CTC模型相对于以BLSM为编码器的模型测字错率相对降低了19.52相对于Transformer编码器模型更是相对降[0112](2)使用音素级别中间CTC损失辅助训练的Conformer-LAS-CTC(+InterCTC)模型降更快，在10k步之后Conformer-LAS-CTC相比于blstm-LAS模型则更加平稳，这意味着个固定范围内，Conformer-LAS和Conformer-LAS-CTC的字错率都明显低于BLSTM-LAS模型和Transfor