CN114187900B 语音自适应识别方法、系统、设备及存储介质 （中国科学技术大学）

质络(即多个基于注意力的门控缩放自适应层构成网络)实现对主网络(即声学模型)的自适应学更加区分性的说话人个性特征，从而提升识别2在语音识别时，利用所述概率分布序列计算增加空白标签后词对于第t帧语音数据xt对应的深度特征ft，通过声学模型第l-1层隐藏层的激活输出记为hnf",同时作为第l层隐藏层的输入；通过对应于第l层隐藏层的基于注意力的门控缩放自适应层生成深度特征ft的缩放变4.根据权利要求1或3所述的一种语音自适应识别方法，其对于第t帧语音数据xt对应的深度特征ft，通过自注意力机制计算相应的注意力权重t3Ct=αt*Vtttt进行转置后得k对加权后的特征进行非线性激活，对于第l层隐藏层对应的基于注意力的门控缩放自其中，sigmoid表示非线性激活所使用的sigmoid函数，W:、b:分别表示第l层隐藏层布序列计算增加空白标签后词典元素中构成的任一路径将增加空白标签后词典记为v,jr表示定义在词典上的所有长度为T的序列的集合，集合jr中的元素成为路径，集合ir中任意一个路径π的条件概率通过下式计算：模型与所有基于注意力的门控缩放自适应层一起进行动态其中，当所述一个或多个程序被所述一个或多个处理器执4了显著的改善。目前主流的语音识别系统主要有两种，一种是基于HMM的语音识别系统(GravesA,FernándezS,GomezF,etal.Connectionisttemporalclassification:labellingunsegmentedsequencedatawithrecurrentneuralnetworks[C]//Proceedingsofthe23rdinternationalconferenceonMachinelearning.ACM,2006:369-376.)，另一种则是端到端语音识别系统(MaasA,XieZ,JurafskyD,etal.Lexicon-freeconversationalspeechrecognitionwithneuralnetworks[C]//Proceedingsofthe2015ConferenceoftheNorthAmericanChapteroftheAssociationforComputationalLinguistics:HumanLanguageTechnologies.2015:[0003]端到端语音识别的首次实现是谷歌的AlexGraves和多伦多大学的NavdeepJaitly将链接时序分类(ConnectionistTemporalClassification，CTC)准则引入到语音识别系统中(GRAVESA,JAITLYN.Towardsend-to-endspeechrecognitionwithrecurrentneuralnetworks[C]//Internationalconferenceonmachine硬对齐问题，最初被提出用来解决序列到序列的预测任务(GRAVESA,FERNANDEZS,GOMEZF,etal.Connectionisttemporalclassification:labellingunsegmentedsequencedatawithrecurrentneuralnetworks[C]//Proceedingsofthe23rdinternationalconferenceonMachinelearning.2006:369-376.)。语音识别作为一个典型的语音序列到文本序列的预测任务，CTC准则的引入成功实现了直接由输入语音映射etal.Advancingacoustic-to-wordCTCmodel[C]//2018IEEEInternationalConferenceonAcoustics,SpeechandSignalProcessing(ICASSP).IEEE,2018:5794-[0004]语音识别中的说话人自适应技术用来解决训练和测试环境中由说话人差异引起5的区别还是在具体的技术实现上。从技术实现上说话人自适应可以分为重估自适应(Re-[0006]1)重估自适应利用少量目标说话人的自适应数据从训练好的说话人无关应训练方法是这类方法中的典型代表。利用预训练的说话人识别模型获得说话人的i-ZHANGH,METZEF.Speakeradaptivetrainingofdeepneuralnetworkacousticmodelsusingi-vectors[J].IEEE/ACMTransactionsonAudio,Speech,andLanguageProcessing,2015,23(11):1938-1949.)。另外一类方法利用控制网络以说话人嵌入(speakerembeddings)为输入来生成SD参数，控制网络在所有的说话人之间共享(CUIX,GOELV,SAONG.Embedding-basedspeakeradaptivetrainingofdeepneural和变换参数一同学习(TANT,QIANY,YINM,etal.Clusteradaptivetrainingfordeepneuralnetwork[C]//2015IEEEInternationalConferenceonAcoustics,Speech6类似(MENGZ,LIJ,GONGY,etal.Adversarialteacher-studentlearningforunsuperviseddomainadaptation[C]//2018IEEEInternationalConferenceon的方法就是将声学网络和说话人分类网络利用多任务学习的方式放在一起进行联合优化(MENGZ,LIJ,CHENZ,etal.Speaker-invarianttrainingviaadversariallearning[C]//2018IEEEInternationalConferenceonAcoustics,SpeechandSignal了自适应的流程，近年来逐渐受到了研究学者的关注。典型的工作有序列加和网络DLN)以及学习性隐层单元分布(LearningHiddenUnitContribution，LHUC)对每一个隐上三部分技术各自对应与文献1(VESELYK,WATANABES,K,etal.Sequencesummarizingneuralnetworkforspeakeradaptation[C]//2016IEEEInternationalConferenceonAcoustics,SpeechandSignalProcessing(ICASSP).IEEE,2016:5315-5319.)、文献2(KIMT,SONGI,BENGIOY.Dynamiclayernormalizationforadaptneuralacousticmodelinginspeechrecognition[J].arXivpreprintarXiv:1707.06065,2017.)、文献3(SWIETOJANSKIP,LIJ,RENALSS.Leacontributionsforunsupervisedacousticmodeladaptation[J].IEEE/ACMTransactionsonAudio,Speech,andLangu于HMM的混合识别模型的，目前对基于端到端语音识别系统中的说话人自适应研究仍然十归神经网络(RNN)或是长短时记忆网络(LSTM)时，提高这种具有复杂结构网络的适应性能speakeradaptationoflongshort-termmemoryrecurrentneuralnetworks[C]//SixteenthAnnualConferenceoftheInternationalSpeechCommunication7捕捉句子级声学建模的深度特征中相关信息，使语音序列每一帧都包含其他所有帧的信8成的任一路径的条件概率，根据条件概率进行路径聚合(也即选择最大可能的路径进行聚[0044]链接时序分类(CTC)是一种针对序列标注问题的端到端技术，该技术通过删除时间和对齐信息将具有时间信息的输入序列直接转换为较短的标签序列。CTC主要用于处理时序分类任务，尤其是输入信号与目标标签对齐结果未知的情况。当应用于声学建模时，9CTC可以自动学习输入语音帧序列及其标签序列(例如音素或字)之间的对齐方式，而无需标签并合并连续重复标签以获得唯一的对应序列。通过CTC技术进行神经网络训练的准则语音序列X编码为深度特征序列F＝{f1,f2,...,fT}，深度特征ft是一个维度为|V|+1的向[0047]一般常规的准则是一帧特征仅对应一个概率，而CTC准则作用是把所有帧一起考个维度为|V|+1的向量，表示第t帧语音数据xt属于标签i的概率，关操作将在后文进行介绍。[0048]将增加空白标签后词典记为v,jr表示定义在词典上的所有长度为T的序列的集映射过程就是一个对齐的过程。另外从条件概率计算时可以看到其中存在一个重要的假[0053]设V≤T表示定义在词典V上的所有长度小于等于T的标签序列的集合，可以通过计本发明实施例中的声学模型是一种端到端的模型，也就是直接由语音数据到文字的建模。[0056]本发明实施例中，基于注意力的门控缩放(Attention-BasedGatedScaling，AGS)自适应网络为通过在主网络上附加的一系列基于注意力的门控缩放自适应层(AGS自[0059]如图4所示，选择进行激活缩放的每个隐藏层都与一个单独的AGS自适应层相对k[0069]其中，分别表示第l层隐藏层对应的AGS自适应层非线性激活使用的权重h隐藏层的激活输出记为同时h,"作为第l层隐藏层的输入；通过对应于第l层隐藏层的基于注意力的门控缩放自适应层生成深度特征ft的缩放变换向量s;,并对第l层隐藏层的输入特征在帧级别进行重新加权，使得每一帧语音都包含了当前句子中其他所有帧的信且注意力机制有选择的加权特点，使得辅助网络集中精力于提供具有上下文区分性的特开发集和测试集中的所有说话人均没有重叠。实验时用所有的训练集数据训练声学模型，[0083]对于中文这种典型的单字成意的语言，通常采用字错误率(CharacterE