CN116312480B 一种语音识别方法、装置、设备及可读存储介质 （之江实验室）

设备及可读存储介质，响应于流式语音识别请的第一语音特征和指定语音块的第一语音特征2按照待识别语音块划分的先后顺序，针对每个待识别语音块，将该待识将该待识别语音块的第一语音特征和所述指定语音块的第一语音待识别语音块的第一语音特征之间的第二注意力根据所述第一注意力得分、所述第二注意力得分、所述指定语音块将该待识别语音块的第二语音特征输入所述解码器，得到该待识别将所述待识别语音块的第二语音特征输入所述解码器，得到所根据所述待识别音频数据包含的各待识别语音块的各预测文本将所述待识别音频数据对应的各候选文本以及所述各待识别语音块的第二语音特征根据所述第一概率和所述第二概率，从所述各候选文本中选择所述根据所述各预测文本的第一概率，从所述待识别语音块对应的各将所述待识别语音块的识别结果返回给所述流式语音识别请求对应的用根据所述待识别音频数据对应的预测文本，纠正返回给所述用户的预先获取无文本标注的音频数据，并按照预设的时长，将所述音频针对每个语音块，将该语音块输入到待训练的语音特征编码器，通3根据该语音块的第一语音特征和该语音块之前的若干语音块的第将该语音块对应的参考语音特征输入所述语音特征编码器中的特征以该语音块的参考语音特征和该语音块的第二语音特征之间的差异最小化为训练目将遮蔽后的该语音块的第一语音特征和该语音块之前的若干语音块的第一语音特征以将该语音块的参考语音特征和将该语音块的第二语音特征之间的差异最小化为训以该语音块的量化语音特征和该语音块的第二语音特征之间的差异最小化为训练目将该语音块的第一语音特征中与所述目标特征对应的特征替换为所述目标根据该语音块的量化语音特征和该语音块的第二语音特征之间的相根据该语音块的第二语音特征和该语音块的干扰量化特征之间的相似块的量化语音特征和该语音块的干扰量化特征之间的差异确定该语音根据所述第一权重和所述第二权重分别对各语音块的第一损失和各语音块第二损失获取带文本标注的音频数据作为训练样本，以所述文本标注作为所述训练样本的标4将所述训练样本的语音特征和所述训练样本的标注输入所述纠第一语音特征确定模块，用于按照待识别语音块划分的指定语音块确定模块，用于确定该待识别语音块的上一注意力确定模块，用于将该待识别语音块的第一语音特征块的第一语音特征与所述待识别语音块的第一语音特征之间的第二注意力解码模块，用于将所述待识别语音块的第二语音特征输入所述解码器算机程序被处理器执行时实现上述权利要求1～15[0007]本说明书提供了一种语音识别方法，语音识别模型包括语音特征编码器和解码[0012]将该待识别语音块的第一语音特征和所述指定语音块的征与所述待识别语音块的第一语音特征之间的第二注意6[0019]将所述待识别音频数据对应的各候选文本以及所述各待识别语音块的第二语音[0031]以该语音块的参考语音特征和该语音块的第二语音特征之间的差异最小化为训[0034]将遮蔽后的该语音块的第一语音特征和该语音块之前的若干语音块的第一语音[0036]以将该语音块的第一语音特征和将该语音块的第二语音特征之间的差异最小化[0038]以该语音块的量化语音特征和该语音块的第二语音特征之间的差异最小化为训7[0042]将该语音块的第一语音特征中与所述目标特征对应的特[0048]根据所述第一权重和所述第二权重分别对各语音块的第一损失和各语音块第二[0052]将所述训练样本输入训练完成的语音特征编码器，得到所述训练样本的语音特[0053]将所述训练样本的语音特征输入所述解码器，得到所述训练样本的第一预测文[0059]本说明书提供了一种语音识别装置，语音识别模型包括语音特征编码器和解码8语音块的第一语音特征与所述待识别语音块的第一语音特征之间的第二注意待识别语音块对应的预测文本作为所述待识别语音块的识语音块的第一语音特征和该待识别语音块的指定语音块的第一语音特征输入到特征编码见，通过特征编码子网中的注意力编码层确定第一注意力得分和第二注意力得分的方式，[0071]此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。9线识别)是指语音识别模型在接收到完整的待识别音频数据再进行识别，而流式语音识别书实施例中提供的语音识别模型中，通过在语音特征编码器中部署注意力编码层的方式，特征与该待识别语音块的第一语音特征之间的第二注意[0107]具体的，特征编码子网可以是包含若干层Conformer编码层的神经网络，每层Conformer编码层由前馈网络、块多头局部自注意力机制和不关注右侧上下文的因果卷积音块的第一语音特征和指定语音块的第一语音特征之间的相关关第一注意力得分可以通过该待识别语音块的第一语音特征中各维特征之间的相似度确定，关系的第二注意力得分可以通过该待识别语音块的第一语音特征和指定语音块的第一语语音块的第一语音特征和该待识别语音块的指定语音块的第一语音特征输入到特征编码语音块的第一语音特征和指定语音块的第一语音特征确定第一注意力得分和第二注意力可以在语音识别模型中部署纠正器，通过纠正器对各待识别语音块的预测文本重新打分，[0115]由此，在如图1步骤S112所示将该待识别语音块的第二语音特征输入所述解码器[0117]具体的，将语音特征编码器输出的该待识别语音块的第将添加了开始标记的各候选文本和前述语音特征编码器输出的各待识别语音块的第二语音频数据对应的预测文本作为所述待识别音频数据频数据包含的各待识别语音块对应的各候选文本以及各待识别语音块的第二语音特征输[0127]在本说明书一个或多个实施例中，在如图4步骤S204所示确定所述待识别音频数[0129]其次，将所述待识别语音块的识别结果返回给所述流式语音识别请求对应的用[0133]在本说明书一个或多个实施例中，如图1步骤S104所示按照待识别语音块划分的之前的语音块的特征之间的关系，从而提取连续多个语音块的特征之间的声学上下文信[0145]具体的，特征编码子网可以是包含若干层Conformer编码层的神经网络，每层Conformer编码层由前馈网络、块多头局部自注意力机制和不关注右侧上下文的因果卷积[0149]在特征编码子网中，可将该语音块对应的第一语音特征中的若干特征进行遮通过遮蔽后的该语音块的第一语音特征和该语音块之间的若干语音块的语音特征进行拼[0156]第一步：根据该语音块的量化语音特征和该语音块的第二语音特征之间的相似[0157]该语音块的第一损失表征了语音特征编码器的其中一个训练目标为预测出被遮二语音特征之间的相似度的最大化对应于该语音块的第一损[0159]第三步：根据该语音块的第二语音特征和该语音块的干扰量化特征之间的相似[0160]该语音块的第二损失用于指示语音特征编码器的其中一个训练目标为语音特征与编码器联合训练，在如图6步骤S406所示以所述第一预测文本和所述训练样本的标注之[0174]将上述通过训练完成的语音特征编码器获得的训练样本同时将训练样本的标注也输入纠正器，使得纠正器以TeacherForcing的方式输出训练样样本的标注的向量表示与其位置编码向量相加后输入到Transformer解码层，在解码层中与词表大小相同、向量个数与输入中添加了开始标记的训练样本的标注一样的输出向量，进而利用Softmax函数可以计算出输出向量在词表包含的各字上的文本概率分布向量，从而确定纠正器预测的包含了结束标记但不包含开始标记的第[0181]图7为本说明书提供的一种语音识别装置示意图，语音识别模型包括语音特征编[0186]注意力确定模块508，用于将该待识别语音块的第一语音特征和所述指定语音块述指定语音块的第一语音特征与所述待识别语音块的第一语音特征之间的第二注意力得[0187]第二语音特征确定模块510，用于根据所述第一注意力得分、所述第二注意力得述待识别语音块对应的预测文本作为所述待识别语音块的识所述各候选文本中选择所述待识别音频数据对应的预测文本作为所述待识别音频数据的语音块的识别结果返回给所述流式语音识别请求对应的用[0196]第一训练模块518，具体用于预先获取无文本标注的音频数据，并按照预设的时训练样本的标注之间的差异的最小化为优化目标，调整所述解码器以及所述纠正器的参此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(ProgrammableLogicDevice,PLD)(例如现场可编程门阵列(FieldProgrammableGate而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(AdvancedBooleanExpressionLanguage)、AHDL(AlteraHardwareDescription(JavaHardwareDescriptionLanguage)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardwareDescriptionLanguage)等，目前最普遍使用的是VHDL(Very_High_Speed该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(ApplicationSpecificIntegratedCircuit，为既可以是实现方法的软件模块又可以是硬件部件内的结说明书时可以把各单元的功能在同一个或多个软件和现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定[0214]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图