CN115394287B 混合语种语音识别方法、装置、系统及存储介质 （科大讯飞股份有限公司）

2当所述语种信息包括目标语种时，将所述待识别语音信息输入到已训练的转写模型所述第一语种为小语种，所述转写模型的训练数据包括所述第一语种通过所述特征提取模块提取输入的训练数据集中的当前时段的语音信息的声学特征，通过所述编码器的卷积网络模块、所述多个第一Tansformer使用反卷积网络模块将所述固定维度的语音编码特征对应的时间维度升采样至与输利用交叉熵损失函数计算获得取所述预测音素标签的音素序列相对真实标签对应的在所述训练数据中获取当前时段之前的语音信息将当前时段之前的语音信息对应的文本标签输入到所述转换模块将所述字符嵌入向量输入到所述解码器的卷积网络模型提取抽将所述抽象文本表征信息输入到所述解码器的多个第二Tansforme3将所述编码器的前馈神经网络层输出的所述固定维度的语音编码特征和所述高维抽将所述融合特征输入到所述前馈神经网络层和所述归一化网络模块进行处预测文本序列；将所述第一损失、所述第二损失、所述第三损失和所述第四4.如权利要求1所述的识别方法，其特征在于，对获取的待识别语音信息进行语种识通过已训练的语种识别模型对待识别语音信息进行语种识别，将所述第一得分和第一阈值进行比较，以及将所述第二得分和对每一时段的所述语音片段进行编解码处理，以预测每一时段的将所有时段的所述语音片段对应的所述预测文本标签按照时间顺根据所述待识别语音信息对应的预测文本标签获取所述待识别语音信息对应的文本通过语音活动端点检测对所述原始语音信息进行分段并过滤所述原始语音信息中的语种识别模块，用于对所述待识别语音信息进行语种识别，以4转写模块，用于当所述语种信息包括目标语种时，将所述待识别语和第二语种，所述文本信息中包括所述第一语种和所述第二语种对应的混合语种文本信所述第一语种为小语种，所述转写模型的训练数据包括所述第一语种得所述处理器执行如权利要求1_6中的任一项所述的混合语5[0012]通过所述特征提取模块提取输入的训练数据集中的当前时段的语音信息的声学6[0014]基于CTC损失函数对所述固定维度的语音编码特征进行损失计算，以获得第一损[0015]使用反卷积网络模块将所述固定维度的语音编码特征对应的时间维度升采样至[0016]利用交叉熵损失函数计算获得取所述预测音素标签的音素序列相对真实标签对[0018]将当前时段之前的语音信息对应的文本标[0020]将所述抽象文本表征信息输入到所述解码器的多个第二Tansf[0021]将所述编码器的前馈神经网络层输出的所述固定维度的语音编码特征和所述高[0029]对所述真实文本标签进行随机文本特征扰动，以获得语7[0037]根据所述待识别语音信息对应的预测文本标签获取所述待识别语音信息对应的[0040]通过语音活动端点检测对所述原始语音信息进行分段并过滤所述原始语音信息[0049]为了解决前述技术问题中的至少一个，本申请提供了一种混合语种语音识别方8和第二语种，所述文本信息中包括所述第一语种和所述第二语种对应的混合语种文本信[0064]通过本申请的混合语种语音识别方法，先对所述待识别整句和子句中包括多语种的语音)的识别结果(也即混合9待识别语音信息，通过分段及过来可以使得待识别语音信息包括的语音基本上是有效语[0069]其中，VAD可以用于分离原始语音信息中语音信号和非语音信[0074]在一些实施例中，通过已训练的语种识别模型对待识别的语种表征特征进行相似度比对，得到各个语音基于其他适合的方式确定各个语音片段的语种息对应的预测文本标签获取所述待识别语音信息对应[0081]编码器_解码器(Encoder_Decoder)框架的语音识别模型可以是卷积神经网络(CNN)，递归神经网络(RNN)，长短期记忆网络(LSTM)，循环神经网络(GRU)，嵌入有中的解码器部分)对所述固定维度的语音编码特征和当前时段之间获得的历史预测文本标可以对应为字符序列或者音素序列。[0085]其中，编码器的Tansformer网络结构的数量可以根据实际需要合理设定，每个Tansformer网络结构可以基于本领域技术人员熟知的Tansformerblock实现，在此不做而给出更丰富准确的语音编码特征。例如编码器部分使用的Transformerblock可以由预定数量(例如6个)的相同的复合层组成。每个解码器同样可以具有N个复合层，不同的是，每个复合层可以具有四个单层：一层普通的Multi_headSelf_Attention、一个处理话题词之间关系的Multi_headSelf_Attention识多头自注意力)以及一个全链接的前馈神经网络。每个单层之间同样使用规范化层进行述语种信息包括目标语种，当语音片段的语种信息中包括目标语种例如蒙古语和汉语时，子句进行语种置信度判断，然后经过最高置信度的语种对应语音识别模型输出识别结果，[0093](1)整句语音经过预处理成子句，再用该子句对应语种的语音识别模型输出识别此本申请在数据构建时进行了多语种随机拼接，从训练集中随机抽取两条语音进行拼接，[0101]因此，所述转写模型的训练数据包括所述目标语种的合成语音和对应的文本信[0104]Decoder分支一方面用于将语音对应的文本序列转(Embedding)做输入，通过卷积网络模块模型提取抽象文本表征信息，再通过M个softmax输出预测的文本序列。[0108]基于encoder_decoder框架的语音识别模型会存在一定的过拟合问题，模型会对频谱图中遮蔽某一些时域的特征(如图5所示的T_M随机在频谱图中遮蔽一些频域的特征(如图5所示的F_M型面对部分频率信号的损失以及部分时间段的信号缺失随机挑选的真实文本标签的随机位置以预定比例使[0112]由于本申请的转写模型采用端到端框架，训练阶段Encoder分支将语音做输入提通过卷积网络提取浅层表征，然后通过N个transformerblock进一步获得语音高维表征，史时刻的深层文本信息进行对齐融合后，通过前馈层和softmax来预测当前时刻的文本输括针对Encoder分支的编码器连接时序分类(ConnectionistTemporalClassification，失函数(EncoderPhoneCELoss)、Decoder分支的解码器字符CE损失函数(也即Decoder[0114]在一些实施例中，预先通过以下步骤训练获得所述已训练的转写模型包括以下：动包括将随机挑选的真实文本标签的随机位置以预定比例使用非真实标签的字符或音素替代。通过所述特征提取模块提取输入的训练数据集中的当前时段的语音信息的声学特所述多个第一Tansformer网络结构和所述前馈神经网络层提取所述声学特征中的固定维文本标签输入到所述转换模块,以转换为字符嵌入向量；将所述字符嵌入向量输入到所述器的前馈神经网络层输出的所述固定维度的语音编码特征和所述高维抽象的文本表征信的信息编码尖峰提升解码效果，CTC损失函数的损失用于表征预测标签序列相对包含空白[0117]Lcrc=-ln(p(y"I和EncoderPhoneCE损失函数获得第二损失也即音素标签预测损失。具体公式如下所示，[0121]DecoderCharCEloss通过全连接层接softmax获得解码器预测的文本序列字符损失函数是指基于时间序列标注的一种损失函数。目前相关技术中已有的构建CTC损失函[0130]下面将结合图7描述根据本申请另一方面提供的一种混合语其可以用于执行前文所述的根据本申请实施例的混目标语种包括第一语种和/或第二语种，所述文本信息中包括所述第一语种和所述第二语[0132]下面将结合图8描述根据本申请另一方面提供的一种混合语其可以用于执行前文所述的根据本申请实施例的混可以结合前文所述的内容理解根据本申请实施例的混合语种语音识别方法100的具体操[0137]混合语种语音识别系统800还包括显示器(未示出)，该显示器可以用于显示各种[0138]混合语种语音识别系统800还可以包括通信接口(未示出)，可以通过通信总线实介质可以是一个或多个计算机可读存储介质