CN119495289A 语音识别方法、装置、电子设备和计算机可读存储介质 （腾讯科技（深圳）有限公司）

当前音频流数据中识别出至少一个音频数据块2对所述目标音频数据进行特征提取，以得到所述当前音在所述当前音频流数据中检测出至少一帧文本关键2.根据权利要求1所述的语音识别方法，其特征在于，所述音频流数据包括多帧音频在所述音频帧中筛选出所述尖峰位置对应的至少一帧根据所述尖峰位置对所述尖峰进行分组，得到多个尖峰基于所述文本关键帧，在所述当前音频流数据中识别对所述帧数区间进行扩增，得到目标帧数区间，并将所将所述起始帧数与所述结束帧数组成的区间作为所述尖峰组对应的音频数据块的帧3在所述音频帧中筛选出所述目标帧数区间对应的至少一帧在所述声学特征中提取出所述候选音频帧集合中每一7.根据权利要求1至6任一项所述的语音识别8.根据权利要求1至6任一项所述的语音识别方法采用语音识别模型对所述目标音频数据进行获取语音样本对应的多段音频数据样本，并采用预设基于所述样本声学特征，采用实时时序分类网络预测所根据所述样本切分位置，对所述样本声学特征进行切分，基于所述目标样本声学特征，采用所述非实时时序分类4根据所述样本声学特征，在所述语音样本中检测出至少在预设数量集合中确定出所述样本尖峰对应的目标根据所述样本文本关键帧，在所述语音样本中识别出每将所述文本特征进行拼接，得到每一样本音频数据块将所述标注文本与非实时预测文本进行对比，以得到非实将所述实时预测损失、非实时预测损失和辅助预测损失将所述目标预测损失与加权后的辅助预测损失进行融合，得到所述通过预设音频掩码和预设切分帧数对所述语音样本进行在所述样本音频帧中筛选出每一样本音频帧集将所述历史样本音频帧添加至对应的样本音频帧集合，得到多个目标样本音频帧集5生成单元，用于对所述目标音频数据进行特征提取，识别单元，用于在所述当前音频流数据中检测出述处理器用于运行所述存储器内的应用程序，以执行权利要求1至16任一项所述的语音识处理器执行时实现权利要求1至16任一项所20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指6[0008]在所述当前音频流数据中检测出至少一帧文本关键帧，并基于789机程序或指令被处理器执行时实现本申请实施例提供的语[0039]图3是本发明实施例提供的基于chunk的级联模型转换与预设语音识别模型对比完时为止，从而可以得到多个音频帧集合。譬如，以当前音频流数据包括N帧音频帧(X=标音频数据中的音频帧进行特征编码，得到目标音频数据中每一音频帧对应的音频特征，编码网络为CausalConformer为例，目标音频数据对应的初始声学特征可以为C[t,t+m]，[0073]在目标音频数据中提取出初始声学特征之后，便可以将初始声[0076](1)获取语音样本对应的多段音频数据样本，并采用预设语音识别模型对音频数本帧集合，在样本音频帧中筛选出每一样本音频帧集合对应的至少一帧历史样本音频帧，[0081]在样本音频帧中筛选出每一样本音频帧集合对应的至少一帧历史样本音频帧之音频数据样本进行特征提取的方式与采用语音识别模型对目标音频数据进行特征提取的数据块)的语音识别模型(级联模型)在实时语音识别和非实时语音识别的过程中往往共用chunk的语音识别模型可以看作包含一个非实时时序分类网络。当初始语音识别模型包括时，此时初始语音识别模型就可以基于chunk的级联模型，就可以复制非实时时序分类网场景下的数据在用大数据对外接或新增的CTC进行微调(finetune)，从而得到训练后的语基于chunk的级联模型StreamingEncoder(实时编码网络)和Non_streamingEncoder(非实时编码网络)共用一个CTCDecoder(时序分类网络)，通过对基于chunk的级联模型的微编码网络)的结尾为Non_StreamingEncoder(非实时编码网络)实时生成peak(波峰或尖个chunk中包含的文字或文本字符的数量可以相同。在语音样本中识别出至少一个样本音根据样本关键帧，在语音样本中识别出每一样本尖峰组对应的样本音频数据块的切分位因此，可以根据建模单元的个数形成不同的字段(样本音频数据块)P{[P1…Pz1][0094]其中，在预设数量集合中确定出样本尖峰对应的目标分组数量的方式可以有多本结束帧数组成的区间作为样本尖峰组对应特征集合作为样本音频数据块对应的目标样本声学特征。譬如，以样本声学特征为C=据块对应的目标样本声学特征就可以为C[[0102]其中，以非实时编码网络的网络结构可以有多种，比如，可以包括Non_causal[0105]在目标样本声学特征中提取出多个维度的文本特征之后，便可[0115]loss＝ctc_weight*0.5*(causa_loss+non_causa_loss)+(1_ctc_weight)*att_[0126]在当前音频流数据中检测出至少一帧文本关键帧之后，便可以随机或者按照特定顺序选择，即对于每个chunk包含的建模单元(文本字符)的个数可以设时时序分类网络确定目标文本特征对应的文本内容，得到每一音频数据块对应的目标字语音识别的级联模型对于chunk的边界识别准确率较低，本方案的语音识别模型可以看作的语音识别模型在语音识别的过程中的模型结构可以如图4所示，在获取到当前音频流数(CTC_preDecoder)计算出当前音频流数据中的至少一个尖峰(peak)和当前音频流数据对Encoder)在目标声学特征中提取出文本特征，然后，采用非实时时序分类网络(CTCencoder(一种语音识别模型的编码网络)的实时部分和non_causalconformerencoder统的固定chunk计算窗口，该计算输出的ctc后验概率可以用来计算CTCPeak(尖峰位置)，非实时部分的Non_causalConformer通过实时部分计算的CTCPeak计算的窗口作为输入来计算最终的文本输出，相比于传统的级联模型的非实时部分Non_causalConformer[0145]其中，句错率可以理解为一句话只有一个字识别错误则判断该句识别错误的概[0150](1)服务器获取语音样本对应的多段音频数据样本，并采用预设语音识别模型对复制的非实时CTC网络作为实时CTC网络添加至初始语音识别模型，得到预设语音识别模[0154]服务器可以采用预设语音识别模型的实时编码网络对音频数据样本进行特征提[0158]服务器在预设数量集合中随机选择出一个分组数量作为样本尖峰对应的目标分标样本结束帧数组成的区间作为目标帧数区间。将目标帧数区间作为对应的样本chunk的[0160]服务器可以在语音样本的样本音频帧中筛选出目标样本帧数区间对应的至少一候选样本音频帧集合中每一样本音频帧对应的样本声学子特征，得到每一样本chunk对应[0161]服务器可以采用非实时编码网络在目标样本声学特征中提取出多个维度的文本[0162]服务器可以采用非实时CTC网络预测每一文本特征对应的文本内容，以得到每一[0166]服务器还可以将标注文本与非实时预测文本进行对比，以得到执行获取语音样本对应的多段音频数据样本的步骤，直至预设语音识别模型收敛时为止，选出目标音频帧之前的预设数量的音频帧，从而得到每一音频帧集合对应的历史音频帧。[0178]例如，服务器可以采用实时编码网络对目标音频数据中的音频每一chunk对应的候选音频帧集合，在声学特征中提取出候选音频帧集合中每一音频帧对[0188]例如，服务器可以采用语音识别模型中的非实时编码网络(Non_Streaming并采用非实时CTC网络确定目标文本特征对应的文本内容，得到每一chunk对应的目标字[0190]服务器将初始文本替换为拼接后文本，从而得到当前音频流数据对应的目标文段目标音频数据.[0216]该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上[0217]处理器401是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的[0218]存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402选出目标帧数区间对应的至少一帧音频帧，得到每一音频数据块对应的候选音频帧集合，机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器使得该电子设备执行上述语音识别方面或者音频