CN114333768B 语音检测方法、装置、设备和存储介质 （腾讯科技（深圳）有限公司）

基于语音帧对应的候选音素可能度过滤音素空待检测语音中目标检测词对应的提取语音帧序2对待检测语音中的各个语音帧进行特征提取，得到所述语音帧对应的基于所述语音帧对应的候选音素可能度过滤音素空白的语音将从所述识别音素序列中选取的目标检测词对应的音素序列，作为检测词音素序列，并基于所述检测词音素序列对应的语音帧序列在所述待检测语音的语音帧序列中的位置，确定所述待检测语音中所述目标检测词对应的提取语音帧获取所述提取语音帧序列中各个提取语音帧对应的音素可能度分对应的音素可能度分布是根据所述提取语音帧对应的特征向量分别进行语音帧音素检测基于所述提取语音帧对应的音素可能度分布得到所述目标检测词在待检测语音中的获取所述待检测语音中位于所述检测词位置对应的后向位对所示指令检测语音进行语音指令检测，得到所述指令检测语音对应的目标语音指确定所述检测词音素序列对应的语音帧序列在所述待检测语音的起始位置以及终止将所述起始位置对应的前向位置作为第一提取位置，将所述终止将所述待检测语音中位于所述第一提取位置以及所述第二提取位置之间的语音帧序将所述待检测语音中音素空白的语音帧的数量作基于所述空白帧数量，确定语音帧扩展数量；所述语音帧扩展将与所述起始位置的距离为所述语音帧扩展数量的前向位置作为第一所述终止位置的距离为所述语音帧扩展数量的后向位置作为第过滤音素空白的语音帧，得到解码语音帧，获取基于解码语音帧3基于所述语音解码网络进行解码，得到目标解码路径，将所述将所述待检测语音中各个语音帧输入到已训练的语音检测模型的特征提取子模型进子模型以及分别与特征提取子模型连接的语音序列识别子模型以及语音帧音素检测子模所述基于所述特征向量序列进行音素识别，得到各个所述语音帧对应将所述特征向量序列输入到所述语音序列识别子模型中进行音从所述特征向量序列中提取所述提取语音帧对应的特征向量，将所述提将所述语音帧音素检测子模型输出的各类音素在各将所述训练语音输入到待训练的特征提取子模型中进行特征提取，将所述训练向量序列输入到待训练的语音序列识别子模型进行音素识基于所述音素序列识别结果与所述训练语音对应的标准识别结果的第一差异得到第将各个所述训练特征向量输入到待训练的所述语音帧音素检测子模型进行音素识别，得到所述语音帧音素检测子模型对应的语音帧音素基于所述语音帧音素检测结果与所述训练语音对应的标准识别结果的第二差异得到基于所述第一模型损失值以及所述第二模型损失值得到目基于所述目标模型损失值对待训练的特征提取子模型、待训练的语数调整后的语音帧音素检测子模型以及参数调整后的语音序列识别子模型组成所述已训4按照所述特征向量序列的顺序依次获取所述特征向量序列中的当前获取所述当前特征向量对应的前一特征向量对应的音素表示对应的音素表示向量是将所述前一特征向量输入到所述语音序列识别子模型中进行音素将所述前一特征向量对应的音素表示向量以及所述当前特征向量输入到所述语音序将所述前一特征向量输入到所述语音序列识别子模型中进行音素识别特征向量处理模块，用于对待检测语音中的各个语音帧进行候选音素可能度获取模块，用于基于所述特征向量序列进行音素音素序列获取模块，用于基于所述语音帧对应的候选音素可能度语音帧提取模块，用于将从所述识别音素序列中选取的目标检测词对应的音素序列，音素可能度分布获取模块，用于获取所述提取语音帧序列中各个语音检测结果获取模块，用于基于所述提取语音帧对应的5确定所述检测词音素序列对应的语音帧序列在所述待检测语音的起始位置以及终止将所述起始位置对应的前向位置作为第一提取位置，将所述终止将所述待检测语音中位于所述第一提取位置以及所述第二提取位置之间的语音帧序将所述待检测语音中音素空白的语音帧的数量作基于所述空白帧数量，确定语音帧扩展数量；所述语音帧扩展将与所述起始位置的距离为所述语音帧扩展数量的前向位置作为第一所述终止位置的距离为所述语音帧扩展数量的后向位置作为第过滤音素空白的语音帧，得到解码语音帧，获取基于解码语音帧基于所述语音解码网络进行解码，得到目标解码路径，将所述将所述待检测语音中各个语音帧输入到已训练的语音检测模型的特征提取子模型进子模型以及分别与特征提取子模型连接的语音序列识别子模型以及语音帧音素检测子模将所述特征向量序列输入到所述语音序列识别子模型中进行音从所述特征向量序列中提取所述提取语音帧对应的特征向量，将所述提将所述语音帧音素检测子模型输出的各类音素在各15.根据权利要求14所述的装置，其特征在于，所述装置还包括语音检测模型训练模将所述训练语音输入到待训练的特征提取子模型中进行特征提取，6将所述训练向量序列输入到待训练的语音序列识别子模型进行音素识基于所述音素序列识别结果与所述训练语音对应的标准识别结果的第一差异得到第将各个所述训练特征向量输入到待训练的所述语音帧音素检测子模型进行音素识别，得到所述语音帧音素检测子模型对应的语音帧音素基于所述语音帧音素检测结果与所述训练语音对应的标准识别结果的第二差异得到基于所述第一模型损失值以及所述第二模型损失值得到目基于所述目标模型损失值对待训练的特征提取子模型、待训练的语数调整后的语音帧音素检测子模型以及参数调整后的语音序列识别子模型组成所述已训按照所述特征向量序列的顺序依次获取所述特征向量序列中的当前获取所述当前特征向量对应的前一特征向量对应的音素表示对应的音素表示向量是将所述前一特征向量输入到所述语音序列识别子模型中进行音素将所述前一特征向量对应的音素表示向量以及所述当前特征向量输入到所述语音序17.根据权利要求16所述的装置，其特征在于，所述装置还包括音素表示向量获取模将所述前一特征向量输入到所述语音序列识别子模型中进行音素识别被处理器执行时实现权利要求1至9中任一7对应的候选音素可能度；基于所述语音帧对应的候选音素可能度过滤音素空白的语音帧，8度分布获取模块，用于获取所述提取语音帧序列中各个提取语音帧对应的音素可能度分音中位于所述第一提取位置以及所述第二提取位置之间的语音帧序列作为所述目标检测词对应的提取语音帧序列。列。的训练特征向量，各个训练语音帧对应的训练特征向量按照对应的语音帧顺序进行排序，9子模型以及待训练的语音序列识别子模型进行参数调整，将参数调整后的特征提取子模述前一特征向量对应的音素表示向量以及所述当前特征向量输入到所述语音序列识别子待检测语音对应的识别音素序列；将从识别音素序列中选取的目标检测词对应的音素序[0036]人工智能(ArtificialIntelligence,AI)是利用数字计算机或者数字计算机控[0038]语音技术(SpeechTechnology)的关键技术有自动语音识别技术和语音合成技术[0040]自然语言处理(NatureLanguageprocessing,NLP)是计算机科学领域与人工智(FeedforwardSequentialMemoryNetworks，FSMN)和卷积神经网络(Convolutional型输出的音素存在于各个语音帧的可能度；如果音素存在于语音帧的可能度小于预设值，和N999等各个音素非空语音帧上的可能度分布进行解码搜音帧对应的音素，只能确定上述目标检测词在语音中的大概位置(目标检测词在语音中的将与该大概时刻邻近的连续的多个时刻下的语音帧作为可能存在目标检测词的音素的语是N100到N150的音素非空语音帧，那么可以确定目标检测词在该语音中存在的大概时刻是的音素。因此，确定可能存在目标检测词的音素的语音帧序列是N80至N180之间的语音帧序100[0054]计算机设备在得到可能存在目标检测词的音素的语音帧序列中各个语音帧的音帧的音素可能度分布，以及相邻语音帧之间音素的转移可能度(该转移可能度可以由语言和N999等)的音素可能度分布以及相邻语音帧之间音素[0067]其中，音素空白的语音帧是指音素空白的可能度大于或等于存在音素的语音帧(也即音素非空语音帧)是指音素空白的可能度小于可能度阈值的语音；[0068]计算机设备可以过滤在N0至N1000个语音帧中的音素空白语音素序列，并基于检测词音素序列对应的语音帧序列在待检测语音的语音帧序列中的位列对应的语音帧序列是N100到N150之间[0073]接着，基于N100到N150之间的音素非空语音帧序列在待检测语音的N0至的连续多个语音帧、N100到N150之间的每个语音帧以及位于N150之后的连续多个语音帧作为100存在的可能度为N100的可能度分布。提取语音帧对应的音素可能度分布根据提取语音帧对应的特征向量分别进行语音帧音素检测(也即音素类别[0079]计算机设备在得到各个提取语音帧序列中各个语音帧的音素可能度分布，接基于各个提取语音帧的音素可能度分布进行解码搜索，确定各个提取语音帧对应的音素。帧序列，那么计算机设备可以基于N80至N180之间的语音帧序列中的每个语音帧的音素可能以构建图2所示的语音解码网络(也可以称为解码图)，接着对该语音解码网络进行解码搜位置以及第二提取位置之间的语音帧序列作为目标检测词对应的提取语音帧序列。检测语音中晚于检测词音素序列对应的语音帧序列中的末个语音帧的帧词音素序列对应的语音帧序列中的末个语音帧；可以将早于N100的帧时刻，如第80个帧时应的帧时刻与检测词音素序列对应的语音帧序列中的首个语音帧之间的帧时刻之间的音帧是N10791079至N1100之间的语音帧均为音素空白语音帧，N1079对应的第1079个帧时刻与N1100对应的第1100个帧时刻之间的音素非空语音帧数量为0，小于预设值，那么可以认为N1079对应的第1079个帧时刻是早于且邻近于N1100的帧时刻，并将第1079个帧时刻作为第一N1100之间的语音帧均为音素空白语音帧；N1068对应的第1068个帧时刻与N1100对应的第1100帧时刻与N1100对应的第1100个帧时刻之间的音素非空语音帧是N1079，对应的音素非空语音邻近于N1100的帧时刻。首个语音帧的音素非空语音帧的帧时刻为N1070和N1079，此时可以任选一个帧时刻作为第一刻与检测词音素序列对应的语音帧序列中的首个语音帧之间的帧时刻之间的音素非空语应的帧时刻与检测词音素序列对应的语音帧序列中的末个语音帧之间的帧时刻之间的音帧是N1550，N1500至N1550之间的语音帧均为音素空白语音帧，N1500对应的第1500个帧时刻与N1550对应的第1550个帧时刻之间的音素非空语音帧数量为0，小于预设值，那么可以认为N1550对应的第1550个帧时刻是晚于且邻近于N1550的帧时刻，并将第1550个帧时刻作为第二N1579之间的语音帧均为音素空白语音帧；N1500对应的第1500个帧时刻与N1550对应的第1550将N1550对应的第1550个帧时刻作为邻近于N1500的帧时刻。N1500对应的第1500个帧时刻与N1567对应的第1567个帧时刻之间的对应的第1500个帧时刻与N1579对应的第1579个帧时刻之间的音素非空语音帧是N1550和N1567刻作为邻近于N1500的帧时刻。末个语音帧的音素非空语音帧的帧时刻为N1550和N1567，此时可以任选一个帧时刻作为第二列对应的语音帧序列中的末个语音帧之间的帧时刻之间的音素非空语音帧数量小于或等[0101]语音帧扩展数量可以是第一提取位置对应的帧时刻与上述首个语音帧对应的帧[0102]语音帧扩展数量也可以是第二提取位置对应的帧时刻与上述末个语音帧对应的帧时刻之间语音帧数量；由于第二提取位置对应的帧时刻晚于末个语音帧对应的帧时刻，置的距离为语音帧扩展数量的前向位置作为第一提取位置，也即将N100之前的第10个语音帧N90对应的位置作为与起始位置的距离为语音帧扩展数量的前向位置，并将N90对应的位语音解码网络中连接不同解码语音帧的状态之间的有向边对应的概率可以由语言模型给[0110]计算机设备基于解码语音帧对应的候选音素可能度形成图3所示的语音解码网络取子模型连接的语音序列识别子模型以及语音帧音[0116]计算机设备将待检测语音中各个语音帧输入到已训练的语音检测模型的特征提序列输入到语音序列识别子模型中进行音素识别，得到各个语音帧对应的候选音素可能应的训练特征向量，各个训练语音帧对应的训练特征向量按照对应的语音帧顺序进行排子模型、待训练的语音帧音素检测子模型以及待训练的语音序列识别子模型进行参数调[0120]待训练的语音序列识别子模型进行音素识别得到的音素序列识别结果是训练语[0122]待训练的语音帧音素检测子模型进行音素识别得到的语音帧音素检测结果是为语音帧音素检测结果和训练语音帧的真实音素标签的标准识别结果的第一差异得到第一模型损失值；第一模型损失值与第一差异成正相关关模型以及参数调整后的语音序列识别子模型组成已训练的语音检识别子模型中进行音素识别，得到当前特征向量对应的当前语音帧对应的候选音素可能[0128]特征提取子模型可以是基于Encoder(编码器)构建的，语音帧音素检测子模型可以是基于Linear(线性层)构建的，语音序列识别子模型可以是基于Predictor(预测器)和上一步模型非空输出标签yui-1,输出文本隐层表示，Predictor也可以是CNN网络[0129]计算机设备按照特征向量序列的顺序依次获取特征向量[0136]如果特征向量序列中还存在一些特征向量没有输入到语音序列识别子模型中进音素识别的特征向量作为当前特征向量，并按照上述对当前特征向量的处理方式进行处征向量序列将与终止位置的距离为语音帧扩展数量的后向位置作为[0155]步骤S12，将待检测语音中位于第一提取位置以及第二提取位置之间的语音帧序[0157]步骤S14，将语音帧音素检测子模型输出的各类音素在各个提取语音帧中的可能[0158]步骤S15，基于提取语音帧对应的音素可能度分布得到目标检测词在待检测语音[0162]为了更好地理解上述方法，以下详细阐述一个本申请语音检测方法的应用实[0173]步骤S706，车载语音唤醒系统利用Transducer对各语音帧进行声学计算，得到[0174]步骤S708，车载语音唤醒系统基于音素非空的语音帧的声学分数构建解码图(相2U)∈y*。u表示第u步的音素。[0186]维特比解码搜索通常采用WFST和声学概率作为输入，将逐帧的声学概率在WFST唤醒所需的ROOT-WFST分为GARBAGE(如图8所示的GA)以及KEYWORDS两个部分；其中，GARBAGE部分用于吸收非唤醒词的语音帧，而KEYWORDS部分则用于吸收唤醒词所在的语音帧。在进行WFST训练之时，难以确定唤醒词到底会有哪些，所以会在ROOT-WFST留下$[0188]另外，注册唤醒词时，为了区分唤醒词和非唤醒词，将输出词表中大于等于[0191]通过最优LATTICE，判断其中是否出现OLABEL>＝KEYWORD_START的部分，如果出[0194]在语音唤醒中，需要唤醒词准确的对齐信息从而对语音进行切割，但是由于音帧的音素概率分布序列和ALIGNMENT-WFST输入到维特比解码中，也可以得到一个唤醒[0198]本应用实例提供的语音唤醒