CN114333790B 数据处理方法、装置、设备、存储介质及程序产品 （腾讯科技（深圳）有限公司）

行处理，确定待识别语音数据的待检测音节序关键词检测模型可对一个或多个语种类别中任2调用关键词检测模型对所述待识别语音数据进行处理，其中，所述关键词检测模型是利用训练数据集训练得到的获取所述参考关键词的与所述目标语种类别相匹配的音节序调用关键词检测模型的特征提取网络对所述待识别语调用所述关键词检测模型的音节识别网络对所述语音特征进行处语音数据的待检测音节序列；调用所述关键词检测模型的关键词匹配网络对所述待检测音节序列和所述目标音节调用所述关键词检测模型的音节识别网络对所述语调用所述音节识别网络中所述目标语种类别对应的识别子网络对所述语音特征进行根据所述音节分布概率确定所述待识别语音数据的待检测音节序列。调用所述关键词检测模型的关键词匹配网络对所述待检测音节序列和所述目标音节序列进行处理，检测所述目标音节序列中是否存在与第一音节元素相匹配的匹配音节元3若存在与所述第一音节元素相匹配的匹配音节元素，则检测所若存在与所述第二音节元素相匹配的匹配音节元素，则根获取所述训练数据集，所述训练数据集包括一个或多个训练数子集包括所述一个或多个语种类别中任一个语种类别的样本语音数据以及与所述样本语对所述一个或多个训练数据子集中的样本语音数据进行特征提取处利用得到的样本语音特征以及对应的参考音节序列，对初始音节识别网络进行训练，根据训练后的音节识别网络生成训练后的关键处理模块，用于调用关键词检测模型对所述待识别语音数据进行处其中，所述关键词检测模型是利用训练数据集训练得到的4考关键词的目标音节序列；5[0020]图5是本申请一个示例性实施例提供的一种因式分解时延神经网络的结构示意[0026]本申请实施例提供了一种数据处理方法，以实现关键词[0027]人工智能(ArtificialIntelligence,AI)是利用数字计算机或者数字计算机控机器学习/深度学习等几大方向。本申请实施例提供的方案涉及人工智能技术下属的自然6[0028]自然语言处理(NatureLanguageprocessing,NLP)是计算机科学领域与人工智通过获取待检测语音数据，通过语音识别技术将语音数据转化为对应的音节序列形式(也[0031]关键词检测(SpokenTermDetection)是语音识别领域的一个子领域，其目的是在语音信号中检测指定词语的所有出现位置。现有的关键词检测技术一般都是基于关键填充模型来吸收非关键词语音。为了搭建一套完整的基于关键词/填充的语音关键词检测[0032]基于关键词/填充的关键词检测方法主要缺点是关键词检测的声学模型参数较[0033]本发明提出一种基于因式分解时延神经网络(FactorizedTimeDelayNeural多任务学习方法去训练声学模型(Acousticmodel,AM)，然后采用加权有限状态转换器方法可以将每一个语种都当作一个单独的分支，而每个分支的编码器部分是权重共享的，只是最后的归一层(Softmax层)都是独立的。因此它不仅能够学到各个语种之间的共同信7[0034]另外，本申请提出在TDNN中添加了奇异值分解层(TheSingularValue率下的关键词正确报出量提升了1.2％-3终端设备101采集待识别语音数据，将该待识别语音数据发送给服务器102进行上述处理，101可以将待识别语音数据和参考关键词发送给服务器102；服务器102根据待识别语音数列；服务器102调用关键词检测模型对待识别语音数据的待检测音节序列和目标音节序列8[0041]服务器102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集以及大数据和人工智能平台等基础云计算服务图，以该方法应用于图1中的终端设备(指代上述终端设备101，后文将以终端设备进行叙9考关键词的音节序列和待识别语音数据的音节序列进行关键词的与所述目标语种类别相匹配的音节序列确定为目标音节序列。[0053]在一实施例中，可以先获取待识别语音数据的语种类别([0058]在一实施例中，待识别语音数据还可以包括待检测音节序列对应的音节时间序子集包括一个或多个语种类别中任一个语种类别的样本语音数据以及与样本语音数据对[0062]当训练数据集包括一个训练数据子集时(也即是训练数据集只包括一种语种类别的样本语音数据)，可以基于该语种类别的样本语音数据对关键词检测模型的音节识别网络进行训练；当训练数据集包括多个训练数据子集时(也即是训练数据集包括多种语种类音节识别网络进行联合训练，对特征提取网络和音节识别网络进行联合训练的方式可以[0073]音节识别网络包括的每个识别子网络可以对一个指定语种类别的语音数据进行节识别网络对应语种类别的语音数据进行音节识别，得到语音数据对应的音节序列(也即权值共享。神经网络(ConvolutionalNeuralNetworks，CNN)，循环神经网络(RecurrentNeural程度分为不同类别，每个类别只需要保存一个聚类中心的权值，和对应的聚类索引可以将参考关键词和待识别语音数据的语种类别进行匹配，提高了关键词检测的适用性，[0089]频域特征是在时域特征的基础上进行加窗，再进行频域变换处理(典型的方法如傅里叶变换处理)。加窗也就是对每一帧都使用一个窗函数来处理，消除了一帧两端的样类别对应的识别子网络可以得到1000个音节种类语音数据的语音特征中的每一帧进行处理后，分别得到每一帧语音对应的音节分布概率，[0103]在一实施例中，音节识别网络是基于时延神经网络和奇异值分解网络构建生成[0111]从上述两个模型参数计算公式中可以看到，TDNN的模型参数数量D1远远大于TDNN-F网络，并采用ChainModel方法(一种序列鉴别性训练的方法)和多任务学习方法将语音数据的语音特征作为音节识别网络的输入，经过ChainModel网络处理对不同语种类[0114]其中，ChainModel网络是多层网络结构(图6中黑色实心圆所在的网络层为输入层、Dropout层(神经元丢弃层，用于在神经网络使用中将指定神经网络单元概率置零)、TDNN-F层组成以及多条通道组成；多条通道包括从i-1层到i层的直连通道(也即是跳层连和共享权重的方法去减少计算量，还可以使用在帧级交叉熵(Cross-entropy)损失函数并检测音节序列。然后利用基于隐马尔科夫(HMM)和免词格最大互信息(Lattic-FreeMaximumMutualInformation，LF-MMI)的方法实现模型的状态跳转，本申请提出的基于[0118]本申请实施例可以利用多语种发音词典对参考关键词(也即是图中多语种关键对应的音调，得到参考关键词对应的多个语种类型的目标音节序列后；再利用关键词匹配网络对目标音节序列和待检测音节序列进行匹配，得到输出结果(也即是关键词匹配结果)。[0122](1)、调用关键词检测模型的关键词匹配网络对待检测音节序列和目标音节序列[0123]本申请实施例中，第一音节元素可以取自待检测音节序检测音节序列中每一个音节元素(在每一次匹配过程中，待检测音节序列中被选择的音节元素即可作为第一音节元素)进行匹配，然后检测目标音节序列中是否存在与第一音节元括K-1个音节元素(其中K-1个音节元素可以根据第二顺序进行排序)，在根据步骤(1)提供的方法判断出目标音节序列中存在与第一音节元素相匹配的匹配音节元素后，对K-1个音音节元素中后续音节元素进行关键词判断，若K-1个音节元素都与待检测音节序列中的音存在于待识别语音数据的目标关键词、目标关键词的起止时间以及目标关键词的预测概(例如0.96)作为目标关键词的预测概率，也可以将3个音节元素的匹配概率的乘积(例如率集合包括多个匹配策略中一个匹配策略对应得到的参考关键词[0136]示例性的，根据后验概率集合确定多个预测概率的最大预测概率(例如第一匹配略对应的最大预测概率为0.94)，再根据多个预测概率的最大预测概率确定参考关键词的么通过待检测语音数据识别出的待检测音节序列较为模糊)，可以在本申请提出的关键词检测模型中加入纠正网络(可以是在的特征提取网络之前，也可以是在音节识别网络之后)，通过内置的基于多种语种类别的语法规则或音节发音规则对待检测语音数据或待检该关键词的目标音节序列可以是“shi4jie4”，该关键词的模糊音节序列可以是“si4糊音节序列的第二预测概率大于音节匹配概率阈值(此时表示待检测语音数据中存在基于为了测试基于TDNN-F的关键词检测模型的性能，还搭建了一套基于语种识别+单语关键词连方法的准确率为91.6召回率为64.9调和均值为76.0基于TDNN-F的关键词检测方法的准确率为91.7召回率为68.5调和均值为78.4计算得到基于TDNN-F的关键词检测方法相比于语种识别+单语关键词检测级连方法，准确率提升为0.1召回率提升[0148]从结果可以看到，相比语种识别+单语关键词检测级连方法，本申请提出的基于连方法的准确率为84.2召回率为78.5调和均值为81.1基于TDNN-F的关键词检测方法的准确率为84.4召回率为79.4调和均值为81.82计算得到基于TDNN-F的关键词检测方法相比于语种识别+单语关键词检测级连方法，准确率提升为0.2召回率提糊音节序列，使得关键词检测模型能够检测出不同音节排列顺序以及非标准化的关键词，词的与所述目标语种类别相匹配的音节序列确定为目标[0165]调用所述关键词检测模型的关键词匹配网络对所述待检测音节序列和所述目标音特征确定所述待识别语音数据的目标语种[0168]调用所述音节识别网络中所述目标语种类别对应的识别子网络对所述语音特征调用所述关键词检测模型的关键词匹配网络对所述待检测音节序列和所述目标音节序列[0171]调用所述关键词检测模型的关键词匹配网络对所述待检测音节序列和所述目标所述第二音节元素确定所述待识别语音数据的关键词检数据子集包括所述一个或多个语种类别中任一个语种类别的样本语音数据以及与所述样本语音数据对应的参考音节序列；储装置902还可以包括上述种类的存储器词的与所述目标语种类别相匹配的音节序列确定为目标[0194]调用所述关键词检测模型的关键词匹配网络对所述待检测音节序列和所述目标音特征确定所述待识别语音数据的目标语种[0197]调用所述音节识别网络中所述目标语种类别对应的识别子网络对所述语音特征用所述关键词检测模型的关键词匹配网络对所述待检测音节序列和所述目标音节序列进[0200]调用所述关键词检测模型的关键词匹配网络对所述待检测音节序列和所述目标所述第二音节元素确定所述待识别语音数据的关键词检数据子集包括所述一个或多个语种类别中任一个语种类别的