CN114299920B 用于语音识别的语言模型的训练、语音识别方法及装置 （腾讯科技（深圳）有限公司）

本申请公开了一种用于语音识别的语言模语句集的权重确定符合预定重要性条件的目标升用于语音识别的语言模型对于数据稀疏领域2对每个所述语句集进行权重评估，以基于每个所述语句集的权重基于所述目标语句集对应的语句数目及权重进行计算处理，得根据所述采样数目及每个所述语句集的权重进行采样概率分配基于每个领域的所述语句集对目标文法模型进行训练，得到每采用每个所述领域文法模型对验证数据集中的每个词进行关联出现概基于每个所述领域文法模型输出的关联出现概率进行期望最大化权重插基于所述权重确定符合预定重要性条件的目标确定权重最大的预定数目个所述语句集为候选语句集，或确所述基于所述目标语句集对应的语句数目及权重进行计算处理，得到用将所述整数比值确定为从所有所述语句集中采集用于训练语言模型的语句的采样数针对每个所述语句集，当所述语句集对应的语句采样数小3针对每个所述语句集，当所述语句集对应的语句采样数小于语句采用所述语言模型对所述训练语句集中的语句进行语句发基于所述预测语句发生概率计算所述语言模型在训练语句集通过随机梯度下降更新所述语言模型中的参数，以基于目标语音的语音数据进行语音识别，得到所述目标语音对应的至少一采用训练后语言模型，对所述至少一个候选识别文本进行语句发基于每个所述候选识别文本对应的文本评分确定所述目标语音的语音所述基于每个所述候选识别文本对应的文本评分确定所述目标语音的语音识别结果，对每个所述候选识别文本对应的所述声学分数、所述语言分数及所述对所述目标语音的语音数据进行声学解码处理，得到所述目标语音对对每个所述音素序列进行语言解码处理，得到每个所述音素序列对分类模块，用于对文本数据集中的语句进行领域分类处理，4评估模块，用于对每个所述语句集进行权重评估，以基于每个所述语计算模块，用于基于所述目标语句集对应的语句数目及权分配模块，用于根据所述采样数目及每个所述语句集的权重进行采样概率分配处理，抽取模块，用于从每个所述语句集中按照对应的一遍解码模块，用于基于目标语音的语音数据进行语音识别，二遍解码模块，用于采用训练后语言模型，对所述至少一个识别模块，用于基于每个所述候选识别文本对应的文本评分确5[0001]本申请涉及人工智能技术领域，具体涉及一种用于语音识别的语言模型的训练、句集进行权重评估，以基于每个所述语句集的权重确定符合预定重要性条件的目标语句及每个所述语句集的权重进行采样概率分配处理，得到每个所述语句集中语句的采样概6少一个所述语句集为候选语句集；从所述候选语句集中确定包含语句的个数最大的语句7所述至少一个候选识别文本进行语句发生概率分析，得到表征语句发生概率的文本评分，本对应的文本评分确定所述目标语音的语音识别[0018]在本申请的一些实施例中，每个所述候选识别文本对应一个声学分数及语言分一个候选识别文本及所述候选识别文本对应的所计算机设备执行本申请实施例所述的各种可据稀疏领域的分析性能，且训练后语言模型进行分析时不需要输入额外的特征及领域信8[0038]服务器101可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集模型进行语音识别。[0041]本示例的一种实施方式中，服务器101可以对文本数据集中的语句进行领域分类9言模型由服务器101根据前述实施例训练得到；基于每个所述候选识别文本对应的文本评[0043]图2示意性示出了根据本申请的一个实施例的语言模型的训练方法的流程图。该语言模型的训练方法的执行主体可以是任意的终端，例如图1所示的服务器101或者终端[0044]如图2所示，该用于语音识别的语言模型的训练方法可以包括步骤S210至步骤[0049]按照文本数据集中文本数据的收集来源，可以将文本数据按照领域进行分类处[0052]本示例的实施方式中，对每个语句集进行权重评估可以[0055]基于训练目标文法模型进行评估的方式如下述实施例中的步骤S221至步骤S224基于权重确定符合预定重要性条件的目标语分析，例如N元文法模型分析文本数据中第N个词的关联出现概率时，由文本中前N-1个词过期望最大算法对每个领域文法模型输出的关联出现概率进行权过期望最大算法对P1至PD进行权重插值可以是求解W1*P1+W2*P2+...+WD*PD最大时的W1至WD，为最核心的目标语句集，同样可以进一步提升本申请进行多领域数据不均衡缓解的有效[0070]本示例的实施方式中，目标语句集的语句数目即目标语句集中包含的语句的数W1/YWD＝d12D1+d2+...+dD＝N。的语句采样数与语句数目的个数比；当语句集对应的语句采样数大于或等于语句数目时，idi/si作为语句集Di中语句的采样概i句采样数di除以扩充后语句数目m*si得到个数比d经网络(RNN(recurrentneuralnetwork))结构；也可以采用深度神经网络(DNN(deep用随机梯度下降算法以及各种改进的随机梯度下降算法算法，例如Adagrad、Adadelta、[0104]图5示意性示出了根据本申请的一个实施例的语音识别方法的流程图。该语音识夫模型(HMM))及语言模型(如深度神经网络模型(DNN))组成的混合语音识别模型，以及如征(如隐马尔可夫模型(HMM))进行声学解码得到音素序列及音素序列对应的声学分数；同选识别文本对应的表征语句发生概率的文本评[0122]对每个候选识别文本对应的所述声学分数、语言分数及i个候i个候选识别文本hi的文本评分。特别可以有效提升语音识别在数据稀疏领域[0132]步骤2.3，采用每个所述领域文法模型的预定数目个语句集为候选语句集；从候选语句集中确定包含语句的个数最大的语句集，中进行语句复制扩充处理，并计算语句集对应的语句采样数di与扩充后语句数目m*si的个[0140]其中，语言模型即神经网络语言模型，语言模型可以采用循环神经网络(RNN(recurrentneuralnetwork))结构；也可以采用深度神经网络(DNN(deepneuralnetwork))、长短期记忆网络(LSTM(longshort-termmemory))、卷积神经网络(CNN练得到。ii个候选识别文本hi的文本评分。[0154]图8示出了根据本申请的一个实施例的用于语音识别的语言模型的训练装置的框[0156]分类模块610可以用于对文本数据集中的语句进行领域分类处理，得到至少一个句集的权重确定符合预定重要性条件的目标语句集；计算模块630可以用于基于所述目标语句集对应的语句数目及权重进行计算处理，得到用于训练语言模型的语句的采样数目；分配模块640可以用于根据所述采样数目及每个所述语句集的权重进行采样概率分配处少一个所述语句集为候选语句集；从所述候选语句集中确定包含语句的个数最大的语句[0160]在本申请的一些实施例中，所有所述语句集的权重之和等于一；所述计算模块于语句数目时，从所述语句集对应的扩充后语句集中按照对应的采样概率进行语句抽取；[0168]一遍解码模块710可以用于基于目标语音的语音数据进行语音识别，得到所述目所述至少一个候选识别文本进行语句发生概率分析，得到表征语句发生概率的文本评分，所述训练后语言模型根据前述任一项所述的方法训练得到；识别模块730可以用于基于每个所述候选识别文本对应的文本评分确定所述目标语音的语音识别[0169]在本申请的一些实施例中，每个所述候选识别文本对应一个声学分数及语言分一个候选识别文本及所述候选识别文本对应的所别可以有效提升语音识别在数据稀疏领域的块或者单元的特征和功能可以进一步划分为由多个模块或者[0174]该电子设备可以包括一个或者一个以上处理核心的处理器801、一个或一个以上[0175]处理器801是该电子设备的控制中心，利用各种接口和线路连接整个计算机设备[0176]存储器802可用于存储软件程序以及模块，处理器801通过运行存储在存储器802应的可执行文件加载到存储器802中，并由处理器801来运行存储在存储器802中的计算机型的语句的采样数目；根据所述采样数目及每个所述语句集的权重进行采样概率分配处得该计算机设备执行本申请上