CN115132181B 语音识别方法、装置、电子设备、存储介质及程序产品 （腾讯科技（深圳）有限公司）

方法通过引入未进行标注的第一样本语音数据利用目标语音识别模型对目标语音数据进行语2获取未进行标注的第一样本语音数据集和已进行标注的第二样本语将多个所述基础编码层中位于预设编码层之后的基础编码层进行剪枝所述基础编码层中位于预设编码层之后的基础初始化第二语音识别模型，以所述第一语音识别模型为基于所述目标语音识别模型对目标语音数据进行语音识别，得到所连接的第一编码网络和第一输出层，所述第一编码网络包括多个依次连接的第一编码层；将所述第一输出层的输出参数作为所述第二输根据各个所述第二编码层的编码参数和各个所述第二输出层的输出参数初始化第二对所述预设卷积层的卷积参数和所述目标卷积层的卷积参数进行将剩余卷积层对应的所述第一卷积层的卷积参数作为所述剩余根据各个所述第二卷积层的卷积参数、各个所述第二编码将所述第一样本语音数据集输入至所述第一语音识别模型，获取与3将所述第一样本语音数据集输入至所述第二语音识别模型，获取根据所述第一卷积特征和所述第三卷积特征确定第一卷积损失根据所述第一卷积损失值和所述第二卷积损失值确定目标卷积损将所述第一样本语音数据集输入至所述第一语音识别模型，从所述将所述第一样本语音数据集输入至所述第二语音识别模型，获取各确定各个所述第二编码层的蒸馏拟合参数，根据所述根据调整特征维度后的所述第二编码特征与对应的所述第一编获取所述第一输出层输出的第一样本识别结果和所述第二输出层输出的第二样本识根据所述第一样本识别结果和所述第二样本识别结果确定目标根据所述目标编码损失值和所述目标输出损失值对所述第二编根据所述目标编码损失值对所述第二编码网络进行蒸馏训练，根8.根据权利要求5至7任意一项所述的语音识别根据最后一个所述第二编码层的蒸馏拟合参数，调整所述基于调整特征维度后的所述目标语音识别模型对目标语音数据进行语音9.根据权利要求5至7任意一项所述的语音识别方将所述目标语音识别模型中各个目标编码层的所述蒸馏拟合参数4或者，将所述目标语音识别模型中各个所述第二编码层的所述蒸馏拟合参数进行剪将所述第一样本语音数据集输入至所述原始模型，对所述原始卷获取所述原始编码网络处理所述屏蔽卷积特征后输根据所述屏蔽编码特征和所述量化卷积特征确定第一获取进行所述乘积量化操作时量化码本的第一数量和各个所述量化码本中聚类中心确定各个所述量化码本中任意一个所述聚类中心被选根据所述第一原始损失值和所述第二原始损失值对所述原始样本数据获取模块，用于获取未进行标注的第一样本语音数据集和已进行第一训练模块，用于初始化原始模型，基于所述第一样本语第二训练模块，用于将多个所述基础编码层中位于预设编剪枝，基于所述第二样本语音数据集对剪枝后的所述基础语音处理模型进行有监督训练，剪枝指的是删除多个所述基础编码层中位于预设编码层之后的所述第一样本语音数据集对所述第二语音识别模型进行蒸馏训练，得到目标语音识别模语音识别模块，用于基于所述目标语音识别模型对目标语音数据进行语音所述处理器执行所述计算机程序时实现权利要求1至11任意一项所述的语算机程序被处理器执行时实现权利要求1至11任意一项5行时实现权利要求1至11任意一项所述的语6[0003]为了提升语音识别效率，可以采用知识蒸馏的方式来对语音识别模型进行训别模型与原有的语音识别模型之间的性能仍有一定的差距，从而降低了语音识别的精度。[0008]初始化原始模型，基于所述第一样本语音数据集对所述原始模型进行无监督训7[0017]语音识别模块，用于基于所述目标语音识别模型对目标[0021]根据各个所述第二编码层的编码参数和各个所述第二输出层的输出参数初始化[0022]进一步，所述第一语音识别模型还包括与所述第一编码网络连接的第一卷积网[0024]将剩余卷积层对应的所述第一卷积层的卷积参数作为所述剩余卷积层的卷积参8所述第二编码层对应的编码层损失值，根据各个所述编码层损失值确定目标编码损失值，[0037]获取所述第一输出层输出的第一样本识别结果和所述第二输出层输出的第二样[0039]根据所述目标编码损失值和所述目标输出损失值对所述第二编码网络进行蒸馏9[0056]获取进行所述乘积量化操作时量化码本的第一数量和各个所述量化码本中聚类[0059]根据所述第一原始损失值和所述第二原始损失值对所述原始模型进行无监督训[0083]人工智能(ArtificialIntelligence,AI)是利用数字计算机或者数字计算机控生网络络(StudentNetwork)的训练进行指导，以提升学生网络的性能，实现知识迁移[0092]上述服务器202可以是独立的物理服务器，也可以是多个物理服务器构成的服务[0097]步骤301：获取未进行标注的第一样本语音数据集和已进行标注的第二样本语音数据与第一样本语音数据集中的语音数据类型相同，以提升语音识别模型的整体训练效[0100]步骤302：初始化原始模型，基于第一样本语音数据集对原始模型进行无监督训注意力单元输出的特征以及前馈网络单元输出的特征进行残差连接处理以及归一化处理，进行残差连接处理的作用在于能够使得多头注意力单元输出的特征或者前馈网络单元输[0104]基于图5所示的基础编码层的结构，基础语音处理模型中的基础编码层的结构参[0105]可以理解的是，图4中展示的基础语音处理模型具有七个基础卷积层和二十四个第二十个编码层，此时将二十四个基础编码层中位于第二十个之后的基础编码层进行剪于位置越靠后的基础编码层输出的特征更容易拟合训练任务，会对损失值的计算产生影识别模型的参数量小于第一语音识别模型的参数量，即第二语音识别模型的模型体积更[0114]并且，本申请实施例提供的语音识别方法在训练得到目标语音识别模型的过程和第二样本语音数据集中包括的口语考试中的语音无监督训练的流程示意图，原始模型包括依次连是经过屏蔽处理得到的屏蔽卷积特征，原始编码网络也能够很好的进行特征信息的捕获，征中被屏蔽的语音帧对应的特征值与量化卷积特征中对应的语音帧(正样本)的特征值之积网络包括多个依次连接的第一卷积层，第一编码网络包括多个依次连接的第一编码层，多头注意力单元的特征维度从原来的1024降低为384，将前馈网络单元的特征维度从原来量为十个，第二编码层中多头注意力单元的特征维度为384，前馈网络单元的特征维度为编码参数和各个第二输出层的输出参数初始化第二语音请实施例主要通过比较第一语音识别模型与第二语音识别模型处理第一样本语音数据后[0143]其中，Z,=f,w),zr,=fi,x,zs,=fs,w),zs,=f,8)。积特征，zr,表示第七个第一卷积层输出的第二卷积特征，积层或者第七个第二卷积层输出的语音帧数量，表示第三个第一卷积层的特征来计算第一卷积损失值，当采用预设卷积层(的第二卷积层进行单独的蒸馏训练，以达到对第二语音识别模型进行蒸馏训练的简化效第一样本语音数据集输入至第二语音识别模型，获取各个第二编码层输出的第二编码特[0155]其中，Lossdecode-distil表示目标编码损失值，Hsn表示第m个第二编码层的输出，HsnER"",t表示第m个第二编码层输出的语音帧数量，whn表示第m个第二编码层对应的蒸馏拟合参数，Hrn表示第2m个第一编码层(即基准编码层)的输出，[0156]通过将基准编码层输出的第一编码特征和对应的第二编码层输出的第二编码特通过将第一编码网络中第2m个第一编码层作为第二编码网络中第m个第二编码层对应的基维度，可以将基准编码层输出的第一编码特征与第二编码层输出的第二编码特征进行拟失值调整一次模型参数，根据目标编码损失值和目标编码损失值进行调参是相互独立的；进行语音识别。为第十个编码层，对应的蒸馏拟合参数的特征维度为则调整后第二输出的目标语音识别模型对目标语音数据进行语音识测试集/模型传统hybird模型目标语音识别模型直接训练同尺寸的目标语音识别模型测试集120.9014.5617.52测试集229.3422.4525.33训练后得到的目标语音识别模型，其模型性能较传统的hybird模型提升31较直接训练据转化为对应的文本，则即使通信对象B所使用的终端可以调用预先训练好的目标语音识[0214]语音识别模块1305，用于基于目标语音识别模型对目标[0218]根据各个第二编码层的编码参数和各个第二输出层的输出参数初始化第二语音[0221]将剩余卷积层对应的第一卷积层的卷积参数作为剩余卷剩余卷积层为多个第二卷积层中除了预设卷积层和目标卷积层[0234]获取第一输出层输出的第一样本识别结果和第二输出层输出的第二样本识别结枝后的目标语音识别模型对目标语音数据进行语音识[0253]获取进行乘积量化操作时量化码本的第一数量和各个量化码本中聚类中心的第[0260]存储器1420可用于存储软件程序以及模块，处理器1480通过运行存储在存储器[0264]在本实施例中，该终端所包括的处理器1480可以执行前面实施例的语音识别方不同而产生比较大的差异，可以包括一个或一个以上中央处理器(CentralProcessing[0269]本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现[0278]以上是对本申请的较佳实施进行了具体说明，但本申请并不局限于上述实施方